RISORSE E STRUMENTI LINGUISTICI BILINGUI PER L'ITALIANO E L'ARABO

Транскрипт

1 RISORSE E STRUMENTI LINGUISTICI BILINGUI PER L'ITALIANO E L'ARABO EUGENIO PICCHI Istituto di Linguistica Computazionale Consiglio Nazionale delle Ricerche All'interno del progetto "Linguistica Computazionale: ricerche monolingui e multilingui" finanziato con la legge 488/1999, l'istituto è stato coinvolto nello studio e sviluppo di strumenti e risorse per la lingua araba all'interno dell'obiettivo "Corpus bilingue Italiano - Arabo". In tale obiettivo sono stati coinvolte le unità operative: Istituto Universitario Orientale di Napoli, il Dipartimento Scienze Storiche del Mondo Antico dell'università di Pisa e l'istituto di Linguistica Computazionale del CNR di PISA. Lo sviluppo del progetto si è articolato nella creazione di risorse linguistiche e di strumenti informatici per la gestione e l'analisi di tale risorse. Compito dll'istituto di Linguistica Computazionale è stato quello di sviluppare gli strumenti e di coordinare il progetto dal punto di vista informatico. Del gruppo di sviluppo e coordinamento hanno fatto parte : Eugenio Picchi, Eva Sassolini, Ouafae nahli, Sebastiana Cucurullo. Risorse linguistiche " corpora testuali di riferimento: i componenti del corpus, italiano ed arabo, devono essere comparabili; cioè disegnati, composti, strutturati, collegati ed analizzati con gli stessi criteri; il corpus generico sarà costituito da 8 milioni di parole per ogni lingua; " dizionari: costruzione dei lessici di riferimento per i motori morfologici; " corpora di testi bilingui paralleli: una parte sostanziale dei corpora sarà costituita da testi paralleli, cioè da testi arabi e dalla loro traduzione italiana, e/o viceversa; il corpus bilingue parallelo allineato sarà di 4 milioni di parole; " corpora testuali con annotazione lessicale e morfosintattica: un sottoinsieme dei corpora sarà annotato, cioè analizzato, a livello morfosintattico, in maniera automatica e con controllo in post-editing; il corpus relativo sarà di 2 milioni. Strumenti linguistici - Motori morfologici automatici per la generazione e l'analisi delle due lingue, utilizzando le risorse lessicali (lessici e template flessionali) disponibili; - disambiguatori automatici per l'annotazione morfosintattica dei testi: procedure di disambiguazione operanti su base statistica con fase di controllo in post-editing; - allineatore automatico dei testi paralleli arabi e italiani: procedura di allineamento automatica su base statistica con funzione di post-editing interattiva per il controllo dei risultati; - acquisizione, analisi e funzioni di accesso (con relativo query system) dei testi dei corpora per le due lingue, nelle varie fasi di elaborazione con adattamento del sistema DBT per poter gestire testi in lingua araba. Le esperienze e le competenze per lo sviluppo degli strumenti di analisi linguistica 71

2 saranno messi a disposizione dall'istituto di Linguistica Computazionale il quale utilizzerà, come background per quello che riguarda la lingua italiana e gli algoritmi di sviluppo dell'intero progetto, gli strumenti di analisi linguistica sviluppati all'interno dellla linea di sviluppo PiSystem (vedere Il motore morfologico. I sistemi morfologici automatici per l'italiano e per l'arabo sono stati realizzati attraverso lo sviluppo di: lessici specializzati di riferimento, modelli (template) flessionali, strumenti informatici per la generazione (vedere fig. 2) e Il Motore per l'analisi testuale sarà realizzato attraverso una specializzazione del sistema DBT (Data Base Testuale) gestione, visualizzazione e navigazione di testi in lingua araba. (vedere fig. 1) Lo sviluppo per tale lingua è stato fatto attraverso la creazione di un sistema proprietario, in grado cioè di funzionare anche su tastiera e sistema operativo non specializzati per tale lingua. strumenti informatici per l'analisi (vedere fig. 3). Procedure guidano i linguisti nella creazione delle risorse lessicali e morfologiche, nella verifica dei risultati del meccanismo flessionale; le funzioni di generazione e di analisi sono state realizzate, oltre che come strumenti immediati stand-alone, anche come libreria API in grado di essere utilizzata anche da procedure di elaborazione linguistica più complesse. 72

3 73

4 Strumenti e risorse per l'allineamento E' stato sviluppato un sistema per l'allineamento automatico di testi bilingui (uno traduzione dell'altro) in italiano ed arabo per consentire l'analisi contrastiva di testi delle due lingue. La procedura di classificazione automatica lessicale e morfologica di testi in lingua araba è stata realizzata utilizzando lo stesso algoritmo impiegato per il sistema sviluppato per la lingua italiana. Tale sistema provvede alla disambiguazione automatica operando su base statistica disponendo delle risorse necessarie che sono costituite: dal relativo Tale strumento ha adottato l'approccio statistico per generare una "sincronizzazione" dei testi bilingui, permettendo (anche attraverso una eventuale fase di verifica in post-editing) le creazione di banche testuali dati di corpora "allineati" e permettendo infine l'interrogazione e navigazione di corpora paralleli in maniera contrastiva. (vedere figura 4) Lemmatizzazione / annotazione linguistica motore morfologico utilizzato in fase di analisi ed in grado di fornire le ipotesi di analisi per ciascuna parola del testo; da un corpus di testi già analizzati e lemmatizzati (detto Training corpus) dal quale sono ricavate le conoscenze linguistiche per operare le scelte di disambiguazione su base statistica. Un post-editing interattivo permette la verifica e la correzione dei risultati, mentre il testo lemmatizzato entra a costituire la banca dati di corpora annotati. Sono stati implementati strumenti per l'interrogazione e la navigazione di corpora arabi annotati. 74

5 BIBLIOGRAFIA CHURCH K.W., GALE W., Concordances for Parallel Text - Using Corpora, in Proceedings of 7th Annual Conference of the UW Centre for the New OED and Text Research, OUP, Oxford, 1991, CHURCH K.W., GALE W., A Program for Aligning Sentences in Bilingual Corpora, Computational Linguistics, 1993, EL-DAHDAH A., A dictionary of Arabic grammar in charts and tables, Librairie du Liban, Publishers, MARINAI E., PETERS C., PICCHI E., The Pisa Multilingual Lexical Data Base System, in Esprit BRA Twelve Month Deliverable, 1990, ILC-ACQ MARINAI E., PETERS C., PICCHI E., Bilingual Reference Corpora: A System for Parallel Text Retrieval, in Using Corpora, Proceedings of 7th Annual Conference of the UW Centre for the New OED and Text Research: OUP, Oxford, 1991, MARINAI E., PETERS C., PICCHI E., A Prototipe System for the semi-automatic sense linking and merging of mono-and bilingual LDBS, in N. IDE, S. HOKEY Research in Humanities Computing, (ed.), OUP, Oxford, PICCHI E., D.B.T.: A Textual Data Base System, in Computational Lexicology and Lexicography, Special issue dedicated to Bernard Quemada, (II ed.), Linguistica Computazionale, Pisa, VECCIA VALIERI L., Grammatica Teorico-Pratica della lingua Araba, vol. I e vol. II, Istituto per l'oriente, Roma, Paragon Software (Smart Handheld Devices Division), Zerboni,F., 75