Strumenti linguistici per le applicazioni imprenditoriali. Dizionari Elettronici e Grammatiche Locali

Transcript

1 Strumenti linguistici per le applicazioni imprenditoriali Dizionari Elettronici e Grammatiche Locali

2 Dizionari Elettronici Dizionari Elettronici Grammatiche Locali

3 Dizionari Elettronici

4 Dizionari Elettronici

5 Risorse Lessicali per l NLP Perché siano utilizzabili per il trattamento automatico del linguaggio non è sufficiente che siano digitalmente accessibili, devono contenere machine-readable data

6 Risorse Lessicali per l NLP Completezza Target umano Le informazioni estraibili dalla conoscenza enciclopedica possono essere omesse Target macchina Il computer non può avere margine d errore: nulla può essere lasciato al caso. Le informazioni devono essere esaustive Esplicitazione Target umano Parte dell informazione può essere implicita, date le capacità umane di intuizione, adattamento e deduzione Target macchina Possono essere processate solamente le istruzioni e i simboli completamente esplicitati Codifica Target umano Le informazioni consistono in raw data, in testi non strutturati Target macchina Le informazioni formite al computer devono essere accurate, coerenti e completamente codificate

7 Risorse Lessicali per l NLP WordNet è un database lessicale per la lingua inglese Raggruppa nomi, verbi, aggettivi e avverbi in gruppi di sinonimi cognitivi, I synsets. I synsets sono interconnessi mediante relazioni concettuali, semantiche e lessicali È disponibile in rete per la navigazione (umana) È scaricabile e interrogabile per applicazioni di NLP Approfondisci: George A. Miller (1995). WordNet: A Lexical Database for English. Communications of the ACM Vol. 38, No. 11: Christiane Fellbaum (1998, ed.) WordNet: An Electronic Lexical Database. Cambridge, MA: MIT Press.

8 Risorse Lessicali per l NLP Human readable Machine readable

9 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche. Le categorie in base alle quali le entrate sono classificate sono le seguenti: nomi aggettivi avverbi verbi 143 congiunzioni 479 esclamazioni 4 interiezioni 63 preposizioni 5 determinanti 234 prefissi

10 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche.

11 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche. Quelli che seguono sono alcuni dei tag semantici che il dizionario prevede: Nomi concreti (+Conc): entrate Nomi concreti collettivi (+ConcColl): 197 entrate Nomi umani (+Um): entrate Nomi umani collettivi (+UmColl): 228 entrate Nomi di animali (+Anl): entrate Nomi di animali collettivi (+AnlColl): 23 entrate

12 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Cdic_it è il dizionario elettronico dei nomi composti, contiene più di entrate e riconosce nomi composti (classi NPN, NA, AN, NN). Alla maggior parte dei nomi è associato il campo semantico di appartenenza. Informatica polirematiche Medicina polirematiche Gurisprudenza polirematiche Ingegneria polirematiche Archeologia polirematiche

13 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Altri dizionari elettronici a disposizione per l italiano sono i seguenti: Acronimi: 157 entrate Alterati: 185 entrate Contrazioni: 36 entrate Elisioni: 55 entrate ElisioniContrazioni : 12 entrate NomiPropri: entrate, consente anche l'annotazione delle forme in -ISMO, -ISTA, - IANO, -ESCO in associazione con la grammatica morfologica NomiPropri#ismo.nom Toponimi: entrate, in molti casi associate ad informazioni di natura geografica Tronche: 53 entrate, da applicare assieme alla grammatica troncamento.nom

14 Le risorse lessicali del Dipartimento di Scienze Politiche, Sociali e della Comunicazione Risorse Lessicali per l NLP Altri dizionari elettronici a disposizione per l italiano sono i seguenti: Acronimi: 157 entrate Alterati: 185 entrate Contrazioni: 36 entrate Elisioni: 55 entrate ElisioniContrazioni : 12 entrate NomiPropri: entrate (consente anche l'annotazione delle forme in -ISMO, -ISTA, - IANO, -ESCO) Toponimi: entrate, in molti casi associate ad informazioni di natura geografica Tronche: 53 entrate, da applicare assieme alla grammatica troncamento.nom adsl,asymmetric Digital Subscriber Line,N+FLX=N601+Acr bene,avv+hiddenino+hiddenone+hiddenuccio agli,<a,prep><gli,il,det+m+p> qualcos',qualcosa,pron nell',<in,prep><lo,il,det+m+s> Serena,N+f+s+Npr+Um Salerno,N+NPR+TOPONIMO+Città+REGIONE="Campania" signor,signore,n+m+s

15 Perché siano utilizzabili per il trattamento automatico del linguaggio non è sufficiente che siano digitalmente accessibili, devono contenere machine-readable data

16 Le grammatiche locali sono algoritmi che, attraverso istruzioni sintattiche, morfologiche e lessicali, sono utilizzate per formalizzare fenomeni linguistici e per processare automaticamente i testi. Con l espressione Locali sottolineiamo che, oltre ogni generalizzazione, queste grammatiche possono essere usate nella descrizione e nell analisi di fenomeni linguistici limitati

17 Un Automa a Stati Finiti è il modello astratto di una macchina È in grado di riconoscere se una stringa appartiene o meno a un certo linguaggio

18 Un Automa a Stati Finiti consiste in una serie di nodi o stati (Si) connessi tra loro mediante transizioni (tj). Si legge solo da sinistra a destra, dallo stato iniziale (S0) allo stato finale (S3)

19 Un Automa a Stati Finiti può essere deterministico oppure no Automa a Stati Finiti deterministico Automa a Stati Finiti non deterministico

20 Un Automa a Stati Finiti diventa un Trasduttore se traduce i simboli di input (Sii) in simboli di output (Sio)

21 Un Automa a Stati Finiti diventa un Recursive Transition Network (RTN) se contiene grafi incassati (embedded graphs, S3). È un Enhanced Recursive Transition Network (ERTN quando include variabili (V) e restrizioni (constraints, C)

22 Cos è un grafo incassato? È un grafo contenuto all interno di un nodo di un altro grafo

23 Le variabili ( ) e le restrizioni ( ) possono essere utilizzate all interno e all esterno dei grafi incassati ( ) e dei loop ( ) Più occorrenze della stessa variabile possono essere utilizzate lungo il percorso della grammatica locale, assumendo anche diversi valori.

24 Cos è una variabile? È un insieme di dati modificabili (in opposizione alla costante) È associata a un insieme di valori predefiniti (tipo)

25 Cos è una variabile? È un insieme di dati modificabili (in opposizione alla costante) È associata a un insieme di valori predefiniti (tipo)

26 Cos è una variabile? I.e. Riconscimento delle ripetizioni Dati modificabili: efficient grammar Tipo di dati: <L> = lettera <WF>= parola <P>= simbolo di interpunzione ecc Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

27 Cos è una restrizione? È un istruzione che controlla il campo d applicazione di una grammatica locale troppo produttiva Si relaziona alla Variabile (V) se delimita un insieme di definizione più piccolo di quello tipizzato da V

28 Cos è una restrizione? Campo d applicazione: american-ize *size Tipo di dati: <L> + loop = sequenza di lettere <L> + loop + <$Pref=:A> = sequenza di lettere corrispondente ad un aggettivo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

29 Esempi di Recursive Transition Network (RTN)

30 Esempi di Recursive Transition Network (RTN)

31 Esempi di Recursive Transition Network (RTN) Grafo Incassato

32 Esempi di Enhanced Recursive Transition Network (ERTN) Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

33 Esempi di ERTN e analisi semantica del testo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

34 Esempi di ERTN e analisi semantica del testo Frase: One woman aged 25 had fever symptom Descrizione: Agent (Sex(F), Age(25), Symptom(fever)) Annotazione XML: <AGENT Sex=F Age=25 Symptom=fever>One woman aged 25 had fever symptom<\agent> Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

35 Esempi di ERTN e analisi semantica del testo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

36 Esempi di ERTN e analisi semantica del testo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

37 Esempi di ERTN e analisi semantica del testo Frase: John sees Mary Descrizione PROLOG-like : PRED=see (John,Mary) Annotazione XML: <PRED F=see ARG1=John ARG2=Mary>John sees Mary<\PRED> Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.