Annotazione (Semi-)Automatica dei Testi Digitali

Transcript

1 Annotazione (Semi-)Automatica dei Testi Digitali

2 Annotazione semi-automatica dei testi digitali Cos è l annotazione? Cosa possiamo annotare? Quali sono I task più popolari nell NLP? Quali Risorse Testuali possiamo utilizzare? Quali Risorse Lessicali possiamo utilizzare? Quali Risorse Grammaticali possiamo utilizzare?

3 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Dati vs Informazioni

4 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa annotare? Dati vs Informazioni STRUTTURA + RELAZIONI TRA DATI Alessandro, L., Simonetta, M., & Vito, P. (2005). Testo e computer. Elementi di linguistica computazionale.

5 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa annotare? Dati vs Informazioni Non sono dotati di un significato intrinseco STRUTTURA + RELAZIONI TRA DATI Dati organizzati in un contesto di interpretazione Alessandro, L., Simonetta, M., & Vito, P. (2005). Testo e computer. Elementi di linguistica computazionale.

6 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa annotare? Dati DATI NON STRUTTURATI Testo come flusso di caratteri, parole e frasi vs Informazioni DATI STRUTTURATI Testo strutturato in piani di organizzazione multipli: Struttura del testo (capitoli, titoli) Struttura del contesto (autore, data) Struttura linguistica (informazioni morfologiche, sintattiche, semantiche) Struttura del corpus (argomenti, tipi di testo) Alessandro, L., Simonetta, M., & Vito, P. (2005). Testo e computer. Elementi di linguistica computazionale.

7 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa annotare? Dati vs Informazioni Non sono dotati di un significato intrinseco STRUTTURA + RELAZIONI TRA DATI Dati organizzati in un contesto di interpretazione DATI NON STRUTTURATI DATI STRUTTURATI Alessandro, L., Simonetta, M., & Vito, P. (2005). Testo e computer. Elementi di linguistica computazionale.

8 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa vuol dire semi-automatico? Annotazione automatica Annotazione manuale

9 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Cosa vuol dire semi-automatico? Annotazione automatica = fatta dalla macchina Metodi statistici: automatici Metodi rule-based: semi-automatici Annotazione manuale = fatta dall uomo

10 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Quali problemi presenta l annotazione? Annotazione (semi-)automatica Errori di precisione e richiamo Annotazione manuale Soggettività dei giudizi

11 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Come dare affidabilità e validità all annotazione? Annotazione (semi-)automatica Soluzione: calcolo di precision e recall Annotazione manuale Soluzione: calcolo dell inter-annotator agreement Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4),

12 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Come dare affidabilità e validità all annotazione? Annotazione (semi-)automatica Soluzione: calcolo di precision e recall Misura dell esattezza e della completezza dell annotazione Annotazione manuale Soluzione: calcolo dell inter-annotator agreement Misura dei giudizi sui quali gli annotatori si trovano in accordo Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational Linguistics, 34(4),

13 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Come dare affidabilità e validità all annotazione? Annotazione (semi-)automatica Soluzione: calcolo di precision e recall Precision = Recall = true positive true potitive+false positive true positive true potitive+false negative Valore della Precision 1.0: ogni annotazione effettuata è corretta Valore della Precision 0: tutte le annotazioni sono sbagliate Valore della Recall 1.0: tutte le annotazioni necessarie sono state effettuate Valore della Recall 0: nessuna elemento da annotare nel testo è stato rintracciato

14 Cos è l annotazione? Annotazione semi-automatica dei testi digitali Come dare affidabilità e validità all annotazione? Annotazione (semi-)automatica Soluzione: calcolo dell F-score: media armonica di precision e recall F score = 2 Precision Recall Precision+Recall

15 Annotazione semi-automatica dei testi digitali Cosa possiamo annotare? Cosa possiamo annotare automaticamente? Annotare i testi Annotare le frasi Annotare le parole

16 Quali sono I task più popolari nell NLP? Annotazione semi-automatica dei testi digitali Cosa possiamo annotare automaticamente? Annotare i testi i.e. Topic classification, Irony Detection, Sentiment Calssification Annotare le frasi i.e. Semantic Role Labeling, Sentiment Analysis Annotare le parole i.e. PoS Tagging, Morfosemantica

17 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati

18 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati Risorse annotate manualmente FrameNet Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). The berkeley framenet project. In Proceedings of the 17th international conference on Computational linguistics-volume 1, pages PropBank Kingsbury, P., & Palmer, M. (2002, May). From TreeBank to PropBank. In LREC (pp ). Risorse annotate automaticamente LexIt Lenci, A., Lapesa, G., and Bonansinga, G. (2012). Lexit: A computational resource on italian argument structure. In LREC, pages

19 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati FrameNet Rappresentazione della frame semantics in formato human e machine-readable unità lessicali frame semantici frasi di esempio Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). The berkeley framenet project. In Proceedings of the 17th international conference on Computational linguistics-volume 1, pages

20 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati Cos è la Frame Semantics? Some words exist in order to provide access to knowledge of such frames to the participants in the communication process, and simultaneously serve to perform a categorization which takes such framing for granted" Fillmore, C. J. (2006). Frame semantics. In Cognitive linguistics: Basic readings, volume 34, pages Berlin: Mounton de Gruyter.[Originally published in Linguistics in themorning Calm, Seoul: Hanshin Publishing Co., 1982.].

21 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati Cos è la Frame Semantics? La Frame Semantics descrive le frasi sulla base di predicators capaci di riportare alla mente dei frame semantici Una descrizione in semantic frame, inizia con il riconoscimento dell item lessicale che porta con sé il significato. Successiavamente esplora I modi in cui i frame elements e le loro costellazioni si realizzano attorno alla struttura che ha l item lessicale come testa Frame semantici: strutture inferenziali, connesse grazie a convenzioni linguistiche al significato degli item lessicali. Frame element : partecipanti del frame Fillmore, C. J. (2006). Frame semantics. In Cognitive linguistics: Basic readings, volume 34, pages Berlin: Mounton de Gruyter.[Originally published in Linguistics in themorning Calm, Seoul: Hanshin Publishing Co., 1982.].

22 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati FrameNet Possibili usi: Semantic role labeling Natural language understanding Machine translation Part of speech tagging Information extraction Baker, C. F., Fillmore, C. J., and Lowe, J. B. (1998). The berkeley framenet project. In Proceedings of the 17th international conference on Computational linguistics-volume 1, pages

23 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati FrameNet Unità lessicale: love.v

24 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati

25 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati PropBank 3500 verbi annotati Argomenti: Arg0 = agent Arg1 = patient Arg2 = instrument/attribute Arg3 = starting point/attribute Arg4 = ending point ArgM = modifier Schuler, K. K. (2005). VerbNet: A broad-coverage, comprehensive verb lexicon. PhD thesis, Computer and Information Science Dept., University of Pennsylvania.

26 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati PropBank Kingsbury, P., & Palmer, M. (2002, May). From TreeBank to PropBank. In LREC (pp ).

27 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati LexIt Slot sintattici: soggetto, complementi, modificatori, ecc. Frame sintattici: combinazioni di slot con cui le parole ricorrono Classi semantiche: iperonimi estratti da WordNet (top synset) Corpora usati: Wikipedia, La Repubblica Forza di associazione tra verbo e argomenti: mutual information Lenci, A., Lapesa, G., and Bonansinga, G. (2012). Lexit: A computational resource on italian argument structure. In LREC, pages

28 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati LexIt Lenci, A., Lapesa, G., and Bonansinga, G. (2012). Lexit: A computational resource on italian argument structure. In LREC, pages

29 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati LexIt Guarasci, Raffaele. "Le preferenze di selezione verbali: un approccio computazionale." JLIS. it, Italian Journal of Library and Information Science 3.1 (2012):

30 Quali Risorse Testuali possiamo utilizzare? Corpora Annotati LexIt Guarasci, Raffaele. "Le preferenze di selezione verbali: un approccio computazionale." JLIS. it, Italian Journal of Library and Information Science 3.1 (2012):

31 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Perché siano utilizzabili per il trattamento automatico del linguaggio non è sufficiente che siano digitalmente accessibili, devono contenere machine-readable data

32 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici

33 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici

34 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Completezza Target umano Le informazioni estraibili dalla conoscenza enciclopedica possono essere omesse Target macchina Il computer non può avere margine d errore: nulla può essere lasciato al caso. Le informazioni devono essere esaustive Esplicitazione Target umano Parte dell informazione può essere implicita, date le capacità umane di intuizione, adattamento e deduzione Target macchina Possono essere processate solamente le istruzioni e i simboli completamente esplicitati Codifica Target umano Le informazioni consistono in raw data, in testi non strutturati Target macchina Le informazioni formite al computer devono essere accurate, coerenti e completamente codificate

35 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici WordNet è un database lessicale per la lingua inglese Raggruppa nomi, verbi, aggettivi e avverbi in gruppi di sinonimi cognitivi, I synsets. I synsets sono interconnessi mediante relazioni concettuali, semantiche e lessicali È disponibile in rete per la navigazione (umana) È scaricabile e interrogabile per applicazioni di NLP Approfondisci: George A. Miller (1995). WordNet: A Lexical Database for English. Communications of the ACM Vol. 38, No. 11: Christiane Fellbaum (1998, ed.) WordNet: An Electronic Lexical Database. Cambridge, MA: MIT Press.

36 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Human readable Machine readable

37 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche. Le categorie in base alle quali le entrate sono classificate sono le seguenti: nomi aggettivi avverbi verbi 143 congiunzioni 479 esclamazioni 4 interiezioni 63 preposizioni 5 determinanti 234 prefissi

38 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche.

39 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Sdic_it è il dizionario elettronico delle parole semplici dell Italiano, ha più di entrate e permette di riconoscere parole semplici e composte monorematiche. Quelli che seguono sono alcuni dei tag semantici che il dizionario prevede: Nomi concreti (+Conc): entrate Nomi concreti collettivi (+ConcColl): 197 entrate Nomi umani (+Um): entrate Nomi umani collettivi (+UmColl): 228 entrate Nomi di animali (+Anl): entrate Nomi di animali collettivi (+AnlColl): 23 entrate

40 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Cdic_it è il dizionario elettronico dei nomi composti, contiene più di entrate e riconosce nomi composti (classi NPN, NA, AN, NN). Alla maggior parte dei nomi è associato il campo semantico di appartenenza. Informatica polirematiche Medicina polirematiche Gurisprudenza polirematiche Ingegneria polirematiche Archeologia polirematiche

41 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Altri dizionari elettronici a disposizione per l italiano sono i seguenti: Acronimi: 157 entrate Alterati: 185 entrate Contrazioni: 36 entrate Elisioni: 55 entrate ElisioniContrazioni : 12 entrate NomiPropri: entrate, consente anche l'annotazione delle forme in -ISMO, -ISTA, -IANO, -ESCO in associazione con la grammatica morfologica NomiPropri#ismo.nom Toponimi: entrate, in molti casi associate ad informazioni di natura geografica Tronche: 53 entrate, da applicare assieme alla grammatica troncamento.nom

42 Quali Risorse Lessicali possiamo utilizzare? Dizionari Elettronici Altri dizionari elettronici a disposizione per l italiano sono i seguenti: Acronimi: 157 entrate Alterati: 185 entrate Contrazioni: 36 entrate Elisioni: 55 entrate ElisioniContrazioni : 12 entrate NomiPropri: entrate (consente anche l'annotazione delle forme in -ISMO, -ISTA, - IANO, -ESCO) Toponimi: entrate, in molti casi associate ad informazioni di natura geografica Tronche: 53 entrate, da applicare assieme alla grammatica troncamento.nom adsl,asymmetric Digital Subscriber Line,N+FLX=N601+Acr bene,avv+hiddenino+hiddenone+hiddenuccio agli,<a,prep><gli,il,det+m+p> qualcos',qualcosa,pron nell',<in,prep><lo,il,det+m+s> Serena,N+f+s+Npr+Um Salerno,N+NPR+TOPONIMO+Città+REGIONE="Campania" signor,signore,n+m+s

43 Quali Risorse Grammaticali possiamo utilizzare? Grammatiche Locali Algoritmi che, attraverso istruzioni sintattiche, morfologiche e lessicali, sono utilizzate per formalizzare fenomeni linguistici e per processare automaticamente i testi. Con l espressione Locali sottolineiamo che, oltre ogni generalizzazione, queste grammatiche possono essere usate nella descrizione e nell analisi di fenomeni linguistici limitati

44 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Un Automa a Stati Finiti è il modello astratto di una macchina È in grado di riconoscere se una stringa appartiene o meno a un certo linguaggio

45 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Un Automa a Stati Finiti consiste in una serie di nodi o stati (Si) connessi tra loro mediante transizioni (tj). Si legge solo da sinistra a destra, dallo stato iniziale (S0) allo stato finale (S3)

46 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Un Automa a Stati Finiti può essere deterministico oppure no Automa a Stati Finiti deterministico Automa a Stati Finiti non deterministico

47 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Un Automa a Stati Finiti diventa un Trasduttore se traduce i simboli di input (Sii) in simboli di output (Sio)

48 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Un Automa a Stati Finiti diventa un Recursive Transition Network (RTN) se contiene grafi incassati (embedded graphs, S3). È un Enhanced Recursive Transition Network (ERTN quando include variabili (V) e restrizioni (constraints, C)

49 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è un grafo incassato? È un grafo contenuto all interno di un nodo di un altro grafo

50 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Le variabili ( ) e le restrizioni ( ) possono essere utilizzate all interno e all esterno dei grafi incassati ( ) e dei loop ( ) Più occorrenze della stessa variabile possono essere utilizzate lungo il percorso della grammatica locale, assumendo anche diversi valori.

51 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è una variabile? È un insieme di dati modificabili (in opposizione alla costante) È associata a un insieme di valori predefiniti (tipo)

52 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è una variabile? È un insieme di dati modificabili (in opposizione alla costante) È associata a un insieme di valori predefiniti (tipo)

53 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è una variabile? I.e. Riconscimento delle ripetizioni Dati modificabili: efficient grammar Tipo di dati: <L> = lettera <WF>= parola <P>= simbolo di interpunzione ecc Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

54 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è una restrizione? È un istruzione che controlla il campo d applicazione di una grammatica locale troppo produttiva Si relaziona alla Variabile (V) se delimita un insieme di definizione più piccolo di quello tipizzato da V

55 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Cos è una restrizione? Campo d applicazione: american-ize *size Tipo di dati: <L> + loop = sequenza di lettere <L> + loop + <$Pref=:A> = sequenza di lettere corrispondente ad un aggettivo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

56 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Esempi di Recursive Transition Network (RTN)

57 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Esempi di Recursive Transition Network (RTN)

58 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Esempi di Recursive Transition Network (RTN) Grafo Incassato

59 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Esempi di Enhanced Recursive Transition Network (ERTN) Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.

60 Quali Risorse Grammaticali possiamo utilizzare? Automi a Stati Finiti Esempi di ERTN e analisi semantica del testo Silberztein, M. (2004). NooJ manual (2003). Download from nooj4nlp. net.