I corpora. Annotazione, tagging, lemmatizzazione. Chiari, I Introduzione ai corpora 1

Transcript

1 I corpora Annotazione, tagging, lemmatizzazione 1

2 2 La codifica e l etichettatura dei corpora Standard di codifica e modalità di annotazione

3 3 L annotazione o etichettatura Etichettatura linguistica di un corpus è l aggiunta di informazioni di tipo linguistico (o meglio metalinguistico) alle diverse porzioni di un testo. L annotazione è una forma di codifica (esistono diversi tipi di annotazione non linguistica) L annotazione consiste nell attribuzione di una etichetta (tag o mark-up) a una porzione specifica e limitata di testo. Qualunque aspetto dell analisi linguistica può essere etichettato (fonologia e fonetica, morfologia, sintassi, semantica, pragmatica, testo, ecc.) linguaggio di marcatura (markup language) SGML (Standard Generalized Markup Language) XML (Extensible Markup Language) HTML (HyperText Markup Language)

4 Pratiche di annotazione 4 l annotazione morfo-sintattica, detta anche grammatical tagging o spesso POS (part-ofspeech) tagging. a ogni word token viene associata la relativa categoria grammaticale (nome, verbo, aggettivo, ecc.) Palla > N Tornò > V Disambiguazione per tutti quei casi in espressioni linguistiche che sono passibili di diverse letture (morfologiche, morfo-sintattiche, sintattiche e lessicali, ecc.) folle aggettivo maschile singolare (l uomo folle) oppure un sostantivo femminile plurale (le grandi folle) Omografi De Mauro (1994) riferisce per l italiano un tasso di omografi che varia dal 38% al 46%, rispettivamente in testi economico-finanziari e nella lingua parlata, ma stime diverse giungono per alcuni tipi testuali sino a circa 57%.

5 Metodi di annotazione 5 L annotazione manuale di tipo tradizionale è svolta da persone che appongono le specifiche etichette alle porzioni di testo sulla base di valutazioni metalinguistiche più o meno condivise e standardizzate. L annotazione automatica procede senza l intervento umano, attraverso applicazioni del Natural Language Processing basate su regole (rule-based parsing) oppure su sistemi probabilistici (statistical parsing) Annotazione semi-automatica I fase automatica II fase manuale

6 Gli standard di codifica e annotazione linguistica 6 Perché? necessità e l utilità della comparazione di corpora diversi usi dei corpora in ambito scientifico e commerciale Requisiti di standardizzazione separazione e autonomia del materiale grezzo del corpus dalle codifiche e annotazioni linguistiche esplicitazione di tutte le fasi di predisposizione, standardizzazione e annotazione del corpus in un file di documentazione forma standard per la codifica e l annotazione indicazione esplicita dei criteri di annotazione (regole di attribuzione di un etichetta a un token) neutralità e condivisione generale dei criteri linguistici alla base dell annotazione possibilità di eseguire specifiche ricerche sulle annotazioni l indipendenza della fruibilità del corpus e dell annotazione dagli specifici sistemi operativi e da costrizioni sulle caratteristiche dell hardware

7 Text Encoding Initiative (TEI) 7 consorzio nato ufficialmente nel 2000 anche se già operante a tutti gli effetti dal 1987 ACL Association for Computational Linguistics, ALLC Association for Literary and Linguistic Computing, ACH Association for Computers and the Humanities linee guida - TEI Guidelines per i principali problemi connessi alla codifica e all annotazione di corpora formato di marcatura dei documenti SGML codifiche di caratteri ISO 646 (a 7-bit), e Unicode Documenti «testi di ogni lingua, ogni tempo, ogni genere letterario o tipologia testuale, senza restrizioni su forma o contenuto» (Sperberg-McQueen e Burnard 2002)

8 Le etichette 8 È necessario segnalare l inizio e la fine della porzione testuale da marcare Marca di inizio (start tag): è un nome tra parentesi uncinate <name1> Marca di fine (end tag): è come la marca di inizio, preceduta dal segno / </name1> Paragrafo <p> xxyz yzzxx </p> Le marche possono anche essere annidate Tipologie di etichetta Obbligatorie Raccomandate Opzionali e infine: Personalizzate dall utente Il testo è suddiviso in unità testuali (dipendenti dal tipo di etichettatura che si intende effettuare)

9 Esempio di marcatura 9 <anthology> <poem><title>the SICK ROSE</title> <stanza> <line>o Rose thou art sick.</line> <line>the invisible worm,</line> <line>that flies in the night</line> <line>in the howling storm:</line> </stanza> <stanza> <line>has found out thy bed</line> <line>of crimson joy:</line> <line>and his dark secret love</line> <line>does thy life destroy.</line> </stanza> </poem> Da Sperberg-McQueen e Burnard, 2002: 2.3.2

10 DTD (SGML Document Type Definitions) tipo di documento 10 informazioni che descrivono la struttura di un documento appartenente a una data tipologia l individuazione di un insieme di etichette ammesse e di regole di attribuzione delle etichette ai fenomeni testuali definizioni per il corpo del testo (core) e definizioni per l intestazione (TEI header) insieme di etichette di base (base tag-set) TEI header Informazioni sul documento descrizione bibliografica del documento elettronico descrizione della codifica informazioni sulle eventuali correzioni, normalizzazioni, segmentazioni e interpretazioni note non bibliografiche situazione, ambiente, partecipanti, ecc.

11 Esempio di TEI header 11 <teiheader> <filedesc> <titlestmt> <title>thomas Paine: Common sense, a machine-readable transcript</title> <respstmt> <resp>compiled by</resp> <name>jon K Adams</name> </respstmt> </titlestmt> <publicationstmt> <distributor>oxford Text Archive</distributor> </publicationstmt> <sourcedesc> <bibl>the complete writings of Thomas Paine, collected and edited by Phillip S. Foner (New York, Citadel Press, 1945)</bibl> </sourcedesc> </filedesc> </teiheader> Da Sperberg-McQueen e Burnard, 2002: 5.6

12 Etichettatura del parlato 12 <text> quando è caratterizzata da una certa coerenza e coesione, ed è ininterrotta <u> (utterance) enunciato di testo delimitate da silenzi o da passaggi di turno <pause> pause di varia durata <vocal> elementi vocali non linguistici (come le pause piene, tipo ehm) <kinesic> elementi gestuali <event> eventi esterni

13 13 EAGLES Expert Advisory Group on Language Engineering Standards Unione europea annotazioni linguistiche per la descrizione di tutte le lingue appartenenti alla Ue Obiettivi codifica dei testi e annotazione linguistica elaborazione degli strumenti di analisi (software) con particolare attenzione la progettazione di corpora di parlato ottenere riusabilità, interscambiabilità ed estensibilità per corpora differenti

14 Tipologie di etichette di Eagles 14 Obbligatorie L etichettatura morfo-sintattica obbligatoria è quella per le categorie sintattiche (nome, verbo, avverbio, aggettivo, congiunzione), applicabile in modo uniforme al di là della lingua specifica del corpus. L insieme delle etichette è chiuso e definito, e costituito da 13 categorie. Raccomandate Livello di etichettatura raccomandata che riguarda caratteristiche grammaticali language-dependent (come genere, persona, ecc.). Anche in questo caso l insieme delle etichette è chiuso, ampio e distinto a seconda delle etichette obbligatorie di riferimento. Estensioni speciali Livello delle estensioni speciali che indica specifiche grammaticali tipiche di un numero ridotto di lingue europee, oppure annotazioni particolari introdotte a fini specifici. La classe delle etichette è aperta (ed estensibile a seconda dei bisogni di annotazione) (e.g. aspetto verbale, riflessività, ecc.)

15 Corpus Encoding Standard (CES) 15 Progetto conforme a TEI e Eagles Pensato per le elaborazioni del Natural Language Processing, della lessicografia e della traduzione automatica Elabora standard per: dati primari, ossia i corpora elettronici non annotati annotazione linguistica Etichette 1) raccomandazioni di livello metalinguistico; 2) etichette e raccomandazioni per la documentazione dei corpus; 3) etichette e raccomandazioni per l annotazione dei dati primari; 4) etichette e raccomandazioni per l annotazione linguistica

16 CES fasi di standardizzazione 16 Il metalinguaggio di annotazione (mark-up metalanguage) definisce la sintassi delle etichette. Livello sintattico Determina le etichette (tag names) e le regole sintattiche per il loro l uso Livello semantico Predispone le procedure di applicazione di una determinata etichetta a diversi fenomeni linguistici

17 17 Il tagging grammaticale Che cos è? Come funziona?

18 Tagging 18 il part-of-speech (POS) tagging ossia l etichettatura per categorie grammaticali Un tagger è il dispositivo computazionale che opera un POS tagging su materiale testuale. Il tagger riceve in input una frase e restituisce in output le forme grafiche delle parole accompagnate da etichette che segnalano la categoria grammaticale di appartenenza. Le etichette applicabili sono definite da un insieme detto tag-set

19 19 Tagging INPUT La rapidità dello stile e del pensiero vuol dire soprattutto agilità Processing POS TAGGER OUTPUT la: DET il rapidità: N rapidità dello: PRE del stile: N stile e: C e del: PRE del N pensiero significa: V significare soprattutto: AVV soprattutto agilità: N agilità

20 20 il tagger possiede un dizionario di riferimento che serve per individuare quali categorie grammaticali possono corrispondere a ciascuna forma grafica. Disambiguazione Una certa quantità di forme possiedono omografi (assoluti o testuali la prima forma grafica <LA> potrebbe corrispondere a tre etichettature grammaticali possibili: Determinante (articolo), Nome (nota musicale), Pronome (pronome personale). La disambiguazione permette di individuare la categoria appropriata allo specifico co-testo della frase

21 Tagger rule-based e probabilistici 21 Un tagger basato su regole fonda la sua capacità di attribuzione della categoria grammaticale sull accesso a una grammatica nella quale sono state formalizzate le regole di formazione dei diversi possibili sintagmi di una data lingua. I problemi principali di questo tipo di metodologia sono da una parte la complessità nella descrizione della grammatica necessaria, i tempi laboriosi, la necessità di avere in input solo frasi ben formate, e infine l impossibilità di risolvere ambiguità strutturali TAGGIT, adoperato negli anni Settanta per etichettare il Brown Corpus of Standard American English 77% delle occorrenze Un tagger di tipo probabilistico basato su statistiche di frequenza delle parti del discorso e delle loro sequenze. training corpora claws (Constituent Likelihood Automatic Word-tagging System) sul British National Corpus 96-97% delle occorrenze

22 Problemi e applicazioni dell NLP 22 Problemi L ambiguità sintattica il medico visita il paziente con gli occhiali. L ambiguità dei sensi Calcio omonimi assoluti: colpo dato con il piede, quando una parte di una pistola, e quando l elemento chimico) diverse accezioni della stessa parola: colpo e lo sport L ambiguità anaforica l uomo ha parlato alla ragazza del suo cane L input incompleto Applicazioni correttori ortografici e grammaticali, strumenti di etichettatura automatica dei corpora lemmatizzazione dei corpora, traduzione automatica basata su regole e probabilistica strumenti di riconoscimento vocale

23 23 Treetagger POS tagger (italiano e tante altre lingue)

24 Treetagger 24 Helmut Schmid in the TC project at the Institute for Computational Linguistics of the University of Stuttgart German, English, French, Italian, Dutch, Spanish, Bulgarian, Russian, Portuguese, Galician, Chinese, Swahili, Slovak, Latin, Estonian and old French texts PC-Linux, Mac OS-X (Intel-CPU), PC-Linux Treetagger web (italiano) Perugia

25 word pos lemma The DT the 25 Input e output Testo semplice (txt) The TreeTagger is easy to use. TreeTagger NP TreeTagger is VBZ be easy JJ easy to TO to use VB use. SENT. Testo anche pretrattato Output su tre colonne Forma POS lemma

26 26

27 output 27

28 Come è fatto un tagset 28

29 Lessico di riferimento Dizionario macchina 29 morsichiate VER:fin morsicare morsichin VER:fin morsicare morsichino VER:fin morsicare morsico VER:fin morsicare morsico' VER:fin morsicare morsicò VER:fin morsicare morsissima ADJ morso morsissime ADJ morso morsissimi ADJ morso morsissimo ADJ morso morso ADJ morso NOUN morso VER:ppast mordere morta ADJ mortonoun morta VER:ppast morire mortadella NOUN mortadella mortadelle NOUN mortadella mortai NOUN mortaio mortaio NOUN mortaio mortale ADJ mortale NOUN mortale mortali ADJ mortale NOUN mortale mortalissima ADJ mortale mortalissime ADJ mortale mortalissimi ADJ mortale mortalissimo ADJ mortale mortalita' NOUN mortalità mortalità NOUN mortalità mortalmente ADV:mente mortalmente

30 30 Passi 1. tokenizzazione del testo 2. confronto di ogni forma con quelle del Lessico di riferimento 3. ad ogni forma si associano le etichette di POS e il lemma

31 31 Operazioni su 3 casi 1. la forma esiste nel lessico e non è ambigua 2. la forma esiste nel lessico ed è ambigua 3. la forma non esiste nel lessico

32 32 Il training Addestramento il tagger viene addestrato attraverso un file di training corretto manualmente e quindi privo di errori Il training consiste nell estrazione dell informazione statistica relativa alle sequenze più probabili di etichette POS (bigrammi o trigrammi) Il training è in genere relativamente piccolo (fino a occorrenze) Il training non va bene per tutte le tipologie testuali

33 Principali implicazioni Non è possibile scegliere i separatori (vengono stabiliti da TreeTagger) La stessa forma grafica può presentarsi più volte nel vocabolario (governo N, governo V) Non esistono forme grammaticalmente ambigue (la lemmatizzazione è esaustiva) Non si può eseguire la normalizzazione

34 Limiti di TreeTagger TreeTagger non è in grado di effettuare alcun tipo di normalizzazione Ha capacità limitate nel riconoscimento dei nomi propri È in grado di effettuare lessicalizzazioni, ma non possiede alcuna risorsa propria di riferimento al riguardo (richiede un file da parte dellʼ utente) Non fornisce informazioni riguardo lʼ aspetto morfologico delle forme (persona, genere, tempo, modo ecc.)

35 La lemmatizzazione dei testi Operazione ridurre le forme flesse di uno stesso lessema a una forma di citazione (lemma) la lista di frequenza conterrà solo le diverse forme di citazione come entrate: essere, fare, libro, ecc. disambiguazione degli omografi Il DET:def il dottore NOM dottore mi PRO:pers mi raccomandò VER:remo raccomandare di PRE di non ADV non ostinarmi VER:infi ostinarsi a PRE a guardare VER:infi guardare tanto ADV tanto lontano ADJ lontano Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

36 Lemmatizzazione funzione mettere in evidenza la relazione lessicale tra le parole osservare i lessemi e non le forme testuali ostacoli omografi polirematiche collocazioni ambiguità sintattiche lemmatizzatori automatici strumenti che usano diverse tecniche (disambiguazione sintattica per regole o statistico-probabilistica) per distinguere le forme omografe e riconoscere la struttura sintattica della frase Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

37 Analisi degli usi con le concordanze Il cotesto informazioni linguistiche essenziali sugli usi della parola individuare sequenze di parole che occorrono più abitualmente a guisa di, restare con un palmo di naso, giacenza di cassa Le concordanze è la presentazione delle parole di un testo, con l indicazione della frequenza con la quale la parola occorre e il contesto linguistico precedente e successivo (co-testo). Funzioni osservare i diversi usi di una parola esaminare i diversi contesti (semantici, sintattici o testuali) in cui occorre una parola analizzare la regolarità con la quale una parola è accompagnata ad altre nel suo cotesto Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

38 Concordanza di anima nella Divina Commedia [In.1.122] anima fia a ciò più di me degna: [In.2.45] l'anima tua è da viltade offesa; [In.2.58] O anima cortese mantoana, [In.3.88] E tu che se' costì, anima viva, [In.3.127] Quinci non passa mai anima buona; [In.5.7] Dico che quando l'anima mal nata [In.6.55] E io anima trista non son sola, [In.10.15] che l'anima col corpo morta fanno. [In.12.74] saettando qual anima si svelle [In.12.90] non è ladron, né io anima fuia. [Pu.4.3] l'anima bene ad essa si raccoglie, [Pu.18.44] e l'anima non va con altro piede, Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

39 Presentazione delle concordanze KWIC (keyword in context) La parola chiave (keyword) è la parola di cui si cerca l uso, solitamente si trova nella colonna centrale. Il cotesto (precedente e successivo) è stabilito dall utente: n. fisso di parole (3 3, ecc.) frase o verso Concordanze complete concordanze per tutte le parole del corpus voluminose e lente, più complesse Concordanze specifiche concordanze per specifiche keyword veloci e facili Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

40 Esempio software di concordanza Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.

41 Tipologie di ricerca per forma specifica (parola testuale, forma flessa) psicologico, si ottengono tutti i token di questo type per lemma psicologico (su corpus lemmatizzato) si ottengono tutte le occorrenze di tutte le forme flesse con l uso di caratteri jolly (wildcards) psicologic*, si ottengono tutte le forme flesse e tutti i derivati con le espressioni regolari psicologic[aoih]?, si ottengono tutte le forme che hanno uno dei caratteri tra parentesi [x] dopo la sequenza, più 0 o un carattere (esclude i derivati) Chiari, I. (2007), Introduzione alla linguistica computazionale, Laterza, Bari.