Linguistica Computazionale

Transcript

1 Linguistica Computazionale Part of Speech Tagging 1 dicembre 2014

2 Analisi morfo-sintattica (POStagging) Il PoS Tagging è utilizzato per la disambiguazione morfologica. id forma lemma pos tratti 1 Il il RD MS 2 danno danno;dare S;V MS;P3IP 3 non non B NULL id forma lemma pos tratti 1 Il il RD MS 2 danno danno S MS 3 non non B NULL Criticità - disambiguazione tra sostan1vo- agge3vo (es: Il paziente inglese), agge3vo- par1cipio 2 passato (es: Disegno colorato dal paziente inglese)

3 Part-of-Speech Tagging Nel caso del POS-tagging il compito dell analisi grammaticale diventa quello di assegnare ad ogni token della frase la giusta classe grammaticale: Sostantivo, Aggettivo, Avverbio, Verbo, Punteggiatura, Articolo, etc Il danno non poteva essere sottovalutato. Sostantivo, Articolo, Aggettivo, Avverbio, Verbo, Punteggiatura, etc 3

4 Part-of-Speech Tagging Il sistema si complica quando dobbiamo determinare anche i tratti morfologici (genere, numero, etc.) per ogni parola. Tali tratti generano un numero maggiore di classi Il danno non poteva essere sottovalutato. Articolo-Maschile-Singolare, Articolo-Femminile-Singolare, Articolo-Maschile-Plurale, Articolo-Femminilie-Plurale, etc.. 4

5 PoS Tagging a regole (ENGCG) Pattern-action rules <action> IF <pattern> <action> seleziona uno dei tag della parola (eliminando gli altri) rimuovi uno dei tag della parola l <action> viene compiuta se e solo se esiste nel testo la sequenza di tag specificata dal <pattern> i <pattern> esprimono vincolo sintagmatici locali su sequenze di tag REMOVE (ART) IF (1C (V)) Approccio riduzionistico disambiguazione incrementale 5

6 Sequenze di tag e ASF I vincoli sintagmatici locali sulle sequenze legittime di tag possono essere espressi come ASF Agg Art N q 0 q 1 q 2 Pclit Vfin q 3 q 4 q 5 6

7 PoS Tagging a regole (ENGCG) tokenizzazione "<design>" "design" N NOM SG "design" V PRES -SG3 "design" V INF "design" V IMP "design" V SUBJUNCTIVE "<can>" "can" V AUXMOD "can" N NOM SG ambiguity look-up analisi morfologica ENGTWOL guesser "<design>" "design" N NOM SG "<can>" "can" V AUXMOD ambiguity resolution (disambiguazione) pattern-action rules 7

8 Machine learning e POStagging corpus annotato il/art cane/s è/aux stanco/adj./punct Mario/SP ha/aux mangiato/v un/art panino/s Gianni è stato/v a Roma algoritmo di machine learning Lo stato/n italiano... annotazione di un nuovo testo regole di disambiguazione morfosintattica apprese Modello di disambiguazione <X/ART Y/?> à <X/ART Y/S> <X/AUX Y/?> à <X/AUX Y/V> tagger morfosintattico 8

9 Algoritmo di apprendimento supervisionato 1) Fase di addestramento (Training): Training set Algoritmo di Apprendimento Supervisionato Modello della Lingua 2) Fase di analisi (Test): raw text Algoritmo di Apprendimento Supervisionato Risultato dell analisi 9

10 Algoritmo di Apprendimento Supervisionato 1) Fase di addestramento (Training): Alg di Apprendimento Supervisionato Training set Estrazione delle feature Creazione del modello statistico Modello della Lingua training set: corpus di esempi annotati: coppie (input, output) feature: caratteristiche estratte dall input (training set) modello della lingua: insieme di coppie (feature, peso), dove il peso è stato calcolato dall algoritmo di apprendimento ed indica la salienza della feature per operare una certa classificazione 10

11 Fase di addestramento Nella fase di addestramento il sistema ha a disposizione un incompleto stato di conoscenza del processo da simulare, il corpus di addestramento ANNOTATO o training set Il training set può essere visto come un insieme di coppie input, output: (x 1 ; y 1 ), (x 2 ; y 2 ),,(x n, y n ) l input x i è detto evento, mentre l output y i è una classe tra le possibili classi di output ammesse come soluzione del problema da risolvere es. l evento è la parola porta e la classe è NOME Nei problemi affrontati con algoritmi supervisionati l insieme delle possibili classi di output deve essere finito, mentre quasi mai gli eventi in input sono un insieme finito Scopo della fase di addestramento è l apprendimento di una funzione f(x i ), detta funzione obiettivo, tale che f(x i )=y i 11

12 Feature Le feature sono le caratteristiche che devono essere analizzate nell evento in input per permettere al sistema di risolvere un particolare compito es. informazioni relative al contesto in cui si trova una parola Nella fase di addestramento le feature vengono utilizzate per calcolare i parametri della funzione obiettivo stimata Nella fase di addestramento le feature vengono estratte dal corpus di addestramento Nella fase di analisi le feature vengono utilizzate per la stima dell output da assegnare all evento in input. Nella fase di analisi le feature vengono estratte dall evento in input. 12

13 Feature La selezione delle feature è una delle parti cruciali nella realizzazione di un sistema di analisi e la bontà della loro selezione determina l accuratezza del sistema finale La distribuzione di frequenza tra i valori delle feature estratte dagli eventi presenti nel corpus di addestramento e gli output associati, viene utilizzata dall algoritmo di apprendimento automatico in fase di addestramento per la definizione i della funzione obiettivo

14 Feature nei compiti del TAL Le feature nei compiti del TAL vengono distinte in tre categorie: locali, contestuali, globali le feature locali sono quelle che vengono estratte direttamente dal token che stiamo analizzando es. la forma, il lemma, il suffisso, il prefisso, la presenza di caratteri non alfabetici all interno della parola, ecc. le feature contestuali sono quelle che vengono estratte dal contesto nel quale il token analizzato si trova es. la parola precedente, la parola successiva, la POS della parola precedente, la POS della parola successiva, ecc. l ampiezza del contesto dipende dal tipo di task che si sta affrontando e difficilmente supera la frase che si sta analizzando le feature globali sono feature estratte da contesti più ampi rispetto a quelle contestuali es. in diversi compiti di TAL può essere molto utile conoscere il dominio del documento che si sta analizzando (sportivo, politico, scientifico, ecc.). 14

15 Part-of-Speech Tagging Feature utilizzate: feature locali: Forma, Lunghezza del token, Presenza di punteggiatura all interno del token (es. Acronimi C.N.R.), Prefisso, Suffisso, Caratteristiche tipografiche del token feature contestuali: token precedente, token successivo, risultato dell analisi del token precedente, possibili classi grammaticali della parola successiva (estratti dal livello di analisi morfologica ambigua) di solito non si usano feature Globali 15

16 Estrazione delle feature: Feature locali Esempio di frase annotata con POS (frase presente nel training set): (La, D) (Roma, S) (ha, V) (vinto, V) (la, D) (partita, S) (a, P) (Milano, S) feature attive per la classe S Features Locali: Suffisso=Ro Prefisso=ma Forma=Roma Lunghezza=4 16

17 Estrazione delle feature: Feature contestuali Esempio di frase annotata con POS (frase presente nel training set): (La, D) (Roma, S) (ha, V) (vinto, V) (la, D) (partita, S) (a, P) (Milano, S) feature attive per la classe S Features Contestuali: Token(-1)= La POS(+1) = V Token(+2) = vinto 17

18 Estrazione delle feature Il processo di estrazione delle feature restituisce per ogni coppia (input, output) la lista delle feature attive in quel contesto per la classe output Features Attive per S: Suffisso=Ro Prefisso=ma Forma=Roma Lunghezza=4 Token(-1)= la POS(+1)=V Token(+2)=vinto Queste feature si aggiungono a quelle già estratte per la stessa categoria (S) in altri eventi annotati all interno del corpus. 18

19 Feature Alla fine del processo di estrazione su tutto il corpus, le feature vengono pesate dall algoritmo di apprendimento automatico I pesi indicano la forza della feature nell indicare una certa classe come possibile output e possono essere visti come il modello della lingua che il sistema di addestramento crea nella fase di apprendimento 19

20 Feature Il peso assegnato ad ogni feature dipende dall algoritmo di machine learning utilizzato es: Maximum Entropy, Support Vector Machine, Perceptron, ecc. La scelta del particolare algoritmo determina oltre che l assegnamento del peso delle feature anche il tipo di funzione obiettivo scelta per la risoluzione del particolare compito da affrontare Questi algoritmi sono estremamente complessi dal punto di vista matematico e possono essere utilizzati dal linguista computazionale come una sorta di black box, che prendono in input la lista delle feature con le relative frequenze e restituiscono la lista delle feature con i pesi associati 20

21 Algoritmo di Apprendimento Supervisionato: analisi 2) Fase di analisi: Modello della Lingua Testo non annotato features extractor Algoritmo basato su ML Analisi Funzione obiettivo 21

22 Algoritmo di Apprendimento Supervisionato: analisi La funzione obiettivo (o anche scoring function) calcola un punteggio per ogni possibile classe di output il punteggio viene calcolato sulla base delle feature estratte dal testo da analizzare, utilizzando i pesi delle feature presenti nel modello della lingua creato nella fase di apprendimento La funzione di score varia in base al tipo di algoritmo supervisionato utilizzato somme, moltiplicazioni o funzioni più complesse tra i pesi delle feature La classe a cui viene assegnato lo score più alto è la classe vincente (il risultato dell analisi) 22

23 Valutazione Test corpus corpus usato per la valutazione del sistema deve essere sempre diverso dal training corpus Gold Standard (GS) (porzione del) test corpus annotato a mano, che rappresenta l output corretto di riferimento N-fold crossvalidation metodologia di valutazione ideale per quando i dati annotati sono limitati si divide il corpus annotato in n parti si compiono n cicli di training-valutazione del sistema usando a turno ognuna delle n parti come test corpus e le restanti come training corpus la prestazione del sistema è la media delle prestazioni negli n esperimenti Baseline valore che viene assunto come limite inferiore delle prestazioni rispetto a cui valutare la significatività degli incrementi del sistema 23

24 Metriche di valutazione Accuracy per sistemi che assegnano sempre un output (singolo) a ogni evento di input Accuracy = output _ corretti test _ corpus Esempio di valutazione di un PoS tagger test_corpus = 1200 tokens output corretti del sistema = 945 Accuracy = 945 / 1200 = 0,79 (79%) Baseline per PoS taggers accuracy che si ottiene assegnando a ciascuna parola il tag più probabile 24

25 Metriche di valutazione Precision e Recall metriche derivate dall Information Retrieval precisione = misura la correttezza delle risposte del sistema recall = misura la copertura del sistema output errati (FP) Output del sistema output corretti output mancati (FN) Gold Standard Output corretti (true positive, TP) numero degli output del sistema attestati nel GS Output errati (false positive, FP) numero degli output del sistema non attestati nel GS Output mancati (false negative, FN) numero dei casi nel GS per i quali il sistema non produce un output o produce un output errato 25

26 Metriche di valutazione Esempio: riconoscimento di nomi (N) gold standard: 100 N e 60 non-nomi N non N N 70 (TP) 15 (FP) non N 30 (FN) 45 (TN) Gold Standard output errati (FP) Output del sistema output mancati (FN) 26

27 Valutazione di sistemi di NLP Metriche di valutazione Precision (P) Recall (R) TP TP + FP TP TP + FN in genere precision e recall sono due valori in competizione aumentare la precisione del sistema porta spesso a penalizzare la recall e viceversa F-Measure (media armonica di P e R) 2PR P + R 27

28 Metriche di valutazione Esempio: riconoscimento di nomi (N) Precision = 70 / ( ) = 70 / 85 = 0,82 Recall = 70 / ( ) = 70 / 100 = 0,7 F-measure = (2 * 0,82 * 0,7) / (0,82 + 0,7) = 0,75 N non N N 70 (TP) 15 (FP) non N 30 (FN) 45 (TN) Gold Standard TP + FP Output del sistema TP + FN 28