Linguistica Computazionale. 30 novembre 2016

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Linguistica Computazionale. 30 novembre 2016"

Aloisia Casini
5 anni fa
Visualizzazioni

1 Linguistica Computazionae 30 novembre 2016

2 Part-of-Speech Tagging Feature utiizzate: feature ocai: forma, unghezza de token, presenza di punteggiatura a interno de token (es. Acronimi C.N.R.), prefisso, suffisso, caratteristiche tipografiche de token feature contestuai: token precedente, token successivo, risutato de anaisi de token precedente, possibii cassi grammaticai dea paroa successiva (estratti da iveo di anaisi morfoogica ambigua) di soito non si usano feature Gobai 2

3 Estrazione dee feature: Feature ocai Esempio di frase annotata con POS (frase presente ne training set): (La, D) (Roma, S) (ha, V) (vinto, V) (a, D) (partita, S) (a, P) (Miano, S) feature attive per a casse S Features Locai: Prefisso=Ro Suffisso=ma Forma=Roma Lunghezza=4 3

4 Estrazione dee feature: Feature contestuai Esempio di frase annotata con POS (frase presente ne training set): (La, D) (Roma, S) (ha, V) (vinto, V) (a, D) (partita, S) (a, P) (Miano, S) feature attive per a casse S Features Contestuai: Token(-1)= La POS(+1) = V Token(+2) = vinto 4

5 Estrazione dee feature I processo di estrazione dee feature restituisce per ogni coppia (input, output) a ista dee feature attive in que contesto per a casse output Features Attive per S: Suffisso=Ro Prefisso=ma Forma=Roma Lunghezza=4 Token(-1)= a POS(+1)=V Token(+2)=vinto Queste feature si aggiungono a quee già estratte per a stessa categoria (S) in atri eventi annotati a interno de corpus. 5

6 Feature Aa fine de processo di estrazione su tutto i corpus, agoritmo di apprendimento automatico cacoa a frequenza dee features assegna ae features un peso in funzione dea oro distribuzione statistica ne corpus I pesi indicano a forza o saienza dea feature ne indicare una certa casse come possibie output e possono essere visti come i modeo dea ingua che i sistema di addestramento crea nea fase di apprendimento 6

7 Feature I peso assegnato ad ogni feature dipende da agoritmo di machine earning utiizzato es: Maximum Entropy, Support Vector Machine, Perceptron, ecc. La sceta de particoare agoritmo determina otre che assegnamento de peso dee feature anche i tipo di funzione obiettivo sceta per a risouzione de particoare compito da affrontare Questi agoritmi sono estremamente compessi da punto di vista matematico e possono essere utiizzati da inguista computazionae come una sorta di back box, che prendono in input a ista dee feature con e reative frequenze e restituiscono a ista dee feature con i pesi associati 7

8 Agoritmo di Apprendimento Supervisionato: anaisi 2) Fase di anaisi: Modeo dea Lingua Testo non annotato features extractor Agoritmo basato su ML Anaisi Funzione obiettivo 8

9 Agoritmo di Apprendimento Supervisionato: anaisi La funzione obiettivo (o anche scoring function) cacoa un punteggio per ogni possibie casse di output i punteggio viene cacoato sua base dee feature estratte da testo da anaizzare, utiizzando i pesi dee feature presenti ne modeo dea ingua creato nea fase di apprendimento La funzione di score varia in base a tipo di agoritmo supervisionato utiizzato somme, motipicazioni o funzioni più compesse tra i pesi dee feature La casse a cui viene assegnato o score più ato è a casse vincente (i risutato de anaisi) 9

10 Un esempio di funzione obiettivo cassificatore ineare j y i = f ( w j x j ) y i = casse di output x 1,..., x n = features de input w 1,..., w n = pesi dee features apprese da agoritmo nea fase di training (parametri) f= funzione che converte e features pesate nea casse di output (es. probabiità che input appartenga aa casse y i ) 10

11 Un esempio di funzione obiettivo cassificatore ineare 11

12 Vautazione Test corpus corpus usato per a vautazione de sistema deve essere sempre diverso da training corpus God Standard (GS) (porzione de) test corpus annotato a mano, che rappresenta output corretto di riferimento N-fod crossvaidation metodoogia di vautazione ideae per quando i dati annotati sono imitati si divide i corpus annotato in n parti si compiono n cici di training-vautazione de sistema usando a turno ognuna dee n parti come test corpus e e restanti come training corpus a prestazione de sistema è a media dee prestazioni negi n esperimenti Baseine vaore che viene assunto come imite inferiore dee prestazioni rispetto a cui vautare a significatività degi incrementi de sistema 12

13 Metriche di vautazione Accuracy per sistemi che assegnano sempre un output (singoo) a ogni evento di input Accuracy = output _ corretti test _ corpus Esempio di vautazione di un PoS tagger test_corpus = 1200 tokens output corretti de sistema = 945 Accuracy = 945 / 1200 = 0,79 (79%) Baseine per PoS taggers accuracy che si ottiene assegnando a ciascuna paroa i tag più probabie 13

14 Metriche di vautazione Precision e Reca metriche derivate da Information Retrieva precisione = misura a correttezza dee risposte de sistema reca = misura a copertura de sistema output errati (FP) Output de sistema output corretti output mancati (FN) God Standard Output corretti (true positive, TP) numero degi output de sistema attestati ne GS Output errati (fase positive, FP) numero degi output de sistema non attestati ne GS Output mancati (fase negative, FN) numero dei casi ne GS per i quai i sistema non produce un output o produce un output errato 14

15 Metriche di vautazione Esempio: riconoscimento di nomi (N) god standard: 100 N e 60 non-nomi N non N N 70 (TP) 15 (FP) non N 30 (FN) 45 (TN) God Standard output errati (FP) Output de sistema output mancati (FN) 15

16 Vautazione di sistemi di NLP Metriche di vautazione Precision (P) Reca (R) TP TP + FP TP TP + FN in genere precision e reca sono due vaori in competizione aumentare a precisione de sistema porta spesso a penaizzare a reca e viceversa F-Measure (media armonica di P e R) 2PR P + R 16

17 Metriche di vautazione Esempio: riconoscimento di nomi (N) Precision = 70 / ( ) = 70 / 85 = 0,82 Reca = 70 / ( ) = 70 / 100 = 0,7 F-measure = (2 * 0,82 * 0,7) / (0,82 + 0,7) = 0,75 N non N N 70 (TP) 15 (FP) non N 30 (FN) 45 (TN) God Standard TP + FP Output de sistema TP + FN 17

Documenti analoghi

La solarità nelle varie zone italiane per il fotovoltaico

La solarità nelle varie zone italiane per il fotovoltaico Energia e Ambiente La soarità nee varie zone itaiane per i fotovotaico Modena 5 marzo 2008 Gianni Leanza Energia e Ambiente QUANTA ENERGIA ARRIVA DAL SOLE? Da Soe, si iberano enormi quantità di energia