Natural Language Processing. Parte 2: Part of Speech Tagging

Transcript

1 Natural Language Processing Parte 2: Part of Speech Tagging

2 2 Classi di parole - 1 Le parole possono essere raggruppate in classi dette Part of Speech (PoS) o classi morfologiche La grammatica tradizionale prevede poche tipologie di PoS (sostantivo, verbo, aggettivo, preposizione, avverbio, congiunzione, ecc..) Modelli più recenti considerano un numero maggiore di classi 45 Penn Treebank 87 Brown corpus 146 C7 tagset La PoS di una parola fornisce informazione fondamentale per determinare il ruolo della parola stessa e di quelle vicine nella frase sapere se una parola è un pronome personale (io, tu, egli,.. ) o un pronome possessivo (mio, tuo, suo, ) permette di definire meglio quali parole è più probabile trovare nelle sue vicinanze (le regole sintattiche considerano di fatto le PoS delle parole) es. pronome possessivo - sostantivo vs. pronome personale - verbo

3 3 Classi di parole - 2 Le classi sono in genere definite in base alle proprietà morfologiche o alla funzione sintattica delle parole parole che hanno funzioni simili in base agli affissi (proprietà morfologiche) parole che condividono contesti simili (proprietà legata alla loro distribuzione/ funzione sintattica) Non si fa in genere riferimento alla definizione di classi basate su coerenza semantica un sostantivo è un referente di persone, luoghi o cose Le classi considerate possono essere chiuse o aperte Le classi chiuse sono quelle che hanno dei membri fissi (es. preposizioni) Tendono a contenere le parole funzionali (di, e, che, da, in, ) che sono brevi, frequenti e hanno un ruolo nella grammatica Le classi aperte invece sono soggette all aggiunta di nuovi termini (es. verbi e sostantivi)

4 4 Classi di parole sostantivi/nomi Le 4 maggiori classi aperte di parole, previste dalla maggior parte dei linguaggi, sono sostantivi verbi avverbi aggettivi I sostantivi sono termini concreti (es. nave, tavolo), astrazioni (es. relazione, funzione), dal punto di vista funzionale possono essere legati a termini determinativi (la nave, una nave,..) e assumere anche la forma plurale (le navi), ecc.. Sono tradizionalmente suddivisi in nomi propri (es. Marco, Italia, ecc. ) e nomi comuni (es. libro, lezione, ecc..) In molti linguaggi i nomi comuni sono ulteriormente suddivisi in contabili (count nouns prendono il plurale) e non contabili (mass nouns si usano al singolare, es. neve, comunismo)

5 5 Classi di parole verbi e aggettivi La classe dei verbi include la maggior parte delle parole che fanno riferimento ad azioni e processi scrivere, andare, mangiare possono avere più forme morfologiche In Inglese non-3 rd -person-sg (eat), 3 rd -person-sg (eats), progressive (eating), past-participle (eaten), past perfect (ate) Una classe particolare di verbi sono gli ausiliari (essere, avere) La classe degli aggettivi contiene termini che descrivono proprietà o qualità La maggior parte dei linguaggi ha aggettivi per i concetti di colore (bianco, rosso,..), di età (giovane, vecchio,..), di qualità (buono, cattivo,..), ecc.

6 6 Classi di parole - avverbi In genere gli avverbi sono accumunati di avere una funzione di modifica di altri termini (non solo verbi) Gli avverbi direzionali o locativi specificano la direzione o la locazione di una certa azione (qui, là, laggiù, su,..) Gli avverbi di grado specificano il livello di un azione, processo o proprietà (estremamente, molto, poco,..) Gli avverbi di modo descrivono il modo di qualche azione o processo (lentamente, delicatamente, attentamente,..) Gli avverbi temporali descrivono la collocazione temporale di azioni o eventi (ieri, oggi, prima, dopo, poi, Lunedì,..) La classe degli avverbi è comunque abbastanza eterogenea Alcuni avverbi possono anche assimilati a sostantivi (es. Lunedì ci vediamo Lunedì, ci vediamo il Lunedì )

7 7 Classi di parole classi chiuse 1 Sono classi più diversificate da a Preposizioni: da, a, su, di, con, per, (on, under, by, at, with,..) Articoli determinativi/indeterminativi: il, la, lo, le, i, gli, un,.. (the, a, an) Pronomi: lei, lui, io, chi, altri, (I, you, she, who, others, ) Congiunzioni: e, ma, o, se, poiché, quando (and, but, or, if, because, when, ) verbi ausiliari: essere, avere, potere, dovere (be, have, can, must, ) numerali: uno, due, tre,.. primo, secondo (one, two,.., first, second) Le preposizioni occorrono prima di parti nominali (noun phrases) Semanticamente esprimono una relazione (spaziale, temporale, ecc..) In Inglese alcune preposizioni in certi contesti assumono un ruolo diverso e si possono attribuire alla categoria delle particelle es. on nelle frasi verbali come go on in cui hanno una funzione analoga ad un avverbio

8 8 Classi di parole classi chiuse 2 Gli articoli sono spesso la parte iniziale di una parte nominale Sono fra i termini più comuni (es. the in Inglese) Le congiunzioni sono utilizzate per connettere frasi Le congiunzioni coordinative sono usate per unire proposizioni dello stesso livello copulative (e,anche, pure,..), disgiuntive (o, oppure,..), avversative (ma, però,..), dichiarative/esplicative (infatti, cioè), conclusive (quindi, dunque, ), correlative (e e, o o, non solo ma anche,..) Le congiunzioni subordinative esprimono un fatto dipendente dalla proposizione principale dichiarative (che, come,..), condizionali (se, purché, qualora,..), causali (perché, poiché,..), finali (affinché, perché,..), concessive (sebbene, benché,..), consecutive (a tal punto che, cosicché,..), temporali (quando, prima,..), comparative (più che, tanto quanto,..), modali (come, come se,..), avversative (mentre, quando, invece,..), esclusive (fuorché, tranne che,..)

9 9 Classi di parole classi chiuse 3 I pronomi sono elementi che permettono di riferirsi in modo abbreviato a frasi nominali, entità o eventi I pronomi personali si riferiscono a persone o entità (io, tu, me,..) I pronomi possessivi esprimono il possesso o, in generale, una relazione astratta fra una persona e un qualche oggetto (mio, suo, nostro,..) I pronomi relativi permettono di mettere in relazione due proposizioni subordinando la frase introdotta a quella che contiene la parola sostituita (che, il quale, ) I pronomi dimostrativi indicano una persona o oggetto in riferimento a una relazione allo spazio, al tempo o al discorso (questo, quello, codesto,..) I pronomi indefiniti permettono di riferirsi a un generico oggetto, persona, evento (nessuno, ciascuno, ognuno, tutto,.)

10 10 Classi di parole classi chiuse 4 I verbi ausiliari vengono utilizzati in combinazione con altri verbi per dare un significato particolare alla forma verbale definire i tempi composti dei verbi (passato prossimo, trapassato remoto,..) si usa avere per i verbi transitivi, per i verbi intransitivi non c è una regola chiara. Alcuni verbi hanno entrambe le forme e usano ausiliari diversi (es. scendere Sono sceso dalle scale (intr.) vs. Ho sceso le scale (tr.)) esprimere la forma interrogativa o negativa di un verbo do in Inglese I do not (don t) walk, Do you like it? definire la forma passiva di verbi transitivi (essere, venire) definire una specifica modalità all azione (ausiliari modali o verbi servili) necessità/obbligo (dovere, avere da must, have to, need to) possibilità (potere may) volontà (volere will, wish) capacità (sapere, potere can)

11 11 Tagsets Sono stati definiti alcuni insiemi di tag da utilizzare per il PoS tagging In riferimento alla lingua Inglese i tagset disponibili hanno un dettaglio variabile Penn Treebank tagset: 45 tags (Marcus et al. 1993) C5 tagset: 61 tags (CLAWS project by Lacaster UCREL, 1997) C7 tagset: 146 tags (Leech et al. 1994) I tag sono in genere aggiunti alla fine della parola dopo / Il Penn Treebank tagset non descrive alcune proprietà che possono essere comunque ricavate dall analisi dell entità lessicale o dalla sintassi es. le preposizioni e le congiunzioni subordinate sono combinate in un unico tag IN perché sono comunque disambiguate nell albero di analisi

12 12 Penn Treebank tagset Tag Description Example Tag Description Example CC Coordin. Conjunction and, but, or SYM Symbol +, %, CD Cardinal number one, two TO to to DT Determiner a, the UH Interjection ah, uh, oops EX Existential there there VB Verb, base form eat FW Foreign word mea culpa VBD Verb, past tense ate IN Preposition/sub-conj of, in, by VBG Verb, gerund eating JJ Adjective yellow VBN Verb, past particip. eaten JJR Adj. comparative bigger VBP Verb, non-3sg pres eat JJS Adj. superlative biggest VBZ Verb, 3sg pres eats LS List item marker 1,2,3 WDT Wh-determiner which, that MD Modal can, should WP Wh-pronoun what, who NN Noun, singular/mass dog, snow WP$ Possessive wh- whose NNS Noun, plural dogs WRB Wh-adverb how, where NNP Proper noun, singul. Marco $ Dollar sign $ NNPS Proper noun, plural Alps # Pound sign # PDT Predeterminer all, both Left quote POS Possessive ending s Right quote PP Personal pronoun I, you, he ( Left parenthesis ( [ { < PP$ Possessive pronoun my, your ) Right parenthesis ) ] } > RB Adverb never, often, Comma, RBR Adverb, comparative faster. Sentence-final pun.!? RBS Adverb, superlative fastest : Mid-sentence punt. : ; - RP Particle up, on,off

13 13 PoS tagging & tags Il PoS tagging consiste nell assegnare un tag a ciascuna parola di un documento/corpus La scelta del tagset da usare dipende dalla lingua/applicazione L ingresso è una stringa di parole e un tagset da utilizzare e l uscita è l associazione ad ogni parole del migliore tag Ci possono essere più tag compatibili con una parola (ambiguità) Il compito del PoS tagger è di risolvere queste ambiguità scegliendo il tag più appropriato in base al contesto in cui si trova la parola La percentuale di parole ambigue non è elevata, ma fra queste ci sono parole molto frequenti (es. can Auxiliary verb [potere], Noun [lattina], Verb [inscatolare], still che può avere 7 tag adj, adv, verb, noun)

14 14 Algoritmi per PoS tagging Tagger basati su regole Prevedono la creazione manuale di un ampio database di regole che specificano per i casi ambigui le condizioni da verificare per l assegnazione di ogni tag possibile es. una parola è un sostantivo se è preceduta da un articolo Tagger probabilistici In genere risolvono le ambibuità stimando la probabilità che una data parola abbia un dato tag in un dato contesto usando un corpus di riferimento Altri approcci tagging come classificazione (ogni tag corrisponde ad una classe e si utilizza un classificatore che elabora delle feature che descrivono le parole del contesto) Tagger basati su regole apprese da esempi

15 15 Rule-based PoS tagging Processo in due fasi (es. ENGTWOL Voutilainen, 1995) Assegnazione dei tag alle parole in base a un dizionario (eventualmente più tag per parola) usando le regole morfologiche/ortografiche text stem PoS PoS features Pavlov PAVLOV N NOM SG PROPER had HAVE V PAST VFIN SVO HAVE PCP2 SVO shown SHOW PCP2 SVOO SVO SV that THAT THAT THAT THAT ADV PRON DEM SG DET CENTRAL DEM SG CS salivation SALIVATION N NOM SG Applicazione di regole per assegnare un solo tag fra quelli possibili

16 16 Rules Le regole hanno lo scopo di eliminare le ipotesi incompatibili col contesto In ENGTWOL sono definite circa 1100 regole ENGTWOL prevede anche vincoli probabilistici e l uso di informazione di tipo sintattico.

17 17 Tagging probabilistico con HMM Data una sequenza di parole un tagger basato su HMM sceglie la sequenza di tag che massimizza al probabilità La probabilità è assegnata all intera sequenza di tag ovvero si trova la sequenza di tag a massima verosimiglianza (Viterbi) data la sequenza di parole osservate W Applicando la regola di Bayes l espressione precedente può essere riscritta come

18 18 HMM tagging ipotesi del modello Utilizzando la regola a catena per la fattorizzazione delle probabilità Per semplificare il modello si fanno delle approssimazioni, come La probabilità di una parola è dipendente solo dal tag La dipendenza di un tag dalla storia dei tag precedenti è limitata nel tempo, ad esempio ai due tag precedenti

19 19 HMM tagging modello e stima dei parametri Con le ipotesi fatte la sequenza di tag ottimale è quella che massimizza Le probabilità richieste possono essere stimate con i conteggi su una dataset etichettato applicando opportune tecniche di smoothing/backoff Il modello proposto è un HMM di ordine 2 i cui stati corrispondono ai tag e le osservazioni alle parole La sequenza ottimale di stati (tag) può essere calcolata con l algoritmo di Viterbi Questo algoritmo permette di ottenere un accuratezza di circa il 96% (Weischedel et al. 1993; DeRose 1988)

20 20 Parole sconosciute Gli algoritmi di PoS tagging sono basati su un dizionario che permette di elencare i possibili tag da assegnare ad ogni parola Se si presenta una parola sconosciuta (nome, acronimo, neologismo) Il tagger utilizzerà i tag del contesto per determinare il tag più probabile Si può poi supporre che sia ambigua rispetto a tutti i tag con uguale probabilità In alternativa si può utilizzare la distribuzione dei tag per le parole rare nel corpus di addestramento (ad esempio quelle che si presentano una sola volta) Il caso più probabile è che siano nomi, poi verbi Si possono usare anche informazioni morfologiche parole in Inglese che terminano con s è probabile che siano sostantivi plurali termini che inziano con una maiuscola è probabile che siano nomi propri parole che hanno suffissi standard di certe classi (-ion al ive ly)

21 21 Hidden Markov Models Un HMM è un modello statistico di un sistema caratterizzato da un insieme finito di stati non osservabili La parte osservabile è l uscita che dipende dallo stato Ciascuno stato è caratterizzato da una specifica distribuzione per i possibili valori di uscita La sequenza visibile delle uscite fornisce quindi informazione sulla sequenza di stati attraversati dal sistema per generarla ma questa è di fatto nascosta L evoluzione dello stato è modellato come un processo Markoviano x(t-1) x(t) x(t+1) y(t-1) y(t) y(t+1) Hidden state sequence (random variables) Observed output sequence (random variables)

22 22 HMM - definizione Un Hidden Markov Model (di ordine 1) è definito da Un insieme finito di N stati Q={q 1,q 2,,q N } Un insieme di probabilità di transizione organizzate in una matrice di transizione A={a ij } i,j=1,..,n con Una distribuzione iniziale di probabilità π su Q, tale che Un insieme di distribuzioni di uscita B = {b i (o k )} i=1,..,n k=1,,m che definiscono le probabilità di emettere un dato simbolo o k quando il sistema è nello stato q i

23 23 HMM - problemi a 13 a22 a 44 a 12 a 23 a 34 q 1 q 2 q 3 q 4 a 24 o 1. o 8 o 1. o 8 o 1. o 8 o 1. o 8 Data una sequenza osservata O=o 1 o 2.o T stimare la probabilità che sia stata generata dal modello Data una sequenza osservata O=o 1 o 2.o T stimare la sequenza di stati x 1 x 2.x T che l ha generata dato il modello Dato un insieme di sequenze generate dal modello, O k =o 1k o 2k.o T kk, stimare i parametri del modello A, B, π in modo da massimizzare la verosimiglianza di tutte le sequenze O k

24 24 HMM p(o M) Si tratta di calcolare la probabilità di una data sequenza osservata dato il modello Si può formulare in modo efficiente (algoritmo forward) Si definiscono i coefficienti α come la probabilità di avere osservato la sequenza parziale o 1 t = o 1 o 2 o t e di essere nello stato q i al tempo t I coefficienti α possono essere calcolati iterativamente nel tempo a partire dalla distribuzione iniziale π per t=1 probabilità di essere nello stato x(0)=q i probabilità di generare o 1 nello stato x(0)=q i

25 25 HMM algoritmo forward 1 Il passo iterativo è q 1 a 1i probabilità di generare o t+1 nello stato x(0)=q i q i a 1N q N La terminazione è

26 26 HMM- algoritmo forward 2 L algoritmo può essere visualizzato con un grafo forward La complessità è dell ordine O(TN 2 ) o 1 o 2 o 3 o 4 o 5 o 6 q 4 π 4 q 3 q 2 π 3 π 2 p(o M) q 1 π 1 α 1 α 2 α 3 α 4 α 5 α 6

27 27 HMM - allineamento Qual è la sequenza di stati che meglio spiega una data osservazione? Permette di allineare la sequenza di osservazioni O con una sequenza di stati X della stessa lunghezza Una soluzione è l algoritmo di Viterbi che massimizza P(X O,M) Si definiscono le variabili in cui x(1) x(t-1) è la sequenza di stati più probabile date le osservazioni o 1 o t e lo stato finale q i La sequenza ottimale di stati viene memorizzata nelle variabili

28 28 HMM algoritmo di Viterbi La procedura complessiva prevede i seguenti passi inizializzazione ricorsione terminazione δ t (o t 1,q i ) = max 1 j N δt 1 (o t 1 1,q j )a ji bi (o t ) ψ t (o 1 1,q i ) = argmax 1 j N δt 1 (o t 1 1,q j )a ji Backtracking per il calcolo della sequenza di stati

29 29 HMM- algoritmo di Viterbi 2 L algoritmo individua il percorso ottimale per le transizioni di stato sul trellis delle transizioni o 1 o 2 o 3 o 4 o 5 o 6 q1q2q2q2q4q4 q 4 π 4 q 3 π 3 q 2 π 2 q 1 π 1 δ 1 δ 2 δ 3 δ 4 δ 5 δ 6

30 30 HMM - addestramento I parametri del modello M=(A,B,π) possono essere stimati a partire da un insieme di sequenze Supponendo che tutte le sequenze assegnate siano indipendenti fra loro si può massimizzare la probabilità di tutte le sequenze dato il modello Non esiste una soluzione analitica a questo problema ma gli algoritmi noti sono approssimano iterativamente la soluzione (senza garanzie di trovare l ottimo assoluto) L Algoritmo di Baum-Welch utilizza un meccanismo di tipo EM (Expectation Maximization) La difficoltà del problema è che la sequenza di stati non è nota ma va stimata e quindi non si possono usare direttamente i meccanismi classici della stima a Maximum Likelihood che utilizzano le frequenze per stimare le probabilità per stimare a ij come si fa a sapere la frequenza delle transizioni da i a j?