Linguistica Computazionale. 25 ottobre 2016

Transcript

1 Linguistica Computazionae 25 ottobre 2016

2 Probabiità congiunte sequenze di paroe Esperimento estrarre 2 paroe consecutive da un testo bigramma = sequenza di 2 paroe n-gramma = sequenza di n paroe Qua è a probabiità di estrarre un bigramma <Art, N>? a probabiità di estrarre una paroa v 2 (consecutiva a v 1 ) non è indipendente daa probabiità di estrarre v 1 dipendenze sintattiche, semantiche, ecc. determinate daa grammatica es. gi articoi tendono a essere seguiti da nomi poiché Art e N non sono indipendenti, P(Art, N) P(Art) * P(N) 2

3 Cacoo dei bigrammi i presidente ha dichiarato a sua indisponibiità ad ogni trattativa. Bigrammi nea frase i<>presidente presidente<>ha ha<>dichiarato dichiarato<>a a<>sua sua<>indisponibiità indisponibiità<>ad ad<>ogni ogni<>trattativa trattativa<>..<>$ C = 11 tokens bigrammi = 11 bigrammi = C i numero di bigrammi è uguae a numero di token, se aggiungiamo dopo utimo token un token segnaposto di fine testo 3

4 Probabiità congiunte probabiità di bigrammi Per stimare a probabiità di un bigramma <v 1, v 2 > usiamo a frequenza reativa de bigramma <v 1, v 2 > in un testo Ipotesi: C = 100 f N = 20 f Art = 25 f V = 20 bigrammi = C = 100 f Art, N = 18 f Art, V = 3 gi articoi tendono a precedere i nomi, ma esistono anche acuni infiniti sostantivati P(Art, N) f Art, N / C = 18/100 = 0,18 Da momento che f V = f N, se vaesse ipotesi di indipendenza, avremmo anche che P(Art, N) = P(Art, V) P(Art, N) = P(Art) * P(N) = f Art / C * f N / C = 25/100 * 20/100 = 0,25 * 0,2 = 0,05 P(Art, V) = P(Art) * P(V) = f Art / C * f V / C = 25/100 * 20/100 = 0,25 * 0,2 = 0,05 ma questo è faso!!! infatti vae che, P(Art, V) f Art, V / C = 3/100 = 0,03 4

5 Probabiità condizionata P(A B) probabiità che si verifichi A dato che sappiamo che è avvenuto B se A e B sono dipendenti, i fatto di sapere che B è avvenuto atera a probabiità da assegnare ad A, ovvero P(A) P(A B) Supponiamo di avere estratto un bigramma <v 1, v 2 > e di sapere che v 1 = Art. Qua è a probabiità che v 2 = N? equivaente a determinare i vaore di P(N Art) Per stimare P(N Art), consideriamo i rapporto tra i bigrammi <Art, N> e i bigrammi <Art, v i > (= insieme di tutti i bigrammi a cui prima paroa è un articoo) P(N Art) f Art, N /f Art, vi poiché in pratica f Art, vi = f Art aora P(N Art) = f Art, N /f Art P(N Art) = f Art, N /f Art = 18/25 = 0,72 Attenzione!!! P(N Art) = 0,72 P(N) = 0,2 5

6 Probabiità condizionata P(A B) probabiità che si verifichi A dato che sappiamo che è avvenuto B se A e B sono dipendenti, i fatto di sapere che B è avvenuto atera a probabiità da assegnare ad A, ovvero P(A) P(A B) Supponiamo di avere estratto un bigramma <v 1, v 2 > e di sapere che v 1 = Art. Qua è a probabiità che v 2 = N? equivaente a determinare i vaore di P(N Art) Per stimare P(N Art), consideriamo i rapporto tra i bigrammi <Art, N> e i bigrammi <Art, v i > (= insieme di tutti i bigrammi a cui prima paroa è un articoo) P(N Art) f Art, N /f Art, vi poiché in pratica f Art, vi = f Art aora P(N Art) = f Art, N /f Art P(N Art) = f Art, N /f Art = 18/25 = 0,72 Attenzione!!! P(N Art) = 0,72 P(N) = 0,2 6

7 Probabiità condizionata Dato P(N Art) = f Art, N / f Art, posso dividere numeratore e denominatore per C, esprimendo P(Art N) come rapporto tra frequenze reative, ovvero tra probabiità: P(N Art) = f Art, N /f Art = 0,72 P(N Art) = f Art, N / C / f Art / C = P(Art, N) / P(Art) P(Art, N) / P(Art) = 0,18 / 0,25 = 0,72 In generae vae che (se P(B) 0): P( A B) = P( A B) Regoa de Prodotto P( B) P( A B) = P( B) P( A B) ATTENZIONE!! Se A e B sono indipendenti, P(A B) = P(A) P(A B) = P(B)*P(A B)=P(B)*P(A) 7

8 Probabiità congiunte probabiità di bigrammi Ipotesi: C = 100 f N = 20 f Art = 25 f V = 20 bigrammi = C = 100 f Art, N = 18 f Art, V = 3 P(Art, N) f Art, N / C = 18/100 = 0,18 P(Art, V) f Art, V / C = 3/100 = 0,03 N, V e Art non sono indipendenti!!! P(N Art) = 0,72 P(N) = 0,2 P(V Art) = 0,12 P(V) = 0,2 Per cacoare a probabiità congiunta è necessario usare a probabiità condizionata P(Art, N) = P(Art) * P(N Art) (regoa de prodotto) P(Art, N) f Art / C * f Art, N /f Art = 25/100 * 18/25 = 0,25 * 0,72 = 0,18 P(Art, V) = P(Art) * P(V Art) (regoa de prodotto) P(Art, V) f Art / C * f Art, V /fart = 25/100 * 3/25 = 0,25 * 0,12 = 0,03 8

9 Modei a n-grammi Language modeing i modei a n-grammi assegnano una distribuzione di probabiità a sequenze di paroe (P(w 1,,w n )) Word prediction data una sequenza di paroe w 1,,w n-1, qua è a paroa w n che segue a sequenza? I cane ha mangiato a X rispondere a questa domanda è equivaente a trovare a paroa w che massimizza a seguente probabiità: P(w w 1,, w n-1 ) equivae a determinare a paroa w per a quae P(w 1,,w n-1,w) ha i vaore maggiore 9

10 Chain Rue La regoa de prodotto può essere generaizzata per cacoare a probabiità di n eventi congiunti Chain Rue P(A 1,,A n ) = P(A 1 ) P(A 2 A 1 ) * P(A 3 A 1,A 2 ) * * P(A n A 1,,A n 1 ) La Chain Rue permette di cacoare a probabiità di sequenze di caratteri, paroe, frasi Esperimento estrarre sequenze (stringhe) di 6 caratteri da un testo Qua è a probabiità di estrarre a stringa azione? P(a,z,i,o,n,e) = P(a)*P(z a)*p(i a,z)*p(o a,z,i)*p(n a,z,i,o)*p(e a,z,i,o,n) e probabiità possono essere stimate con e frequenze di n-grammi 10

11 Chain Rue Esperimento estrarre frasi di 6 paroe da un testo Qua è a probabiità dea frase La macchina rossa insegue a bicicetta? P(a, macchina, rossa, insegue, a, bicicetta) = P(a)*P(macchina a)*p(rossa a, macchina)*p(insegue a, macchina, rossa)*p(a a, macchina, rossa, insegue)*p(bicicetta a, macchina, rossa, insegue, a) PROBLEMA! È difficie stimare probabiità condizionate da stringhe moto unghe bisogna avorare con trigrammi, quadigrammi, ecc. 11

12 Stimare a probabiità di una frase I dati sono troppo sparsi in Pinocchio e paroe hapax sono i 54,74%; i bigrammi hapax sono (su ) (75%), e i numero degi hapax cresce se passiamo a trigrammi o quadrigrammi Se uno dei termini dea chain rue è 0, intera frase riceve probabiità = 0 Probema: come distinguere una frase rara ma possibie, da una impossibie (= agrammaticae) Gianni crede che Maria pensi che Paoo abbia a macchina. * Paoo a ha macchina. i rischio è che a causa dea sparsità dei dati ad entrambe e frasi venga assegnata probabiità = 0 12

13 Modei di Markov Un modeo di Markov di ordine n assume che ciascun evento E i in una sequenza di eventi E 1,,E n dipende soo da una finestra imitata di n eventi che o precedono gi n eventi da cui E i dipende rappresentano a sua storia Modeo di Markov di ordine 0 ogni evento è indipendente dagi atri Modeo di Markov di ordine 1 P(A 1,,A n ) = P(A 1 ) P(A 2 ) * * P(A n ) ogni evento dipende soo da evento precedente P(A 1,,A n ) = P(A 1 ) P(A 2 A 1 ) * P(A 3 A 2 ) * * P(A n A n 1 ) Modeo di Markov di ordine 2 ogni evento dipende soo dai due eventi precedenti P(A 1,,A n ) = P(A 1 ) P(A 2 A 1 ) * P(A 3 A 1, A 2 ) * * P(A n A n 2, A n 1 ) 13

14 Modei (catene) di Markov I modei (catene) di Markov permettono di creare modei probabiistici di sequenze inguistiche per e quai si assume che esista un particoare tipo di dipendenza tra gi eementi dea sequenza Per un modeo di ordine 1, vae che P(w 1,,w n ) = P(w 1 ) P(w 2 w 1 ) * P(w 3 w 2 ) * * P(w n w n 1 ) In un modeo di Markov di ordine n a probabiità di una sequenza è cacoata come i prodotto di probabiità di n+1-grammi modei di ordine 1 à bigrammi P(w n w n 1 ) = f (< w n 1,w n >) f (w n 1 ) modei di ordine n à n+1 grammi P(w n w n i,...,w n 1 ) = f (< w n i,...,w n 1,w n >) f (< w n i,...,w n 1 >) 14

15 Modei (catene) di Markov Qua è a probabiità di La macchina rossa insegue a bicicetta? assunzione markoviana: a probabiità di ciascuna paroa dipende soo daa paroa precedente modeo di markov di ordine 1 P(a, macchina, rossa, insegue, a, bicicetta) = P(a)*P(macchina a)*p(rossa macchina)*p(insegue rossa)*p(a insegue)*p(bicicetta a) e probabiità possono essere stimate con a frequenza di bigrammi di paroe in un corpus meno sparsi di trigrammi, ecc. P(a, macchina, rossa, insegue, a, bicicetta) f(a)/ C * f(a, macchina)/f(a) * f(macchina, rossa)/f(macchina) * f(rossa, insegue)/ f(rossa) * f(insegue, a)/f(insegue) * f(a, bicicetta)/f(a) 15

16 Generative anguage modes Sia S un certo insieme di strutture inguistiche (es. paroe, frasi, ecc.) definire un modeo probabiistico markoviano per S equivae ad assumere che e strutture di S sono state generate da un sistema probabiistico, che produce que tipo di strutture secondo una certa distribuzione di probabiità (modei generativi) per ogni struttura s S, esiste una certa probabiità che essa venga generata da sistema a probabiità che venga prodotta una certa paroa dipende soo da un numero n imitato di paroe precedenti Definizione de modeo = decidiamo ordine dea catena markoviana Stima dei parametri = stimiamo e probabiità condizionate che compongono i modeo markoviano usando n-grammi estratti da un corpus 16