Linguistica Computazionale. 7 novembre 2017

Transcript

1 Linguistica Computazionae 7 novembre 2017

2 Modei di Markov in inguistica I modei a n-grammi sono usati per i risovere i probema de word prediction data una sequenza di paroe w 1,,w n-1, qua è a paroa seguente w n? storia I cane ha mangiato a X paroa da predire adottare un modeo di Markov di ordine 1, impica assumere che ciascuna paroa dipende soo daa paroa precedente per i word prediction vengono in genere adottati modei a trigrammi (modei di ordine 2) 2

3 La ingua e i modei di markov Addestriamo un modeo di markov di ordine n a partire da un corpus di addestramento (CA) Usiamo i modeo addestrato per generare sequenze di paroe e paroe vengono generate con una probabiità dipendente dai parametri de modeo Modeo di markov di ordine 0 cane i i mangia rincorso ha i e ha gatto i cane rincorso paa i... Modeo di markov di ordine 1 i cane i gatto rincorre e a paa ha ricorso i gatto a paa i gatto... Modeo di markov di ordine 2 i cane rincorre a paa i gatto ha rincorso i cane... Con aumentare de ordine, e sequenze generate da modeo approssimano megio i vincoi strutturai dea ingua reae 3

4 Modei di Markov in inguistica un esempio Language recognition task - Come possiamo decidere se a stringa action è itaiana o ingese senza avere un dizionario a disposizione? confrontiamo a probabiità che questa stringa sia generata da un modeo di markov per itaiano con a probabiità che sia generata da un modeo di markov per ingese P(a,c,t,i,o,n) = P(a)*P(c a)*p(t c)*p(i t)*p(o i)*p(n o) modeo di markov di ordine 1 4

5 Modei di Markov in inguistica un esempio P(a,c,t,i,o,n) = P(a)*P(c a)*p(t c)*p(i t)*p(o i)*p(n o) Ingredienti: due training corpora rappresentativi de itaiano e de ingese con cui stimare e probabiità ATTENZIONE! In itaiano a sequenza ct è moto meno frequente che in ingese, e dunque P(t c) stimata su corpus ingese è moto maggiore che P(t c) stimata su corpus itaiano a parità degi atri fattori, P itaiano (a,c,t,i,o,n) < P ingese (a,c,t,i,o,n) è moto meno probabie che a stringa action venga generata da da sistema probabiistico itaiano che da queo ingese 5

6 Le paroe in contesto You sha know a word by the company it keeps J. R. Firth (1957) XXXXX andamento_dea_x; istino_di_x; cao_dea_x; operatore_di_x; quotazione_in_x; capitae_di_x; prezzo_di_x; coocamento_in_x; crac_dea_x; giocare_in_x; quotato_in_x XXXXX X_in_spaa; X_di_pee; richiudere_a_x; portare_a_x; dimenticare_a_x; mettere_nea_x; tenere_nea_x; tenere_a_x; X_a_tracoa; cerniera_dea_ X 6

7 Associazioni tra paroe L anaisi dei contesti inguistici (anaisi distribuzionae) rivea e preferenze combinatorie dee paroe acuni contesti emergono come più caratteristici (= più frequenti) e paroe variano considerevomente per i grado di ibertà con cui si combinano Acune potenziaità combinatorie sono determinate da tratti morfosintattici e semantici generai dee paroe stesse, in quanto membri di una casse inguistica astratta Gianni ha visto un topoino grigio ARTICOLO NOME CONCRETO AGGETTIVO COLORE e espressioni inguistiche che condividono i medesimi tratti possono dunque essere sostituite ae paroe dea frase originaria per ottenere nuove frasi grammaticai Gianni ha visto a mucca marrone, Gianni ha mangiato a fragoa rossa, ecc. 7

8 Associazioni tra paroe Esistono nea ingua atri tipi di combinazioni essicai che si basano su egami non riconducibii a cassi inguistiche generai A notte fonda c era a una piena Gi aberghi sono cari in ata stagione Gianni ha a vista unga Associazioni che riguardano due (o più) forme essicai specifiche se una dee paroe viene sostituita con un sinonimo si ottengono dei risutati bizzarri, anomai o comunque atipici Gianni ha a vista {ampia, estesa, ecc.}. A notte {scura, profonda, ecc.} c era a una {tonda, chiara, ecc.}. Gi aberghi sono cari in {eevata, avanzata, ecc.} stagione. 8

9 Coocazioni Combinazioni di 2 o più paroe caratterizzate da un eevato grado di associazione reciproca, determinata daa tendenza a ricorrere una accanto a atra, ovvero a co-occorrere (Sincair 1991) argomenti o modificatori tipici inseguire una macchina, mangiare un panino, bere una bibita, avare e mani, tagiare una fune, auto veoce, etc. argomenti o modificatori idiosincratici accarezzare un idea, mangiare a povere, accampare una scusa, sedare una rivota, battere moneta, battere cassa, acerrimo nemico, ecc. costruzioni idiomatiche tagiare a corda, tirare e cuoia, gatta morta, acqua cheta, votare pagina, battere cassa, ecc. costruzioni a verbo supporto fare attenzione, dare manforte, prendere posto, prendere un caffè, prendere atto, ecc. nomi propri composti Stati Uniti d America, ecc. termini tecnici sistema operativo, corte d assise, egge deega, regime aimentare, ecc. 9

10 Due sensi dea nozione di coocazione (Evert 2007) Coocazioni come concetto empirico (senso ampio) combinazioni ricorrenti e predicibii di paroe, osservate ne uso inguistico (= corpora) Coocazioni come concetto teorico (senso stretto) espressioni poirematiche fortemente essicaizzate, idiomatiche e idiosincratiche (cf. mutiword expressions) guidare un auto può essere una coocazione in senso ampio (perché auto è un compemento tipico e moto frequente di guidare), ma non è o in senso stretto tagiare a corda (ne senso di scappare) è una coocazione anche in senso stretto 10

11 Coocazioni tratti pecuiari Eevata convenzionaità e coocazioni sono tendenziamente espressione di usi convenzionai o stereotipati, tipici di particoari varietà inguistiche Ridotta composizionaità semantica i significato di una coocazione è moto spesso non immediatamente ricavabie daa composizione de significato dee paroe che a formano sign.{topoino grigio} = sign.{topoino} + sign.{grigio} sign. {gatta morta} sign.{gatta} + sign.{morta} Forte rigidità strutturae e coocazioni sono spesso resistenti a modificazioni aggettivai o avverbiai, o possono occorrere soo in particoari forme fesse e contesti sintattici Gianni ha tirato a corda.?? La corda è stata tirata da Gianni. 11

12 Coocazioni strutture inguistiche composizionai mangiare un panino coocazioni espressioni idiomatiche mangiare a fogia verbi supporto argomenti tipici terminoogia 12

13 Misure di associazione essicae Le coocazioni sono paroe con un ato grado di associazione reciproca Misure di associazione essicae quantificano a forza de egame tra due o più paroe su piano sintagmatico a nozione intuitiva di associazione essicae viene trasformata in un indice quantitativo e misurabie Assunzione generae se due o più paroe formano una coocazione in una certa varietà inguistica, è moto probabie che nei testi rappresentativi di tae varietà esse ricorrano insieme in maniera statisticamente significativa 13

14 A caccia di coocazioni anaisi inguistica de corpus seezione dee coppie di paroe costruzione di una tabea di contingenza per ogni coppia appicazione di una misura di associazione ordinamento dea coppie in base aa forza di associazione 14

15 A caccia di coocazioni anaisi inguistica de corpus seezione dee coppie di paroe costruzione di una tabea di contingenza per ogni coppia appicazione di una misura di associazione ordinamento dea coppie in base aa forza di associazione 15

16 Anaisi inguistica de corpus I corpus deve essere ameno tokenizzato Dopo essere sceso, uomo si aontanò. Dopo essere sceso, uomo si aontanò. Livei di annotazione inguistica (tipicamente reaizzati con strumenti automatici): emmatizzazione annotazione morfosintattica (PoS tagging) anaisi sintattica (parsing) 16

17 A caccia di coocazioni anaisi inguistica de corpus seezione dee coppie di paroe costruzione di una tabea di contingenza per ogni coppia appicazione di una misura di associazione ordinamento dea coppie in base aa forza di associazione 17

18 Seezione dee coppie di paroe (bigrammi) I presidente mangia mee. a grande mea è in fermento. e mee sono mature. Caro mangia i panino. Maria tagia a torta. Anna mangia a mea. Bigrammi essicai (emmatizzati): <presidente, mangiare> <mangiare, mea> <grande, mea> <mea, fermento> <mea, matura> <mangiare, panino> <tagiare, torta> <mangiare, mea> I tipo dei bigrammi che vengono seezionati dipende da iveo di annotazione inguistica de testo es. emmatizzazione, identificazione dei confini frasai, eventuae eiminazione di stop words (es. preposizioni, articoi, ecc.) 18

19 A caccia di coocazioni anaisi inguistica de corpus seezione dee coppie di paroe costruzione di una tabea di contingenza per ogni coppia appicazione di una misura di associazione ordinamento dea coppie in base aa forza di associazione 19

20 Dai bigrammi ae tabee di contingenza Numero totae bigrammi = 14 <mangiare, mea> <grande, mea> <mangiare, torta> <mangiare, panino> <mangiare, mea> <tagiare, torta> <prima, mea> <sbucciare, mea>, <mangiare, mea>, <prendere, panino> <mangiare, mea> <vendere, mea> < piccoa mea> <mangiare, pasta> tabea di contingenza per <mangiare, mea> y = mea y mea x = mangiare 4 3 x mangiare 5 2 RIGA x=mangiare = = 7 RIGA x mangiare = = 7 COLONNA y=mea = = 9 COLONNA y mea = = 5 20

21 Dai bigrammi ae tabee di contingenza Tabea di contingenza per un bigramma <u,v> C 1 = O 11 + O 21 C 2 = O 12 + O 22 R 1 = O 11 + O 12 R 2 = O 21 + O 22 O 11 - frequenza osservata de bigramma <u,v> (joint frequency) R 1, R 2, C 1, C 2 - frequenze marginai R 1 = f(u), frequenza assouta di u come prima paroa in un bigramma C 1 = f(v), frequenza assouta di v come seconda paroa in un bigramma N = O 11 + O 12 + O 21 + O 22 - numero compessivo dei bigrammi estratti 21

22 A caccia di coocazioni anaisi inguistica de corpus seezione dee coppie di paroe costruzione di una tabea di contingenza per ogni coppia appicazione di una misura di associazione ordinamento dea coppie in base aa forza di associazione 22

23 Frequenza come saienza La soa frequenza di una coppia <u,v> non è indicativa de suo grado di saienza coppie <aggettivo, nemico> ordinate per frequenza (corpus itwac) coppie <aggettivo, nemico> ordinate per misura di associazione (corpus itwac) 23

24 Frequenze osservate e frequenze attese Due paroe sono tanto più fortemente associate quanto più spesso si presentano insieme rispetto ae vote in cui ricorrono una indipendentemente da atra cf. f(<grande, nemico>) = 768, ma f(grande) = È necessario confrontare a frequenza osservata di una coppia <u,v> in un corpus con a sua frequenza attesa (expected frequency) frequenza attesa di <u,v>: frequenza dea coppia <u,v> che ci dovremmo aspettare di trovare se u e v fossero (statisticamente) indipendenti una da atra (= ricorressero insieme per caso ) 24