Linguistica Computazionale

Transcript

1 Linguistica Computazionae 14 novembre 2017

2 Incertezza e informazione Le probabiità servono per modeare fenomeni e sistemi i cui esito è incerto (fenomeni aeatori) L entropia è una misura de incertezza di un fenomeno (sistema) misura quanto è difficie predire qua è esito de fenomeno Da cosa dipende i grado di incertezza? numero di esiti aternativi possibii ancio di un dato = 6 esiti possibii estrazione di una carta = 52 esiti possibii estrazione di una carta ha un maggior grado di incertezza!! distribuzione dee probabiità per ciascun esito se gi esiti hanno probabiità uniforme è più difficie prevedere queo giusto (a parità de oro numero) cf. ancio di un dado non truccato vs. ancio di un dado in cui sappiamo che i 6 ha probabiità doppia di uscire degi atri numeri 2

3 Incertezza e informazione L informazione è a diminuzione de incertezza se un evento aeatorio si verifica, abbiamo ottenuto informazione più un evento è raro, più è informativo, maggiore è informazione che otteniamo sapendo che si è verificato cf. Oggi è sorto i soe vs. Oggi c è stata un ecisse di soe L entropia è a misura dea quantità di informazione portata dagi eventi prodotti da un processo o sistema aeatorio (formaizzato come una variabie casuae) 3

4 Variabie casuae Una variabie casuae (random variabe) è una variabie ai cui vaori è associata una distribuzione di probabiità (che specifica a probabiità di ogni vaore) probabiity mass function Una variabie casuae rappresenta un processo o sistema aeatorio un processo o sistema aeatorio è descritto da insieme di stati che esso può assumere e da una distribuzione di probabiità ad essi associata Possiamo rappresentare un testo o una ingua come una variabie casuae (W) es. un testo può essere immaginato come una sequenza di paroe generata secondo una certa distribuzione di probabiità i vaori (= stati) di W sono paroe, ciascuna con una probabiità associata (= a probabiità di una paroa di essere generata/osservata in una ingua) 4

5 Entropia puntuae L entropia è a misura dea quantità di informazione o incertezza di una variabie casuae L entropia è misurata in bits (cifre binarie) Supponiamo che ad ogni istante t i si debba trasmettere un messaggio per comunicare in quae stato si trova i sistema in t i es. quae paroa v è stata prodotta? che i messaggio debba essere in codice binario (una stringa di 0 e 1) Entropia puntuae (informazione) di una paroa h(v) = og 2 p(v) corrisponde a numero di bits necessari per trasmettere (= descrivere) che è stata estratta a paroa v 5

6 Entropia puntuae In generae, un numero binario di n cifre può codificare a massimo 2 n messaggi es. un numero binario di 2 cifre può codificare 4 messaggi diversi 00, 01, 10, 11 Se W ha n stati possibii (tutti equiprobabii), i numero di bits necessari per codificare ogni stato è og 2 n h(v) = og 2 n se gi stati de sistema sono equiprobabii, p(v) = 1/n e n = 1/p(v) quindi, h(v) = og 2 1/p(v) = - og 2 p(v) se W ha 1 stato possibie, h(v) = 0 bits se W ha 2 stati possibii, h(v) = 1 bits se W ha 4 stati possibii, h(v) = 2 bits 6

7 Entropia L entropia di un variabie W è i numero medio di bits necessari per codificare i suoi stati possibii Ne caso de testo (inguaggio), possiamo assumere che i vaori (= stati) di W siano gi eementi de vocaboario V C di un corpus C L entropia di W è a media de entropia dei suoi possibii stati H(W ) = v i =V c f (v i ) h(v i ) C H(W ) = p(v i )og 2 p(v i ) v i V C 7

8 Entropia H(W ) = p(v i )og 2 p(v i ) v i V C Se W ha n stati possibii equiprobabii entropia de sistema è uguae a entropia puntuae W = 4 stati equiprobabii (p(v) = 1/4) H(W) = - (1/4*og 2 1/4+1/4*og 2 1/4+1/4*og 2 1/4+1/4*og 2 1/4) H(W) = - (1/4*(-2)+1/4*(-2)+1/4*(-2)+1/4*(-2)) H(W) = - (-1/2-1/2-1/2-1/2) = -(-2) = 2 bits (= og 2 4) L entropia aumenta co crescere de numero degi stati possibii W = 8 stati equiprobabii H(W) og 2 8 = 3 bits 8

9 Entropia W = produzione di una paroa (esiti non equiprobabii!!) V(W) = {i, cane, mangia, gatto} P(cane) = 1/4 P(i) = 1/2 P(mangia) = 1/8 P(gatto) = 1/8 H(W) = - (1/4*og 2 1/4 + 1/2*og 2 1/2 + 1/8*og 2 1/8 + 1/8*og 2 1/8) H(W) = - (0,25*(-2) + 0,5 * (-1) + 0,125 * (-3) + 0,125 * (-3)) H(W) = - (-0,5-0,5-0,375 0,375) = 1,75 bits L entropia (media) de sistema è minore di quea che si avrebbe se i suoi stati fossero equiprobabii cf. H(W) con 4 stati equiprobabii = 2 bits 9

10 Entropia e codice ottimae L entropia permette di stabiire i codice ottimae per descrivere un sistema aeatorio Codice di Shannon-Fano gi stati più probabii (più frequenti) sono descritti usando messaggi più corti, gi stati meno probabii sono descritti usando messaggi più unghi stati de sistema = {i, cane, mangia, gatto} p(cane) = 1/4 p(i) = 1/2 p(mangia) = 1/8 p(gatto) = 1/8 codifica ottimae in bits i = 0 cane = 10 gatto = 110 mangia = 111 entropia di un sistema che usa questo tipo di codifica per trasmettere messaggi è di 1,75 bits 10

11 Entropia A parità di numero di esiti possibii, meno uniforme è a distribuzione di probabiità e minore è entropia 11

12 Entropia e organizzazione L entropia aumenta con aumentare degi stati possibii di un sistema A parità di stati possibii entropia diminuisce se aumenta a struttura e organizzazione de sistema aumenta a predicibiità dee dinamiche de sistema entropia maggiore ridondanza de informazione regoarità nee dinamiche de sistema esistenza di schemi e pattern ricorrenti nea sequenza degi stati, ecc. 12

13 Un appicazione de entropia L entropia viene utiizzata per individuare e paroe più informative su contenuto di un testo Più una paroa è uniformemente distribuita in testi diversi, minore è a sua informatività 'eettrone, insieme a protone e neutrone, è parte dea struttura degi atomi i comuni sono parte dea struttura dea Pubbica Amministrazione parte dee squadre di cacio sono ormai in crisi economica 13

14 Un appicazione de entropia Entropia di una paroa in un corpus di testi C H(w) = p(< w,t i >)og 2 p(< w,t i >) t i C p(<w,t i >) = probabiità che w ricorra ne testo t i viene stimata come i rapporto tra a frequenza di w in t i e a frequenza compessiva di w in C 14

15 Un appicazione de entropia C = {t 1,t 2,t 3 } (numero di testi ne corpus) Distribuzione dee paroe w 1 e w 2 ne corpus f(w 1,t 1 ) = 4 f(w 1,t 2 ) = 2 f(w 2,t 1 ) = 2 f(w 2,t 2 ) = 2 f(w 2,t 3 ) = 2 H(w 1 ) = -(4/6*og 2 (4/6) + 2/6*og 2 (2/6)) = 0.91 H(w 2 ) = -(2/6*og 2 (2/6) + 2/6*og 2 (2/6) + 2/6*og 2 (2/6)) = 1.58 a paroa w 1 ha entropia minore ed è più utie per caratterizzare i contenuto dei testi, perché distribuita in maniera meno uniforme L entropia viene usata per pesare e paroe con cui indicizzare i testi 15

16 Entropia puntuae e human sentence processing Le difficotà di processing di una paroa w i in una frase w 1,,w i,, w n sono proporzionai a suo tempo di ettura (es. misurata con eye-tracking) I tempi di ettura sono di w i sono proporzionai aa sorpresa di w i ne contesto w 1,, w i-1 (Hae 2001, Levy 2008): La sorpresa viene cacoata con modei markoviani, con parsers sintattici, reti neurai, ecc. sorpresa(w i ) = og 2 p(w i w 1,..., w i 1 ) Frank & Bod (2011), Vossum & Levy (2012), ecc.