Linguistica Computazionale. 18 ottobre 2016

Transcript

1 Linguistica Computazionae 18 ottobre 2016

2 Intepretare a Legge di Zipf Secondo Zipf a distribuzione dee paroe nei testi rifette un principio di economia nea comunicazione parante e ascotatore cercano entrambi di minimizzare i oro sforzi o sforzo de parante è ridotto avendo un piccoo vocaboario di paroe moto comuni (= frequenti) o sforzo de ascotatore è ridotto avendo un grande vocaboario di paroe più rare (e meno ambigue) a Legge di Zipf rappresenterebbe i compromesso migiore (= più economico) tra queste due opposte tendenze 2

3 La Legge di Zips e conseguenze per a inguistica computazionae Ci sono sempre poche paroe moto frequenti corrispondono soitamente a paroe appartenenti a cassi chiuse (articoi, preposizioni, congiunzioni, ecc.) Ci sono sempre motissime paroe a bassa frequenza e hapax (LNRE, Large Number of Rare Events) sono paroe piene (nomi, verbi, ecc.), soitamente estremamente informative su contenuto di un documento i vocaboario è aperto nuovi temi e concetti portano a introdurre nuove paroe produttività essicae nuovi termini derivati morfoogici, ecc. I dati inguistici sono rari (data sparseness) 3

4 La dinamica de vocaboario Studiamo andamento dea crescita essicae a aumentare de testo come aumenta V C a aumentare di C I testo come fusso di paroe I testo può essere visto come una sequenza v 1, v 2,,v i, v C di paroe indicizzate per posizione i può essere interpretato come associato a un dato istante temporae, v i è a paroa che troviamo eggendo sequenziamente i testo a istante i V C(i) è i vocaboario dee prime i paroe di C (i C ) V C(i) è a grandezza de vocaboario usato nee prime i paroe de testo fornisce i tasso di crescita de vocaboario a aumentare de corpus 4

5 La dinamica de vocaboario 7000 V C (i) grandezza vocaboario y = x La crescita de vocaboario in PInocchio unghezza testo con punteggiatura senza punteggiatura Potenza (con punteggiatura) numero di hapax La crescita degi hapax in Pinocchio media hapax hapax osservati 5

6 La dinamica de vocaboario Forte correazione tra aumento dea unghezza de corpus e aumento de vocaboario I vocaboario V C di un corpus cresce in maniera non ineare rispetto a C V C(i) non cresce sempre, poiché esistono paroe che devono ripetersi più o meno regoarmente paroe grammaticai, principi di coerenza essicae andamento narrativo, ecc. a curva di V C(i) non ha mai un asintoto orizzontae i vocaboario non smette mai di crescere aumenta sempre più entamente rispetto a crescere dee dimensioni 6 de corpus

7 Indicatori di tendenza centrae Media aritmetica Mediana x x1 + x x n n i = = = 1 a modaità di un osservazione che divide a distribuzione in due parti uguai me(x) = n +1 2 La media è un indicatore moto sensibie ai vaori estremi 1,2,3,4,5 --> media = 3; mediana =3 1,2,3,4,70 --> media = 16; mediana =3 n n x i 7

8 Indicatori di dispersione Deviazione standard (σ, scarto quadratico medio) indice statistico di dispersione che misura a variabiità dei dati di una distribuzione (quanto i singoi dati differiscono rispetto aa media) σ 2 è a varianza dea variabie σ n i = = 1 media ( x i n x) 2 scarti scarti 8

9 Distribuzione normae vaori frequenza freq. reativa % Misurazione de atezza di un campione di 27 soggetti media = 1.68 mediana = 1.68

10 Distribuzione normae istogramma dea distribuzione de atezza dei soggetti

11 Distribuzione normae (Gaussiana) Famigia di distribuzioni dee frequenze reative (probabiità) dei vaori di una variabie (continua) x = vaori dea variabie y = frequenza reativa (probabiità) di ciascun vaore 11

12 Distribuzioni statistiche distribuzione normae (Gaussiana) Distribuzioni simmetriche rispetto aa media e con forma a campana ha i massimo in corrispondenza dea media i vaori dea distribuzione si addensano intorno a vaor medio ogni distribuzione è competamente definita da due parametri: media e σ σ = definisce ampiezza dea campana area sottesa daa curva è uguae a 1 Pochi vaori estremi : a maggior parte dei vaori tende a raggrupparsi intorno a vaor medio 68% dei vaori dea variabie cade ne intervao µ±σ 95% dei vaori dea variabie cade ne intervao µ±2σ 99,7% dei vaori dea variabie cade ne intervao µ±3σ 12

13 Distribuzioni statistiche distribuzione normae (Gaussiana) Distribuzione tipica di moti variabii reative a fenomeni naturai e comportamentai (es. peso, atezza, ecc.) e sociai i vaori si concentrano intorno aa media, mentre i vaori estremi sono estremamente improbabii gi errori di misura (errori accidentai) si distribuiscono normamente distribuzione normae degi errori di misura 0,15 0,12 0,09 0,06 0,03 n=40 0,15 0,12 0,09 0,06 0,03 n=160 0,15 0,12 0,09 0,06 0,03 n=

14 Distribuzioni di paroe a frequenza media Frequenza media dee paroe in C _ f ( C ) = C V C deriva daa definizione di media aritmetica sommiamo a frequenza dee paroe tipo e a dividiamo per i numero di paroe tipo _ f = f v 1 + f v n f v n = C V C indicatore inverso di ricchezza essicae 14

15 Distribuzioni di paroe a frequenza media L andamento tendenziae dea frequenza media a crescere dei campioni di testo è queo di una funzione non decrescente: _ f ( k) _ f ( k + 1) si possono registrare temporanee inversioni di tendenza, se si registra un aumento de ritmo di crescita de vocaboario segno di discontinuità ne contenuto de testo densità rapporto tra i numero di paroe nuove introdotte in ciascun capitoo e a unghezza de capitoo densità frequenza media ,1 0, unghezza testo Crescita dea frequenza media in PInocchio 15

16 Distribuzioni di paroe acune concusioni La frequenza media di paroa non è un vaore convergente a frequenza media di paroa tende ad avere un andamento strettamente crescente (a differenza di quanto accade per a media di atre variabii) vari indicatori statistici (es. media, frequenze reative) sono sensibii aa grandezza de corpus a frequenza media di paroa in un corpus (comunque grande) non può essere usato per stimare a frequenza media reae Le frequenze degi eventi inguistici hanno una distribuzione zipfiana gran numero di paroe rare (Large Number of Rare Events) i numero dee paroe tipo continua a crescere con aumentare de corpus non finiamo mai di esporare i vocaboario de inguaggio In tutti i corpora ci sono mote paroe non viste, ovvero che rimangono fuori da campione 16

17 Probabiità e cognizione The argument for a probabiistic approach to cognition is that we ive in a word fied with uncertainty and incompete information. To be abe to interact successfuy with the word, we need to be abe to dea with this type of information. Manning & Schütze (1999), Foundations of Statistica Natura Language Processing, MIT Press: 15 Esempio sto partendo per un viaggio e devo decidere se mettere in vaigia un ombreo oppure no Per prendere questa decisione devo stimare a probabiità che piova, integrando diversi tipi di informazione sue condizioni atmosferiche temperatura, stagione, meta de viaggio, previsioni de tempo a destinazione, ecc. se è autunno, è probabie che piova (perché spesso piove in autunno) se è agosto e vado in Tunisia è moto poco probabie che piova (perché è raro che in agosto piova in Tunisia) se è agosto e vado in Scozia, è moto probabie che piova (perché e piogge in 17 estate in Scozia sono frequenti)

18 Probabiità e inguaggio The cognitive processes used for anguage are identica or at east very simiar to those used for processing other forms of sensory input and other forms of knowedge. These processes are best formaized as probabiistic processes or at east by means of some quantitative framework that can hande uncertainty and incompete information. Manning & Schütze (1999), Foundations of Statistica Natura Language Processing, MIT Press: 15 Esempio decidere come segmentare una sequenza di suoni in paroe discrete amacchinaeraparcheggiatadavantiaaporta stimare a probabiità che tra due suoni esista un confine di paroa decidere a categoria di morfosintattica (part of speech) di una paroa a macchina a aspettava davanti aa porta stimare a probabiità che a sia un articoo o un pronome citico decidere come tradurre un espressione inguistica L aquia ha perso una penna voando 18 stimare a probabiità che penna si traduca pen o feather in ingese