Linguistica Computazionale. 17 ottobre 2017

Transcript

1 Linguistica Computazionae 17 ottobre 2017

2 Statistica terminoogia di base Le unità statistiche differiscono per uno o più vaori nee variabii gi studenti hanno diversa provenienza, diversa età, ecc. La rievazione de vaore dee variabii dee unità statistiche fornisce i dati a partire dai quai si cerca di acquisire conoscenza su comportamento dea popoazione dati statistica descrittiva statistica inferenziae conoscenza 2

3 Statistica terminoogia di base In generae i dati vengono acquisiti su un sottoinsieme dea popoazione (campione) variabii unità statistiche studente sesso provenienza età M Pisa F Lucca 22 I dati raccoti vengono riassunti attraverso e distribuzioni di frequenza per ogni modaità x viene specificato quante unità ne campione hanno x (frequenza di x) provenienza F modaità dea variabie Pisa 45 Lucca 72 Viareggio 29 3

4 Statistica distribuzione di frequenze Provenienza Frequenze Provenienza Pisa Lucca Viareggio Livorno Firenze Boogna Roma Miano Modaità dea variabie 4

5 Statistica e testo Popoazione inguistica inguaggio oggetto di studio Campione corpus di testi dea popoazione inguistica Unità statistiche paroe atre unità inguistiche possono essere scete come unità statistiche morfemi, sintagmi, frasi, ecc. 5

6 (Word) Tokens <t n="1">non</t><t n="2">era</t><t n="3">un</t><t n="4">egno</t><t n="5">di</t><t n="6">usso</t><t n="7">ma</t><t n="8">un</t><t n="9">sempice</t><t n="10">pezzo</t><t n="11">da</t><t n="12">catasta</t><t n="13">di</t><t n="14">quei</t><t n="15">che</t><t n="16">d </t><t n="17">inverno</t><t n="18">si</t><t n= 19">mettono</t><t n="20">nee</t><t n="21">stufe</t><t n="22">e</t><t n="23">nei</t><t n="24">caminetti</t><t n="25">per</t><t n="26">accendere</t><t n="27">i</t><t n="28">fuoco</t><t n= 29">e</t><t n="30">per</t><t n="31">riscadare</t><t n="32">e</t><t n="33">stanze</t> Frammento 1 Ogni token (o unità) rappresenta una distinta occorrenza di paroa (o atra unità inguistica) ne testo Le (paroe) token sono e unità statistiche 6

7 Attributi dee paroe Gi attributi di una paroa token sono e dimensioni che a caratterizzano e possono essere operazionaizzate come variabii (tipicamente di natura categoriae) tipo, emma, categoria grammaticae, unghezza in caratteri, ecc. attributi paroe unità ATTRIBUTO (PAROLA) TIPO LEMMA LUN CATEGORIA GRAMMATICAL E paroa unità Non 1 non NON 3 AVVERBIO era 2 era ESSERE 3 VERBO un 3 un UN 2 ARTICOLO egno 4 egno LEGNO 5 NOME di 5 di DI 2 PREPOSIZIONE usso 6 usso LUSSO 5 NOME ma 7 ma MA 2 CONGIUNZIONE un 8 un UN 2 ARTICOLO sempice 9 sempice SEMPLICE 8 AGGETTIVO pezzo 10 pezzo PEZZ O 5 NOME da 11 da DA 2 PREPOSIZIONE catasta 12 catasta CATASTA 7 NOME vaori degi attributi

8 Statistica e testo Gi attributi dee paroe unità formano e variabii statistiche da rievare Dato un attributo, contare quante paroe unità ricorrono con un certo vaore v de attributo significa cacoare a frequenza (assouta) di v quanti tokens sono nomi? = frequenza dei nomi quanti tokens appartengono a emma CANE? = frequenza di CANE 8

9 Paroa tipo (type) (Word) type (paroa tipo) casse di tutti i tokens che contengono a stessa sequenza di caratteri due paroe unità appartengono ao stesso tipo se sono formamente indistinguibii a prescindere daa posizione che occupano ne testo individuazione de tipo di paroa non tiene conto di uteriori anaisi inguistiche (es. emmatizzazione, ecc.) 9

10 Tokens e types La porta è chiusa. La strada porta a mare. tokens porta type PORTA PORTARE emmi 10

11 Distribuzione di frequenze di paroe Frequenza (assouta) di una paroa tipo v i ( v i ) numero dee occorrenze (tokens) dea paroa tipo v i in un testo esempio: ne Frammento 1, di = 2 frequenze paroa tipo 11

12 Frequenze di paroe Lunghezza de corpus ( C ) numero di tokens ne testo Se v 1,, v n sono i types de testo vae che v + 1 v + 2 v v = n C In generae, e frequenze assoute di due distribuzioni, non sono confrontabii, in quanto si riferiscono a un diverso numero totae di unità Frequenza reativa di una paroa (f(v i )) f ( v ) = i v i C normaizzata come 100 percentuae v i C 12

13 I vocaboario Vocaboario de corpus (V C ) numero dee paroe tipo distinte (type) ne corpus esempio Ne Frammento 1, V C = 29 Acune distinzioni importanti Vocaboario de corpus insieme dei type distinti che ricorrono ne corpus Lessico repertorio di tutte e paroe possibii di quea ingua (oppure di tutte e paroe conosciute da que parante) insieme potenziamente infinito di paroe Dizionario repertorio di emmi e forme fesse di una ingua seezionato per quache scopo 13

14 Distribuzioni di frequenze ad ogni individuo spettano tutti i diritti e tutte e ibertà enunciate nea presente dichiarazione, senza distinzione acuna, per ragioni di razza, di coore, di sesso, di ingua, di reigione, di opinione poitica o di atro genere, di origine nazionae o sociae, di ricchezza, di nascita o di atra condizione. nessuna distinzione sarà inotre stabiita sua base deo statuto poitico, giuridico o internazionae de paese o de territorio cui una persona appartiene, sia indipendente, o sottoposto ad amministrazione fiduciaria o non autonomo, o soggetto a quasiasi imitazione di sovranità. C = 105 tokens V C = 70 types paroa freq. freq. re., di o distinzione de ad una tutti tutte

15 I vocaboario Casse di frequenza ( V i ) insieme dei type che hanno come frequenza i V 4 = insieme dei type che hanno frequenza 4 V 1 = insieme dei type che ricorrono una vota soa (hapax egomena) V 1 + V2 + V V f max = Vc La ripetizione di una stessa paroa tipo v determina i passaggio di v da una casse V i aa casse V i+1 non cambia però i vaore compessivo di V c perché non viene inserito un nuovo tipo in V c Con e cassi di frequenza è possibie ricostituire a unghezza de corpus: max V1 1+ V2 2+ V V f max = C 15

16 Cassi di frequenza ad ogni individuo spettano tutti i diritti e tutte e ibertà enunciate nea presente dichiarazione, senza distinzione acuna, per ragioni di razza, di coore, di sesso, di ingua, di reigione, di opinione poitica o di atro genere, di origine nazionae o sociae, di ricchezza, di nascita o di atra condizione. nessuna distinzione sarà inotre stabiita sua base deo statuto poitico, giuridico o internazionae de paese o de territorio cui una persona appartiene, sia indipendente, o sottoposto ad amministrazione fiduciaria o non autonomo, o soggetto a quasiasi imitazione di sovranità. paroa freq. freq. re., di o distinzione de ad una tutti tutte V 1 = 63 V 2 = 4 V 8 = 1 V 12 = 1 V 14 = 1 16

17 I vocaboario Spettro di frequenze permette di anaizzare a distribuzione dee paroe tipo in cassi di frequenza grafico che si ottiene mettendo in ascissa vaori crescenti di cassi di frequenza i da 1 a max; sue ordinate, riportiamo quante paroe tipo hanno frequenza i Gi hapax formano a casse più numerosa: 3270 membri. Le cassi di frequenza i > 10 contengono ciascuna fino a un massimo di 40 paroe tipo circa paroe tipo spettro di frequenze in Pinocchio cassi di frequenza riportate in scaa ogaritmica casse frequenza 17

18 Indici statistici de testo ricchezza essicae Rapporto tipo-unità (Type Token Ratio o TTR) a ricchezza essicae come funzione de numero di paroe diverse esempio Frammento 1, TTR = 29/33 = 0,87 Distribuzione degi hapax V 0 C V C 1 Square TTR C C Frammento 1 V1 25 hapax C 25/33= 0,75 18

19 Frequenze cumuate Frequenze cumuate di paroe unità per ogni casse di frequenza i, f ci è i numero di paroe unità che ricorrono da 1 a i vote f i c = V 1+ V V 1 2 i i se dividiamo f ci per C, otteniamo a frequenza reativa cumuata a percentuae di testo coperta da numero di paroe unità corrispondente a f ci 19

20 Frequenze cumuate Frequenze cumuate di paroe tipo per ogni casse i, V ci è uguae a numero di paroe tipo che appaiono ne testo da 1 a i vote V c = V + V i V 1 2 i se dividiamo V ci per V C, otteniamo a frequenza reativa cumuata di paroe tipo a percentuae di vocaboario coperta da numero di paroe tipo corrispondente a V ci 20

21 Frequenze cumuate in Pinocchio I 90% de vocaboario di Pinocchio copre poco più de 28% dea unghezza compessiva de ibro a maggior parte dee paroe tipo sono paroe rare (riccorrono poche vote ne testo) % 99.20% % 60.91% 28.18% % casse di frequenza percentuae essico percentuae testo 21

22 Frequenze cumuate Due testi possono presentare fino a 70% di paroe unità in comune anche quando i oro rispettivi vocaboari non si sovrappongono per più de 10% bastano poche differenze testuai per far parare due documenti di cose competamente diverse Due categorie di paroe paroe grammaticai (congiunzioni, articoi, preposizioni, ecc.) formano i tessuto connettivo grammaticae de testo sempre moto frequenti, indipendentemente da argomento de testo poco informative ista chiusa e ristretta paroe essicamente piene (nomi, aggettivi, verbi, ecc.) sono i portatori de vero contenuto informativo meno frequenti e i tipi di paroa dipendono da argomento de testo ista aperta e potenziamente infinita 22

23 Anaisi statistica con a she di Linux Input: fie tokenizzato, un token per riga Frequenza dee paroe sort input_fie uniq c 23

24 Anaisi statistica con a she di Linux Input: fie tokenizzato, un token per riga Frequenza dee paroe, ordinata per frequenza discendente sort input_fie uniq c sort -nr 24

25 Anaisi statistica con a she di Linux Input: fie tokenizzato, un token per riga Estrazione de vocaboario sort input_fie uniq Numero di token compessivi wc input_fie Numero di types compessivi sort input_fie uniq wc 25

26 Anaisi statistica con a she di Linux Input: fie tokenizzato, un token per riga Cacoo dea frequenza reativa sort input_token.txt uniq -c sort -nr awk '{print $1 "\t" $2 "\t" $1/freq_tot}' 26

27 Anaisi statistica con a she di Linux Input: fie tokenizzato, un token per riga Cacoo dee cassi di frequenza sort input_token.txt uniq -c awk '{print $1}' sort uniq -c sort nk2 cardinaità dea casse di frequenza indice di frequenza 27