Linguistica Computazionale. 11 ottobre 2016

Transcript

1 Linguistica Computazionae 11 ottobre 2016

2 I testo ne computer Organizzazione ogica di un testo ettere paroe frasi paragrafi Organizzazione fisica di un testo in formato machine-readabe caratteri sequenze di caratteri righe Probema Le due modaità di organizzazione sono ortogonai e non direttamente compatibii 2

3 Anaizzare un testo Per anaizzare computazionamente un testo è necessario insegnare a computer a riconoscere gi eementi che o compongono quante paroe? quante frasi? ma cosa è una paroa? cosa è una frase? La nozione di paroa per un computer è moto diversa da quea per gi esseri umani basata sua conoscenza de organizzazione inguistica (morfoogica, semantica, ecc.) questione ancora più compessa ne parato informazione grafica non è sempre sufficiente 3

4 Tokenizzazione Passo preiminare di quasiasi eaborazione computazionae de testo è a sua tokenizzazione Tokenizzare un testo significa dividere e sequenze di caratteri in unità minime di anaisi dette token paroe, punteggiatura, date, numeri, sige, ecc. i token possono essere anche entità strutturamente compesse (es. date), ma sono comunque assunte come unità di base per i successivi ivei di eaborazione (morfoogico, sintattico ecc.) La nozione di token è distinta da quea di paroa e paroe sono soo un sottoinsieme di token 4

5 Tokenizzazione A seconda de tipo di ingua e sistema di scrittura può essere un task estremamente compesso Nee ingue non segmentate (in cui i confini di paroa non sono marcati espicitamente nea scrittura, es. cinese, giapponese, ecc.), a tokenizzazione di fatto richiede anaisi essicae (word segmentation) Mote ambiguità sono possibii a coppia di caratteri può corrispondere a 1 paroa (monaco) o a 2 paroe (e ancora) 5

6 Token Nee ingue segmentate (in cui i confini di paroa sono marcati da spazi bianchi), a tokenizzazione si basa su un misto di criteri ortografici e inguistici (superficiai) i criteri inguistici prescindono da quasiasi forma di anaisi morfoogica o sintattica mandargieo = 1 token ma 3 paroe da punto di vista morfoogico e semantico (mandare + gi + o) Anche nee ingue segmentate, non esiste un rapporto 1-1 tra token e e sequenze di caratteri deimitate da spazi: Dopo essere sceso, uomo si aontanò. 6 tokens se usiamo soo i criterio degi spazi come deimitatori dei tokens in reatà 9 tokens se consideriamo i tokens come unità inguistiche (es. paroe, punteggiatura, ecc.) convenzioni grafiche organizzazione essicae e morfoogica dea ingua, ecc. 6

7 Token acuni probemi Non ci sono spazi che separano e paroe daa punteggiatura che segue (precede): gi ispettori, Dobbiamo aumentare gi ispettori gi eementi principai (azoto e ossigeno) i presidente francese a Time : Ci sono sequenze di caratteri non separati da spazi che corrispondono a 2 token: apostrofo de uomo c è paroe composte con i trattino ( - ) o con i / : a inea Firenze-Pisa 7

8 Punteggiatura e ambiguità La punteggiatura deve essere considerata come tokens separati ma La punteggiatura è ambigua!!! I carattere ' (apice) ha vari usi: apostrofo de uomo (2 token) accento c e (2 token) virgoetta token (3 token) 8

9 Punteggiatura e ambiguità I carattere. (punto) ha vari usi: punto di fine frase Questa è una frase. in questo caso i punto deve essere considerato un token separato abbreviazioni Sig. Rossi acronimi U.S.A. separatore di cifre decimai 9.70 data indirizzi WWW o e-mai Correato aa tokenizzazione è i sentence spitting segmentazione de testo in frasi presuppone a disambiguazione dei diversi usi de. 9

10 Token graficamente compessi Sequenze di caratteri separate da spazi possono formare un soo token: nomi propri composti New York Los Angees Reggio Emiia a città di La Spezia (4 token) a spezia che viene usata (5 token) espressioni poirematiche (mutiword expressions) a di à (1 token) ad hoc (1 token) date e ore 18 giugno 1815 (1 token) prezzi 20 euro (1 token) 20 euro e 30 centesimi (1 token) 10

11 Tokenizzazione criteri generai Per tokenizzare un testo è necessario stabiire i criteri di identificazione dee unità di anaisi criteri inguistici, euristici, pratici, ecc. es. e date sono token? gi indirizzi formano un token unico? La tokenizzazione è strettamente dipendente da i inguaggio e sistema grafico de testo diversi modi di scrivere i numeri ,43 itaiano 123, ingese ,43 francese diverse strategie per a creazione dei composti ihmisoikeussopimukseen (finandese) -> convention for human rights (ingese) dinamiche inguistiche uomo => + uomo po (eisione) => po doesn t => does + n t they re => they + re ndrangheta (aferesi) => ndrangheta gi scopi di eaborazione computazionai Uno dei probemi maggiori è rappresentato dao spazio di variabiità dee convenzioni ortografiche cf. database, data base, data-base 11

12 Tokenizzazione L aereo per gi U.S.A. atterra a New York. L aereo per gi U.S.A. atterra a New York. NO!! SÌ!! L aereo per gi U.S.A. atterra a New York. 12

13 Tokenizzatori Modui software per a preparazione e tokenizzazione de testo tramite mini-grammatiche, che specificano e forme in cui possono comparire i token es. e date: 25/02/ febbraio 1993 febbraio febbraio 25 feb repertori e gossari acronimi, nomi propri, abbreviazioni, ecc. Generamente basati su espressioni regoari impementati in Per, Python, ecc. 13

14 Tokenizzatori Output in formato testo aggiungere separatori de uomo > de uomo uomo > uomo unire token separati La Spezia > La_Spezia 25 febbraio 2003 > 25_febbraio_2003 normaizzare e maiuscoe La macchina è guasta > a macchina è guasta Output XML i token sono deimitati da eementi XML <t n= 1 >dopo</t><t n= 2 >essere</t><t n= 3 >sceso</ t><t n= 4 >,</t><t n= 5 > </t><t n= 6 >uomo</t><t n= 7 >si</t><t n= 8 >aontanò</t><t n= 9 >.</t> 14

15 Tokenizzatori Gi infortuni su avoro e e morti bianche costituiscono un "fenomeno sempre inaccettabie". ID FORM 1 Gi 2 infortuni 3 su 4 avoro 5 e 6 e 7 morti 8 bianche 9 costituiscono 10 un 11 " 12 fenomeno 13 sempre 14 inaccettabie 15 "

16 Statistica terminoogia di base Popoazione (coettivo) insieme dee entità (oggetti, individui, eventi, ecc.) che rappresentano i dominio di interesse e di ricerca, su cui vogiamo acquisire conoscenza Università, ecc. Unità statistiche gi eementi che compongono a popoazione gi studenti universitari (ma anche e facotà, i dipartimenti, ecc.) Variabii attributi dee unità statistiche, che vengono misurate e/o rievate età, reddito, provenienza, sesso, ecc. i vaori che possono assumere e variabii si dicono modaità sesso = {M, F} età = {20, 25, ecc.} 16

17 Statistica terminoogia di base Le variabii sono di tipo diverso a seconda de tipo di vaori che ammettono nominai (o categoriai) hanno un numero finito di vaori che definiscono cassi a cui appartengono e unità statistiche (sesso, provenienza, categoria grammaticae, ecc.) non esistono reazioni di ordinamento tra e unità, ma soo di appartenenza o meno aa stessa casse ordinai hanno vaori (gradi) che permettono di confrontare e unità statistiche ordinandoe ungo una scaa (voti degi esami, ecc.) differenze tra i gradi dea scaa non sono comparabii intervao (o ratio) hanno vaori che permettono di stabiire non soo reazioni di ordinamento, ma anche di comparare e differenze e i rapporti tra i vaori (es. atezza, unghezza in caratteri di una paroa, ecc.) 17

18 Statistica terminoogia di base Le unità statistiche differiscono per uno o più vaori nee variabii gi studenti hanno diversa provenienza, diversa età, ecc. La rievazione de vaore dee variabii dee unità statistiche fornisce i dati a partire dai quai si cerca di acquisire conoscenza su comportamento dea popoazione dati statistica descrittiva statistica inferenziae conoscenza 18

19 Statistica terminoogia di base In generae i dati vengono acquisiti su un sottoinsieme dea variabii popoazione (campione) unità statistiche studente sesso provenienza età M Pisa F Lucca 22 I dati raccoti vengono riassunti attraverso e distribuzioni di frequenza per ogni modaità x viene specificato quante unità ne campione hanno x (frequenza di x) provenienza F modaità dea variabie Pisa 45 Lucca 72 Viareggio 29 19

20 Statistica distribuzione di frequenze Provenienza Frequenze Provenienza Pisa Lucca Viareggio Livorno Firenze Boogna Roma Miano Modaità dea variabie 20

21 Statistica e testo Popoazione inguistica inguaggio oggetto di studio Campione corpus di testi dea popoazione inguistica Unità statistiche paroe atre unità inguistiche possono essere scete come unità statistiche morfemi, sintagmi, frasi, ecc. 21

22 (Word) Tokens <t n="1">non</t><t n="2">era</t><t n="3">un</t><t n="4">egno</t><t n="5">di</t><t n="6">usso</ t><t n="7">ma</t><t n="8">un</t><t n="9">sempice</t><t n="10">pezzo</t><t n="11">da</t><t n="12">catasta</t><t n="13">di</t><t n="14">quei</t><t n="15">che</t><t n="16">d </t><t n="17">inverno</t><t n="18">si</t><t n= 19">mettono</t><t n="20">nee</t><t n="21">stufe</t><t n="22">e</t><t n="23">nei</t><t n="24">caminetti</t><t n="25">per</t><t n="26">accendere</t><t n="27">i</t><t n="28">fuoco</t><t n= 29">e</t><t n="30">per</t><t n="31">riscadare</t><t n="32">e</t><t n="33">stanze</t> Frammento 1 Ogni (word) token (o paroa unità) rappresenta una distinta occorrenza di paroa ne testo NB: e paroe sono un sottoinsieme dei token di un testo Le paroe token sono e unità statistiche 22

23 Attributi dee paroe Gi attributi di una paroa unità sono e dimensioni che a caratterizzano e possono essere operazionaizzate come variabii (tipicamente di natura categoriae) tipo, emma, categoria grammaticae, unghezza in caratteri, ecc. attributi paroe unità ATTRIBUTO CATEGORIA (PAROLA) TIPO LEMMA LUN paroa unità GRAMMATICAL E Non 1 non NON 3 AVVERBIO era 2 era ESSERE 3 VERBO un 3 un UN 2 ARTICOLO egno 4 egno LEGNO 5 NOME di 5 di DI 2 PREPOSIZIONE usso 6 usso LUSSO 5 NOME ma 7 ma MA 2 CONGIUNZIONE un 8 un UN 2 ARTICOLO sempice 9 sempice SEMPLICE 8 AGGETTIVO pezzo 10 pezzo PEZZ O 5 NOME da 11 da DA 2 PREPOSIZIONE catasta 12 catasta CATASTA 7 NOME vaori degi attributi

24 Statistica e testo Gi attributi dee paroe unità formano e variabii statistiche da rievare Dato un attributo, contare quante paroe unità ricorrono con un certo vaore v de attributo significa cacoare a frequenza (assouta) di v quanti tokens sono nomi? = frequenza dei nomi quanti tokens appartengono a emma CANE? = frequenza di CANE (Word) type (paroa tipo) casse di tutti i tokens che contengono a stessa sequenza di caratteri due paroe unità appartengono ao stesso tipo se sono formamente indistinguibii a prescindere daa posizione che occupano ne testo individuazione de tipo di paroa non tiene conto di uteriori anaisi inguistiche (es. emmatizzazione, ecc.) 24

25 Tokens e types La porta è chiusa. La strada porta a mare. tokens porta type PORTA PORTARE emmi 25

26 Distribuzione di frequenze di paroe Frequenza (assouta) di una paroa tipo v i ( v i ) numero dee occorrenze (tokens) dea paroa tipo v i in un testo esempio: ne Frammento 1, di = 2 frequenze paroa tipo 26

27 Frequenze di paroe Lunghezza de corpus ( C ) numero di tokens ne testo Se v 1,, v n sono i types de testo vae che v + 1 v + 2 v v = n C In generae, e frequenze assoute di due distribuzioni, non sono confrontabii, in quanto si riferiscono a un diverso numero totae di unità Frequenza reativa di una paroa (f(v i )) f ( vi ) = v i C v normaizzata come i 100 percentuae C 27

28 I vocaboario Vocaboario de corpus (V C ) numero dee paroe tipo distinte (type) ne corpus esempio Ne Frammento 1, V C = 29 Acune distinzioni importanti Vocaboario de corpus insieme dei type distinti che ricorrono ne corpus Lessico repertorio di tutte e paroe possibii di quea ingua (oppure di tutte e paroe conosciute da que parante) insieme potenziamente infinito di paroe Dizionario repertorio di emmi e forme fesse di una ingua seezionato per quache scopo 28

29 Distribuzioni di frequenze ad ogni individuo spettano tutti i diritti e tutte e ibertà enunciate nea presente dichiarazione, senza distinzione acuna, per ragioni di razza, di coore, di sesso, di ingua, di reigione, di opinione poitica o di atro genere, di origine nazionae o sociae, di ricchezza, di nascita o di atra condizione. nessuna distinzione sarà inotre stabiita sua base deo statuto poitico, giuridico o internazionae de paese o de territorio cui una persona appartiene, sia indipendente, o sottoposto ad amministrazione fiduciaria o non autonomo, o soggetto a quasiasi imitazione di sovranità. C = 105 tokens V C = 70 types paroa freq. freq. re., di o distinzione de ad una tutti tutte

30 I vocaboario Casse di frequenza ( V i ) insieme dei type che hanno come frequenza i V 4 = insieme dei type che hanno frequenza 4 V 1 = insieme dei type che ricorrono una vota soa (hapax egomena) V 1 + V2 + V V f max = Vc La ripetizione di una stessa paroa tipo v determina i passaggio di v da una casse V i aa casse V i+1 non cambia però i vaore compessivo di V c perché non viene inserito un nuovo tipo in V c Con e cassi di frequenza è possibie ricostituire a unghezza de corpus: max V1 1+ V2 2+ V V f max = C 30

31 Cassi di frequenza ad ogni individuo spettano tutti i diritti e tutte e ibertà enunciate nea presente dichiarazione, senza distinzione acuna, per ragioni di razza, di coore, di sesso, di ingua, di reigione, di opinione poitica o di atro genere, di origine nazionae o sociae, di ricchezza, di nascita o di atra condizione. nessuna distinzione sarà inotre stabiita sua base deo statuto poitico, giuridico o internazionae de paese o de territorio cui una persona appartiene, sia indipendente, o sottoposto ad amministrazione fiduciaria o non autonomo, o soggetto a quasiasi imitazione di sovranità. paroa freq. freq. re., di o distinzione de ad una tutti tutte V 1 = 63 V 2 = 4 V 8 = 1 V 12 = 1 V 14 = 1 31

32 I vocaboario Spettro di frequenze permette di anaizzare a distribuzione dee paroe tipo in cassi di frequenza grafico che si ottiene mettendo in ascissa vaori crescenti di cassi di frequenza i da 1 a max; sue ordinate, riportiamo quante paroe tipo hanno frequenza i Gi hapax formano a casse più numerosa: 3270 membri. Le cassi di frequenza i > 10 contengono ciascuna fino a un massimo di 40 paroe tipo circa paroe tipo spettro di frequenze in Pinocchio cassi di frequenza riportate in scaa ogaritmica casse frequenza 32

33 Indici statistici de testo ricchezza essicae Rapporto tipo-unità (Type Token Ratio o TTR) a ricchezza essicae come funzione de numero di paroe diverse esempio Frammento 1, TTR = 29/33 = 0,87 Distribuzione degi hapax V 0 C V C 1 Square TTR C C Frammento 1 V1 25 hapax C 25/33= 0,75 33

34 Frequenze cumuate Frequenze cumuate di paroe unità per ogni casse di frequenza i, f ci è i numero di paroe unità che ricorrono da 1 a i vote f i c = V 1+ V V 1 2 i i se dividiamo f ci per C, otteniamo a frequenza reativa cumuata a percentuae di testo coperta da numero di paroe unità corrispondente a f ci 34

35 Frequenze cumuate Frequenze cumuate di paroe tipo per ogni casse i, V ci è uguae a numero di paroe tipo che appaiono ne testo da 1 a i vote V c = V + V i V 1 2 i se dividiamo V ci per V C, otteniamo a frequenza reativa cumuata di paroe tipo a percentuae di vocaboario coperta da numero di paroe tipo corrispondente a V ci 35

36 Frequenze cumuate in Pinocchio I 90% de vocaboario di Pinocchio copre poco più de 28% dea unghezza compessiva de ibro a maggior parte dee paroe tipo sono paroe rare (riccorrono poche vote ne testo) % 99.20% % 60.91% 28.18% % casse di frequenza percentuae essico percentuae testo 36

37 Frequenze cumuate Due testi possono presentare fino a 70% di paroe unità in comune anche quando i oro rispettivi vocaboari non si sovrappongono per più de 10% bastano poche differenze testuai per far parare due documenti di cose competamente diverse Due categorie di paroe paroe grammaticai (congiunzioni, articoi, preposizioni, ecc.) formano i tessuto connettivo grammaticae de testo sempre moto frequenti, indipendentemente da argomento de testo poco informative ista chiusa e ristretta paroe essicamente piene (nomi, aggettivi, verbi, ecc.) sono i portatori de vero contenuto informativo meno frequenti e i tipi di paroa dipendono da argomento de testo ista aperta e potenziamente infinita 37