informatica di base per le discipline umanistiche vito pirrelli Istituto di Linguistica Computazionale CNR Pisa Dipartimento di linguistica Università di Pavia
sesta lezione: la dinamica del testo vito pirrelli Istituto di Linguistica Computazionale CNR Pisa Dipartimento di linguistica Università di Pavia
come cresce il vocabolario di un testo? il lessico di un testo cresce quando introduciamo nel testo una parola mai usata prima intuitivamente la crescita di un lessico è rapida all inizio, in quanto ogni parola che usiamo ha la tendenza ad essere nuova (raramente ci sono ripetizioni nella stessa frase) aumentando il numero di frasi, tuttavia, aumenta la probabilità di riusare parole già usate il ritmo di crescita del lessico di un testo tende quindi a diminuire all aumentare del numero di frasi... (per saperne di più clicca sulle parole evidenziate in giallo!)
come cresce il vocabolario di un testo (prime 1000 parole) coefficiente angolare intercetta coefficiente angolare
come cresce il vocabolario di un testo (prime 1000 parole, interpolazione a potenza) (fine (fine excursus)
come cresce il vocabolario di un testo? (II) esistono classi di parole che è praticamente impossibile non ripetere all interno di un testo anche molto breve queste classi sono formate dalle cosiddette parole grammaticali (articoli, preposizioni, ausiliari ecc.), che costituiscono l impalcatura morfosintattica di una frase queste classi sono, tipicamente, relativamente ristrette (contengono pochi elementi) e chiuse, cioè non sono soggette ad espandersi attraverso processi produttivi del lessico come la derivazione o la composizione (per saperne di più clicca sulle parole evidenziate in giallo!)
come cresce il vocabolario di un testo? (III) un altro fattore evidente che ritarda la crescita esponenziale del vocabolario all interno dello stesso testo è la coerenza lessicale : la necessità, cioè,di ripetere concetti che sono legati al dominio o alla situazione specifica di cui parla il testo
la frequenza media la frequenza media di una parola nel testo è data dal rapporto tra la lunghezza del testo e la grandezza del suo lessico: C / V all inizio ogni parola è usata in media poco più di una sola volta (freq media 1) non appena ripetiamo una stessa parola, tuttavia, la freq media cresce (freq media > 1) in generale freq media tende a crescere per due ragioni: le parole grammaticali si ripetono, andando ad aggiungersi a C ma lasciando V invariato; il vocabolario a sua volta, come abbiamo visto, rallenta il suo ritmo di crescita col passare del testo (per saperne di più clicca sulle parole evidenziate in giallo!)
come cresce freq media? il ritmo di crescita di freq media tende a rallentare col passare del testo perché? la frequenza cresce linearmente al crescere del testo se il peso del lessico fosse costante, la crescita di freq media resterebbe lineare, ma avrebbe un ritmo inferiore (la retta che descrive questo andamento sarebbe più inclinata verso l asse delle x) se il peso del lessico aumentasse in modo lineare, freq media sarebbe costante dal momento che il lessico cresce in modo non lineare (con una potenza di poco inferiore all unità) solo una crescita di frequenza non lineare (con esponente di poco inferiore a 2) potrebbe consentire a freq media di crescere linearmente (per saperne di più clicca sulle parole evidenziate in giallo!)
crescita di freq media in un testo di 70.000 parole (fine excursus)
curve di crescita del vocabolario
crescita di freq media (fine (fine excursus)
cresce tutto in questo modo? no! la lunghezza media di una parola tende a stabilizzarsi col passare del testo, cioè tende ad assumere un valore costante dopo una serie di oscillazioni casuali (legge dei grandi numeri)
campionamento casuale analogamente se invece di monitorare lo stesso testo nel tempo, se ne estraggono tanti campioni casuali, e se ne calcola per ciascuno lun media, il valore più volte attestato tenderà a riprodurre lun media di tutto il testo...
campionamento casuale (II)... tanto meglio, quanto maggiore è la lunghezza dei campioni:
campionamento casuale (III) per il teorema del limite centrale, i valori campionari di lunghezza media tenderanno a distribuirsi intorno al valore più attestato (valor medio) secondo una caratteristica forma a campana (curva gaussiana) e cioè con valori progressivamente decrescenti, disposti simmetricamente rispetto all asse della campana... (per saperne di più clicca sulle parole evidenziate in giallo!)
la legge di Zipf all interno di una porzione di testo, esiste una correlazione inversa tra le frequenza di una parola e la sua posizione relativa (rango) in una lista di parole che va dalla più frequente alla meno frequente f = C r α, 3434. 2421 di 2258 il 1309 e 1297 la 1165 a 914 che 864 e' 847 in 830 per 789 un 693 L' 647 del 587 I 585 con 467 si 467 le 466 ha 456 una 449 non 441 della 435 : 400 da 393 al 331-323 sono 291 dei 262 Piu' 260 dell' 251 ( 241 Ma 239 ) 238 Nel 238 anche 213 gli 213 alla 208 hanno 186 dal 181 anni 173 delle 159 all' 158 come 149 stato 145 Lo 143
Zipf in Pinocchio rango forma frequenza rango forma frequenza 1 e 1752 16 ma 290 2 di 1338 17 i 283 3 che 1019 18 come 234 4 a 932 19 da 233 5 il 925 20 io 225 6 la 711 21 mi 219 7 un 708 22 le 211 8 non 507 23 più 210 9 per 481 24 l' 206 10 in 453 25 disse 202 11 Pinocchio 415 26 lo 199 12 si 393 27 burattino 195 13 gli 364 28 se 189 14 una 360 29 con 188 15 è 296 30 era 185
Zipf (II)
Zipf (III) su doppia scala logaritmica la legge di Zipf dà origine a una retta inclinata verso il basso... log( f ) = log( C) α log( r) y = 0.8797x + 3.4481 (per saperne di più clicca sulle parole evidenziate in giallo!)
la struttura del vocabolario (classi di frequenza) chiamiamo V i la classe di parole che appaiono con frequenza i volte ciascuna nel testo allora V = V 1 + V 2 +...+ V max, dove max è la frequenza massima con cui una parola appare nel nostro testo
le frequenze cumulate 100 91.65% 99.20% 50 54.73% 60.91% 28.18% 0 8.08% 1 10 100 1000 classe di frequenza percentuale lessico percentuale testo
sesta lezione la dinamica del testo fine sesta lezione (lezione 7)
logaritmo e funzione esponenziale
conseguenze della scala logaritmica le potenze di 10 vengono compresse in un intervallo unitario il livello di compressione cresce al crescere della potenza (fine excursus)
derivazione la derivazione è uno di quei processi morfologici produttivi attraverso i quali il nostro vocabolario si arricchisce la derivazione consiste nel generare una parola nuova a partire da un altra già esistente attraverso l uso di un suffisso derivazionale ad esempio, dal sostantivo industria possiamo derivare l aggettivo industriale, da quest ultimo il verbo industrializzare e da quest ultimo il sostantivo industrializzazione una parola derivata è una parola nuova, con una sua categoria grammaticale autonoma e un suo paradigma flessionale, non una forma flessa di una parola esistente (fine excursus)
composizione la composizione è uno di quei processi morfologici produttivi attraverso i quali il nostro vocabolario si arricchisce la composizione, a differenza della derivazione, consiste nel generare una parola nuova giustapponendo due (o più) parole esistenti ad esempio, oggetto ricordo, conferenza stampa, nave scuola, sala riunioni ecc. (fine excursus)
la distribuzione gaussiana 68.27% (fine excursus)