Linguistica dei Corpora (2) Lezione 3: Manipolare testi (non solo con cqp)

Transcript

1 Linguistica dei Corpora (2) Lezione 3: Manipolare testi (non solo con cqp) Malvina Nissim 1 Aprile

2 ssh gollum.sitlec.unibo.it login passwd cqp 1 Cercare e contare 1.1 Contare con cqp quante occorrenze della parola casa? quante occorrenze dell aggettivo spesso? quante occorrenze dell articolo definito maschile singolare? quante occorrenze della preposizione in? quante occorrenze dell avverbio singolarmente? tante o poche occorrenze? altre domande? Type e token token = una qualsiasi parola in un corpus: corpus size type = tutte le diverse parole in un corpus (raggruppando quindi quelle uguali): vocabulary size Esempio: Ho parlato con il bambino che ha parlato con la maestra 11 tokens (corpus size = 11) 9 types (vocabulary size = 9) ulteriori generalizzazioni? contare per type & token 1.2 (Contare con) I comandi di linea Shell commands uscire da cqp (exit;) siamo in una directory per vedere dove siamo: pwd

3 per vedere cosa c è dentro: ls (provare anche ls -lrt) dentro ci sono files e altre directories per accedere ad una directory: cd <nomedirectory> per tornare alla directory precedente (un gradino su): cd.. per vedere un file: cat <nomefile> Manipolare i file di testo (1) cat <nomefile> troppo lungo per la schermata? more / less <nomefile> quanti caratteri contiene? wc -c <nomefile> quante parole contiene? wc -w <nomefile> quante linee contiene? wc -l <nomefile> wc <nomefile> due comandi a seguire: si può usare (pipe) cat <nomefile> wc -w cat <nomefile> less Manipolare i file di testo (2) e se voglio sapere se un dato file contiene una data parola? grep "<stringadatrovare>" <nomefile> grep "allora" <nomefile> e se voglio vedere quali files contengono una data parola? grep "<stringadatrovare>" <files> grep "allora" grep "allora" ep- grep "allora" ep-99- grep "allora" -15 2

4 Opzioni di grep trovare con grep tutte le occorrenze dell articolo i grep "i" ep-* funziona? grep -w "alle" grep -i "alle" grep -v "alle" grep -c "alle" grep -o "alle" grep --color "alle" grep --color -iw "alle" parola a sé case-insensitive esclude stringa numero occorrenze output match soltanto colora le occorrenze opzioni multiple Manipolazioni avanzate (1) trasformare un carattere in un altro: tr <carattere> <altrocarattere> cat <nomefile> tr a b cat <nomefile> tr a b less Manipolazioni avanzate (2) sort: ordina tutte le occorrenze (alfabeticamente, di default) uniq: compatta tutte le occorrenze adiacenti della stessa stringa uniq -c: include il numero di occorrenze della stessa stringa grep -ow "alle.*" ep txt sort uniq -c e se voleste creare una lista di frequenza delle parole di un testo? lista di frequenza BNC eravamo partiti da: contare per type o contare per token quali sono i problemi? principale: tokenizzazione altri: relativi a decisioni difficili Tokenizzazione Ci si diverte di più, costa meno, si trova lavoro, succedono un sacco di cose, c è posto per tutti, fa più caldo, si vive per strada, la notte è lunghissima, il giorno una sorpresa. Ci si diverte di più,... c è posto per tutti,... sorpresa. Ci si diverte di più,... c è posto... sorpresa. c è oppure c è? etc. oppure etc.? 3

5 spaziature come separatori? spaziature e punteggiatura come separatori? meglio? insomma... Problemi principali disambiguazione di fine/inizio periodo normalizzazione delle maiuscole ( La di La Spezia = la di la casa? e La casa?) preposizioni articolate numeri: 1500 è una parola? 1501 è una parola diversa? distinzione utile? possibile soluzione: tutti i numeri classificati come NUMERO o ###, per esempio lingua di riferimento (sistema diverso per ogni lingua?) alfabetico vs ideografico maiuscole (e.g. tedesco) numeri: italiano 3,90 = inglese 3.90 problema centrale: il punto! (.) tokenizziamo un file ricreiamo la lista di frequenza Osservazioni quanti token abbiamo? quanti type? qual è il rapporto tra token e type? quali sono le parole (categorie) più frequenti? Due domande 1. il rapporto token/type dipende dalle dimensioni del corpus? 2. in media ciascuna parola occorre x volte ma qual è la distribuzione reale? per quanto riguarda il punto 2 andiamo a vedere... (file: ep txt; counts.txt) 4

6 Distribuzione (file: ep txt; counts.txt) totale token = rank 1-9 (le 9 parole più frequenti) = (17.5%) quasi il 10% delle parole occorre una volta sola rango freq forma di e che la in il per a frequenza = numero di occorrenze di una data parola in dato corpus rango = posizione occupata da una parola in un ordinamento di frequenze discendente relativo all intero corpus La legge di Zipf (1949) la frequenza di una data parola è inversamente proporzionale al rango che data parola occupa nella tavola di frequenza f(z) = C z a f(z) = frequenza della parola di rango z C è una costante corrispondente alla frequenza della parola di rango 1 C dipende dalla dimensione del corpus e dal suo vocabolario a è un indice inverso della ricchezza lessicale del corpus più grande a e più ristretto è il vocabolario del corpus per Zipf, a = 1 Legge di Zipf Osservazioni per a = 1, vale che f(1) = C f(2) = C/2 f(3) = C/3 5

7 all aumentare del rango la frequenza diminuisce sempre pi lentamente la Legge di Zipf prevede un decremento progressivo della frequenza di una parola proporzionale all aumentare del suo rango la parola di rango 2 dovrebbe occorrere la metà delle volte della parola più frequente parole che appaiono molto in basso nella lista di Zipf tendono ad avere frequenze simili la coda della curva di Zipf conterrà dunque tante parole con frequenza 1: gli hapax 6