Linguistica dei Corpora (2) Lezione 4: Contare le parole ed interpretare i numeri

Transcript

1 Linguistica dei Corpora (2) Lezione 4: Contare le parole ed interpretare i numeri Malvina Nissim malvina.nissim@unibo.it 7 Aprile 2009

2 Ci siamo lasciati con: comandi shell problemi relativi alla tokenizzazione liste di frequenza

3 ssh gollum.sitlec.unibo.it login passwd

4 Outline Cercare e contare (Contare con) I comandi di linea 1 Cercare e contare (Contare con) I comandi di linea 2 3

5 Shell commands Cercare e contare (Contare con) I comandi di linea uscire da cqp (exit;) siamo in una directory per vedere dove siamo: pwd per vedere cosa c è dentro: ls (provare anche ls -lrt) dentro ci sono files e altre directories per accedere ad una directory: cd <nomedirectory> per tornare alla directory precedente (un gradino su): cd.. per vedere un file: cat <nomefile>

6 Manipolare i file di testo (1) (Contare con) I comandi di linea cat <nomefile> troppo lungo per la schermata? more / less <nomefile> quanti caratteri contiene? wc -c <nomefile> quante parole contiene? wc -w <nomefile> quante linee contiene? wc -l <nomefile> wc <nomefile> due comandi a seguire: si può usare (pipe) cat <nomefile> wc -w cat <nomefile> less

7 Manipolazioni avanzate (Contare con) I comandi di linea trasformare un carattere in un altro: tr <carattere> <altrocarattere> cat <nomefile> tr a b cat <nomefile> tr a b more sort: ordina tutte le occorrenze (alfabeticamente, di default) uniq: compatta tutte le occorrenze adiacenti della stessa stringa uniq -c: include il numero di occorrenze della stessa stringa cat <nomefile> tr \n more

8 Outline Cercare e contare 1 Cercare e contare (Contare con) I comandi di linea 2 3

9 lista di frequenza BNC lista di frequenza nostra

10 Osservazioni Cercare e contare quanti token abbiamo? quanti type? qual è il rapporto tra token e type? quali sono le parole (categorie) più frequenti?

11 Due domande Cercare e contare 1 il rapporto token/type dipende dalle dimensioni del corpus? 2 in media ciascuna parola occorre x volte ma qual è la distribuzione reale?

12 per quanto riguarda il punto 2 andiamo a vedere... (file: ep txt; counts.txt)

13 frequenza = numero di occorrenze di una data parola in dato corpus rango = posizione occupata da una parola in un ordinamento Distribuzione Cercare e contare totale token = rank 1-9 (le 9 parole più frequenti) = (17.5%) quasi il 10% delle parole occorre una volta sola rango freq forma di e che la in il per a

14 La legge di Zipf (1949) la frequenza di una data parola è inversamente proporzionale al rango che data parola occupa nella tavola di frequenza f (z) = C z a f (z) = frequenza della parola di rango z C è una costante corrispondente alla frequenza della parola di rango 1 C dipende dalla dimensione del corpus e dal suo vocabolario a è un indice inverso della ricchezza lessicale del corpus più grande a e più ristretto è il vocabolario del corpus per Zipf, a = 1

15 Legge di Zipf Osservazioni per a = 1, vale che f(1) = C f(2) = C/2 f(3) = C/3 all aumentare del rango la frequenza diminuisce sempre pi lentamente la Legge di Zipf prevede un decremento progressivo della frequenza di una parola proporzionale all aumentare del suo rango la parola di rango 2 dovrebbe occorrere la metà delle volte della parola più frequente parole che appaiono molto in basso nella lista di Zipf tendono ad avere frequenze simili la coda della curva di Zipf conterrà dunque tante parole con frequenza 1: gli hapax

16 Probabilità di un token qual e la probabilità che prendendo una parola a caso dal corpus questa parola sia di?

17 Probabilità di un token qual e la probabilità che prendendo una parola a caso dal corpus questa parola sia di? più in generale: qual è la probabilità di una parola w che occorre nel nostro corpus?

18 Probabilità di un token qual e la probabilità che prendendo una parola a caso dal corpus questa parola sia di? P(w) si definisce come P(w) = c(w) N dove c(w) è il numero di occorrenze di w e N è la dimensione del corpus in numero di tokens (corpus size)

19 N-grams: sequenze di stringhe una sequenza di due parole ( a casa ) si chiama bigramma una sequenza di tre parole ( vado a casa ) si chiama trigramma una sequenza di n parole si chiama n-gramma come facciamo a cercare n-grammi invece di singole parole (unigrammi)?

20 Altri comandi shell Cercare e contare paste <file1> <file2>: incolla due file fianco a fianco tail -n -<numero> <file>: prende solo le ultime <numero> linee tail -n +<numero> <file>: esclude le prime <numero> linee Esempi da provare: tail -n -15 ep tok tail -n +5 ep tok possiamo costruire n-grammi usando i comandi di linea che conosciamo?

21 n-grammi con i comandi di linea bigrammi: due parole in sequenza abbiamo una lista di parole in sequenza: ep tok possiamo creare una lista con, per ciascuna riga, la parola successiva rispetto alla lista originaria: tail -n +2 ep tok > ep next accostare i due file: paste ep tok ep next e infine sort & uniq: paste ep tok ep next sort uniq -c sort -n -r

22 Probabilità di un bigramma P(w1 w2) indica la probabilità della sequenza w1 w2 ( Signor Presidente ) la formula riflette quella vista per la probabilità degli unigrammi: P(w1w2) = c(w1w2) N la formula si può estendere a n-grammi di qualsiasi misura P(w1... wn) = c(w1...wn) N

23 John Sinclair: Idioms vs open choice Sinclair (1996) distingue due principi in opposizione: the idiom principle e the open choice principle The open choice principle: la lingua si basa su regole grammaticali e le parole vengono scelte slot by slot ; questo principio è vicino alla grammatica generativa The idiom principle: i parlanti fanno uso di espressioni lessicalizzate, o semi-lessicalizzate, che sono archiviate nella memoria a lungo termine e recuperate come elementi singoli; questo principio è vicino alla Construction Grammar

24 Sinclair (1991) Cercare e contare [I]t is folly to decouple lexis and syntax, or either of those and semantics. The realization of meaning is far more explicit than is suggested by abstract grammars. The model of a highly generalized formal syntax, with slots into which fall neat lists of words, is suitable only in rare uses and specialized texts. By far the majority of text is made of the occurrence of common words in common patterns. Most everyday words do not have an independent meaning, or meanings, but are components of a rich repertoire of multi-word patterns that make up text. This is totally obscured by the procedures of conventional grammar.

25 Collocations Cercare e contare Una collocazione è un gruppo di parole con cooccorrono abitualmente Termine introdotto da J.R. Firth (1930): You shall know a word by the company it keeps Esempi di collocazioni: blond hair sale e pepe bandiera bianca patate fritte... Le collocazioni sono diverse da lingua a lingua: make a decision vs prendere una decisione

26 Idioms Cercare e contare Una collocazione con un significato unico, fisso da tempo è un espressione idiomatica Esempi tirare le cuoia prendere in giro mangiare la foglia... NB: il significato dell espressione non si compone direttamente dal significato delle parti (non-composizionalità)

27 Bigrammi e collocazioni tornando ai bigrammi che abbiamo trovato: sono collocazioni?

28 Bigrammi e collocazioni tornando ai bigrammi che abbiamo trovato: sono collocazioni? Il fatto che alcuni bigrammi occorrano spesso non li rende da solo delle collocazioni spesso si tratta di function words ma osservazione valida anche se consideriamo soltanto parole piene se le parole x e y sono eventi indipendenti, allora P(xy) = P(x)P(y) in una collocazione, però, le parole x e y sono fortemente dipendenti l una dall altra, e quindi ci aspettiamo P(xy) > P(x)P(y) in altre parole, x e y dovrebbero co-occorrere in maniera nettamente superiore al caso parleremo di misure di associazione

29 Outline Cercare e contare 1 Cercare e contare (Contare con) I comandi di linea 2 3

30 Trovare una stringa in un file come faccio a sapere se un dato file contiene una data parola?

31 Trovare una stringa in un file come faccio a sapere se un dato file contiene una data parola? grep "<stringadatrovare>" <nomefile> grep "allora" <nomefile> e se voglio vedere quali file contengono una data parola?

32 Trovare una stringa in un file come faccio a sapere se un dato file contiene una data parola? grep "<stringadatrovare>" <nomefile> grep "allora" <nomefile> e se voglio vedere quali file contengono una data parola? grep "<stringadatrovare>" <files> grep "allora" grep "allora" ep- grep "allora" ep-99- grep "allora" -15 grep -l "allora"

33 Opzioni di grep trovare con grep tutte le occorrenze dell articolo i grep "i" ep-* funziona?

34 Opzioni di grep trovare con grep tutte le occorrenze dell articolo i grep "i" ep-* funziona? grep -w "alle" grep -i "alle" grep -v "alle" grep -c "alle" grep -o "alle" grep --color "alle" grep --color -iw "alle" parola a sé case-insensitive esclude stringa numero occorrenze output match soltanto colora le occorrenze opzioni multiple grep -ow "alle.*" ep txt sort uniq -c

35 Opzioni di grep trovare una parola in contesto grep -C10 "alle" contesto (before & after) grep -A10 "alle" contesto successivo grep -B10 "alle" contesto precedente