Linguistica Computazionale

Transcript

1 Linguistica Computazionale Esercitazione: analisi del testo

2 Python : leggere un file di testo Per aprire un file di testo in Python si usa la classe codecs ed il suo metodo open( ): Il programma si aspetta un parametro (un file di testo in questo caso)

3 Python : leggere un file di testo codecs permette di gestire file con diverse codifiche (per l Italiano di solito si usa l utf-8) Il metodo read( ) serve per leggere il file ed assegnare tutto il suo contenuto ad una variabile di tipo String (raw nell esempio sopra) Il metodo (dell oggetto di tipo String) encode( ) serve per trasformare una stringa: dal formato interno che usa il python, nel formato scelto (utf-8 nel nostro caso)

4 Python : leggere un file di testo Output del programma: il sistema non ha alcuna conoscenza linguistica

5 Python e NLTK: Sentence Splitter Per dividere un testo inglese in frasi con NLTK si applica la funzione tokenize(string). Che utilizza un modello statistico presente nella distribuzione ufficiale di NLTK: english.pickle in tokenizers/punkt/. nltk.data.load(modello), serve per caricare il modello statistico

6 Python e NLTK: Sentence Splitter (output) La funzione prende in input una stringa (tutto il testo) e restituisce una lista di stringhe (le frasi):

7 Python e NLTK: Tokenizzatore Per dividere le frasi in parole si usa la funzione word_tokenizer.tokenize(string), che prende in input una stringa (la frase) e restituisce una lista di stringhe (i token della frase).

8 Python e NLTK: Tokenizzatore (output)

9 Python e NLTK: Tokenizzatore (2) Per ottenere una unica lista di token contenente tutti i token del testo (e non solo i token di una frase): + concatena i vettori

10 Python e NLTK: Tokenizzatore (2) output Indica che le stringhe dentro agli apici sono UTF-8

11 Liste: alcune funzioni utili L=[ ] : crea la lista vuota; L=[ a, ba, ca ] : crea una lista di 3 elementi (le stringhe a, ba, ca ) L3=L1+L2 : concatena le liste L1, L2 e crea una terza lista l3 contenente sia gli elementi di L1 che quelli di L2, es: L1= [ a, b, c ], L2=[ c, d ], L1+L2==[ a, b, c, c, d ] L[n]: accede all elemento n-esimo della lista L (gli elementi partono dall indice 0)

12 Liste: alcune funzioni utili L[m:n] : restituisce una lista contenente gli elementi da m a n-1 della lista L, es: L3= [ a, b, c, d, e, f ], L3[2:5]=[ c, d, e ] set(l): restituisce la lista degli elementi diversi presenti in L, es: L=[ a, c, b, a, d, c ], set(l)==[ a, c, b, d ] sorted(l): restituisce la lista ordinata (alfabeticamente per le stringhe; numericamente per i numeri) degli elementi presenti in L:, es: L=[ a, c, b, a, d, c ], sorted(l)== =[ a, a, b, c, c, d ]

13 Liste: alcune funzioni utili len(l): restituisce il numero di elementi della lista L, es: L= [ a, b, a, a, e, f ], len(l)==6 L.count(elemento): restituisce il numero di occorrenze di elemento nella lista L, es: L = [ a, b, a, a, e, f ], L.count( a )==3 NB: in Python le stringhe possono essere trattate come liste (ad eccezione del fatto che le liste possono contenere qualsiasi cosa, mentre le stringhe solo caratteri), quindi tutte le funzioni viste fino ad ora valgono anche per le stringhe, es: S= casa, Len(S)==4, S.count( a )==2

14 Esempio di programma: Calcolare e confrontare la lunghezza in token di due file di testo:

15 Esercizio Creare due file contenenti testo in inglese. Realizzare un programma che: stampi la divisione in frasi dei due file e per ogni frase stampi il testo tokenizzato; stampi i token diversi contenuti in ogni singolo file ordinati alfabeticamente; confronti tra loro i due file rispetto a: il numero di frasi; il numero di token; Il numero di token diversi contenuti in ogni singolo file. NB: l output del programma deve essere rediretto all interno di un file