L ANALISI COMPUTAZIONALE DI DATI LINGUISTICI

Transcript

1 Lez. 7 L ANALISI COMPUTAZIONALE DI DATI LINGUISTICI 14/03/13

2 Un incontro di discipline Lettere (testualità) Informatica Statistica

3 SCOPI E STRUMENTI Operazione antica con nuovi strumenti? Scopo = penetrare le profondità dell opera letteraria per farla parlare Strumenti = computer e programmi possono ampliare i limiti dell interpretazione? (U. Eco) Il critico tradizionale e il critico informatico Scomporre e ricombinare il testo

4 IL TESTO Memorizzazione appropriata del testo O.C.R.(optical character recognition) Battitura Dettatura (voice type) Banca dati preesistente (Biblioteca Italiana, T.I.L. on line, LiberLiber, ecc) Salvataggio del file. Come?...

5 LA MEMORIZZAZIONE DEI DATI Il testo tràdito è il testo tradìto? La struttura degli elementi del codice (alfabeto) e quella della macchina devono sviluppare una sinergia Entrano in gioco le tabelle di codifica dei caratteri: ASCII ASCII esteso MS-DOS UNICODE ISO 10646

6 DOPO LA MEMORIZZAZIONE

7 DEBUGGING Errori di trascrizione Errori pilotati Refusi tipografici Confronto con edizione di riferimento Eliminazione formattazione aggiunta Controllo successivo degli errori come occorrenze a frequenza 1 Diffidare dei correttori automatici

8 I LIVELLI DEL TESTO Autore semantico e Autore editoriale La seconda voce racchiude molti aspetti (casa editrice, tipografia, redazione, collana) A cosa viene quindi applicata l informatica? Quale è il testo reale oggetto di questa disciplina? Si applica l informatica alle discipline che si occupano del testo e della sua costituzione secondo criteri scientifici e filologici.

9 Un problema teorico Quali aspetti vanno attribuiti all editore e quali all autore? Capitoli, paragrafi, strofe, stanze, ecc possono essere di buon grado attribuiti all Autore semantico Salti di riga e salti di pagina, caratteri usati, ecc sono di paternità editoriale

10 che comporta delle scelte! È sempre vero che vanno conservati solo gli aspetti del testo che si legge? Conservare salti di riga e di pagina può aiutare a fare la storia di un edizione e a capire se ci troviamo di fronte ad una ristampa o ad una riedizione Conservazione dell aspetto fisico di un codice (pergamenaceo, membranaceo)

11 FILOLOGIA E MULTIMEDIALITÀ: IL MODELLO Il concetto di modello Isomorfismo tra modello e oggetto, una trasformazione che conserva l informazione Analisi del testo di partenza per assegnare gli stessi ruoli a quello elettronico Scelta del modello = scelta del livello

12 Lo stradario è un esempio di modello?

13 I livelli della modellizzazione Definizione degli scopi Inventario degli strumenti Scelta dello schema assiomatico La codifica come interpretazione La visualizzazione come interpretazione

14 QUALITÀ SCIENTIFICA DELL EDIZIONE ELETTRONICA Edizione meccanica (immagine digitalizzata da ingrandire, stampare, ruotare, ritagliare) Edizione diplomatica (riproduzione dell esemplare a stampa, fedeltà, comprensiva di errori) Edizione critica (restituire il testo alla sua originalità, evoluzione, confronto dei codici, revisione della scrittura) Nel passaggio dalla prima alle seconde due forme si rischia la proliferazione di prodotti a basso profilo

15 DALLA TEORIA ALLA PRATICA Le cose da sapere per affrontare l analisi di un testo

16 Alcune domande Quali sono gli aspetti misurabili di un testo? Che tipo di testo sto affrontando? Che tipo di programma sto utilizzando? Che tipo di analisi intendo condurre? (quantitativa, statistica, stilometrica, genetica, linguistica, ecc)

17 e alcune risposte Si possono condurre principalmente 2 tipi di analisi: Semplice, eseguita cioè su un testo non codificato; Strutturata, eseguita cioè su un testo codificato (marcato) Nella prima si contano le unità minime (lettere, parole, segni vari) La seconda è subordinata ad una precisa modellizzazione

18 Una premessa di base Impariamo ad usare i termini Token e Type Il token è l occorrenza (quante volte la singola parola si ripete nel testo) e sostanzialmente rappresenta la totalità delle parole presenti in un testo; il type è una via di mezzo tra l occorenza e il lemma (forma grafica) e in sostanza coincide con il vocabolario usato dall autore il rapporto parola/classe è appunto il rapporto token/type

19 Facciamo un esercizio? Contiamo insieme i token e i type presenti nel seguente breve testo In principio era il Verbo appresso a Dio, ed era Iddio il Verbo e 'l Verbo Lui: questo era nel principio, al parer mio, e nulla si può far sanza Costui. [L. Pulci, Morgante]

20 Leggo il brano e sottolineo le parole che iniziano a ripetersi In principio era il Verbo appresso a Dio, ed era Iddio il Verbo e 'l Verbo Lui: questo era nel principio, al parer mio, e nulla si può far sanza Costui. [L. Pulci, Morgante] Type = 24 (conto tutte le parole non ripetute) Token = 31 (conto tutte le parole)

21 Facciamolo di nuovo Contiamo insieme i token e i type presenti nel seguente breve testo E scusa se ti amo e se ci conosciamo Da due mesi o poco più E scusa se non parlo piano Ma se non urlo muoio Non so se sai che ti amo E scusami se rido, dall imbarazzo cedo Ti guardo fisso e tremo All idea di averti accanto E sentirmi tuo soltanto E sono qui che parlo emozionato e sono un imbranato! [T. Ferro, Imbranato]

22 Leggo il brano e sottolineo le parole che iniziano a ripetersi E scusa se ti amo e se ci conosciamo Da due mesi o poco più E scusa se non parlo piano Ma se non urlo muoio Non so se sai che ti amo E scusami se rido, dall imbarazzo cedo Ti guardo fisso e tremo All idea di averti accanto E sentirmi tuo soltanto E sono qui che parlo emozionato e sono un imbranato! Type = 44 (conto tutte le parole non ripetute) Token = 64 (conto tutte le parole)

23 Un problema di semantica Notiamo che uno stesso type può però avere significati diversi, in quanto i programmi non sono in grado di procedere ad una analisi semantica; vediamo questi esempi: La vecchia porta la bambina a scuola La vecchia porta la borsa della spesa La vecchia porta venne abbattuta a calci

24 Un altra premessa di base Hapax Legomena = parole che ricorrono una sola volta nel testo Hapax Dislegomena = parole che ricorrono due volte nel testo

25 L APPROCCIO QUANTITATIVO Non tutte le parole sono uguali

26 Padre Roberto Busa Fondatore della linguistica computazionale Scrivendo una tesi su S. Agostino, negli anni 50, si rende conto dell utilità di un indice completo delle parole di un testo ha fondato nel 1992 la Scuola di Lessicografia ed Ermeneutica Padre Busa ha seguito l'evoluzione dei computer fin dal dalle schede perforate ai nastri magnetici ai CD ROM

27 Nel 1949 ho cominciato a trafficare con la macchina della IBM. Il lavoro è durato fino al 1980, con la stampa dei cinquantasei volumi. Credevo di aver finito e non avevo finito, perché ero interessato all'evoluzione. Ci sono state tre epoche: Prima: le schede perforate. L'obiettivo era uno schedario di dodici milioni di schede, quindi un fronte di novanta metri, alto 1,20, profondo un metro, peso 500 tonnellate. Io avevo perforato e consumato un sei milioni di schede, stampando dietro il contesto di ciascuna. La misericordia del Signore, ha ispirato i tecnici ad inventare i nastri magnetici. E così non più cinquecento tonnellate di materiale. Seconda fase: impiego dei nastri magnetici. Ho avuti un pacco di nastri magnetici, che sono chilometri di nastro, come da Parigi a Lisbona, o Milano-Palermo. Alla fine ho avuto un altro formato di venti nastri magnetici, sedici chilometri di nastro, con di byte. Questi venti nastri magnetici hanno preso da loro due strade: dal 1974 hanno cominciato ad andare in stampa su carta ed hanno prodotto le settantamila pagine dell'"index tomisticus". Nel 1980 abbiamo cominciato a pensare a forme più abbreviate e nel '92 abbiamo messo tutto su CD ROM. Un CD ROM, di quelli ancora in uso, ha una capienza di seicento milioni di byte. Noi ne avevamo un miliardo e seicentomila, però han potuto essere compressi, senza perdere informazioni, in duecento megabyte, e adesso c'è questo dischetto in cui, su una spirale di quattro chilometri e mezzo, c'è tutto quello che mi stava in venti nastri magnetici. Questa è stata l'evoluzione. Ma io mi barcamenavo ormai abbastanza bene con i vecchi computer che chiamo i "dinosauri". Negli ultimi anni, a Venezia, erano una dozzina di armadi come pianoforti verticali, collegati da cavi sotto il pavimento. Oggi ci sono i personal computer, sapete meglio di me cosa fanno. Intervista a Roberto Busa MediaMente Rai, 1995

28 GLI SPOGLI LESSICALI È, in genere, il primo passo nelle applicazioni informatiche alle discipline linguistiche e letterarie per la linguistica quantitativa Si tratta dell insieme di elencazioni sulle parole che un programma può operare Ne fanno parte: lista di frequenze, concordanze, indici, collocazioni, analisi di clusters

29 LA LISTA DI FREQUENZE Mostra le parole che compongono un testo accompagnate dal numero di volte che ricorrono È l analisi dalla quale si parte per altre indagini statistiche L ordinamento può essere alfabetico (ascendente o discendente), per frequenza (diretta o inversa), posizionale Il posto che ogni parola occupa viene detto rango (1 = più frequente, ecc)

30 LA LISTA DI FREQUENZE - 2 Alcuni programmi riportano anche la percentuale rispetto al totale delle parole (token) Prime considerazioni: è più meritevole essere un luogo comune oppure un hapax? Ulteriori considerazioni: articoli, congiunzioni e preposizioni vengono dette parole vuote perché non portatrici di significato

31 LA LISTA DI FREQUENZE - 3 Solitamente si genera la lista delle frequenze e poi la si scorre fino ad incontrare i primi sostantivi (in ordine di frequenza decrescente) Su questi sostantivi si generano poi successive interrogazioni, come ad esempio le concordanze

32

33 Number of Types = 1325 Number of Tokens = 3018 Type/Token ratio = Token/Type ratio = Hapax Legomena = 932 Hapax Dislegomena = 193 Hapax Legomena/Dislegomena ratio = Hapax Legomena/Number of Types = Hapax Legomena/Number of Tokens = Hapax Legomena cubed/types squared = Variance ( S.D. squared ) = Standard Deviation (S.D.) = Coefficient of skewness = Coefficient of kurtosis = Herdan's characteristic = Yule's characteristic = Carroll TTR (Types / Sqrt of 2 X Tokens) = Most Frequent word "e" occurred 150 times repeat rate (Tokens / frequency most frequent word) =

34 Qualche utile sito bibliote/intervis/b/busa.htm e qualche utile testo M. Lana, Il testo nel computer, Boringhieri S. Spina, Fare i conti con le parole, Guerra