Gli strumenti statistici

Transcript

1 Lez. 10 Gli strumenti statistici I metodi di elaborazione statistica e il calcolo dello stile /parte prima 04/11/09

2 Premesse metodologiche Individuare i tratti della scrittura che sono misurabili per esprimerli in forma numerica Una volta che gli elementi (parole, frasi, paragrafi, punteggiatura ) si presentano in forma numerica possono essere trattati con gli strumenti della matematica e della statistica Dal dato certo si passa all ipotesi critica

3 La ricchezza del linguaggio Il primo indice che viene calcolato per l analisi di un testo è il rapporto Token/type (T/t) Se il rapporto è alto il vocabolario sarà ripetitivo e povero (pochi type ripetuti molte volte) Se il rapporto è basso il vocabolario sarà ricco e variato (molti type ripetuti poche volte)

4 Il rapporto Token/type Rapporto ALTO: Vocabolario di base ridotto al minimo Facilità di lettura (?) Ripetitività del testo (noioso?) Rapporto BASSO: Vocabolario ricco, abbondante Difficoltà di lettura (competenza linguistica) Mutevolezza del testo (cambio di argomenti?)

5 Esempi La coscienza di Zeno -> type e token Rapporto token/type = 9,77 Altri rapporti: Il principe = 6,11 Decameron = 14,37 L uomo del metrò = 1,96

6 Tutto è relativo! L indice di leggibilità fornito dal rapporto T/t deve essere relazionato alla lunghezza del testo È significativo paragonare testi di lunghezza simile A volte è opportuno eseguire il calcolo per porzioni del testo (capitoli, sezioni, tomi, )

7 Significati ed incidenze Il rapporto T/t ha un valore minimo di 1, quindi possiamo scrivere: T/t >= 1 Il T/t è anche l intervallo con il quale si presenta una nuova parola nel testo dopo quelle già conosciute È meglio un T/t alto o basso? La risposta è subordinata al genere letterario?

8 LE COLLOCAZIONI È la dimensione stereotipa delle parole: nella realtà c è un abitudine radicata ad usare la lingua in modo stereotipato, usando combinazioni linguistiche standard divenute automatismi Si intende l accoppiamento di due o più parole che si incontrano in modo sistematico creando un concetto unitario e preciso Il presupposto è che la presenza di una parola è in grado di influenzare la presenza di un altra Accoppiamenti di parole inusuali e poco frequenti indicano che ci troviamo nell ambito della creazione letteraria e poetica

9 LE COLLOCAZIONI - 2 Comunemente alcune parole si trovano nello stesso insieme e quindi appariranno frequentemente vicine Data una parola (A) troveremo dunque un insieme (B) di parole che facilmente le vengono associate Domanda: risposta, formulare, porre, rispondere,

10 Facciamo un gioco? Tastiera Computer, tasti, scrivere, digitare, pianoforte, musica, comporre, tastiera e anima [T. Ferro, Rosso relativo] Lago Acqua, barca, gita, tramonto, che nel lago del cor m'era durata [Dante, Inf.] Cielo Azzurro, stelle, nuvole, sole, Lucy in the sky with diamonds [The Beatles]

11 Proviamo ancora Paura Terrore, horror, buio, spavento, timore, brutto, tristezza, fuggire, ridevi forte la paura e l'allegria [Renato Zero, Il carrozzone]

12 Analisi delle collocazioni Si parte da una singola parola ( nodo ) e della sua frequenza Si selezionano alcune forme che con essa co-occorrono ( collocati ) Si calcolano le frequenze dei collocati Infine si calcola la frequenza con cui i collocati co-occorrono con il nodo per ottenere una misura statistica della rilevanza di questa co-occorrenza

13 John McHardy Sinclair Professore di lingua inglese moderna presso la università di Birmingham e pioniere della linguistica dei corpora, analisi del discorso e lessicografia Fondatore del progetto COBUILD Towards the Analysis of Discourse (1975) Corpus, Concordance, Collocation (1991) Reading Concordances (2003) Trust the Text (2004)

14 CO.B.U.I.L.D. Collins Birmingham University International Language Database Creazione ed analisi di un corpus di testi contemporanei (Bank of English) Ci sono testi inglesi, americani e australiani

15 Le basi del linguaggio per Sinclair 2 principi: Principio di scelta aperta Principio idiomatico Scelta aperta = combinazioni grammaticali, gli enunciati sono il risultato di una pratica combinatoria di elementi secondo delle regole; Idiomatico = i parlanti utilizzano delle unità precostituite, elementi con una coerenza interna che formano un blocco unico Alcune combinazioni linguistiche standard sono diventate automatismi

16 Il principio idiomatico Molte parole hanno una forte tendenza ad attrarne altre nelle loro vicinanze (sono appunto le collocazioni) Sono unità altamente stereotipate che però differiscono dalle espressioni fraseologiche (come i proverbi) Le fraseologie non sono componenziali Le collocazioni traggono invece significato dalla somma dei propri componenti

17 Co-occurrence Lo strumento di Tapor chiamato Cooccurrence corrisponde alla ricerca per collocazioni È opportuno scegliere i due termini da analizzare in base alla lista di frequenza Come per le concordanze è possibile definire l ampiezza del contesto

18

19

20 CLUSTERS L analisi per clusters (o segmenti ripetuti) prende le mosse da presupposti teorici analoghi a quella delle collocazioni Si tratta di un gruppo di parole che si ripetono identicamente all interno di un testo Generalmente da un minimo di due ad un massimo di otto parole

21 CLUSTERS - 2 Si dividono in tre categorie: Espressioni cristallizzate opinione pubblica, conferenza stampa, Enunciati non scomponibili nei singoli significati faccia di bronzo, testa di rapa, Espressioni che ottengono la propria funzione grammaticale dall insieme dei suoi membri per quanto, di contro, in seguito,

22 Fixed phrase È lo strumento di Tapor che corrisponde all analisi per clusters Si deve inserire una sola parola, e viene restituita la lista delle combinazioni fisse ricorrenti di altri termini con la parola data, corredata del numero di occorrenze Al momento, purtroppo, su contesti lunghi o con preposizioni ricorrenti si crea una ridondanza di risultati

23 I formati di output Sono 4: Fixed Phrase List SVG Graph (Scalable Vector Graphics) Annotated Fixed Phrase List Interactive Graph (richiede Java)

24 Fixed Phrase List La parola in esame è dottore

25 Fixed Phrase List SVG Graph Ora analizziamo la parola fumo...

26 Interactive Graph Annotated Fixed Phrase List

27 DISTRIBUZIONE Permette di collocare spazialmente una parola nel testo In una analisi semplice il testo viene diviso in blocchi percentuali generalmente fissati dal ricercatore In una analisi strutturata la divisione del testo è relativa alla marcatura effettuata Si possono fare esperimenti di lettura cieca del testo Normalmente i risultati sono visualizzati con istogrammi

28

29 E se avessimo codificato il testo? Divisione in unità logiche determinate <div> come elemento principale Possibilità di analisi dei nodi individuati Possibilità di analisi dei nodi individuati dagli attributi

30 I PROMESSI SPOSI Cap. 1

31 38 capitoli + Introduzione I PROMESSI SPOSI CODIFICA XML DEI CAPITOLI

32 Distribuzione sul 10% Distribuzione sul 5%

33 Il rapporto type/token Lo indicheremo con t/t È un indice della frequenza relativa dei termini Frequenza relativa = confronto della freq. assoluta con le altre frequenze del testo o della stessa parola in altri testi Fr = t/t In realtà con t in questo caso si intendono tutte le occorrenze di un singolo type (quindi è più corretto parlare di token di un determinato type, fratto i token globali)

34 Un esempio Consideriamo due corpora: una raccolta di notiziari radiofonici (GR) e una di notiziari televisivi (TV) GR = Trascrizione di 161 notiziari radiofonici RAI ( ); parole TV = Telegiornali, attualità, sport, da trasmissioni RAI ( ); parole

35 Frequenza relativa e percentuali In GR la parola governo ricorre 138 volte, in TV ricorre 152 volte In quale dei due testi è più frequente? È sufficiente calcolare il t/t di ambedue i testi, nella maniera che segue: GR 138 (t) / (T) * 100 = 0,25 % TV 152 (t) / (T) * 100 = 0,13 %

36 Frequenza cumulativa In una lista di frequenze ordinata per frequenza, si intende che il valore della forma seguente ingloba via via quello della precedente Si sommano semplicemente il numero delle occorrenze con le precedenti Da questo si può considerare, ad esempio, dopo quante forme si raggiunge il 40 o il 50 % delle parole che formano il testo

37 Un esempio Frequenza assoluta Frequenza cumulativa Il Che Di Mi E Al La Non LA COSCIENZA DI ZENO Cap. 1

38 Ancora sul rapporto t/t È detto anche TTR (type/token Ratio) È estremamente sensibile alla lunghezza del testo Per questo motivo si studia lo STTR (Standardised type/token Ratio) Viene cioè calcolato ogni n parole della wordlist, dove generalmente n = 1000

39 Sitografia Search.aspx [COBUILD]