6. ANALISI LESSICALE AVANZATA ED ESPORTAZIONE DEI DATI TESTUALI CON TALTAC

Transcript

1 6. ANALISI LESSICALE AVANZATA ED ESPORTAZIONE DEI DATI TESTUALI CON TALTAC Il trattamento del testo con TALTAC, l estrazione del lessico, dei segmenti e le opzioni di modifica del corpus comportano la possibilità e a volte la necessità - di esportare i file per analisi da condurre successivamente con altri software, come DTM, SPAD, Alceste, WordMapper, ecc. In questo capitolo vedremo come gli strumenti messi a disposizione da TALTAC permettono di esportare tabelle lessicali ricche di informazioni e facilmente elaborabili da fogli elettronici come Excel, oppure di ricostruire il corpus secondo particolari esigenze di ricerca. Con questo scopo l analisi lessicale può essere condotta con strumenti più raffinati e con modifiche dei testi che possono incidere in modo significativo sulle forme grafiche e anche sul contenuto stesso del corpus. Alcune procedure illustrate in questo capitolo devono essere usate con molta cautela a- vendo bene in vista le finalità ultime dell analisi e quindi le ipotesi che la sostengono IL TAGGING GRAMMATICALE AVANZATO Il riconoscimento di base delle categorie grammaticali lascia inalterate (e quindi non riconosciute) molte forme grafiche. Tra le forme flesse dei verbi, ad esempio, non vengono riconosciute le enclitiche, cioè le forme con i suffissi glielo, gliene, melo, telo, tene, ecc. Come pure non vengono classificate le forme 83

2 Capitolo 6 alterate con suffissi diminutivi, vezzeggiativi, peggiorativi, come gattino, gattaccio, libretto, libriccino, ecc.; o i derivati di sostantivi e aggettivi come decenne, ventenne, tredicenne, assistenziale, adolescenziale. Vi sono poi i prefissi come anti-, super-, a-, ri-, in forme come antinvecchiamento, superlavoro, apolitico, rifare, ecc. Dal menu Moduli, selezioniamo Analisi lessicale Tagging grammaticale Vocabolario [TALTAC] e poi, nella finestra di dialogo (fig. 4.8) le fasi di tagging avanzato Enclitiche verbali, Derivati e Alterati, Forme con prefissi più comuni, Forme con altri Prefissi. Le forme riconosciute, che nel tagging di base erano 2.914, in seguito a questa procedura sono su un totale di forme distinte. Le forme flesse dei verbi, che erano 425 nel tagging di base, ora sono 468. Sulla nuova lista Vocabolario, dal menu Calcola, selezioniamo il comando Fusioni di Lemma/Lessia. I lemmi dei verbi individuati sono ora 284 a fronte dei 267 del passaggio di base. Il guadagno di informazione, in questo caso, non è altissimo: le 43 nuove forme flesse appartengono tutte alla classe degli hapax e quindi, in termini di occorrenze, non comportano un guadagno significativo nella copertura del testo. Questo risultato, tuttavia, è condizionato dalla dimensioni del corpus e dalla ricchezza del vocabolario. In genere questo passaggio di raffinamento del tagging rende più efficiente la lemmatizzazione dei verbi che, spesso, è l unica forma di lemmatizzazione consigliata con una procedura automatica senza dover intervenire con operazioni manuali RICOSTRUZIONE DEL CORPUS Dopo la fase di tagging gramaticale è possibile procedere alla ricostruzione del corpus sulla base delle forme grafiche categorizzate. Questo può essere molto utile per l esportazione del corpus e per analisi successive. Dal menu Moduli selezioniamo Gestione unità lessicali e poi Ricostruzione del Corpus con forme categorizzate. L output ci fornisce nuovamente il corpus aggiungendo alle forme un etichetta che ne permette l identificazione. Le forme ambigue (J) sono senza etichetta di identificazione (J) con il segno di underline (Regno_); le forme non riconosciute rimangono inalterate (Sardegna, Cipro, Gerusalemme). 84

3 Analisi lessicale avanzata ed esportazione dei dati testuali con TALTAC $P#A_Statuto statuto_n del_prep Regno_ di_ Sardegna Carlo_Alberto_NM per_prep la_ grazia_di_dio_n Re_N di_ Sardegna, di_ Cipro e_ di_ Gerusalemme, Duca_N di_ Savoja, di_ Genova, di_ Monferrato, d'_prep Aosta, eccetera_avv con_prep lealtà_n di_ Re_N e_ con_prep affetto_ di_ Padre_N Noi_PRON veniamo_v oggi_ a_ compiere_v quanto_ avevamo_v annunziato_ ai_ Nostri_ amatissimi_a sudditi_ col_prep Nostro_ proclama_ dell'_prep 8_NUM dell'_prep ultimo_ scorso_ febbraio_n, con_prep cui_pron abbiamo_v voluto_ dimostrare_v, in_mezzo_agli_prep eventi_n straordinarii_a che_ circondavano_v il_det paese_n, come_ la_ Nostra_ confidenza_n in_ loro_ crescesse_v colla_ gravità_n delle_prep circostanze_n, e_ come_ prendendo_v unicamente_avv consiglio_ dagli_ impulsi_ Il file così generato viene salvato automaticamente nella cartella di lavoro con un nome di file già identificato: LEX1_TT_ricoFG.txt (ricostruzione delle Forme Grafiche). La ricostruzione del corpus può avvenire anche in base alle forme lemmatizzate. Dal menu Moduli selezioniamo Ricostruzione del corpus e poi la voce: Con lemmi. L output ci fornisce ancora una volta il corpus sostituendo, dove è possibile, alle forme grafiche il lemma corrispondente. Le forme ambigue o non riconosciute restano inalterate. Come si è detto nel par. 4.6, questo tipo di lemmatizzazione automatica effettuata per tutte le categorie grammaticali non dà risultati attendibili. La procedura, per essere davvero efficiente, richiede degli interventi manuali di disambiguazione da parte dell analista. $P#A_Statuto statuto_n di_prep Regno_ di_ Sardegna Carlo_Alberto_NM per_prep la_ grazia_di_dio_n re_n di_ Sardegna, di_ Cipro e_ di_ Gerusalemme, duca_n di_ Savoja, di_ Genova, di_ Monferrato, di_prep Aosta, eccetera_avv con_prep lealtà_n di_ re_n e_ con_prep affetto_ di_ padre_n noi_pron veniamo_v oggi_ a_ compiere_v quanto_ avere_v annunziato_ ai_ nostro_ amato_a suddito_ con_prep nostro_ proclama_ di_prep 8_NUM di_prep ultimo_ scorso_ febbraio_n, con_prep cui_pron avere_v voluto_ dimostrare_v, in_mezzo_a_prep evento_n straordinario_a che_ circondare_v il_det paese_n, come_ la_ nostro_ confidenza_n in_ loro_ crescere_v colla_ gravità_n di_prep circostanza_n, e_ come_ prendere_v unicamente_avv consiglio_ dagli_ impulsi_ di_prep nostro_ cuore_n fosse_ 85

4 Capitolo 6 Va osservato come la forma amatissimi_a (forma alterata) sia stata trasformata durante la lemmatizzazione in amato_a, la forma avevamo_v in avere_v, ecc. La forma Nostra_ confidenza_n è modificata in nostro_ confidenza_n perché nel vocabolario la forma ambigua Nostra_J (A+N+PRON) può essere inequivocabilmente lemmatizzata in nostro_ anche senza essere stata disambiguata nelle sue categorie grammaticali distinte. Il file così generato viene salvato automaticamente nella cartella di lavoro con il nome: LEX1_TT_ricoLEMMI.txt (ricostruzione delle Forme Grafiche) RICOSTRUZIONE DEL CORPUS CON SELEZIONE DI ALCUNE CATEGORIE Una terza modalità di ricostruzione del corpus ci permette di selezionare quali forme vogliamo lemmatizzare lasciando le altre inalterate. Fig Selezione delle categorie grammaticali Come si è detto nel par. 6.2, la lemmatizzazione dei verbi in genere porta ad ottimi risultati anche in una procedura del tutto automatizzata. Le forme flesse dei verbi e le enclitiche verbali generano raramente forme ambigue delle quali il programma non sia in grado di decidere la categoria grammaticale di appartenenza. Questo vale, sebbene in misura minore, anche per gli aggettivi che vengono ricondotti alla forma maschile singolare. Ve detto che per gli aggettivi la lemmatizzazione fa perdere questa distinzione di genere che, invece, è 86

5 Analisi lessicale avanzata ed esportazione dei dati testuali con TALTAC fortemente connotata sul piano semantico. In ogni caso queste sono scelte che l analista può compiere con consapevolezza attraverso la procedura di selezione della categorie grammaticali. Dal menu Moduli selezioniamo Ricostruzione del corpus e poi la voce: Con selezione di alcune categorie. Nella finestra di dialogo (fig. 6.1) possiamo lasciare inalterate le categorie di default oppure de-selezionare aggettivi e preposizioni lasciando esclusivamente i verbi. Il corpus verrà ricostruito con le forme grafiche originali, lemmatizzando esclusivamente le categorie indicate. Il file così generato viene salvato automaticamente nella cartella di lavoro con un nome di file già identificato: LEX1_TT_ricoSELCAT.txt. $P#A_Statuto statuto_n di_prep Regno_ di_ Sardegna Carlo_Alberto_NM per_prep la_ grazia_di_dio_n Re_N di_ Sardegna, di_ Cipro e_ di_ Gerusalemme, Duca_N di_ Savoja, di_ Genova, di_ Monferrato, di_prep Aosta, eccetera_avv con_prep lealtà_n di_ Re_N e_ con_prep affetto_ di_ Padre_N Noi_PRON veniamo_v oggi_ a_ compiere_v quanto_ avere_v annunziato_ ai_ Nostri_ amato_a sudditi_ con_prep Nostro_ proclama_ di_prep 8_NUM di_prep ultimo_ scorso_ febbraio_n, con_prep cui_pron avere_v voluto_ dimostrare_v, in_mezzo_a_prep eventi_n straordinario_a che_ circondare_v il_det paese_n, come_ la_ Nostra_ confidenza_n in_ loro_ crescere_v colla_ gravità_n di_prep circostanze_n, e_ come_ prendere_v unicamente_avv consiglio_ dagli_ impulsi_ di_prep Nostro_ cuore_n fosse_ ferma_ Nostra_ intenzione_n di_ conformare_v le_ loro_ sorti_ alla_ ragione_n dei_ tempi_n, agli_ interessi_ ed_cong alla_ dignità_n di_prep Nazione_N. In questo caso, avendo scelto di lemmatizzare solo aggettivi, preposizione e verbi (A, PREP, V) le forme ai_ Nostri_ amati_a sudditi sono state stata modificate in ai_ Nostri_ amato_a sudditi. Utilizzando questa procedura è possibile generare un corpus in cui sono state cancellate alcune forme grafiche a scelta dell analista. Per questo scopo si utilizza la casella in basso a sinistra della finestra di dialogo (fig. 6.1). La procedura è la seguente. 1) Dal menu Moduli selezioniamo Estrazione di informazione e poi la voce Visualizza DataBase di Sessione (la procedura si effettua più rapidamente dal menu Finestra, se i DB di Sessione sono già state aperti in precedenza). 2) Apriamo la lista Vocabolario [TALTAC] (con TAG grammaticale de- 87

6 Capitolo 6 selezionando la casella a destra in basso della finestra di dialogo Sola lettura in modo da aprire la lista in modalità scrittura. 3) Ora, nella lista delle forme grafiche, in corrispondenza delle forme che desideriamo cancellare nella ricostruzione del corpus, scriviamo DEL (delete) nella colonna Categoria grammaticale. Questa procedura può essere compiuta anche per selezione delle categorie con lo strumento Text/Data Mining (vedi 6.4). Al termine di questa operazione, tutte le forme che desideriamo eliminare nella ricostruzione del corpus riporteranno il tag DEL nel campo Categoria grammaticale. In questo esempio abbiamo marcato con il tag DEL le preposizioni, i determinanti, le congiunzioni e i pronomi. Dal menu Moduli selezioniamo Ricostruzione del corpus e poi la voce: Con selezione di alcune categorie. Nella finestra di dialogo (fig. 6.1) lasciamo inalterate le opzioni di default e marchiamo la casella in basso a sinistra: Elimina FG classificate con DEL (funzione di pulitura del testo). Il risultato sarà il seguente: $P#A_Statuto statuto_n Regno_ di_ Sardegna Carlo_Alberto_NM la_ grazia_di_dio_n Re_N di_ Sardegna, di_ Cipro e_ di_ Gerusalemme, Duca_N di_ Savoja, di_ Genova, di_ Monferrato, Aosta, eccetera_avv lealtà_n di_ Re_N e_ affetto_ di_ Padre_N veniamo_v oggi_ a_ compiere_v quanto_ avere_v annunziato_ ai_ Nostri_ amato_a sudditi_ Nostro_ proclama_ 8_NUM ultimo_ scorso_ febbraio_n, avere_v voluto_ dimostrare_v, eventi_n straordinario_a che_ circondare_v paese_n, come_ la_ Nostra_ confidenza_n in_ loro_ crescere_v colla_ gravità_n circostanze_n, e_ come_ prendere_v unicamente_avv consiglio_ dagli_ impulsi_ cuore_n fosse_ ferma_ Nostra_ intenzione_n di_ conformare_v le_ loro_ sorti_ alla_ ragione_n dei_ tempi_n, agli_ interessi_ alla_ dignità_n Nazione_N. Questa procedura può essere molto utile per la pulitura di testi digitalizzati con un alta componente di rumore, come i messaggi o i messaggi di forum e newsgroup (Giuliano, 2004), oppure per ridurre le dimensioni di corpora molto grandi alle sole forme ritenute significative per l analisi, specialmente nell analisi multimensionale. 88

7 Analisi lessicale avanzata ed esportazione dei dati testuali con TALTAC TEXT/DATA MINING ED ESPORTAZIONE DI MATRICI Lo strumento Text/Data Mining è di grande utilità, non solo per l esplorazione del corpus attraverso le liste generate dal programma, ma anche per selezionare le matrici da esportare per il loro utilizzo in altri software di analisi testuale. Negli esempi che seguono prenderemo come riferimento il Vocabolario della sessione, ma le stesse operazioni possono essere compiute sulle altre liste come le liste di fusione delle forme/lessie, le liste dei segmenti, le liste di specificità o le liste di confronto tra lessici (intersezione, u- nione o forme originali). Con la lista Vocabolario aperta nella finestra di lavoro, rendiamo attivo un campo selezionando la colonna sulla quel desideriamo operare; per esempio selezioniamo la colonna Forma grafica ponendo il cursore sull intestazione della colonna stessa. Così facendo la colonna assume un colore e questo indica che è attiva. Ora clicchiamo sull icona Text/Data Mining della barra degli strumenti (oppure selezioniamo il comando Text/Data Mining dal menu Record) ed apriamo la finestra di dialogo: Fig Finestra di dialogo del Text/Data Mining 89

8 Capitolo 6 Come si può osservare (fig. 6.2) il criterio di selezione del campo indicato nella casella è quello da noi selezionato: Forma grafica. I parametri successivi ci permettono di compiere delle operazioni logiche e delle operazioni di selezione tali da visualizzare esclusivamente i record di nostro interesse. Tali record visibili possono essere salvati in matrici da esportare. Per esempio rispetto al campo Forma Grafica, per il criterio Records LIKE scriviamo giur*. L asterisco * sta per qualsiasi carattere. Così facendo otterremo l elenco delle forme grafiche che iniziano per giur (fig. 6.3). Fig Selezione delle forme grafiche che iniziano con giur-. Oppure, selezionando il campo Categoria grammaticale, per il criterio Records LIKE scriviamo V ottenendo solo le forme grafiche della categoria Verbi (fig. 6.4). Fig Selezione delle forme grafiche: verbi 90

9 Analisi lessicale avanzata ed esportazione dei dati testuali con TALTAC Ciascuna di queste matrici è dotata di tutte le informazioni contenute nelle colonne della lista, compresi i campi nascosti, sempre visualizzabili dal menu Formato, voce Scopri campo, e poi selezionando il campo da scoprire (per e- sempio le sub-occorrenze del corpus). La matrice attiva nella finestra di lavoro è esportabile in un file di testo (perfettamente importabile in Excel) dal menu File, comando Esporta in un file di testo, voce Solo i record visibili. Le operazioni di selezione più interessanti che si possono compiere dalla finestra di dialogo dello strumento Text/Data Mining sono: 1) La selezione dei nomi astratti (non direttamente percepibili dai sensi) come libertà, proprietà, famiglia, maggioranza, sicurezza, dignità, società, ecc. Nel corpus LEX1 sono ) La selezione secondo il numero delle occorrenze con gli operatori di > < e =. Per esempio una selezione sulla base delle occorrenze maggiori di 5 visualizza una matrice di 393 record (forme grafiche distinte). 3) La selezione Records LIKE che, come si è visto, permette di individuare le forme grafiche oppure di selezionare sulla base delle categorie grammaticali. 4) La selezione dei campi vuoti/non vuoti. Il campo vuoto è un campo in cui non vi è alcun carattere. Le forme non riconosciute dal tag grammaticale hanno il campo vuoto. La casella Applica solo i records visibili permette le operazioni di affinamento della selezioni: marcando la casella, la selezione successiva avviene solo sulla lista selezionata attiva. Lo strumento Text/Data Mining permette di eseguire molte altre operazioni utili per la costruzione di matrici di lavoro. La consultazione del manuale, l esperienza dell utente, la sua fantasia e i problemi che si presentano in ogni analisi in modo originale ed imprevisto, possono generare nuove soluzioni e nuovi percorsi. L analisi dei dati testuali non trova facilmente procedure standardizzate valide una volte per tute e applicabili a tutti i testi. Questo fa parte del suo fascino. L obiettivo è sempre molto ambizioso: ricavare da una massa enorme di dati le informazioni ritenute essenziali e dotate di senso. E una sfida sempre aperta all innovazione e quindi tale da richiedere approcci nuovi e ancora inesplorati. 91

10

11 7. ANALISI MULTIMENSIONALE DEI DATI TESTUALI CON DTM DTM (Data and Text Mining) è un software di statistica per l esplorazione multidimensionale di dati complessi che comprendono dati numerici e testuali. Il software è stato sviluppato sotto la direzione di Ludovic Lebart sulla base della versione per DOS di SPAD-N (Système Portable pour l Analyse des Données) e SPAD-T. Le applicazioni principali riguardano l elaborazioni di dati quantitativi tratti da questionari e di risposte aperte (oppure di testi). In particolare, per quanto riguarda l analisi testuale, DTM permette di effettuare l analisi delle corrispondenze sulle tabelle di incrocio tra vocabolario e testi (APLUM) e tra parole e risposte (ASPAR), di costruire le tabelle lessicali di contingenza tra parole e testi (MOTEX e TALEX), di effettuare la classificazione gerarchica automatica delle risposte (RECIP). Il programma (aggiornato al 9 settembre 2004), sviluppato per fini didattici, è scaricabile dal sito e funziona in Windows (qualsiasi versione) principalmente sulla base di esempi di applicazione delle procedure principali. Seguendo le istruzioni è però possibile, con molte limitazioni rispetto al software completo ( soggetti, righe; variabili, colonne), far girare il software anche sui propri dati. In generale si tratta di un software di uso non facilitato che è rivolto a studiosi e non ad un generico pubblico di utenti. Ne è una testimonianza lo stesso linguaggio utilizzato, una versione mista in francese e in inglese. L uso del programma richiede l apprendimento (in gran parte esecutivo ) di istruzioni e sintassi molto rigide sulle quali operare pochi cambiamenti, trascurando tutto ciò che non è immediatamente utile e lasciando inalterati molti parametri senza entrare nel merito delle loro funzioni. 93

12 Capitolo PREPARAZIONE DEL CORPUS Dopo aver installato il programma (seguendo le istruzioni fornite sul sito) prendiamo in esame, prima di tutto, il corpus originale del nostro esempio (LEX1.txt) così come è stato ricostruito da TALTAC in seguito alla fase di tagging grammaticale di base, senza la lessicalizzazione dei segmenti. Chiameremo questo corpus con il nome di LEX1_TT_ricoFG.txt e lo copiamo nella cartella di lavoro LEX1_DTM (la cartella di lavoro può essere posizionata dovunque, anche sul desktop). Tab. 7.1 Caso A: un individuo / una riga ****Testo 1 questa è la prima riga del testo 1! Individuo 1 Testo 1 questa è la seconda riga del testo 1! Individuo 2 Testo 1... questa è la i-esima riga del testo 1! Individuo i Testo 1... questa è la n-esima riga del testo 1! Individuo n Testo 1 ****Testo 2 questa è la prima riga del testo 2! Individuo 1 Testo 2 questa è la seconda riga del testo 2! Individuo 2 Testo 2... questa è la i-esima riga del testo 2! Individuo i Testo 2... questa è la n-esima riga del testo 1! Individuo n Testo 2 ****Testo j... ****Testo k questa è la prima riga del testo k! Individuo 1 Testo k questa è la seconda riga del testo k! Individuo 2 Testo k... questa è la i-esima riga del testo k! Individuo i Testo k... questa è la n-esima riga del testo k! Individuo n Testo k ==== Tab. 7.2 Caso B: un individuo / più righe ****Testo 1 questa è la prima riga del testo 1 questa è la seconda riga del testo 1 Individuo 1 Testo

13 Analisi multidimensionale dei dati testuali con DTM ---- questa è la i-esima riga del testo 1 Individuo i Testo questa è la n-esima riga del testo 1 Individuo n Testo 1... ****Testo 2 questa è la prima riga del testo 2 questa è la seconda riga del testo 2 Individuo 1 Testo 2... questa è la i-esima riga del testo questa è la n-esima riga del testo 2 Individuo n Testo 2... ****Testo j... ****Testo k questa è la prima riga del testo k questa è la seconda riga del testo k Individuo 1 Testo k... questa è la i-esima riga del testo k questa è la n-esima riga del testo k Individuo n Testo k ==== Il file deve essere preparato per il trattamento in DTM. La strategia generale che adotteremo consiste esclusivamente nell analisi del corpus secondo la partizione in quattro testi. Pertanto occorre inserire nel file i marcatori adeguati per una corretta decodifica da parte del software. In questo tipo di applicazione, che convenzionalmente si chiama Texte o Text, il corpus può avere una delle due forme indicate in tabella 1 (caso A: un individuo / una riga) o in tabella 2 (caso B: un individuo / più righe). Nel caso A ogni riga (risposta) viene considerata come un individuo. Ogni testo è composto di n individui (risposte). Nel caso B ogni individuo può avere una risposta che continua su più righe. Pertanto la risposta viene considerata come un individuo. Anche in questo caso ogni testo è composto di n individui (risposte). Ogni risposta è delimitata dal marcatore In entrambi i casi (e anche per la redazione di tutti i file di lavoro: parametri, dizionario, dati) la lunghezza delle righe deve obbligatoriamente contenere al massimo 80 colonne (caratteri). 95

14 Capitolo 7 preparazione del testo viene effettuata nell editor di testi TextPad (cap. 2) per la riduzione della lunghezza delle righe e l inserimento dei marcatori. In seguito al passaggio in TextPad, il corpus (salvato con il nome LEX1_TT_ricoFG80.txt ) si presenterà come segue: ****A_Statuto statuto_n del_prep Regno_ di_ Sardegna Carlo_Alberto_NM per_prep la_ grazia_di_dio_n Re_N di_ Sardegna, di_ Cipro e_ di_ Gerusalemme, Duca_N di_ Savoja, di_ Genova, di_ Monferrato, d'_prep Aosta, eccetera_avv con_prep lealtà_n di_ Re_N e_ con_prep affetto_ di_ Padre_N Noi_PRON veniamo_v oggi_ a_ compiere_v quanto_ avevamo_v annunziato_ ai_ Nostri_ amatissimi_a sudditi_ col_prep Nostro_ proclama_ dell'_prep 8_NUM dell'_prep ultimo_ scorso_ febbraio_n, con_prep cui_pron abbiamo_v voluto_ dimostrare_v... ****B_Roma costituzione_n DELLA_PREP REPUBBLICA_N ROMANA_, 1849_NUM principii_n FONDAMENTALI_ la_ sovranità_n è_v per_diritto_avv eterno_ nel_prep popolo_. il_det popolo_ dello_prep Stato_N Romano_NM è_v costituito_ in_ repubblica_n democratica_. il_det regime_n democratico_ ha_ per_prep regola_ l'_det eguaglianza_n, la_ libertà_n, la_ fraternità_n. non_ riconosce_v titoli_ di_ nobiltà_n,... ****C_Italia costituzione_n della_prep Repubblica_N italiana_ edizione_n del_prep 1_NUM gennaio_n 1948_NUM principî fondamentali_ l'_det Italia_N è_v una_ Repubblica_N democratica_, fondata_ sul_lavoro_avv... ****D_ONU dichiarazione_n UNIVERSALE_ DEI_ DIRITTI_ DELL'_PREP UOMO_N preambolo_n considerato_ che_ il_det riconoscimento_n della_prep dignità_n inerente_ a_ tutti_ i_ membri_ della_prep famiglia_n umana_, i_ loro_ diritti_, uguali_ ed_cong inalienabili_a, costituisce_v il_det fondamento_n della_prep libertà_n, della_prep giustizia_ e_ della_prep pace_n nel_prep mondo_ ;... un_det atto_ mirante_v alla_ distruzione_n dei_ diritti_ e_ delle_prep libertà_n in_ essa_ enunciati_. 10_NUM dicembre_n 1948_NUM ==== 96

15 Analisi multidimensionale dei dati testuali con DTM ANALISI DELLE CORRISPONDENZE BINARIE: PREPARAZIONE DEL FILE DEI PARAMETRI PER LA PROCEDURA APLUM DTM esegue il programma in fasi che devono essere sequenziali in base alle istruzioni contenute nel file dei parametri. ARTEX SELOX NUMER MOTEX MOCAR APLUM Fig Fasi della procedura APLUM Nella nomenclatura dei parametri illustrati qui di seguito, con: individuo (individu/individual) si intende l entità in cui viene ripartito il testo (ogni individuo può fornire una o più domande/risposte); risposte (réponses/responses) sono i testi attribuiti a ciascun individuo a seconda delle domande (questions); stampa si intende la modalità di visualizzazione nel file di output dei risultati dall analisi (imp.txt). I termini domande aperte e risposte derivano dal fatto che il software è utilizzato soprattutto per l elaborazione delle risposte alle domande aperte dei questionari. Il file di output dei risultati viene ricoperto ad ogni analisi successiva. Se si desidera salvare il risultato per ogni fase occorre rinominare il file imp.txt prima di procedere con l esecuzione della fase successiva. ARTEX è la fase in cui viene costruito l archivio dei dati testuali. Parametri: ityp: tipo di dati testuali nel file ntexz (text = 1, enquire = 2). ncol: lirep: lunghezza dei record delle risposte. indica la fine implicita della risposta (1 = 1 riga/1 risposta). 97

16 Capitolo 7 SELOX è la fase in cui vengono scelte le domande aperte da trattare. Parametri: numq: indice delle domande selezionate; se numq = -1 o numq = list allora ci saranno insieme diverse domande (nella riga successiva saranno elencate le domande secondo il n. d ordine). Se si tratta di un corpus suddiviso in testi (come nel caso in esempio), allora nella fase ARTEX ityp = 1, ne consegue che nella fase SELOX numq = 1, cioè si istruisce il programma ad elaborare una sola domanda. NUMER è la fase di codifica numerica dei testi. Parametri: coef: valore di default 1; da 2 a 10 per corpora più grandi). Si tratta di un coefficiente tecnico che indica al programma la frequenza delle forme grafiche per lunghezza; in alcuni casi può essere sostituito da histo (vedi sotto). nseu: numero che indica la soglia di frequenza delle forme grafiche da trattare. nxlet: numero massimo di lettere per forma. nxmax: numero massimo di forme distinte. ledit: stampa delle parole (0 = no, 1 ordine alfabetico, 2 ordine di frequenza, 3 = tutto). nmomi: numero che indica la soglia di lunghezza delle parole. weak '"-+ (separatori deboli). strong.;:()!?, (separatori forti). histo > (parametri di default che possono essere modificati secondo le necessità). end (fine della fase). Con il parametro coef il comando histo non è necessario. La sequenza di valori inserita qui come esempio è semplicemente la sequenza di default che viene attivata da coef = 1. Con coef = 2 i valori della sequenza saranno moltiplicati per 2: > Questi valori indicano che il programma si attende che ci siano 80 forme grafi- 98

17 Analisi multidimensionale dei dati testuali con DTM che distinte con una lunghezza di 1 carattere; 220 con lunghezza 2, 440 con lunghezza 3; e così via fino a 10 con lunghezza 20. Non è previsto che vi siano parole più lunghe di 20 caratteri. Per quanto riguarda le parole di una lingua questo è quasi sempre vero (benché la parola più lunga del vocabolario italiano sia di 26 lettere). Se vi sono parole più lunghe il programma le legge, ma le tronca al ventesimo carattere. Questo non è un grosso problema perché le forme sono quasi sempre riconoscibili con venti caratteri (cioè è piuttosto raro che due forme con 21 o più caratteri abbiano i primi 20 caratteri nella stessa sequenza). Invece si tratta di un errore grave se le forme massime previste per una certa lunghezza di caratteri sono inferiori a quelle effettive. Se accade questo, il programma ignora le forme eccedenti. Nell output questo è segnalato dal fatto che alcuni valori della distribuzione delle forme per lunghezza sono identici sia per le forme previste che per le forme effettive riscontrate. La procedura è corretta solo se per tutti e venti i valori la forme previste eccedono di almeno 1 le forme effettive. Se questo non si verifica allora bisogna inserire, al posto del parametro coef che può essere ignorato, il comando histo (senza il segno di = ) seguito da una sequenza di valori secondo le necessità. La sequenza di valori corretta si ottiene attraverso prove successive fino a quando tutti i valori previsti sono maggiori dei valori effettivi. Per l esempio in corso dovremo preparare il seguente il file dei parametri (denominato LEX1par1.txt) da salvare nella cartella di lavoro LEX1_DTM che conterrà già il file con il corpus. Tra gli esempi contenuti nel software non c è un file parametri da seguire come traccia per questa procedura. Occorre sottolineare anche che i nomi dei parametri e dei comandi in alcuni esempi sono in inglese (weak, strong) mentre nell help sono riportati in francese (faible, fort). Funzionano in entrambe le dizioni. Anche le modalità dei parametri sono utilizzate in forma diversa (pur essendo identiche); per esempio, nel seguente file di parametri, nella fase NUMER, il parametro LEDIT può essere indicato come =3 oppure =tot. Anche l uso delle lettere maiuscole o minuscole è indifferente. #****** Il programma richiede 2 file in formato txt # #****** 1) Il presente file di parametri (LEX1_par1.txt) # 2) Il file di testo (NTEXZ = 'LEX1_TT_ricoFG80.txt') #****** Il programma produce il file di output IMP.txt (risultati) #****** Sintassi: ">"= continuazione, "#"= commenti LISTP = no, LISTF = no # (lascia questo così com è) NTEXZ = 'LEX1_TT_ricoFG80.txt' # nome file di testo (nome libero) 99

18 Capitolo 7 STEP ARTEX ==== Archive - Texts or responses to open ended questions ITYP=1 LIREP=1 NCOL=80 STEP SELOX ==== Selection of open questions and of individuals NUMQ = 1 STEP NUMER ==== Numerical coding of words NSEU=0 NMOMI=0 LEDIT=3 NXLET =20 NXMAX=5000 weak "-+ strong.;:()!?, histo > end STOP Tra i separatori deboli è stato eliminato l apostrofo per evitare che le forme create da TALTAC come: DELL'_PREP al_principio_d'_prep all'_prep vengano spezzate nelle forme distinte: DELL PREP al_principio_d PREP all PREP Il corpus ricostruito da TALTAC contiene sempre forme molto più lunghe delle parole in lingua italiana, in quanto ogni parola riconosciuta è stata classificata in una forma grammaticale e quindi identificata da una tag. Inoltre vi sono molti poliformi o segmenti lessicalizzati (creati dall analista) che portano la lunghezza delle forme ad eccedere il numero massimo di 20 caratteri (il poliforme dell esempio qui sotto è costituito da 37 caratteri). Questo comporta un innalzamento della frequenza di forme grafiche attese nelle classi di lunghezza Purtroppo, in questi casi, accade anche che le forme abbiano i primi 20 caratteri in comune, per cui le forme vengono troncate e conteggiate come se 100

19 Analisi multidimensionale dei dati testuali con DTM appartenessero ad una forma unica. Per esempio: presidente_del_consiglio_dei_ministri occorr. 5 presidente_del_consiglio occorr. 1 Le due forme vengono riconosciute come: presidente_del_consi occorr. 6 L unico modo per distinguere le due forme (se fosse ritenuto necessario per l analisi) è di modificarle con un codice come prefisso. Per esempio: 1presidente_del_Cons (iglio_dei_ministri) 2presidente_del_Cons (iglio) A questo punto, con il file del corpus LEX1_TT_ricoFG80.txt e con il file dei parametri LEX1par1.txt nella stessa cartella di lavoro possiamo aprire il programma cliccando sull icona DTM per accedere alla barra dei menu: Fig Barra dei menu di DTM Dalla menu Parameters selezioniamo la voce Open e apriamo il file parametri LEX1_par1.txt nella cartella di lavoro. Se necessario, possiamo modificare i parametri, ricordandoci però di salvare il nuovo file dal menu File Save o Save as... Se non sono necessarie modifiche, clicchiamo sul comando Return e ritorniamo sulla barra del menu principale. Clicchiamo su Execute per avviare l esecuzione del programma. Dopo qualche secondo appare una finestra di controllo delle fasi (step) eseguite. 101

20 Capitolo 7 Fig Finestra di controllo delle fasi eseguite Se non ci sono errori di scrittura della sintassi (segnalati da una interruzione del programma) possiamo esaminare l output cliccando sul menu Results Open. L output va esaminato con estrema attenzione anche nel caso in cui tutte le fasi vengano eseguite perché possono esserci ugualmente degli errori, sebbene non così decisivi da bloccare l esecuzione del programma. L output (file imp.txt nella cartella di lavoro) è sempre piuttosto pesante e dovremo esaminarlo, per quanto è possibile, da monitor, stampando solo le parti essenziali quando riterremo di aver completato l analisi. L output illustra tutte le fasi eseguite e i rispettivi parametri, fornendo le tabelle e gli eventuali grafici richiesti (che però sono visualizzabili in modo più efficace sul visualizzatore grafico, come vedremo). Nella fase NUMER dovremo fare attenzione ad alcune informazioni: number of responses per class: ci dice quante righe (individui) ci sono per ogni testo. In questo caso la partizione in righe è solo una partizione di comodo che non ha alcun significato per l analisi, che verrà condotta sulla tabella di contingenza delle forme testi; in altri casi però può essere un dato di controllo essenziale. frequency according to the number of letters: occorre prestare attenzione (come si è detto) al valore delle frequenze osservate in corrispondenza delle frequenze massime previste per ciascuna classe di lunghezza delle forme. Se la frequenza massima è uguale alla frequenza osservata è possibile che qualche forma sia stata scartata in quanto eccedente il valore massimo indicato. In questo caso sarà necessario aumentare il valore della frequenza massima prevista nel comando histo ed eseguire di nuovo il programma. Di seguito abbiamo i risultati principali del conteggio delle occorrenze: 102