ANALISI AUTOMATICA DEI TESTI La Tona Letizia

Transcript

1 ANALISI AUTOMATICA DEI TESTI La Tona Letizia The Text Analysis is the automatic analysis of the text made by means of the computer, its objective is to represent the meaning of the content and to extract information of interest through quantitative measures, it is faster and simpler than the simple reading when large amounts of documents are to be examined. In this paper we introduce the main techniques that have marked the development of the procedures for Text Analysis. The focus is on the statistical methods for Multidimensional Data Analysis and on the recent procedure of Data Mining to extract information suited to the study of unstructured texts. It is highlighted the actual importance of automatic analysis through the results of some studies on real cases. 1 Introduzione Con il termine Text Analysis (TA) s intende un analisi automatica del testo effettuata attraverso il computer con l obiettivo di rappresentarne il contenuto e di estrarre delle informazioni di interesse attraverso misure di tipo quantitativo; l Analisi automatica è necessaria soprattutto quando il materiale testuale da esaminare è di grandi dimensioni, in quanto risulta veloce e semplificata rispetto alla semplice lettura. Già Berelson (1952), più di mezzo secolo, fa aveva enumerato alcuni dei motivi, tuttora validi, per effettuare l'analisi del contenuto del testo. Essi, in linea generale, sono riassumibili come segue: descrivere le tendenze del contenuto nel tempo, descrivere il focus di attenzione per una serie di argomenti, confrontare le differenze dei testi in relazione ai contenuti, confrontare le differenze individuali nello stile della scrittura, tracciare lo sviluppo dei concetti nella storia culturale, confrontare il contenuto effettivo con contenuti teorici, individuare l uso di termini nella pubblicità, codificare risposte in indagini a risposta aperta. Lo studio del linguaggio naturale, inteso come capacità di espressione dell uomo a un determinato livello comunicativo, era tradizionalmente campo di ricerca di linguisti, psicologi e sociologi; diventa oggetto di studio della statistica attraverso l evolversi della Statistica Testuale e dell Analisi Automatica dei Testi (Lebart, et al., 1988). L approccio quantitativo ha spostato l interesse da una logica di tipo linguistico, prima degli anni Sessanta, a una di tipo lessicale, intorno agli anni Settanta e, infine, ad una di tipo testuale o lessico-testuale, negli anni Ottanta e Novanta. Le concrete possibilità di Analisi del Testo si sono ampliate e arricchite passando, infatti, da un semplice studio quantitativo, nel quale le raccolte di parole si intendono come campioni e il numero di volte che si presentano come l approssimazione delle frequenze, ad uno di tipo testuale, dove si sviluppa una più approfondita analisi statistica in forme grafiche. Successivamente, si è pervenuti a studi più complessi, di tipo lessico-testuale, dove ci si avvale dell apporto di meta-informazioni di carattere linguistico, di dizionari elettronici, di lessici di frequenza, di grammatiche locali, di trattamenti di normalizzazione, di lemmatizzazione e di lessicalizzazione. È in quest ultima fase che l aumento della quantità di testi da esaminare e lo sviluppo di ausilio informatico hanno portato alla diffusione delle tecniche di Text Mining (TM) idonee ad estrarre informazioni da materiali espressi in linguaggio naturale: l Information Retrieval (IR) e l Information Extraction (IE). Le tecniche di Text Mining affrontano il problema di esaminare elevate quantità di testi liberi e, nella gran parte dei casi, hanno l obiettivo di ricavare da documenti non strutturati i dati necessari ad alimentare data-base aziendali con informazioni strutturate, più facili da utilizzare nei processi gestionali. Sinteticamente, si può dire che l Information Retrieval analizza il testo nella sua globalità, mentre l Information Extraction seleziona le 1

2 informazioni specifiche all interno del testo. In particolare, le tecniche di IE hanno lo scopo di sintetizzare il contenuto informativo recuperato dai documenti rilevanti per un determinato ambito e renderlo disponibile per ulteriori analisi cercando di non perdere informazioni sulle relazioni tra parole. L obiettivo dell IR è quello di recuperare informazione automatica dai documenti rilevanti attraverso una richiesta (query); la formulazione esatta della query, intesa come espressione del bisogno informativo dell'utente espresso tramite linguaggio naturale, riveste una importanza cruciale nella ricerca e da essa deriveranno i risultati dell analisi. Attualmente l Analisi del Testo trova applicazione in molti ambiti disciplinari, tra i quali: a) linguistica, dove permette di eseguire elaborate analisi di contenuto, in particolare studi stilometrici o di autenticità dell autore; b) psicologia e sociologia, con analisi di contenuto sia di testi che di materiali testuali provenienti da indagini e sperimentazioni su campo, da interviste, da focus group, da discorsi politici; c) studi specialistici di comunicazione volti al marketing e al linguaggio condotto sui principali tipi di media; d) campo aziendale, dove la tecnologia linguistica, trasformando in dati quantitativi le informazioni di tipo testuale provenienti dalle più svariate fonti (siti web, raccolta dei documenti, , rassegna stampa, ecc), ha consentito di acquisire utilissime informazioni di marketing in analisi di mercato, analisi di portafoglio, segmentazione del mercato, identificazione profilo di cliente e così via. Scopo di questo lavoro è di introdurre l Analisi Automatica del Testo e illustrare le principali tecniche che, anche con il supporto dell informatica, consentono oggi approfonditi studi del contenuto. In particolare, verranno presentate le metodologie statistiche classiche di analisi testuale e le recenti procedure automatiche di estrazione di informazioni idonee principalmente allo studio di materiale non strutturato, la serie di fasi e sottofasi che definiscono la struttura del testo necessarie per la preparazione all analisi, i modelli di recupero delle informazioni e le tecniche le sintetizzano. Infine, allo scopo di evidenziare il valore concreto delle tecniche esposte, saranno riportati alcuni interessanti studi di analisi del testo presenti in letteratura. Il lavoro è organizzato come segue: nel secondo paragrafo vengono definiti i concetti fondamentali su cui si basa l Analisi del Testo e le operazioni che costituiscono le fasi di preparazione del documento; nel terzo paragrafo vengono esposte, in una breve rassegna, le metodologie statistiche particolarmente utilizzate per l analisi dei dati testuali; nel paragrafo quattro viene illustrata la tecnica di Text Mining, comprendendo le fasi di Information Retrieval, ovvero di recupero di informazioni e di Information Extraction, ovvero delle tecniche che puntano a ridurre il corpus del documento; nel paragrafo cinque, sono riportati degli esempi concreti presenti in letteratura in alcuni campi di applicazione; nel paragrafo sei sono contenuti dei commenti conclusivi su alcune fasi dell Analisi Automatica del Testo. 2. Definizione dei concetti di base e fasi del processo di Text Analysis Il processo di Text Analysis si compone di fasi e sottofasi che operano una trasformazione del testo connessa al linguaggio naturale, finalizzate a definire la struttura dei dati rispetto all oggetto di studio. È opportuno richiamare, preliminarmente, alcuni concetti di base e relative definizioni sullo studio del testo. La parola, intesa come una forma grafica, ossia sequenza di caratteri, costituisce l unita elementare del testo e come tale può essere considerata unità statistica; essa dal punto di vista linguistico ha un senso e manifesta concetti che possono esprimere un oggetto, 2

3 un azione, una relazione, uno stato, una qualità. Il testo, dal latino textus, è l insieme delle parole connesse fra loro in unità logico-concettuale con una finalità comunicativa, distinguendolo da un insieme di parole accostate casualmente. Il numero di volte in cui una parola appare nel corso del testo determina le sue occorrenze. La parola nella sua grafia originale nel testo costituisce la forma (forma flessa assunta nel discorso dal corrispondente lemma), il lemma è costituito dalla forma canonica corrispondente all entrata del termine nel dizionario e rappresenta tutte le flessioni con cui quell unità lessicale può presentarsi nel discorso. Il tema costituisce la famiglia lessicale di tutti i lemmi derivati da una medesima radice - per esempio, parl corrisponde a: parlare, parlato, parlottante, parlucchiare, parlamentare, parlamento, parlamentarista, etc.- (Bolasco et all, 2004). Secondo gli obiettivi dell analisi, la parola può essere rappresentata come una forma grafica, un lemma, un poliforme o una forma testuale, quest ultima è un unità di tipo misto in grado di esprimere al meglio i contenuti del testo. Per preparare l analisi, dopo aver definito l insieme dei documenti da analizzare, si inizia esaminando il corpus, ovvero, le parole che compongono la raccolta di testi considerati. A ogni forma o parola diversa si fa corrispondere un codice numerico e l elenco delle collocazioni di tutte le sue occorrenze nel corpus. Il risultato di questa fase dà luogo alla costruzione del vocabolario del corpus, ossia della lista di tutte le parole diverse che figurano nel testo. Data la vastità del corpus considerato, e poiché non tutte le parole hanno la stessa importanza, non è opportuno tener conto di tutto il testo. A tal fine, è necessario determinare il peso del singolo termine; si pone, cioè, il problema di estrarre l informazione significativa, ovvero quella parte di linguaggio che contiene gli elementi peculiari del contenuto. L importanza di una parola può essere indicata dalla sua frequenza che, tuttavia, non è il solo elemento determinante, infatti, anche le parole incontrate una sola o poche volte possono avere un valore rilevante; a tale scopo è bene distinguere preliminarmente tra parole vuote e parole piene. Le prime non sono portatrici di significato autonomo e sono tra le parole più frequenti in quanto necessarie alla costruzione della frase; fanno parte di questa categoria le cosiddette stop word ( quali per esempio, e, il, da, ecc.) e le parole finalizzate a funzioni grammaticali e sintattiche (per esempio, è, poiché, nonostante, ecc). Le parole piene sono rappresentate da quei termini che hanno un senso in sé, e sono costituiti da verbi, aggettivi, sostantivi e avverbi. Il passo successivo per estrarre l informazione dal testo richiede l applicazione delle operazioni di normalizzazione, tagging grammaticale, lemmatizzazione o categorizzazione semantica. La normalizzazione è costituita da una serie di operazioni di standardizzazione del testo che viene effettuata sia sulle parole, attraverso il riconoscimento di nomi propri, toponimi, sigle, date, numeri, ecc., sia sulla individuazione di frasi, modi di dire, aforismi, e così via. Il tagging consiste nel contrassegnare la forma con l attribuzione della sua categoria grammaticale. La lemmatizzazione consiste nel trasformare la forma nel lemma corrispondente (per esempio correvo diventa correre ) ed è una operazione che risolve i problemi grammaticali del testo. I lemmatizzatori automatici, sono strumenti che raggiungono elevatissimi livelli di qualità nella individuazione del giusto lemma; essi, utilizzando catene di Markov e grammatiche locali e basandosi sulla disponibilità di un dizionario elettronico, identificano nel testo strutture e regole capaci di definire univocamente diverse funzioni grammaticali e quindi risalire correttamente al lemma di un termine. Gli aspetti semantici vengono definiti con l utilizzo di basi di conoscenza, dove per ogni vocabolo sono mano a mano inventariati i diversi significati espressi nel dizionario. 3

4 Si osserva che, se da una parte la riduzione delle parole alla radice comune fa riconoscere più facilmente significati e informazione sul contenuto, dall altra può far perdere le diversificazioni di linguaggio in quanto fonde tutte le forme flesse di uno stesso lemma; è per questa ragione che in letteratura (Bolasco, 2005) viene proposta come soluzione una lemmatizzazione ragionata. La disambiguazione del testo si riferisce ai problemi di interpretazione del significato del termine che si incontra nel caso di parole ambigue; l ambiguità può essere di natura lessicale, come nel caso di forme flesse di lemmi differenti, e di natura semantica, nel caso sia riferita a più concetti differenti del termine. Nel TA, per risolvere i termini dubbi e precisarne il significato, si ricorre ad appositi software sviluppati negli ultimi anni basati sull analisi di sequenze di parole (o segmenti), in grado di condurre una procedura avanzata di disambiguazione automatica. Le fasi iniziali dell analisi sono relative alla codifica del testo, alla determinazione dell unita di analisi e al sistema di pesi da adottare; queste operazioni assumono un ruolo rilevante nel processo da cui deriveranno i risultati dell analisi e la loro la loro pertinenza con gli obiettivi della ricerca prefissati. L unita elementare del testo è costituita dalle semplici forme grafiche ma anche dalle cosiddette unita minimali di senso, rappresentate da sequenze di caratteri che possiedono un proprio significato autonomo, non desumibile dalle singole parole che le compongono, ad esempio dato di fatto. Dopo aver riconosciuto l unità di analisi, occorre attribuire un codice numerico, uguale se ricorre più volte nel testo; a ogni codice viene associato l insieme dei suoi indirizzi, cioè delle sue collocazioni nel testo. I testi, o documenti, esaminati vengono trasformati in vettori la cui forma può cosi essere rappresentata: d i ={ w i1, w i2,., w ij,., w iq, } dove con w ij si indica l importanza della forma j-esima nel documento i-esimo. Per valutare l esatto contributo informativo di ogni unita implicata interviene un adeguato sistema di ponderazione. Gli schemi di ponderazione utilizzati sono: 1- lo schema di ponderazione Booleano, o di presenza-assenza, di una determinata forma testuale all interno di un documento che sicuramente è il più semplice da adottare, anche se il meno efficace. In esso si attribuisce valore wij=1 quando la forma j-esima è presente nel documento i-esimo, valore w ij =0 quando la forma j-esima non è presente nel documento i- esimo. In tale sistema l importanza di ogni forma è valutata allo stesso modo, tanto nei documenti fortemente caratterizzati da essa, quanto nei documenti in cui è priva di contenuto informativo caratterizzante; 2-il sistema delle frequenze, che si basa sullo schema bag-of-word, in cui si assegna al peso wij il valore della frequenza statistica, ovvero il numero di occorrenze della forma j-esima nel documento i-esimo; 3-il sistema di ponderazione Term Frequency - Inverse Document Frequency (TF-IDF) (Salton, et al., 1988) che risulta particolarmente idoneo nelle tecniche di trattamento del linguaggio naturale connesse all Information Retrieval; esso tiene conto dell importanza di ogni forma, sia rispetto ad ogni specifico documento che rispetto alla totalità dei documenti contenuti nel corpus. Questo schema è alla base dei sistemi di ponderazione complessi delle forme testuali e si basa su due concetti fondamentali: a) le forme principali (o parole piene) che occorrono con una frequenza maggiore all interno di un documento sono generalmente più indicative del suo contenuto; b) quanti più documenti contengono un termine tanto meno esso è discriminante per il contenuto, pertanto è necessario valutare il livello di discriminazione delle forme all interno del corpus. 4

5 Dall assunto a) deriva il Term Frequency, ottenuto normalizzando la frequenza f del j- esimo termine t con la frequenza della forma con occorrenza maggiore all interno del documento i-esimo: tf ij = 0,5 + 0,5 f ij / max f i. Dall assunto b) deriva l Inverse Document Frequency che assume la forma seguente: idf j = log ( n /df j ) dove il numero totale di documenti è indicato da n e d, mentre il numero di documenti in cui appare la forma j-esima è indicato da df j. L indice TF-IDF si ottiene combinando i due indici precedenti; in una delle formulazioni più utilizzate, il best fully weighted system, l indice viene normalizzato con la lunghezza del documento in esame, consentendo in tal modo di mettere a paragone i risultati ottenuti da corpora differenti. Esso è espresso come segue: TF-IDF = f ij * [ log ( n /df j ) / Σ j ( f ij log ( n /df j ) ) 2 ]. 3. Metodologie statistiche di Analisi del Testo Le tecniche di Analisi del Testi negli ultimi cinquant anni si sono evolute, passando dalle prime indagini elementari ad analisi completamente automatiche, in grado di decifrare il senso di una frase all interno di vaste raccolte di materiali testuali. Anche le procedure statistiche idonee ad affrontare questi studi si sono sviluppate per adeguarsi alla grande mole di materiale testuale. I primi studi quantitativi sui testi si fondavano su semplici metodi statistici unidimensionali, basati sullo studio statistico della frequenza delle singole parole e soprattutto sull Analisi delle Concordanze. Questa analisi ricordiamo che, rispetto al solo studio delle frequenze, consente di riconoscere i diversi usi e significati di un termine osservando tutti i contesti locali di una parola d interesse. Uno studio statistico del testo si effettua a partire dal confronto delle distribuzioni generate dall'insieme delle frequenze delle parole nel testo, ossia dei diversi profili lessicali. Attualmente si utilizzano tecniche di Analisi Multidimensionale dei Dati che si rivelano molto utili a trattare le matrici di dati di ampie dimensioni che derivano dall elevato numero di caratteri che descrivono i profili lessicali d interesse. Le segmentazioni del corpus danno luogo a matrici di tre tipi diversi: una matrice che associa parte del testo con le parole e contiene dati booleani riferiti alla presenza- assenza della parola nella parte esaminata; una matrice che associa parole per parti e contiene le frequenze con cui ogni parola ricorre nella parte (sub-testo); una matrice che associa parole con parole e contiene la co-occorrenza di coppie di parole nella parte del corpus, in questo caso la matrice può registrare la sola esistenza dell associazione (0/1) o pesarne la dimensione. Il profilo lessicale può essere descritto da ogni riga o colonna della matrice. Tutti i metodi statistici di analisi multivariata usati per l analisi delle matrici tendono a ridurre la multidimensionalità dei dati. I metodi particolarmente utilizzati in questo campo sono: -i metodi fattoriali che, attraverso una riduzione del numero di variabili del fenomeno, producono delle nuove variabili sintetiche in grado di ricostruire i principali assi semantici che caratterizzano la variabilità dei contenuti del testo; -l analisi delle corrispondenze che, fra parole presenti nel testo, visualizza le principali cooccorrenze sulla base della loro vicinanza nei piani cartesiani costituiti da coppie di assi fattoriali. Si ricostruiscono in tal modo gli schemi del contenuto del testo che danno spesso una riproduzione complessiva del senso del discorso; -i metodi di cluster e di segmentazione che puntano, invece, a ridurre la quantità delle unità statistiche, fornendone una classificazione in grado di circoscrivere delle catalogazioni con 5

6 le quali individuare simultaneamente le caratteristiche d interesse, consentono dunque di individuare classi di parole o di frammenti di testo caratterizzati da una forte omogeneità interna. 4 - Il processo di Text Mining Il processo di Text Mining consiste nell estrazione di pattern utili da testi liberi non strutturati, è un analisi non semplice che ha lo scopo di classificare i dati testuali per valutare l appartenenza o meno di un documento ad uno specifico argomento. I problemi più complessi si incontrano nella individuazione del contenuto del testo, nella risoluzione delle ambiguità e degli errori tipografici e grammaticali. Si compone essenzialmente di due procedure Information Retrival e Information Extraction relative, rispettivamente, alla selezione fra le unità di analisi di quelle maggiormente significative del contenuto del testo e alla sintesi e classificazione del contenuto. a) Information Retrieval Il recupero di informazioni, o Information Retrieval (IR), è un campo interdisciplinare che nasce dal contributo di discipline diverse e coinvolge, specificamente, l'informatica, la linguistica, la semiotica, la scienza dell'informazione, la psicologia cognitiva, l'architettura informativa, la filosofia, ecc. La procedura di IR si esegue su grandi raccolte di testi sulla base di richieste (query) formulate come singole parole o come frasi, l esempio più comune può essere quello dei motori di ricerca sul web per mezzo di software sviluppati su database che prendono in considerazione non solo i singoli documenti d interesse, come avviene nei software tradizionali, ma anche le possibili relazioni che tra essi intercorrono. Ai singoli documenti vengono di solito associati dei metadati in modo da ottenere come risultati della query informazioni aggiuntive; i metadati all'interno del documento hanno la funzione di consentire ai motori di ricerca di ottimizzare il recupero dell'informazione, non molto diversamente da quanto farebbe una scheda di catalogo di biblioteca. La procedura di Information Retrieval si compone di due momenti: la selezione delle fonti e il recupero dei testi (unitamente alle eventuali informazioni relative ai metadati). La selezione delle fonti ha il compito di individuare i soli documenti rilevanti rispetto ai criteri della query; le fonti possono essere archivi che contengono informazioni in linguaggio naturale, database strutturati con informazioni già sintetizzate (con o senza metadati), immagini di documenti. Per recuperare i documenti è necessario definire il tipo di analisi da condurre; essa può essere, unicamente o congiuntamente, di tipo ortografico, semantico o statistico. Nell esame Ortografico il riconoscimento delle parole avviene in base alla loro grafia, scollegate dal contesto; nell esame Semantico il riconoscimento si cerca attraverso l associazione della parola al concetto che vuole esprimere e, contemporaneamente, si tiene conto di parole diverse che possono esprimere concetti analoghi; nell esame Statistico il riconoscimento si effettua attraverso il confronto della frequenza nell uso delle parole con una distribuzione di riferimento (lessico di frequenza). Dai documenti selezionati secondo i criteri della richiesta si estraggono i frammenti di testo che contengono le parole o le frasi di interesse; una volta individuato, per ciascun termine si determina un peso (a tal fine si può usare la frequenza all interno del documento o funzioni più complesse, come l indice TF-IDF). Fondamentale per ottenere buoni risultati è la qualità dell algoritmo di selezione e di estrazione, soprattutto nel caso di frasi. I sistemi di Information Retrieval, per recuperare l'informazione, usano i linguaggi di interrogazione basati su comandi testuali; sono fondamentali due elementi, la query e 6

7 l oggetto. Le query vengono digitate in un sistema IR (per esempio, un motore di ricerca) e sono stringhe di parole-chiave che rappresentano l'informazione richiesta. L oggetto è un'entità che mantiene o racchiude informazioni in una banca dati; per esempio, un documento di testo è un oggetto di dati. Una tipica ricerca di IR ha come input un comando dell'utente, la sua query viene messa in relazione con gli oggetti presenti nella banca dati e, in risposta, il sistema fornisce un insieme di record che soddisfano le condizioni richieste. È possibile misurare la bontà dell associazione tra l'informazione e l'informazione recuperata, attraverso indici di precisione, indici di recupero o attraverso una loro media. La precisione rappresenta la proporzione di documenti pertinenti fra quelli recuperati che, nella classificazione binaria, è analoga al valore positivo di previsione. Può anche essere misurata rispetto a un certo valore soglia, piuttosto che relativamente a tutti i documenti recuperati; in questo modo, si può valutare quanti fra i primi n documenti recuperati sono rilevanti per la query. Il significato e l'uso del termine "precisione" nel campo dell'ir differiscono dalla definizione di accuratezza e precisione tipiche della metodologia statistica. Il recupero rappresenta la proporzione fra il numero di documenti rilevanti recuperati e il numero di tutti i documenti rilevanti disponibili nella collezione considerata; nella classificazione binaria, questo valore è chiamato sensitività. La misura F è costituita dalla media armonica pesata fra l indice di precisione e di recupero. I documenti, nella ricerca di informazioni vengono rappresentati con adeguati modelli che possono essere classificati secondo un criterio matematico in: Modelli Set-theoretic, Modelli Algebrici e Modelli Probabilistici. I Modelli Set-theoretic rappresentano i documenti mediante insiemi, le somiglianze derivano da operazioni teoriche su questi insiemi. I modelli più comuni di questa classe sono: il Modello booleano standard, il Modello booleano esteso e il Recupero fuzzy. I Modelli Algebrici rappresentano i documenti e le query con vettori o matrici che, utilizzando un numero finito di operazioni algebriche, vengono trasformati in una misura numerica che esprime il grado di somiglianza dei documenti con la query. I modelli più comuni di questa classe sono: il Modello a spazio vettoriale, il Modello a spazio vettoriale generalizzato, il Topic-based vector space model, il Modello booleano esteso, l Enhanced topic-based vector space model e la Latent semantic indexing aka latent semantic analysis. I Modelli Probabilistici che, usando i teoremi probabilistici, trattano il processo di recupero dei documenti come un esperimento aleatorio multi-livello, dove le somiglianze sono rappresentate come probabilità. I modelli più comuni di questa classe sono: il Binary independence retrieval, l Uncertain inference, il Language model e il Divergence from randomness model. In base alle proprietà che presentano, i modelli si possono classificare in Modelli senza interdipendenza dei termini, Modelli con interdipendenza dei termini intrinseca e Modelli con interdipendenza dei termini trascendente. I Modelli senza interdipendenza dei termini trattano diversi termini come non interdipendenti. Ciò viene rappresentato spesso nei modelli a spazi vettoriali supponendo che i vettori dei termini siano ortogonali, o nei modelli probabilistici, supponendo che le variabili dei termini siano indipendenti. I Modelli con interdipendenza dei termini intrinseca consentono una rappresentazione diretta delle interdipendenze tra termini. Il grado di interdipendenza tra due termini è definito dallo stesso modello; in genere, esso è direttamente o indirettamente derivato dalla co-occorrenza di questi termini nell'intero insieme di documenti. I Modelli con interdipendenza dei termini trascendente consentono una rappresentazione diretta delle interdipendenze tra termini, ma non riportano come l'interdipendenza tra due termini sia definita, in quanto si assume riferita ad una fonte esterna. 7

8 b) Information Extraction Le tecniche di Information Extraction puntano a sintetizzare il contenuto informativo recuperato dai documenti rilevanti e a renderlo disponibile per successive analisi. Il loro obiettivo è quello di ridurre il vocabolario del corpus e di non perdere informazioni sulle relazioni tra parole nel passare dal linguaggio naturale alla sua formalizzazione vettoriale. Un documento si rappresenta generalmente come un vettore nello spazio geometrico definito da un numero di componenti pari all ampiezza del vocabolario del corpus, ciò comporta problemi di dimensione in quanto cresce con l ampiezza del vocabolario. Una tra le soluzioni adottate per ridurre la dimensione dei vettori è quella di considerare solo le parole-chiave e utilizzare vettori di dimensione pari solo al numero di parole significative. Per recuperare la perdita di informazione che la rappresentazione vettoriale dei documenti comporta in termini di relazioni tra parole, sono disponibili varie tecniche che si basano sullo studio delle co-occorrenze di parole nell ambito della stessa frase. Si cerca di derivare delle regole generali di associazione tra le sequenze significative di parole sulla base delle co-occorrenze che superano una soglia stabilita in termini di frequenza. Molto importante per ottenere una sintesi dei documenti è la classificazione; viene eseguita a partire da una lista pre-definita di categorie nelle quali far rientrare i documenti, basandosi sulla presenza delle parole e delle sequenze più significative in essi contenute. L obiettivo è ottenuto attribuendo un valore vero o falso a ciascuna coppia documentocategoria per tutti i documenti da analizzare e tutte le categorie presenti nelle liste di riferimento. La fase detta Summarization procura una riproduzione astratta dei documenti che accentua i temi qualificanti del testo, vale a dire la famiglia lessicale di tutti i lemmi derivati da una medesima radice, mentre elimina gli altri. Per ottenere ciò è necessario concettualizzare i documenti, riconducendo le parole caratterizzanti a classi di significato derivate da conoscenze esterne al corpus. Infine, si ricorre ai metodi di Cluster o di Analisi di tipo Multidimensionale per visualizzare in un grafico sintetico di facile interpretazione i documenti classificati e spostare l attenzione dai singoli documenti a gruppi di documenti. 5. Esempi di Text Analysis Uno sguardo sugli ambiti di applicazione dell Analisi Automatica dei Testi fornisce un tracciato delle concrete possibilità di estrarre conoscenza da un corpus. La maggior parte delle Analisi si fonda sull interpretazione delle diversificazioni linguistiche e sull identificazione del contenuto essenziale espresso nei testi. I campi di applicazione e le fonti di provenienza del materiale testuale sono i più diversi. Di questi ultimi fanno parte, oltre ai tradizionali testi letterari, scientifici o di saggistica, tutto il materiale testuale che viene prodotto in ogni settore e circostanza che costituisce la parte predominante di applicazione. Gli esempi spaziano nel vasto campo delle rassegne stampa, discorsi politici, interviste, pubblicità, relazioni di enti, istituzioni ecc.; degli esperimenti di carattere sociale o psicologico, dove si analizzano testi provenienti da indagini su campo; della medicina dove si analizzano testi di protocolli clinici e dalla giurisprudenza dove si analizzano testi di atti processuali; infine, anche dalle trascrizioni di linguaggi visivi, comportamentali, studi su , ecc. Applicazioni più rilevanti di Text Mining riguardano il campo aziendale e di marketing. In letteratura vi sono molte applicazioni di Text Analysis dedicate al linguaggio utilizzato dalla stampa, tra le quali ricordiamo lo studio Corpus 8

9 Rep-90 (Bolasco e Canzonetti, 2003) sull esame di dieci annate del quotidiano La Repubblica. Illustreremo le fasi dell analisi e l informazione che è possibile ottenere dai risultati riportando sinteticamente due ricerche: una rassegna stampa sull elettrosmog (Bolasco et al., 2004), e uno studio sulle encicliche papali (Bisceglia e Rizzi, 2001). Si farà un cenno alle applicazioni di procedure basate sull approccio Semiometrico e sul Technology Watch. Il primo studio che riportiamo riguarda una rassegna stampa sull elettrosmog compiuta allo scopo di monitorare l attenzione che i quotidiani nazionali hanno dedicato all inquinamento elettromagnetico. L analisi si basa sul Rapporto Interno del Consorzio Elettra 2000 e utilizza un campione di giornali quotidiani a diffusione nazionale e locale in un periodo di quattordici mesi, dall ottobre 1999 al novembre 2002, la rassegna era costituita da 685 articoli. L obiettivo era di misurare nel tempo e per zone geografiche il livello di attenzione verso i vari aspetti collegati al fenomeno inquinamento e il loro tipo di percezione al fine di valutare l atteggiamento, le finalità e i diversi punti di vista assunti delle testate giornalistiche considerate. Per identificare le caratteristiche generali del linguaggio presente nella stampa e catturare la terminologia utilizzata, le fasi di studio hanno comportato: l analisi del vocabolario utilizzato in termini di forme testuali più frequenti, l evidenziazione dei lemmi più ricorrenti per categorie grammaticali e l individuazione del linguaggio peculiare che, mediante una riduzione al tema delle principali unità lessicali selezionate, ha permesso di quantificare le diverse percezioni del fenomeno. Dall osservazione del vocabolario, che per brevità non è qui riportato (vedi Bolasco et al, 2004), si è notato che il termine elettrosmog non è la parola-tema per eccellenza, ma è preceduta dai termini quali: antenne, telefonia, ripetitori, installazione, impianti, onde e cellulari. Ciò ha consentito agli autori di definire il vasto tratto semantico che s incentra intorno all argomento, ancor meglio delimitabile dalle espressioni più ricorrenti dove appaiono anche termini riguardanti il comune, la raccolta firme, la salute, la collocazione degli impianti. Queste parole segnalano la sensibilità ai problemi collegati con l opinione pubblica e, dal punto di vista politico, con le istituzioni. Successivamente, confrontando i profili lessicali dei vari giornali mediante l applicazione di un opportuno test statistico, sono state estratte le parole e le espressioni specifiche di ciascun giornale. Queste hanno fatto emergere le risultanze tematiche generali sui vari modi in cui il fenomeno è stato percepito, i diversi livelli di attenzione e il tipo di polemiche sollevate dalla stampa. Dallo studio è emerso che esistono profonde diversità di trattazione del fenomeno tra i quotidiani considerati, in gran parte dipendente dall area geografica d appartenenza della testata, ma anche dall essere un quotidiano a carattere nazionale o locale. Si è potuto evincere che testate quali: La Stampa, il Corriere della Sera, Il Sole 24 Ore, Italia Oggi, Il Messaggero e La Repubblica, ponevano un attenzione maggiore, sia in assoluto sia rispetto agli altri giornali, a una trattazione del fenomeno in termini di tematiche generali sull ambiente, l elettrosmog, la salute, la ricerca, ma parlavano anche significativamente dei prodotti. Al contrario, testate quali Il Tirreno, Il Secolo XIX, il Corriere Adriatico e altri giornali regionali incentravano la loro attenzione su problemi locali e specifici, legati al territorio e risultavano sensibili alle opinioni dei cittadini e delle istituzioni di governo locali. Il secondo esempio di applicazione di TA molto interessante che riportiamo si trova nello Studio sulle encicliche papali di Bisceglia e Rizzi (2001). In esso si mostra che anche solo le frequenze sono in grado di distinguere alcuni elementi essenziali dei documenti esaminati e di caratterizzarli. In questo studio, infatti, si evidenzia come le occorrenze dei termini nelle encicliche papali costituiscono gli elementi che tipicizzano i pontificati. Sono stati analizzati i contenuti delle encicliche di papa Pio XII, papa Giovanni XXIII, papa 9

10 Paolo VI e papa Giovanni Paolo II e si sono osservati i termini delle prime cinque occorrenze più utilizzate dai quattro pontefici. Dallo studio è emerso che il termine fede è presente solo in papa Pio XII, i termini bene e sociale sono presenti solo in papa Giovanni XXIII, il termine mondo è presente solo in papa Paolo VI e il termine uomo è presente solo in papa Giovanni Paolo II. Gli autori della ricerca sottolineano come l esclusività di questi termini qualifica e distingue il carattere del pontificato; al contrario, i termini Dio, chiesa e vita comuni ai quattro papi rendono il contenuto meno significativo, perché termini attesi. Altre interessanti applicazioni di Text Analysis si trovano nei campi del marketing e degli studi socio-psicologici, dove l estrazione di informazione semantica ottenuta con l approccio semiometrico ha fornito un grande contributo all analisi del contenuto. Le tecniche basate su tale approccio, a partire da un campione di individui intervistati, creano legami semantici fra le parole in grado di descrivere sistemi di valori e stili di vita. Per ottenere il posizionamento degli individui su polarizzazioni semantiche, la rappresentazione dell informazione utilizzata è quella dei piani fattoriali ottenuti con l analisi delle corrispondenze. Un applicazione di Text Mining per il Technology Watch si trova all'interno del progetto europeo FANTASIE (Forecasting and Assessment of New Technologies and Transport System and their Impact on the Environment) sullo sviluppo tecnologico legato ai problemi dei trasporti e del traffico, finalizzato a valutarne la situazione attuale e gli sviluppi a breve e medio termine. Infine, un ulteriore esempio di applicazione di procedure di TM proviene dal campo biomedico, nel quale Cineca ( ha analizzato circa pubblicazioni medico-scientifiche riguardanti il ciclo di vita delle cellule (fonte PubMed: com), con l obiettivo di individuare automaticamente pattern di parole in grado di selezionare documenti secondo citazioni dirette di nomi di geni o frasi descrittive di concetti altamente correlati con essi. 6. Conclusioni Le tecniche sempre più complesse per lo studio del contenuto dei testi - estrazione, analisi e organizzazione dell informazione - utilizzano un insieme di strumenti nati in ambito informatico e statistico. Negli ultimi anni, l importanza acquisita dai dati non strutturati è accresciuta tanto da considerare predominante il ruolo del Text Mining rispetto all Analisi Multidimensionale dei Dati, i cui metodi, nell'estrazione di conoscenza da ampie collezioni di documenti, enfatizzano le specificità del punto di vista statistico. Partendo da una netta distinzione tra le tematiche proprie dell Analisi Multidimensionale dei Dati Testuali e di quelle proprie del TM, è auspicabile che tra i due approcci si crei una maggiore sinergia che consenta di migliorare gli apporti che le due discipline possono dare in alcune fasi del processo per ottimizzarlo, per esempio, nelle scelte delle codifiche, delle misure delle distanze e dei sistemi di pesi. A questo riguardo, è noto che la scelta si rivela fondamentale per qualsiasi trattamento quantitativo di dati testuali che debba rappresentare adeguatamente l importanza delle parole, in relazione al loro potere discriminante e al loro contributo informativo. Tuttavia, non vi sono scelte buone in tutte le circostanze di studio, perché sono gli specifici obiettivi di analisi a determinare la loro bontà. In riferimento alla scelta dei pesi, la qualità è associata alle nozioni di frequenza per le parole e di lunghezza per i documenti e non permette di introdurre nell'analisi ulteriori elementi informativi esterni al corpus, quali, per esempio, potrebbero essere quelli espressi in termini di maggiore o minore attinenza con l'oggetto di studio o con la fonte di produzione del documento. Un approccio interdisciplinare, unitamente ai ricercatori dei 10

11 vari ambiti disciplinari coinvolti, potrebbe apportare un contributo in tal senso e sostenere un quadro metodologico di contesto più ampio. Le procedure di trasformazione del testo da sottoporre all'analisi necessitano di una serie di sottofasi legate alle leggi del linguaggio naturale. Alcune di tali fasi, quali ad esempio identificazione dell'unità minima di senso, disambiguazione o tagging grammaticale, sono il risultato di valutazioni soggettive, e pertanto arbitrarie. Tuttavia, le difficoltà dovute all enorme peso computazionale nei software di TM consentono solo di operare sulle forme grafiche (termini, parole) e non di recepire il vivace dibattito in atto nella letteratura della statistica testuale sulla scelta dell'unità d'analisi (Bolasco, 1999). Dallo sguardo sulle caratteristiche dell analisi automatica dei testi sono apparse evidenti le concrete possibilità di estrarre informazione d insieme da un corpus, sia nella tradizione degli studi di analisi del contenuto che nelle recenti tecniche di Text Mining a fini aziendali. Appare interessante osservare che oggi, attraverso delle adeguate scelte nelle varie fasi del processo di Analisi del Testo, è possibile ottenere una buona comprensione del suo contenuto senza dovere necessariamente leggerlo. Riferimenti bibliografici 1. Balbi S., Misuraca M.: Pesi e metriche per l analisi dei dati testuali - Quaderni di Statistica Vol. 7, Banks D. et al. (eds.): Classification, Clustering and Data Mining Applications, Springer-Verlag, Berlin. 3. Benzécri J.P.: Pratique de l Analyse des Données, tome 3: Linguistique et Lexicologie. Dunod, 1981, Paris. 4. Benzécri J.P.: Histoire et préhistoire de l analyse des données. Dunod, 1982, Paris. Berelson, B. (1952) : Content Analysis in Communication Research. Glencoe, III:Free Press. 5. Bisceglia B., Rizzi A.: Alcune analisi statistiche delle encicliche papali. Libreria Editrice Vaticana, Città del Vaticano. 6. Bolasco S., Lebart L., Salem, A.: JADT Analisi statistica dei dati testuali. CISU, Roma, Vol. 2, 1995b. 7. Bolasco S.: L analisi multidimensionale dei dati. Carocci ed., Roma, Bolasco S., Canzonetti A. (2003): Some insight on the evolution of 1990s. Standard Italian, by Text Mining techniques and automatic categorization using the lexicon of daily "La Republican", CLADAG Bolasco S., Bisceglia B., Baiocchi F.: Estrazione Automatica D Informazione dai Testi. Mondo Digitale n.1, marzo Bolasco S.: Statistica testuale e text mining: alcuni paradigmi applicativi. Quaderni di Statistica, Liguori, Vol Cipriani R., Bolasco S.: Ricerca qualitativa e computer. F. Angeli, 1995, Milano. 12. Elia A.: Dizionari elettronici e applicazioni informatiche. In: Bolasco S., et al. (Eds.), Elia A.: Per una disambiguazione semi-automaticadi sintagmi composti: i dizionari elettronici lessico-grammaticali. In: Cipriani R. e Bolasco S. (Eds.), 1995b. 14. Herdan G.:. Linguistica quantitativa, Il Mulino, Bologna, Lebart A. e Salem S.: Analyse statistique des données textuelles. Dunod, 1988, Paris. 16. Lebart L., Salem A.: Statistique textuelle. Dunod, 1994, Paris. 17. Lebart L., Salem A., Berry L.: Exploring Textual Data. Kluwer Academic Publishers, Dordrecht-Boston-London, Salton G. e Buckley C.: Term weighting approaches in automatic text retrieval. Information Processing & management, Vol

12 19. Salton G.: Automatic Text Processing: The Transformation, Analysis, and Retrieval of Informationby Computer. Addison-Wesley, Sebastiani F.: Machine Learning in Automated Text Categorization. ACM Computing Surveys,Vol. 34, n. 1, Zampolli A., Calzolari N.: Problemi, metodi eprospettive nel trattamento del linguaggio naturale: l evoluzione del concetto di risorse linguistiche, In: Cipriani R. e Bolasco S. 22. van Rijsbergen C. J.: Information Retrieval, on line book,