TEXT MINING, RECUPERARE L'INFORMAZIONE NASCOSTA

Transcript

1 TEXT MINING, RECUPERARE L'INFORMAZIONE NASCOSTA FEDERICO NERI REMO RAFFAELLI - intervento di Remo Raffaelli - SYNTHEMA Lexical Systrems lab Lungarno Mediceo 40, Pisa (PI) Premessa Negli ultimi anni il numero di documenti disponibili in formato elettronico e' cresciuto in modo quasi esponenziale, mentre la nostra capacità di lettura e di analisi e' rimasta praticamente immutata nel tempo. La maggior parte dei documenti e' reperibile sul Web o nelle intranet aziendali; si presenta come testo libero, ne' strutturato, ne' classificato. Trasformati in informazione, questi documenti costituiscono una fonte inesauribile, continuamente aggiornata, su cui poter costruire scenari attendibili in politica, come in economia. Tuttavia, gli attuali motori di ricerca, invece di semplificare il recupero delle informazioni, lo hanno reso - se possibile - piu' complesso, restituendo alle nostre interrogazioni lunghe liste di documenti di cui spesso non e' chiara ne' la pertinenza, ne' la rilevanza. Quindi un crescente senso di disagio e di frustrazione assale chi deve ricercare documentazione sul Web, dovendo "navigare" tra migliaia di fonti documentali. Il Text Mining Il Text Mining e' una tecnologia linguistico/matematica per l'analisi automatica di grosse quantità di testi liberi, non trattabili con tecniche tradizionali se non a costi oggigiorno insostenibili. Il Text Mining permette di avere una visione d'insieme degli argomenti trattati, garantendo una griglia di lettura sufficientemente limitata ed intuitiva per essere analizzata direttamente. Permette di accedere all'informazione su base tematica e di cogliere correlazioni anche inaspettate fra i diversi argomenti. Il Text Mining classifica i documenti analizzati sulla base dell'argomento trattato, prevedendo due fasi che si succedono in automatico l'una all'altra: l'analisi Linguistica e quella Statistica. L'Analisi Linguistica permette di cogliere per ogni documento i suoi elementi chiave, analizzando il testo da un punto di vista morfologico, sintattico e semantico. La lemmatizzazione del testo permette di rimuovere eventuali ambiguità lessicali presenti, classificando ogni parola, evidenziandone gli attributi morfologici (genere/numero per i nomi, oppure modo/tempo/persona per i verbi, le regole di flessione e di alterazione) e semantici, restituendo il lemma di derivazione. Solo i lemmi o le espressioni composte presenti oltre una certa soglia vengono riconosciuti come significativi per il documento ed estratti nell'analisi. Ad esempio, utilizzando il dizionario base per la lingua italiana - circa voci che si espandono in piu' di forme classificate - ed il lemmatizzatore SYNTHEMA, un parser inverso-parallelo che utilizza una grammatica contestuale di non piu' di 600 regole, mediamente il 96% dei termini presenti in una frase viene classificato senza ambiguità, mentre l'albero sintattico completo per la frase viene estratto nell'88% dei casi. Successivamente l'analisi semantica rileva poi eventuali convergenze nel significato dei ter- 77

2 Figura 1- Albero Sintattico mini estratti, utilizzando Basi di Conoscenza specifiche del dominio, che associano ad ogni oggetto lessicale un concetto di riferimento, indipendente dalla lingua. Una volta strutturati ed indicizzati da un punto di vista linguistico, i documenti possono essere inseriti in un database, quindi ricercati, consultati e classificati tematicamente. L'Analisi Statistica classifica infatti i documenti sulla base delle informazioni chiave fra loro condivise, utilizzando metodologie di elaborazione dati tipicamente Data Mining, come l'analisi Relazionale dei Dati (RDA),,. Negli studi Text Mining, dove solitamente vengono elaborate migliaia di fonti documentali, lo RDA e' preferibile rispetto ad altre metodologie di indagine e classificazione, richiedendo limitate risorse computative, essendo il CPU time processing e la memoria RAM richieste lineari con il numero di documenti trattati. Il motore statistico quindi scopre le categorie tematiche che meglio descrivono l'insieme dei documenti analizzati, utilizzando sia criteri linguistici, scegliendo ad esempio i descrittori sulla base della loro categoria grammaticale di appartenenza (i nomi propri danno sempre una forte indicazione del tema trattato) o del loro significato, sia criteri statistici (soglia di similarità per i documenti e di significatività per i valori, distribuzione nativa o nicchie di interesse, etc). Il motore di ricerca dell'area Science Park di Trieste Istituito per legge nel 1979 ed attivo come parco multi-settoriale già dal 1982, l'area Science Park e' il piu' grande parco scientifico in Italia, vantando al suo interno circa 70 tra istituti, laboratori di ricerca pubblici e privati, e piu' di 1700 addetti. In questi anni, l'attenzione del centro e' stata rivolta soprattutto alla promozione dell'innovazione tra le Piccole e Medie Imprese (PMI) del Friuli Venezia Giulia. Il centro ha dato vita cosi' ad un Centro Documentazione nella convinzione che l'innovazione, elemento chiave per il mantenimento della competitività delle imprese, non possa prescindere dall'informazione e dal suo trattamento. Il consorzio ha quindi promosso azioni di Sorveglianza e Monitoraggio della Tecnologia (Technology Watch), attivando servizi che permettessero agli imprenditori di ricercare nuove metodologie di produzione o di discernere le strategie della concorrenza. In quest'ottica, si inserisce il nuovo motore di ricerca e classificazione brevettuale, che 78

3 Synthema ha sviluppato insieme a Temis SA e che l'area ha recentemente adottato. I brevetti e le pubblicazioni scientifiche di potenziale interesse per l'utente del centro vengono scaricate da Intenet, da banche dati pubbliche o private, dagli archivisti dell'area. I riferimenti bibliografici, appartenenti tutti ad uno stesso dominio tematico, vengono normalizzati (Figura 2) ed importati nel sistema Online Miner Light (OML). Una volta strutturati ed indicizzati da un punto di vista linguistico, i documenti possono essere inseriti in un database, quindi ricercati, consultati e classificati tematicamente. L'Analisi Statistica classifica infatti i documenti sulla base delle informazioni chiave fra loro condivise, utilizzando metodologie di elaborazione dati tipicamente Data Mining, come l'analisi Relazionale dei Dati (RDA),,. Negli studi Text Mining, dove solitamente vengono elaborate migliaia di fonti documentali, lo RDA e' preferibile rispetto ad altre metodologie di indagine e classificazione, richiedendo limitate risorse computative, essendo il CPU time processing e la memoria RAM richieste lineari con il numero di documenti trattati. Il motore statistico quindi scopre le categorie tematiche che meglio descrivono l'insieme dei documenti analizzati, utilizzando sia criteri linguistici, scegliendo ad esempio i descrittori sulla base della loro categoria grammaticale di appartenenza (i nomi propri danno sempre una forte indicazione del tema trattato) o del loro significato, sia criteri statistici (soglia di similarità per i documenti e di significatività per i valori, distribuzione nativa o nicchie di interesse, etc). Medie Imprese (PMI) del Friuli Venezia Giulia. Il centro ha dato vita cosi' ad un Centro Documentazione nella convinzione che l'innovazione, elemento chiave per il mantenimento della competitività delle imprese, non possa prescindere dall'informazione e dal suo trattamento. Il consorzio ha quindi promosso azioni di Sorveglianza e Monitoraggio della Tecnologia (Technology Watch), attivando servizi che permettessero agli imprenditori di ricercare nuove metodologie di produzione o di discernere le strategie della concorrenza. In quest'ottica, si inserisce il nuovo motore di ricerca e classificazione brevettuale, che Synthema ha sviluppato insieme a Temis SA e che l'area ha recentemente adottato. I brevetti e le pubblicazioni scientifiche di potenziale interesse per l'utente del centro vengono scaricate da Intenet, da banche dati pubbliche o private, dagli archivisti dell'area. I riferimenti bibliografici, appartenenti tutti ad uno stesso dominio tematico, vengono normalizzati (Figura 2) ed importati nel sistema Online Miner Light (OML).L'operatore del centro, mediante il componente Knowledge Extractor (Figura 3), estrae in automatico dai testi le informazioni chiave, li indicizza su base concettuale e li memorizza all'interno del database dell'applicazione. Il Knowledge Extractor (Figura 4) e' un motore multi-lingua, che supporta al momento 4 lingue: Italiano, Inglese, Francese e Tedesco. L'utente accede invece ai servizi di OML Il motore di ricerca dell'area Science Park di Trieste Istituito per legge nel 1979 ed attivo come parco multi-settoriale già dal 1982, l'area Science Park e' il piu' grande parco scientifico in Italia, vantando al suo interno circa 70 tra istituti, laboratori di ricerca pubblici e privati, e piu' di 1700 addetti. In questi anni, l'attenzione del centro e' stata rivolta soprattutto alla promozione dell'innovazione tra le Piccole e Figura 2 - Normalizzazione dei documenti 79

4 mediante un semplice browser Internet, tipo MS Internet Explorer. Il componente Advanced Search Engine (Figura 3) permette all'utente di effettuare delle ricerche sul database, operando mediante chiavi di ricerca, combinate fra loro in logica booleana, o per mezzo di maschere che riproducono fedelmente la struttura del brevetto (autore, titolo, ecc.). Il sistema permette quindi di - consultare i singoli documenti trovati (Figura 5); - navigare sui documenti su base concettuale (Figura 6); - classificare i testi sulla base dei loro concetti chiave (Figura 7). La classificazione soddisfa i seguenti requisiti funzionali: - Classificazione Unsupervised. Il sistema trova automaticamente i raggruppamenti tematici che meglio descrivono l'insieme dei documenti trovati. Questo nuovo approccio consente all'utente di accedere all'informazione su base tematica, non piu' mediante parole chiave, come solitamente avviene nella maggior parte dei motori di ricerca Internet. " Classificazione gerarchica. Se necessario, il sistema identifica eventuali sotto-argomenti in ciascun raggruppamento tematico, permettendo all'utente di esplorere in profondità gli argomenti di suo interesse. I raggruppamenti tematici sono rappresentati sul browser mediante cerchi colorati, tanto piu' grandi quanto maggiore e' il numero di documenti contenuti. I cerchi sono poi collegati fra loro mediante linee colorate - il sistema ha scoperto una relazione fra gli argomenti - e lo spessore delle linee indica la 'forza' della relazione (Figura 8). Oltre a 'navigare' nella miniera di testi cosi' esplorata e strutturata, l'utente puo' scendere nel dettaglio, potendo consultare i singoli articoli del raggruppamento tematico. Figura 3 - Architettura del sistema 80

5 Ecco alcune immagini che descrivono l'interfaccia del sistema: Figura 4 - Knowledge Extractor - interfaccia operatore Figura 5 - Advanced Search Engine - risultati della ricerca Figura 6 - Advanced Search Engine - navigazione concettuale 81

6 Figura 7 - Advanced Search Engine - classificazione Figura 8 - Advanced Search Engine - classificazione Conclusioni Il Text Mining e' una metodologia di indagine innovativa, che permette una visione sintetica ed immediatamente comprensibile degli argomenti trattati in corpora documentali estremamente estesi, nonche' l'accesso all'informazione su base tematica. [1] Raffaelli R., "Un ambiente per lo sviluppo di grammatiche basato su un parser inverso, parallelo e seriale". IBM Pisa, uso interno. [2] Michaud P., "Recent advances in Automatic classification", Applied stochastic Models and Data Analysis special issue of fifth symposium on A.S.M.D.A. Granada April 1991, Vol 7, No 2, [3 ] Marcotorchino F., "L'analyse factorielle-relationelle: Parties I et II". Etude du CEMAP IBM France, Paris, [4] Hartigan J.A., "Clustering Algorithms", Wiley, New York, 1975 [5] Howard R.N.,"Classifying a Population into Homogeneous Groups", in J.R. Lawrence (ed.) Operational Research and Social Sciences, Tavistock Publ., London, [6] Messatfa H., Zait M. (ECAM), "A comparative study of clustering methods", Future Generation Computer Systems n 500, Nov