Text Mining nella PA

Transcript

1 Text Mining nella PA Elena Fabbris SAS / Data Mining & CRM Solutions (in collaborazione con Settore Dati in Rete CSI Piemonte)

2 Data Mining & Text Mining Data Mining Text Mining Oggetto d analisi Struttura dell oggetto Obiettivo Dati categorici e numerici Database relazionali Classificazione e predizione File di testo Forme testuali Recupero informazioni da dati testuali Anzianità Dal 1994 Dal 2000

3 Che cos è il Text Mining? E il processo di analisi: per estrarre nuova e valida conoscenza dispersa nei documenti di testo conoscenza per dedurre informazioni da dati non strutturati combinati con variabili quantitative

4 Obiettivi del Text Mining Strumento di estrazione di conoscenza da documenti testuali Sistema automatico che permette di Leggere Interpretare Classificare ed integrare i dati provenienti da numerose fonti (Internet, Intranet, Banche dati, Mail, Forum, Report ) Classificazione automatica dei documenti Assegnazione di testi in distinte aree tematiche basandosi su documenti testuali ed utilizzando strumenti analitici

5 Text Mining: Ambiti di applicazione Gestione dei documenti all interno di un datawarehouse Risposte domande aperte nelle interviste Commenti / Lamentele degli Utenti/Clienti Database Scientifici o Legali Rassegna Stampa Filtro e redirezionamento delle Organizzazione dei documenti per argomento Classificazione automatica delle news Classificazione delle richieste ai Call Center / Help Desk

6 Fasi Text Mining File Testuali Cleaning dei dati Riduzione dei dati Analisi

7 Analisi dei Dati Cluster Analysis I documenti vengono classificati in gruppi omogenei sulla base dei termini Algoritmi predittivi A partire dai risultati della Cluster Analysis è possibile classificare nuovi documenti Nota una classificazione a priori è possibile indirizzare automaticamente documenti verso una delle classi

8 Dalla Teoria alla pratica: Esperienze di Text Mining nella PA in Piemonte Guide del Gusto: Veronelli, Slowfood Michelin, Gambero Rosso, Espresso, Touring Club, Accademia della Cucina Italiana Banca Dati Leggi Regionali Piemonte Rassegna Stampa Turismo Piemonte

9 Guide del Gusto In collaborazione con Osservatorio Turistico Regione Piemonte Locali piemontesi censiti dalle guide Veronelli e Slowfood I Ristoranti di Veronelli 6 Cluster Ristoranti Tipici spaziosi Novità Cucina Creativa Ristoranti Tipici e Rurali Ristoranti Prestigiosi Ristoranti Tipici Molto Buoni

10 Guide del Gusto Osterie d Italia 4 Cluster Cheap Osteria Stagione Estiva Osteria Tipica Ristoranti Chiocciolina

11 Banca Dati Leggi Regionali Leggi Regionali del Piemonte dal 1971 al Leggi

12 Text Mining nella PA

13 Frequenze

14 Termine Sinonimi

15 Filtro

16 Banca Dati Leggi Regionali Territorio Turismo&Cultura Rifiuti Organizzazione Regionale Formazione e Sviluppo Aziende Assistenza Agricoltura Finanziario Ambiente Ruoli Istituzionali Edilizia

17 Territorio Turismo&Cultura Territoriale Tutela Rifiuti Alberghiero Discarica Urbanistico Sport Depurazione Trasporti Sviluppo Smaltimento Montano Ambiente Scuola Tempo Agricoltura Raccolta Tutelare. libero Inquinamento Agrario Fauna. Fondiario Forestale. Allevamento Boschivo. Produzione Venatorio. Trasformazione..

18 Interpretazione Gruppi Gruppi per Materia Trattata Gruppi negli Anni Gruppi per Durata/Sedute Iter

19 Rassegna Stampa Turismo Classificazione articoli Rassegna Stampa in gruppi simili per termini contenuti Identificare i termini che caratterizzano la Regione Turistica sulla Stampa Selezione del sottinsieme Turismo Come viene descritta la Regione dalla Stampa? Creazione di una nuova suddivisione da confrontare con la pre-esistente Rassegna Stampa Regione Piemonte