Sperimentazione tecnologie big data per elaborazione e analisi dei testi (Big Data Text Analytics)

Transcript

1 Scheda Sperimentazione tecnologie big data per elaborazione e analisi dei testi (Big Data Text Analytics) Direzione Piattaforme Trasversali, integrazione e Big Data

2 Contesto Le fonti dei contenuti testuali possono essere di diverso tipo e provenienza documenti pratiche PA comunicazioni da cittadini o imprese mail ricevute tramite posta certificata o meno contenuti presenti sul web e i social network metadati descrittivi e schede risorse log degli accessi ai portali La tecnologia per i Big Data presente in Yucca SDP prevede e supporta le tecnologie per la ricerca, il trattamento e l analisi di grandi quantità di contenuti testuali 2

3 User Portal YUCCA Smart Data Platform Vertical Application Sensing Network IoT IoP Stream API Real Time Engine Event Hub Stream API Attuatori Systems Application RDBMS File Service API Massive DI BIG DATA STORAGE Search Analytics File & Data Storage odata API Massive DI End User App End User App Processi di Ingestion e Inventory LEGENDA Usa Evolve Search sui contenuti con semantica Text Analytics 3

4 4 Descrizione del progetto Verifica della fattibilità, potenzialità, vantaggi, limiti ed implicazioni dell utilizzo delle tecnologie Big Data per memorizzazione ed elaborazione di dati non strutturati, in particolare documenti digitali e contenuti di tipo testuale. Sviluppo di uno o più prototipi basati su tecnologie open source e scalabili che consentano di indirizzare un motore di ricerca full-text sui contenuti testuali analytics sui testi anche con approcci innovativi ed avanzati quali machine learning e tecniche di text mining avanzato

5 5 Obiettivi/Benefici Estrarre informazioni ed analizzare dati da documenti e contenuti testuali precedentemente considerati scatole chiuse non utilizzabili per la comprensione dei fenomeni Indirizzare un motore di ricerca con funzionalità semantiche su piattaforma Big Data Sfruttare un cluster di sistemi distribuiti (Hadoop), open source e a basso costo per l indicizzazione e analisi dei testi e documenti Acquisire le competenze per utilizzare tecniche avanzate di classificazione automatica dei contenuti digitali e di sentiment analysis tramite machine learning

6 Gennaio 2016 Dicembre 2016 Modalità Operative/Attività Avvio attività Motore Ricerca Disponibilità contenuti Text Analytics Le attività di verifica si sono svolte prevalentemente tramite prototipazione sfruttando le tecnologie ove già disponibili valutando nuove tecnologie configurando i motori di text analytics e sviluppando programmi specifici Utilizzando i dati di ambiti reali metadati SDP mail fiscalità Implementando i flussi di ingestion verso SDP 6

7 Risultati ottenuti Motore di ricerca full-text basato su tecnologie Big Data Indicizzazione avanzata per navigazione a faceting dei risultati Classification testi contenuti in flussi di mail utilizzando apprendimento automatico e machine learning Prototipo 1 Motore di ricerca Prototipo 2 Text analytics mail fiscalità Doc1 Ingestion testi e motore di ricerca Doc2 Text Analytics 7

8 Architettura prototipo motore di ricerca Cluster Hadoop Node 1 Node 2 Node 3 Node n SolrCloud Solr Solr Solr Solr prototipo

9 9 Schermata prototipo motore di ricerca Facet search

10 10 Classificazione mail bollo auto 3300 mail di Restituzione e 340 mail di Rateizzazioni dataset di training sul 70% dataset di test sul 30% Accuracy: 0.88 Falsi positivi (1): 0.03 Falsi positivi (2): 0.70 Algoritmo machine learning: Naive Bayes

11 11 Possibili ricadute YUCCA Smart Data Platform: funzione di ricerca sui metadati dei servizi e dei dati esposti su Web Store Valorizzazione del patrimonio informativo sanitario regionale mediante l utilizzo della Smart Data Platform, nell ottica della governance regionale Link con scheda R&S sanità Progetti in ambito Fiscalità: Tassa Auto, Irap, INPS, Text analytics per classificazione automatica mail bollo auto Sistemi di gestione documentale Evoluzione Infodir

12 Criticità Criticità e punti di valore riscontrati Tempistiche di avvio delle attività Ambienti per sperimentare con hw/sw big data Quantità e qualità contenuti testuali su cui effettuare text analytics Punti di valore Motore di ricerca dei testi con ottime performance -> distribuito su cluster big data multi nodo Compatibilità con SDP delle tecnologie e soluzioni individuate Sono state usate tecnologie 100% open source Indicizzazione a faccette (faceted search) Competenza acquisita su integrazione e analytics dei contenuti di tipo testuale su piattaforme Big data 12