Scheda. Trattamento ed elaborazione di dati spaziali in ambito Big Data Direzione Governo Servizi e Soluzioni Applicative per la PA

Transcript

1 Scheda Trattamento ed elaborazione di dati spaziali in ambito Big Data Direzione Governo Servizi e Soluzioni Applicative per la PA

2 Contesto Le fonti e le tipologie di informazioni spaziali possono essere di diverso tipo Dati geografici Informazioni puntuali georiferite provenienti da sensori, applicazioni o mobile ed app (p.e. geotagging di immagini, posizioni gps di veicoli etc) La tecnologia per i Big Data presente in Yucca SDP non prevedeva e non supportava questa tipologia di informazioni Le tecnologie disponibili sul mercato per la gestione di informazioni spaziali in ambito big data sono ancora relativamente immature 2

3 User Portal YUCCA Smart Data Platform Vertical Application Sensing Network IoT IoP Stream API Real Time Engine Event Hub Stream API Attuatori Systems Application RDBMS File Service API Massive DI BIG DATA STORAGE Search Analytics File & Data Storage odata API Massive DI End User App End User App WebApp Processi di Ingestion Funzionalità di ricerca e analisi spaziale e integrata Prototipo per verificare le funzionalità LEGENDA Usa Evolve Piano degli investimenti aziendali Consuntivo 4 marzo

4 4 Descrizione del progetto Verifica della fattibilità, potenzialità, vantaggi, limiti ed implicazioni dell utilizzo delle tecnologie Big Data per memorizzazione ed elaborazione di dati spaziali Individuazione delle tecnologie disponibili per storage, ingestion, analytics, e ricerche di dati spaziali in ambito big data sulla piattaforma yucca Implementazione di un algoritmo di analisi spaziale partendo da uno use case e da dati reale Operazioni di intersezione spaziale su dati geografici Trasformazione di sistemi di riferimento di coordinate

5 5 Obiettivi/Benefici Integrazione tra dati afferenti a Internet of Thing/Internet of People/dati alfanumerici (già ad oggi gestite) e conoscenze geografiche, promuovendo l utilizzo delle informazioni anche da parte di applicazioni destinate ad un target esteso non solo GIS Indirizzare un motore di ricerca con funzionalità spatial su piattaforma Big Data Sfruttare un cluster di sistemi distribuiti (Hadoop), open source e a basso costo per l analisi geografica e spaziale integrata con analisi e ricerche alfanumeriche Metodologie e tecnologie riutilizzabili potenzialmente in diversi ambiti (ovunque esista un dato con attributi di localizzazione)

6 Gennaio 2016 Dicembre Modalità Operative/Attività Avvio attività Disponibilità dati spaziali Disponibilità ambiente E funzioni custom Poc di analytic su caso reale Le attività di verifica si sono svolte prevalentemente tramite prototipazione valutando le tecnologie disponibili per ingestion e analitycs di dati spaziali integrate/integrabili nel Enterprise Data Hub configurando le librerie spatial individuate e implementando funzioni specifiche (User Defined Function - UDF) per la conversione di sistemi di riferimento utilizzando i dati di ambiti reali Territorio / protezione civile implementando i flussi di ingestion verso YUCCA Smart Data Platform

7 Risultati ottenuti Ingestion automatica di dati con attributi geometrici Definizione dei formati di memorizzazione dell informazione geografica Prime verifiche sulla possibilità di gestione del dato geometrico su Service API di esposizione Use Case: Calcolo dell indice di rischio di danno potenziale in ambito Protezione civile 7

8 8 Protezione civile: Calcolo dell indice di danno potenziale aree di esondazione >1 Mln geometrie di bersagli >8000 Poligoni limiti comunali Operazioni Intersezione Geometrie contenute Calcolo di aree Conversione sistemi di riferimento

9 9 Criticità Criticità e punti di valore riscontrati Poca disponibilità di tecnologie sul mercato con adeguata maturità e copertura funzionale Prestazioni di alcune delle tecnologie individuate Mancanza di tool di data exploration con funzioni spatial e integrabili con l Enterprise Data Hub Dato di partenza di bassa qualità e non sempre mirato per l algoritmo di calcolo dell indice di rischio Punti di valore Analisi spaziale, anche integrata con analisi alfanumerica Buona compatibilità con SDP delle tecnologie e soluzioni individuate Sono state usate tecnologie 100% free

10 10 Possibili ricadute Funzioni di analisi spaziale e di ricerca per coordinate utilizzabili da ambiti diversi (territorio, ambiente, agricoltura, smart city, energia) Valorizzazione del patrimonio informativo territoriale regionale mediante l utilizzo di YUCCA Gestione del dato di localizzazione per le informazioni dal mondo IoT (sia dove sono i sensori, sia da dove vengono le misure)

11 11 Prossimi passi R&D 17 Sperimentazione delle tecnologie per integrare, elaborare e fare analytics sui dati provenienti da fontistrutturate, destrutturate e dai dati spazial