Smart Data Platform YUCCA

Transcript

1 Smart Data Platform YUCCA Contesto Lo sviluppo di una nuova economia fondata sul riutilizzo dei dati disponibili (Open Data) rappresenta ormai una consapevolezza a livello globale, come peraltro ribadito anche dalla Carta degli Open Data (Open Data Charter) approvata durante il G8 del La Regione Piemonte, con la L.R. n. 24/11 Disposizioni in materia di pubblicazione tramite la rete internet e di riutilizzo dei documenti e dei dati pubblici dell'amministrazione regionale, prima Regione in Italia, compie un concreto passo avanti nel dare attuazione a tale politica innovativa realizzando un framework normativo, organizzativo e tecnologico già oggetto di riuso da parte di altre amministrazioni nazionali, teso a conciliare i principi in materia di riutilizzo del patrimonio informativo delle Pubbliche Amministrazioni, dettati dalla normativa europea e nazionale, con quelli della partecipazione e della collaborazione tra pubblico e privato coerentemente con i principi e le finalità sancite dal CAD (artt. 52,54 e 68). Parallelamente, secondo il Report pubblicato da IDC, dal titolo Worldwide Big Data Technology and services forecast, il mercato cosiddetto M2M (machine to machine) e di Internet of Things, insieme al mercato dei Big Data sono in forte espansione a livello mondiale. L opportunità di crescita che questi ambiti delineano è stata colta come volano di sviluppo da parte della Pubblica Amministrazione, che ha deciso di sfruttare il paradigma del cloud e delle piattaforme tecnologiche a supporto dello sviluppo e della gestione di servizi end to end. E infatti possibile immaginare l applicazione dei paradigmi di Internet of Things (tradizionalmente legati al contesto dell automazione industriale o, al più, all ambito privato) al contesto pubblico, in modo da trarne soluzioni utili sia alla migliore gestione della cosa pubblica e al servizio dei cittadini, sia alla realizzazione di un Ecosistema abilitante l innovazione, basato su piattaforme tecnologiche cloud precompetitive. L Ecosistema ipotizzato rappresenta pertanto un ambiente di collaborazione e scambio tra i vari stakeholder coinvolti, in cui essi intervengono in modo attivo e collaborativo contribuendo sia all arricchimento del patrimonio di dati disponibili, sia all incremento delle soluzioni innovative che dai dati vengono alimentate e che ne consentono la valorizzazione. Descrizione Per la realizzazione dell'ecositema e per la gestione delle informazioni e la condivisione di dati e servizi, Regione Piemonte ha progettato e realizzato la Yucca Platform, una piattaforma IoT aperta e gratuita abilitante per la realizzazione di soluzioni applicative basate su Internet of Things e Big Data.

2 La piattaforma offre in sintesi le seguenti funzionalità: acquisisce ed elabora in modalità real time flussi di dati generati dall'internet of Things; fornisce funzionalità di acceso ai dati pubblici per integrazione applicativa; consente circolarità delle informazioni e integrazione con altre fonti dati; offre funzionalità per connettere oggetti, persone e sistemi, e per trattare i flussi di dati, mettendo in condivisione framework, librerie, esempi di utilizzo; utilizza protocolli open e standard aperti per l'integrazione; offre uno storage Big Data per l'archiviazione e l'analisi successiva dei dati. La flessibilità della piattaforma consente di conseguenza la gestione di fenomeni fisici e sociali anche complessi. Le informazioni possono essere raccolte e analizzate per trattare dati in fase di acquisizione, con la possibilità di effettuare su di esse aggregazioni, analisi ed elaborazioni su finestre temporali per generare nuovi flussi dati ed eventi in "near-real-time". E' possibile gestire i singoli device registrando sulla piattaforma sensori, gateway e smart objects per poi usare gli strumenti di monitoraggio a disposizione, tramite management console dello User Portal. Oltre all'acquisizione di misure e dati in senso tradizionale, è possibile acquisire in piattaforma anche informazioni provenienti dall'internet of People quali tweet e altri dati social. La Piattaforma utilizza protocolli open sia per l'acquisizione sia per la fruizione e l'integrazione da parte di servizi applicativi. In fase di acquisizione dei dati sono disponibili sia protocolli specifici come il protocollo MQTT(S) sia servizi REST su HTTP(S). Per l'interazione applicativa sono disponibili servizi HTTP(S) odata per la consultazione on-line dei dati con la possibilità di effettuare aggregazioni statistiche. Per applicazioni near real time sono disponibili protocolli di sottoscrizione ad eventi quale ad esempio STOMP over Web Socket. La Piattaforma è fruibile da parte dei sensori e degli applicativi di accesso ai dati interamente in modalità Cloud. E' disponibile un accesso web tramite la componente User Portal, attraverso cui ricercare ed accedere ai dati condivisi nonché utilizzare e configurare tutte le funzionalità disponibili. I dati presenti in piattaforma possono essere associati a differenti policy di visibilità che consentono di pubblicare un dato secondo le seguenti modalità: pubblico: visibile a tutti gli utenti, ma fruibile solo da utenti registrati; privato: visibile e fruibile solo da utenti abilitati al medesimo tenant di appartenenza; privato e condiviso: visibile e fruibile solo da utenti abilitati al medesimo tenant di appartenenza o ai tenant verso i quali ne è stata esplicitamente abilitata la condivisione. In aggiunta alla persistenza per l'elaborazione on line dei dati, la piattaforma consente di archiviare i dati in un data lake Hadoop con la possibilità futura di effettuare analisi complesse, correlazione fra dati nonché analisi predittive. Tecnologie La Smart Data Platform si presenta come una soluzione di piattaforma unificata, ma al suo interno è composta da un insieme di sottosistemi disaccoppiati e integrati. Il configuration management su GitHub è organizzato in repository e moduli per poter gestire sottosistemi e componenti con un ciclo di vita indipendente tra loro.

3 Per efficienza e manutenibilità si è stabilito di avere una configurazione di deployment il più possibile uniforme per i diversi sottosistemi in modo da facilitare le attività di predisposizione degli ambienti di filiera (sviluppo, test, pre-produzione, produzione) e da consentire l automazione delle principali componenti middleware. I sottosistemi utilizzano diverse tecnologie Open; si riportano nel seguito le principali: - Sistema Operativo: Linux CentOS bit - Linguaggi di pogrammazione: JavaSE 6 e JavaSE 7 - Middleware: o RedHat JBoss 6.x o WSO2 ESB 4.x o WSO2 Application Server 5.x o WSO2 Data Services Server 3.x o WSO2 CEP o ActiveMQ o WSO2 API Manager Storage e DBMS o PostgreSQL 9.2 o MongoDB 2.6 o Apache Hadoop (package HortonWorks Data Platform 2.1) Per maggiori dettagli si rimanda all'area di supporto per lo sviluppo e l'integrazione non la piattaforma: developer.smartdatanet.it Destinatari L Ecosistema in cui la Piattaforma nasce come fulcro operativo, rappresenta un ambiente di collaborazione e scambio tra soggetti pubblici e privati, quali Imprese, Pubbliche Amministrazioni e Centri di ricerca interessati a condividere il loro patrimonio di dati e con essi a sviluppare nuove applicazioni innovative. Punto focale dell'ecosistema, voluto dalla Regione Piemonte, è pertanto l'intervento degli stakeholder in modo partecipato, collaborativo e attivo sia per l arricchimento del patrimonio di dati disponibili, sia per l incremento delle soluzioni innovative che dai dati vengono alimentate e ne consentono la valorizzazione. Il modello trova in particolar modo l'applicazione nei nuovi contesti legati al mondo delle cose (Internet of Things) e al mondo delle persone (Internet of People). In tali ambiti, la condivisione e l'utilizzo dell'elevato numero di informazioni generate dalle nuove tecnologie abilitanti, opportunamente convogliate e gestite in ottica Big Data, possono consentire di "ascoltare il territorio", inventando nuovi servizi e favorendo decisioni più efficaci. L'utenza nativa della Piattaforma è pertanto derivata da oggetti e persone fortemente interconnessi (scenario del Real Time, Internet of EveryThings) che producono dati e servizi finalizzati al miglioramento della realtà in cui vivono: - soggetti pubblici e privati che collaborano condividendo applicazioni, device, dati, esperienze e infrastrutture tecnologiche abilitanti; - reti di sensori (Sensing Network) e di gateway che raccolgono e inviano dati mettendoli a disposizione di tutto l'ecosistema; - dati di contesto (opendata o privati) per specifiche applicazioni verticali.

4 Struttura La Smart Data Platform è composta da una serie di sottosistemi suddivisi per responsabilità e coerenza, disaccoppiati tra loro ma integrati tramite l uso di API interne. I principali sottosistemi sono evidenziati nel seguente diagramma di contesto sintetico: I singoli sottosistemi sono suddivisi in componenti. I sottosistemi e le componenti contenute sono realizzati per avere un elevato livello di disaccoppiamento e presentano dipendenze fra loro ove previsto dalle relazioni funzionali. La piattaforma mette a disposizione diversi tipi di API, prevalentemente in formato REST: Streaming API: consentono di conferire o ricevere stream di dati (collegati a sensori, social network, applicazioni terze, ) eventualmente processati in real time; Monitoring API: consentono di ricevere le informazioni di funzionamento della piattaforma oltre a specifiche notifiche predefinite; Data Service API: accesso ai dati contenuti nel Big Data Storage; Data Integration API: invio di dati offline verso il Big Data Storage; Administration API: interfacce ad uso interno con cui i sottosistemi possono essere configurati o tramite le quali ricevono i pacchetti di cui fare deployment sui middleware di propria responsabilità; Metadata API: permettono di ricevere o fornire i metadati gestiti dalla piattaforma; Repository API: interfaccia esposta dal Fabric Controller per consentire ai diversi sottosistemi di ricevere e inviare configurazioni e artefatti gestiti nel Repository centrale. Componenti e dipendenze sono evidenziati nel diagramma delle componenti riportato di seguito:

5 Perché è utile La Piattaforma YUCCA è abilitante in tutti i contesti IoT in cui elementi primari siano la gestione di elevati flussi di dati provenienti da dispositivi o gateway distribuiti sul territorio. In tale scenari la Piattaforma mette a disposizione uno storage Big Data ed un layer di interrogazione diretta sui dati acquisiti, entrambi fruibili ed integrabili in applicazioni esterne con tecnologie Open. Altro importante funzionalità offerta è la possibilità di effettuare elaborazioni custom in near real time sui dati già in fase di acquisizione: la tecnologia disponibile nella Piattaforma consente di realizzare flussi di dati a valore aggiunto per finalità di monitoraggio, alerting o ottimizzazione in base a contesti real time. Questi servizi possono essere fruiti anche in modalità push. Risultati La Piattaforma YUCCA è in fase di utilizzo da parte di 29 progetti realizzati nell'ambito del Bando regionale a sostegno di progetti di ricerca industriale e/o sviluppo sperimentale di applicazioni integrate e innovative in ambito Internet of Data IoD, che ha consentito alla Regione Piemonte

6 di valorizzare gli investimenti svolti per diventare un modello di riferimento per lo sviluppo delle reti a banda larga e delle attività di innovazione e ricerca su di esse svolte a favore del territorio e del suo sviluppo economico e sociale. Obiettivo del Bando, infatti, è stato stimolare la creazione di nuove competenze e sviluppare nuovi servizi sperimentali nel tessuto produttivo piemontese per proseguire nell attività di mantenimento delle piattaforme regionali per gli Open Data e per l Internet of Things (IOTNET) e consentire la promozione della loro evoluzione in una infrastruttura aperta ai soggetti coinvolti nel processo innovativo (mondo della ricerca, mondo delle imprese e delle istituzioni). Questo ha, quindi, consentito alle piccole e medie imprese, e/o ai loro raggruppamenti anche con grandi imprese, di acquisire nuove competenze sul mondo dell Internet of Things (IoT) grazie alla collaborazione con organismi di ricerca per incrementare l offerta di servizi innovativi delle stesse. Il Bando, la cui scadenza è avvenuta il 31 luglio 2014, ha visto la forte adesione del tessuto produttivo piemontese con la partecipazione di 193 beneficiari, in rappresentanza di grandi, piccole e medie imprese, oltre alle microimprese e agli organismi di ricerca pubblici e privati. Sono stati presentati 50 progetti per un costo totale complessivo di circa 45 mln di euro e un cofinanziamento richiesto di oltre 26 mln di euro. Seguita la fase di valutazione, sono stati selezionati 29 progetti, il cui termine è stato fissato per alcuni al 31 luglio 2015 e per altri al 31 ottobre 2015, presentati da 140 beneficiari appartenenti alle Province di Torino, Cuneo, Verbano Cusio Ossola, Novara e Asti. Gli ambiti trattati dai progetti, con applicazione sperimentale secondo il modello dei Living Lab, sono stati principalmente quelli dell ambiente, nella sua accezione relativa alle tematiche dei trasporti e del turismo; energia, riferita alle scuole e smart communities; salute; smart communities, applicata alla salute e all ambiente; sicurezza, riferita alla salute e trasporti. Per maggiori dettagli: Questo documento è soggetto alla licenza Creative Commons Attribution CC BY