Workshop Smart Data Net e piattaforma Yucca SDP CSI Piemonte Torino, 20 Marzo 2015
Agenda Benvenuto Ecosistema: bando, progetti, ambiti e dati Overviewdella piattaforma Yucca SDP Tecnologie di integrazione e sicurezza DEMO con Arduino YUN Best practicee roadmap Indice dei dati e accesso a Yucca SDP
Ecosistema: bando, progetti, ambiti e dati
I progetti
I progetti Progetto Valore Progetto Contributo N. Beneficiari Ambito SEeS@W 1.304.659 710.633 8 Sicurezza QUIES 541.682 335.411 5 Ambiente IDEM 1.084.357 620.647 6 Ambiente ALL4ALL 1.130.164 621.824 5 Smart Communities EDEN 1.350.201 800.000 9 Energia SMARTOWEAR 636.125 399.413 5 Salute LEO 998.804 613.543 7 Energia O.N.D.E.- UWC 784.464 396.024 4 Ambiente IoTibevo 1.023.248 555.956 6 Smart Communities HealthCommons 641.736 418.492 3 Salute PITAGORA 1.065.600 678.418 7 Ambiente ELISE 1.286.471 736.127 6 Ambiente ESGP 617.124 376.474 4 Energia ComfortSense 1.281.877 734.656 10 Smart Communities IP-OWIT 509.550 302.690 4 Ambiente SORRISO 818.215 512.179 7 Energia IoS 699.997 414.898 6 Salute LIMPID 1.279.674 715.162 8 Trasporti CIRCE 684.335 435.396 6 Ambiente STAR@home 675.876 404.098 4 Salute QUADRANTE 913.953 574.457 9 Ambiente BUSSOLA 702.000 417.100 6 Ambiente SMARTV 785.903 330.317 5 Salute Totale 20.816.016 12.103.915 140 - Termine 31/07/15 Termine 31/10/15
I Progetti Progetto Obiettivo del progetto SEeS@W Rilevazione di parametri ambientali nei luoghi di lavoro e correlazione con lo stress dell'individuo QUIES Monitoraggio acustico sul territorio IDEM Monitoraggio delle emissioni odorigene presso discariche ALL4ALL Integrazione di servizi socioassistenziali e socio-sanitari a favore delle fasce deboli della popolazione. EDEN Acquisizione di dati ambientali indoor e outdoor finalizzati alla riduzione dei consumi energetici per i comuni SMARTOWEAR Acquisizioni di dati biometrici di pazienti per la diagnosi precoce di crisi recidivanti LEO Monitoraggio, analisi e ottimizzazione dei consumi energetici delle infrastrutture pubbliche O.N.D.E.- UWC Ottimizzazione dei percorsi e della frequenza di raccolta dei rifiuti IoTibevo Acquisizione e pubblicazione di dati da sensori dei punti acqua SMAT HealthCommons Acquisizione di dati sullo stato di salute finalizzati alla correzione dello stile di vita del paziente PITAGORA Rilevazione dati di un ecosistema lacustre per finalità di prevenzione rischio naturali, tutela ambientale, protezione civile e turistiche ELISE Raccolta e integrazione di parametri ambientali per la realizzazione di servizi di consultazione e supporto alle decisioni per i cittadini ESGP Acquisizione dati volti al risparmio energetico in ambienti domestici
I Progetti Progetto ComfortSense IP-OWIT SORRISO IoS LIMPID CIRCE STAR@home QUADRANTE BUSSOLA SMARTV Obiettivo del progetto Acquisizione di dati di comfort ambientale da utenti e confronto con dati rilevati da sensori per definire le migliori correlazioni nei modelli Ottimizzazione del processo di raccolta differenziata dei rifiuti organici domestici dal punto di origine al punto di compostaggio o smaltimento Miglioramento dell'efficienza energetica negli edifici scolastici e residenziali dotati di impianti fotovoltaici Realizzazione di un sistema per la diagnosi e la sorveglianza a distanza dei disturbi cardiorespiratori del sonno nel bambino Creazione di nuove fonti di raccolta dati utili al monitoraggio e al controllo della mobilità urbana Raccolta unificata e gestione di dati meteo-idrologici e agro-meteorologici provenienti da sistemi di monitoraggio esistenti finalizzati alla ricerca scientifica Sviluppo di un sistema integrato di teleassistenza Realizzazione di un modello volto a fornire indicazioni sulla qualità dell'aria utilizzando "informazioni-dati" già disponibili sul territorio Utilizzo dei mezzi adibiti al trasporto di persone per la sperimentazione di servizi innovativi sulla qualità dell aria, la sicurezza a bordo del veicolo, il turismo e il geomarketing Realizzazione di servizi per il supporto socio-sanitario di soggetti anziani
Distribuzione contributi 88% 9% 1,7% 0,3% 1% Ambito Contributo N. Progetti Ambiente 4.496.269 9 Energia 2.302.196 4 Salute 1.967.217 5 Sicurezza 710.633 1 Smart Communities 1.912.437 3 Trasporti 715.163 1 Totale 12.103.915 23 Provincia Contributo AT 32.416 CN 1.091.375 NO 105.946 TO 10.668.394 VB 205.784 Totale 12.103.915 La distribuzione territoriale è basata sull ubicazione delle sedi dei beneficiari
Contributi erogati I Beneficiari Distribuzione sul territorio Tipologia AT CN NO TO VB Totale Grande impresa 1 11 12 Media impresa 1 5 4 10 Microimpresa 4 1 39 1 45 OR Privato 9 9 OR pubblico 1 34 1 36 Piccola impresa 3 24 1 28 Totale 1 13 2 121 3 140 Distribuzione contributi Tipologia AT CN NO TO VB Totale Grande impresa 28.000 1.288.892 1.316.892 Media impresa 32.416 424.322 563.464 1.020.202 Microimpresa 334.493 55.500 2.230.691 40.292 2.660.976 OR Privato 912.772 912.772 OR pubblico 50.446 3.380.426 107.100 3.537.972 Piccola impresa 304.559 2.292.149 58.392 2.655.101 Totale 32.416 1.091.375 105.946 10.668.394 205.784 12.103.915
Specializzazione Ambiti
Ambiti & Sensori Distribuzione sottoambiti Ambito Tipo sensore usato Ambiente Energia Salute Sicurezza chimico drone gps idrologico microfono sonda temperatura / umidità wearable app contabilizzatore luminosità temperatura / umidità app audio/video wearable chimico wearable Smart Communitiesapp audio/video chimico temperatura / umidità wearable Trasporti audio/video drone sonda
Sensori & Dati Distribuzione tipologie sensori Tipo sensore Dato trattato Dal Capacity plan Numero smart object 22.000 Misure dagli stream 1,5TB/anno Dataset di contesto da progetti 500 GB Dati parziali app audio/video chimico contabilizzatore drone gps idrologico luminosità microfono sonda temperatura / umidità wearable ambientale indoor biometrico consumo energetico ambientale outdoor biometrico ambientale indoor ambientale outdoor consumo energetico ambientale outdoor geo-localizzazione ambientale outdoor ambientale outdoor ambientale outdoor ambientale outdoor ambientale indoor ambientale outdoor ambientale outdoor biometrico
Ambiti & Living Labs
Living Labs & ubicazioni Comune Alba Bruino Collegno Cuneo Fossano Grosso Canavese Ivrea Mondovì Monregalese Novara Orbassano Rivoli Rubiana San Damiano d'asti Settimo Torinese Torino Verbania Luogo Rilevamento dati outdoor Abitazioni Scuole Edificio Rilevamento dati outdoor Scuole Discarica Casa di cura Rilevamento dati outdoor Abitazioni Rilevamento dati indoor Lago d'orta Lago Maggiore Ospedale San Luigi Punto acqua Edificio Rilevamento dati outdoor Impianto di compostaggio Punto acqua Centro storico Torino Murazzi Città della Salute Laboratori veterinari Punto acqua Quartieri Campidoglio Rilevamento dati outdoor Scuole Università degli Studi di TO Lago Maggiore Luoghi dei Living labs
Overviewdella piattaforma Yucca SDP Funzionalità e strumenti
Smart Data Net: Internet Of Everything Human Interaction \ YUCCA SDP IoT BigData
Connect Organization Organization 1 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, DataStream, Data Organization 2 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 3 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 4 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Smart Data Platform Organization context Data/Stream Hub Selective APIs Sharing Stream& APIs Store Metadata/ Semantic Interoperability(*)
Principali tappe Smart Data Net Settembre2014 Prima developer release piattaforma YUCCA Novembre2014 Release YUCCA SDP -DEV 0.8 Big data storage, discovery e monitoring dati odata service e Mqtt event receiver/publisher Dicembre 2014 Release YUCCA SDP -DEV 0.9 Gestione e registraione SS dei device Complex event processing realtime Febbraio 2015 Release YUCCA SDP -PROD 1.0 Web store per pubblicazione e riuso Security e SSO YUCCA SDP -PROD 1.1
IoT-> Machine To Machine (M2M) Macchine che comunicano con macchine al posto di persone che interagiscono con applicazioni 24x7 Stream Quantità di dati YUCCA Smart Data Platform
Big Data -Open, condivisi e/o privati TENANT PRG 1 TENANT PRG 2 TENANT PRG Dati e misure Dati e misure Dati e misure condivisi Dati e misure Dati e misure Dati e misure open open Traffico Turismo Meteo Commercio Scuole Dati di contesto, dati open e dati condivisi a tutti BIG DATA STORAGE
YUCCA SDP vista di insieme Sensing Network Position Atmospheric Temperature Weight Brightness Movement Sound Smoke UVA/UVB Batch LOAD File Batch LOAD File Stream Service Offline DI User Portal Smart Data Platform Real Time Engine CEP Media Streaming Notification BIG DATA Analytics File & Data Storage Stream odata Service Offline DI Vertical Application Attuatori End User App End User App End User App RDBMS
YUCCA SDP Open Technologies Front-end User Interface Security Integration Middleware Configuration & Automation Realtime& Batch Analytics Data management & Storage
Smart Data Platform: delivery models Cloud: hosting CSI-Piemonte http://userportal.smartdatanet.it/userportal Open Source: Downlodable sources https://github.com/csipiemonte Yucca Platform
Nuova interfaccia di gestione
Web Store-condividere e fruire dati e stream
Developer Center Linee guida specifiche reference esempi how-to getting started e molto altro è disponibile su http://www.smartdatanet.it/area-developer/
Supporto allo sviluppo Problematiche di integrazione con la piattaforma Sviluppo processing in real time degli eventi e degli stream Fruizione dei servizi odata Invio di informazioni in realtime, online e offline Coaching Inviare le richieste a smartdatanet@csi.it
Tecnologie di integrazione e sicurezza
Protocolli MQTT(s) HTTP(s) HTTP(s) Upload CSV (dataset) Near Realtime Online UI Yucca Platform Alfanumerico Binario MQTT(s) Stomp over WebSocket HTTP (S2S) Rest API ODATA Download File Disponibile in successive versioni
Invio nearrealtimee fruizione nearrealtime pubblicazione 1 sottoscrizione pubblicazione 2 pubblicazione 2 pubblicazione 3 Offline
Invio online (ver succ) e fruizione online Scrittura Lettura Scrittura Lettura
Invio nearrealtimee fruizione mista pubblicazione 1 Lettura Dati precedenti pubblicazione 2 pubblicazione 3 sottoscrizione pubblicazione 2 pubblicazione 3
Sicurezza MQTT(s) HTTP(s) HTTP(s) Yucca Platform MQTT(s) Stomp over WebSocket HTTP (S2S) Rest API ODATA Stream pubblici e privati: - autenticazioneper tenant conusername/password API ODATA per dataset pubblici: - nessuna autenticazione Near realtime stream pubblici: - utenza guest/aekieh6f API ODATA e stream privati: -OAUTH2
Modello delle entità TENANT SE SALVA DATI Dataset Smart Object 89f84a22-1e2e-5882- bbf0-9c6efffb8ce7 FORNISCE 1..N Stream posizione Info meteo INVIA 1..N CONTIENE 1..N Evento Contiene la misura in un determinato istante per uno stream Components longitudine latitudine altitudine temperatura umidità
Formato di un evento (alfanumerico) { } "stream":"position", "sensor":"cc1bfe50-491c-560d-a235-0e4134bbdc23", "values":[ { "time":"2014-10-10t12:36:18+0200", "components":{ "longitude":"7.685676", "latitude":"45.070984", "altitude":"0.0" } } ]
CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object
DEMO con Arduino YUN
MQTT Stomp over WebSocket Arduino (922c0438-9dfd- 4ce2-fd3cb17960b189cb) Yucca Platform Invio e ricezione eventi Yucca features: Protocol switching (MQTT Stomp over WebSocket) Broadcasting (1 source N destination) Monitoring HTTP Webapp su public hosting
Temperatura (0-50 C) Luminosità (0-1023) Umidità (%) Manutenzione in corso(on/off) NOME UNITÀ DI MISURA TOLLERANZA FENOMENO TIPO DI DATO temperatura temperature: C 0.5 environment: air temperature double umidita fraction: % 1 environment: humidity double switch dimensionless: - 0 other: - Int(0/1) luminosita other: - 1 environment: lightning int
Reference implementation con Arduino Formato Messaggio { "stream":"environment", "sensor":"922c0438-9dfd-4ce2-fd3c-b17960b189cb", "values":[{ "time":"2015-03-17t13:21:16z", "components": { "temperatura":"22.2", "umidita":"31.2", "switch":"0", "luminosita":"271" }}] }
CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object
F R U I T O R E Registrazione Smart Object / Stream Ricerca e sottoscrizione STORE FruizioneAPI e Stream Installazione Stream Monitoraggio F O R N I T O R E
Stomp over WebSocket Yucca Platform HTTPS Stream derivato e privatizzato Yucca features: Filter Conversion Security Webapp su public hosting
Esempio di streamderivato L obiettivo è quello di ottenere uno streamaggiuntivo migliore che: Non contenga le misure ottenute durante la manutenzione (pulsante premuto) Converta il segnale di luminosità da una scala 0-1023 ad una percentuale Sia utilizzabile solo da utenti del tenant proprietario (privato)
CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object
Internal query: from input0[switch==0] select meta_source as meta_source, time astime, temperatura as temperatura, (1023-convert(luminosita,double))/10.23 asluminosita, umidita as umidita insert into outputstream;
Arduino YUN Arduino YÚN è il primo di una nuova linea innovativa di prodotti wifiche combinano la potenza di Linux con la facilità d'uso di Arduino. Il primo Arduino Yunè la combinazione di un classico Arduino Leonardo (basato sul processore ATMEGA32U4) con un sistema-one-chip WiFi esecuzione Linino(un MIPS GNU / Linux basata su OpenWRT). Abbiamo incorporato la macchina Linux direttamente sul PCB della Arduino Leonardo collegando i due in modo tale da facilitare l'esecuzione di comandi su Linux tramite Arduino e poterlo usare come interfaccia Ethernet e Wifi
Arduino YUN -architettura Normalmente è lui che comanda. È l unico che può accedere ai sensori. Comunicazione seriale Linguaggio preferenziale Python. Tutti i principali comandi e tools linux
YUN parte arduino
YUN parte Linino
Arduino invio dati verso YUCCA Con lo YUN è possibile comunicare con YUCCA tramite: HTTP/HTTPS Script di controllo e lettura sensori su ATMega Invio HTTP tramite LININO MQTT diretto tramite PubSub modificata Script di controllo e lettura sensori su ATMega Utilizzo connessione TCP/IP di Linino MQTT con Mosquitto client Script di controllo e lettura sensori su ATMega Invio tramite MOSQUITTO client su Linino
Struttura generale di uno script per YUCCA Lettura dati dal sensore Costruzione messaggio JSON Invio a YUCCA
Es. Lettura della temperatura Analogica Si usa un normalissimo analogread()sul pin su cui è collegato il sensore. Il sensore è una termoresistenza la tensione diminuisce all aumentare della temperatura. Il sensore restituisce un valore fra 0 e 1024 con una precisione di circa +-0.5 C. Il sensore deve essere calibrato dopo essere montato (i cavi cambiano la resistenza) es. interpolazione lineare
Costruzione del messaggio Le funzioni interne di arduino YUN per la lettura delle date, si appoggiano a LININO e rallentano tanto vale fare una richiesta diretta a linuxper ottenere la data nel formato ISO desiderato
Arduino utilizzo di MQTT PubSub Si carica la libreria (tichiedeanche YunCLient, la libreria ufficiale che crea un client HTTP) Si apre la connessione Si inviano i dati alla coda
Smart Data Platform best practice e roadmap
Best practicee consigli Gestione -> Nomenclatura oggetti e riconoscibilità oggetti pubblicati Nome e descrizione dello Smart Object Nome dello Stream Immagine (icona) degli oggetti pubblicati Tags utilizzati..
Aggregazione Smart Object In presenza di un numero variabile di dispositivi sorgente (es: mobile app distribuita), è possibiledefinireunosmart object Applicazione e far confluire tutti i messaggi nell unico stream definito. unacomponentepuòtrasportarel informazioneche identifica la sorgente Smart Object1 <application> position source longitudine latitudine altitudine
Aggregazione Stream Smart Object 89f84a22-1e2e-5882- bbf0-9c6efffb8ce7 All info longitudine latitudine altitudine temperatura umidità Smart Object 89f84a22-1e2e-5882- bbf0-9c6efffb8ce7 position meteo longitudine latitudine altitudine temperatura umidità Smart Object1 Smart Object2 position meteo longitudine latitudine altitudine temperatura umidità
RoadmapYUCCA Smart Data Platform 1.1 Fine Aprile WS in scrittura x MISURE WS in scrittura x DATI STRUTTURATI Policy condivisione dei dati 1.2 Fine Maggio WS in scrittura x dati BINARI Nuova interfaccia per lo Store Supporto credenziali forti
IndicedeiDati
Dati di Contesto della PA DA: portale "www.dati.piemonte.it": Open Data Regione Piemonte Open Data Geoportale ARPA Open Data GeoportaleRegione Piemonte (coming soon) DA: patrimonio informativo Regione Piemonte: elenco Basi Dati per il funzionamento dell'ente Scaricabili liberamente e importabili in piattaforma Se open(tutti o in parte): LIBERATI e pubblicati su www.dati.piemonte Se non open: richiesta di fruizione in modalità riservata
Indicedei dati
Indicedei dati -ricerca
Indicedei dati -"liberazione" dati
Indicedei dati -"liberazione" dati
AccessoallaPiattaforma Yucca SDP
Regolamentoutilizzo Piattaforma SDP Destinato ai beneficiari del Bando IoD Utilizzo della Piattaforma a titolo gratuito Servizio best effort Responsabilità sui dati: Beneficiario del Bando IoD titolare del trattamento CSI Piemonte(per conto di Regione Piemonte) responsabile del trattamento
Accessoalla Piattaforma Yucca SDP 1) Accettazione del "Regolamento di Utilizzo" firma digitale da parte del Capofilaed invio alla casella PEC finanziamenti.finpiemonte@legalmail.it 2) Profilazione utenti da parte del Capofilainvio elenco degli utenti da abilitare alla casella e-mail smartdatanet@csi.it(specificare il "codice fiscale" di ogni utente) 3) Accesso tramite Credenziali valide certificato digitale personale credenziali "imputabili" (forti) di Sistema Piemonte
Rilasciocredenziali Sistema Piemonte x IoD Accesso al portale www.sistemapiemonte.ite auto registrazione
Rilasciocredenziali Sistema Piemonte x IoD Registrazione dei dati
Rilasciocredenziali Sistema Piemonte x IoD Accertamentodell'identità da parte di un operatore presso: uno sportello ASL la reception del CSI Piemonte c/o c.so Unione Sovietica 216 - Torino (servizio in fase di attivazione) Ricezione del PIN(via e-mail)
Rilasciocredenziali Sistema Piemonte x IoD Attivazione delle credenziali
Rilasciocredenziali Sistema Piemonte x IoD Accesso allo User Portal
smartdatanet@csi.it www.smartdatanet.it
Domande