Workshop Smart Data Net e piattaforma Yucca SDP. CSI Piemonte Torino, 20 Marzo 2015

Transcript

1 Workshop Smart Data Net e piattaforma Yucca SDP CSI Piemonte Torino, 20 Marzo 2015

2 Agenda Benvenuto Ecosistema: bando, progetti, ambiti e dati Overviewdella piattaforma Yucca SDP Tecnologie di integrazione e sicurezza DEMO con Arduino YUN Best practicee roadmap Indice dei dati e accesso a Yucca SDP

3 Ecosistema: bando, progetti, ambiti e dati

4 I progetti

5 I progetti Progetto Valore Progetto Contributo N. Beneficiari Ambito Sicurezza QUIES Ambiente IDEM Ambiente ALL4ALL Smart Communities EDEN Energia SMARTOWEAR Salute LEO Energia O.N.D.E.- UWC Ambiente IoTibevo Smart Communities HealthCommons Salute PITAGORA Ambiente ELISE Ambiente ESGP Energia ComfortSense Smart Communities IP-OWIT Ambiente SORRISO Energia IoS Salute LIMPID Trasporti CIRCE Ambiente STAR@home Salute QUADRANTE Ambiente BUSSOLA Ambiente SMARTV Salute Totale Termine 31/07/15 Termine 31/10/15

6 I Progetti Progetto Obiettivo del progetto Rilevazione di parametri ambientali nei luoghi di lavoro e correlazione con lo stress dell'individuo QUIES Monitoraggio acustico sul territorio IDEM Monitoraggio delle emissioni odorigene presso discariche ALL4ALL Integrazione di servizi socioassistenziali e socio-sanitari a favore delle fasce deboli della popolazione. EDEN Acquisizione di dati ambientali indoor e outdoor finalizzati alla riduzione dei consumi energetici per i comuni SMARTOWEAR Acquisizioni di dati biometrici di pazienti per la diagnosi precoce di crisi recidivanti LEO Monitoraggio, analisi e ottimizzazione dei consumi energetici delle infrastrutture pubbliche O.N.D.E.- UWC Ottimizzazione dei percorsi e della frequenza di raccolta dei rifiuti IoTibevo Acquisizione e pubblicazione di dati da sensori dei punti acqua SMAT HealthCommons Acquisizione di dati sullo stato di salute finalizzati alla correzione dello stile di vita del paziente PITAGORA Rilevazione dati di un ecosistema lacustre per finalità di prevenzione rischio naturali, tutela ambientale, protezione civile e turistiche ELISE Raccolta e integrazione di parametri ambientali per la realizzazione di servizi di consultazione e supporto alle decisioni per i cittadini ESGP Acquisizione dati volti al risparmio energetico in ambienti domestici

7 I Progetti Progetto ComfortSense IP-OWIT SORRISO IoS LIMPID CIRCE QUADRANTE BUSSOLA SMARTV Obiettivo del progetto Acquisizione di dati di comfort ambientale da utenti e confronto con dati rilevati da sensori per definire le migliori correlazioni nei modelli Ottimizzazione del processo di raccolta differenziata dei rifiuti organici domestici dal punto di origine al punto di compostaggio o smaltimento Miglioramento dell'efficienza energetica negli edifici scolastici e residenziali dotati di impianti fotovoltaici Realizzazione di un sistema per la diagnosi e la sorveglianza a distanza dei disturbi cardiorespiratori del sonno nel bambino Creazione di nuove fonti di raccolta dati utili al monitoraggio e al controllo della mobilità urbana Raccolta unificata e gestione di dati meteo-idrologici e agro-meteorologici provenienti da sistemi di monitoraggio esistenti finalizzati alla ricerca scientifica Sviluppo di un sistema integrato di teleassistenza Realizzazione di un modello volto a fornire indicazioni sulla qualità dell'aria utilizzando "informazioni-dati" già disponibili sul territorio Utilizzo dei mezzi adibiti al trasporto di persone per la sperimentazione di servizi innovativi sulla qualità dell aria, la sicurezza a bordo del veicolo, il turismo e il geomarketing Realizzazione di servizi per il supporto socio-sanitario di soggetti anziani

8 Distribuzione contributi 88% 9% 1,7% 0,3% 1% Ambito Contributo N. Progetti Ambiente Energia Salute Sicurezza Smart Communities Trasporti Totale Provincia Contributo AT CN NO TO VB Totale La distribuzione territoriale è basata sull ubicazione delle sedi dei beneficiari

9 Contributi erogati I Beneficiari Distribuzione sul territorio Tipologia AT CN NO TO VB Totale Grande impresa Media impresa Microimpresa OR Privato 9 9 OR pubblico Piccola impresa Totale Distribuzione contributi Tipologia AT CN NO TO VB Totale Grande impresa Media impresa Microimpresa OR Privato OR pubblico Piccola impresa Totale

10 Specializzazione Ambiti

11 Ambiti & Sensori Distribuzione sottoambiti Ambito Tipo sensore usato Ambiente Energia Salute Sicurezza chimico drone gps idrologico microfono sonda temperatura / umidità wearable app contabilizzatore luminosità temperatura / umidità app audio/video wearable chimico wearable Smart Communitiesapp audio/video chimico temperatura / umidità wearable Trasporti audio/video drone sonda

12 Sensori & Dati Distribuzione tipologie sensori Tipo sensore Dato trattato Dal Capacity plan Numero smart object Misure dagli stream 1,5TB/anno Dataset di contesto da progetti 500 GB Dati parziali app audio/video chimico contabilizzatore drone gps idrologico luminosità microfono sonda temperatura / umidità wearable ambientale indoor biometrico consumo energetico ambientale outdoor biometrico ambientale indoor ambientale outdoor consumo energetico ambientale outdoor geo-localizzazione ambientale outdoor ambientale outdoor ambientale outdoor ambientale outdoor ambientale indoor ambientale outdoor ambientale outdoor biometrico

13 Ambiti & Living Labs

14 Living Labs & ubicazioni Comune Alba Bruino Collegno Cuneo Fossano Grosso Canavese Ivrea Mondovì Monregalese Novara Orbassano Rivoli Rubiana San Damiano d'asti Settimo Torinese Torino Verbania Luogo Rilevamento dati outdoor Abitazioni Scuole Edificio Rilevamento dati outdoor Scuole Discarica Casa di cura Rilevamento dati outdoor Abitazioni Rilevamento dati indoor Lago d'orta Lago Maggiore Ospedale San Luigi Punto acqua Edificio Rilevamento dati outdoor Impianto di compostaggio Punto acqua Centro storico Torino Murazzi Città della Salute Laboratori veterinari Punto acqua Quartieri Campidoglio Rilevamento dati outdoor Scuole Università degli Studi di TO Lago Maggiore Luoghi dei Living labs

15 Overviewdella piattaforma Yucca SDP Funzionalità e strumenti

16 Smart Data Net: Internet Of Everything Human Interaction \ YUCCA SDP IoT BigData

17 Connect Organization Organization 1 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, DataStream, Data Organization 2 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 3 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 4 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Smart Data Platform Organization context Data/Stream Hub Selective APIs Sharing Stream& APIs Store Metadata/ Semantic Interoperability(*)

18 Principali tappe Smart Data Net Settembre2014 Prima developer release piattaforma YUCCA Novembre2014 Release YUCCA SDP -DEV 0.8 Big data storage, discovery e monitoring dati odata service e Mqtt event receiver/publisher Dicembre 2014 Release YUCCA SDP -DEV 0.9 Gestione e registraione SS dei device Complex event processing realtime Febbraio 2015 Release YUCCA SDP -PROD 1.0 Web store per pubblicazione e riuso Security e SSO YUCCA SDP -PROD 1.1

19 IoT-> Machine To Machine (M2M) Macchine che comunicano con macchine al posto di persone che interagiscono con applicazioni 24x7 Stream Quantità di dati YUCCA Smart Data Platform

20 Big Data -Open, condivisi e/o privati TENANT PRG 1 TENANT PRG 2 TENANT PRG Dati e misure Dati e misure Dati e misure condivisi Dati e misure Dati e misure Dati e misure open open Traffico Turismo Meteo Commercio Scuole Dati di contesto, dati open e dati condivisi a tutti BIG DATA STORAGE

21 YUCCA SDP vista di insieme Sensing Network Position Atmospheric Temperature Weight Brightness Movement Sound Smoke UVA/UVB Batch LOAD File Batch LOAD File Stream Service Offline DI User Portal Smart Data Platform Real Time Engine CEP Media Streaming Notification BIG DATA Analytics File & Data Storage Stream odata Service Offline DI Vertical Application Attuatori End User App End User App End User App RDBMS

22 YUCCA SDP Open Technologies Front-end User Interface Security Integration Middleware Configuration & Automation Realtime& Batch Analytics Data management & Storage

23 Smart Data Platform: delivery models Cloud: hosting CSI-Piemonte Open Source: Downlodable sources Yucca Platform

24 Nuova interfaccia di gestione

25 Web Store-condividere e fruire dati e stream

26 Developer Center Linee guida specifiche reference esempi how-to getting started e molto altro è disponibile su

27 Supporto allo sviluppo Problematiche di integrazione con la piattaforma Sviluppo processing in real time degli eventi e degli stream Fruizione dei servizi odata Invio di informazioni in realtime, online e offline Coaching Inviare le richieste a smartdatanet@csi.it

28 Tecnologie di integrazione e sicurezza

29 Protocolli MQTT(s) HTTP(s) HTTP(s) Upload CSV (dataset) Near Realtime Online UI Yucca Platform Alfanumerico Binario MQTT(s) Stomp over WebSocket HTTP (S2S) Rest API ODATA Download File Disponibile in successive versioni

30 Invio nearrealtimee fruizione nearrealtime pubblicazione 1 sottoscrizione pubblicazione 2 pubblicazione 2 pubblicazione 3 Offline

31 Invio online (ver succ) e fruizione online Scrittura Lettura Scrittura Lettura

32 Invio nearrealtimee fruizione mista pubblicazione 1 Lettura Dati precedenti pubblicazione 2 pubblicazione 3 sottoscrizione pubblicazione 2 pubblicazione 3

33 Sicurezza MQTT(s) HTTP(s) HTTP(s) Yucca Platform MQTT(s) Stomp over WebSocket HTTP (S2S) Rest API ODATA Stream pubblici e privati: - autenticazioneper tenant conusername/password API ODATA per dataset pubblici: - nessuna autenticazione Near realtime stream pubblici: - utenza guest/aekieh6f API ODATA e stream privati: -OAUTH2

34 Modello delle entità TENANT SE SALVA DATI Dataset Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 FORNISCE 1..N Stream posizione Info meteo INVIA 1..N CONTIENE 1..N Evento Contiene la misura in un determinato istante per uno stream Components longitudine latitudine altitudine temperatura umidità

35 Formato di un evento (alfanumerico) { } "stream":"position", "sensor":"cc1bfe50-491c-560d-a235-0e4134bbdc23", "values":[ { "time":" t12:36: ", "components":{ "longitude":" ", "latitude":" ", "altitude":"0.0" } } ]

36 CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object

37 DEMO con Arduino YUN

38 MQTT Stomp over WebSocket Arduino (922c0438-9dfd- 4ce2-fd3cb17960b189cb) Yucca Platform Invio e ricezione eventi Yucca features: Protocol switching (MQTT Stomp over WebSocket) Broadcasting (1 source N destination) Monitoring HTTP Webapp su public hosting

39 Temperatura (0-50 C) Luminosità (0-1023) Umidità (%) Manutenzione in corso(on/off) NOME UNITÀ DI MISURA TOLLERANZA FENOMENO TIPO DI DATO temperatura temperature: C 0.5 environment: air temperature double umidita fraction: % 1 environment: humidity double switch dimensionless: - 0 other: - Int(0/1) luminosita other: - 1 environment: lightning int

40 Reference implementation con Arduino Formato Messaggio { "stream":"environment", "sensor":"922c0438-9dfd-4ce2-fd3c-b17960b189cb", "values":[{ "time":" t13:21:16z", "components": { "temperatura":"22.2", "umidita":"31.2", "switch":"0", "luminosita":"271" }}] }

41 CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object

42 F R U I T O R E Registrazione Smart Object / Stream Ricerca e sottoscrizione STORE FruizioneAPI e Stream Installazione Stream Monitoraggio F O R N I T O R E

43 Stomp over WebSocket Yucca Platform HTTPS Stream derivato e privatizzato Yucca features: Filter Conversion Security Webapp su public hosting

44 Esempio di streamderivato L obiettivo è quello di ottenere uno streamaggiuntivo migliore che: Non contenga le misure ottenute durante la manutenzione (pulsante premuto) Converta il segnale di luminosità da una scala ad una percentuale Sia utilizzabile solo da utenti del tenant proprietario (privato)

45 CSV oauth2 Websocket MQTT oauth2 public private ODATA Dataset Stream Smart object

46 Internal query: from input0[switch==0] select meta_source as meta_source, time astime, temperatura as temperatura, (1023-convert(luminosita,double))/10.23 asluminosita, umidita as umidita insert into outputstream;

47 Arduino YUN Arduino YÚN è il primo di una nuova linea innovativa di prodotti wifiche combinano la potenza di Linux con la facilità d'uso di Arduino. Il primo Arduino Yunè la combinazione di un classico Arduino Leonardo (basato sul processore ATMEGA32U4) con un sistema-one-chip WiFi esecuzione Linino(un MIPS GNU / Linux basata su OpenWRT). Abbiamo incorporato la macchina Linux direttamente sul PCB della Arduino Leonardo collegando i due in modo tale da facilitare l'esecuzione di comandi su Linux tramite Arduino e poterlo usare come interfaccia Ethernet e Wifi

48 Arduino YUN -architettura Normalmente è lui che comanda. È l unico che può accedere ai sensori. Comunicazione seriale Linguaggio preferenziale Python. Tutti i principali comandi e tools linux

49 YUN parte arduino

50 YUN parte Linino

51 Arduino invio dati verso YUCCA Con lo YUN è possibile comunicare con YUCCA tramite: HTTP/HTTPS Script di controllo e lettura sensori su ATMega Invio HTTP tramite LININO MQTT diretto tramite PubSub modificata Script di controllo e lettura sensori su ATMega Utilizzo connessione TCP/IP di Linino MQTT con Mosquitto client Script di controllo e lettura sensori su ATMega Invio tramite MOSQUITTO client su Linino

52 Struttura generale di uno script per YUCCA Lettura dati dal sensore Costruzione messaggio JSON Invio a YUCCA

53 Es. Lettura della temperatura Analogica Si usa un normalissimo analogread()sul pin su cui è collegato il sensore. Il sensore è una termoresistenza la tensione diminuisce all aumentare della temperatura. Il sensore restituisce un valore fra 0 e 1024 con una precisione di circa C. Il sensore deve essere calibrato dopo essere montato (i cavi cambiano la resistenza) es. interpolazione lineare

54 Costruzione del messaggio Le funzioni interne di arduino YUN per la lettura delle date, si appoggiano a LININO e rallentano tanto vale fare una richiesta diretta a linuxper ottenere la data nel formato ISO desiderato

55 Arduino utilizzo di MQTT PubSub Si carica la libreria (tichiedeanche YunCLient, la libreria ufficiale che crea un client HTTP) Si apre la connessione Si inviano i dati alla coda

56 Smart Data Platform best practice e roadmap

57 Best practicee consigli Gestione -> Nomenclatura oggetti e riconoscibilità oggetti pubblicati Nome e descrizione dello Smart Object Nome dello Stream Immagine (icona) degli oggetti pubblicati Tags utilizzati..

58 Aggregazione Smart Object In presenza di un numero variabile di dispositivi sorgente (es: mobile app distribuita), è possibiledefinireunosmart object Applicazione e far confluire tutti i messaggi nell unico stream definito. unacomponentepuòtrasportarel informazioneche identifica la sorgente Smart Object1 <application> position source longitudine latitudine altitudine

59 Aggregazione Stream Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 All info longitudine latitudine altitudine temperatura umidità Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 position meteo longitudine latitudine altitudine temperatura umidità Smart Object1 Smart Object2 position meteo longitudine latitudine altitudine temperatura umidità

60 RoadmapYUCCA Smart Data Platform 1.1 Fine Aprile WS in scrittura x MISURE WS in scrittura x DATI STRUTTURATI Policy condivisione dei dati 1.2 Fine Maggio WS in scrittura x dati BINARI Nuova interfaccia per lo Store Supporto credenziali forti

61 IndicedeiDati

62 Dati di Contesto della PA DA: portale " Open Data Regione Piemonte Open Data Geoportale ARPA Open Data GeoportaleRegione Piemonte (coming soon) DA: patrimonio informativo Regione Piemonte: elenco Basi Dati per il funzionamento dell'ente Scaricabili liberamente e importabili in piattaforma Se open(tutti o in parte): LIBERATI e pubblicati su Se non open: richiesta di fruizione in modalità riservata

63 Indicedei dati

64 Indicedei dati -ricerca

65 Indicedei dati -"liberazione" dati

66 Indicedei dati -"liberazione" dati

67 AccessoallaPiattaforma Yucca SDP

68 Regolamentoutilizzo Piattaforma SDP Destinato ai beneficiari del Bando IoD Utilizzo della Piattaforma a titolo gratuito Servizio best effort Responsabilità sui dati: Beneficiario del Bando IoD titolare del trattamento CSI Piemonte(per conto di Regione Piemonte) responsabile del trattamento

69 Accessoalla Piattaforma Yucca SDP 1) Accettazione del "Regolamento di Utilizzo" firma digitale da parte del Capofilaed invio alla casella PEC 2) Profilazione utenti da parte del Capofilainvio elenco degli utenti da abilitare alla casella il "codice fiscale" di ogni utente) 3) Accesso tramite Credenziali valide certificato digitale personale credenziali "imputabili" (forti) di Sistema Piemonte

70 Rilasciocredenziali Sistema Piemonte x IoD Accesso al portale auto registrazione

71 Rilasciocredenziali Sistema Piemonte x IoD Registrazione dei dati

72 Rilasciocredenziali Sistema Piemonte x IoD Accertamentodell'identità da parte di un operatore presso: uno sportello ASL la reception del CSI Piemonte c/o c.so Unione Sovietica Torino (servizio in fase di attivazione) Ricezione del PIN(via )

73 Rilasciocredenziali Sistema Piemonte x IoD Attivazione delle credenziali

74 Rilasciocredenziali Sistema Piemonte x IoD Accesso allo User Portal

75

76 Domande