Smart Data Platform INQUADRAMENTO E FUNZIONALITÀ MONITORAGGIO -PROGETTI

Transcript

1 Smart Data Platform INQUADRAMENTO E FUNZIONALITÀ MONITORAGGIO -PROGETTI

2 Agenda Smart Data Platform Overview Architettura piattaforma e documentazione Technical Session & Demo Dati condivisi Linee guida al monitoraggio Q&A

3 Smart Data Platform Overview

4 Smart Data Scenario Social Feeds Information System Public Data Enteprise Data Smart Data Platform Vertical Applications Sensor data Internet of Things

5 Smart Data Platform: delivery models Cloud: hosting CSI-Piemonte Open Source: Downlodable sources Yucca Platform

6 Smart Data Platform Open Technologies Front-end User Interface Security Integration Middleware Configuration & Automation Realtime& Batch Analytics Data management & Storage

7 CloudDevelopment & Runtime Platform Device Mgmt Stream Mgmt Stream Integration Data Ingestion Stream analysis Big Data Storage APIs development Access Stream& Data via APIs Device Sensing Network Bluetooth LE nfc Zigbee Logi c D B Gateway (optional) Smart Data Platform Logic Analytic Cloud DB Application IoT Vertical Application Logic D B UI

8 Connect Everythings Connected Objects Connected Systems Connected Users Connected Applications Smart Data Platform

9 Connect Organization Organization 1 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, DataStream, Data Organization 2 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 3 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Organization 4 IoT IoT Application Application Device, Stream, Device, Data Stream, Device, Data Stream, Data Smart Data Platform Organization context Data/Stream Hub Selective APIs Sharing Stream& APIs Store Metadata/ Semantic Interoperability(*)

10 Architettura piattaforma e documentazione

11 Architettura funzionale 1/3 DATA API DATA LAKE

12 Architettura funzionale 2/3 --> INPUT OUTPUT --> stream online stream real-time DATA API servizi online dati offline dati offline

13 Architettura funzionale 3/3 Proprietario e gestore dei sensori e dei dati Pubblica nuovi streame nuovi dati Sviluppatore di stream e event processing Fruitore flussi e dati Realizza applicazioni per gli utenti finali Utenti finali delle applicazioni sviluppate DATA API

14 User Portal funzionalità

15 Sviluppo e composizione Stream Developer

16 Salvataggio e accesso ai dati su SDP Gli streamprovenienti da smartobjectpotranno essere salvati su storagee, dalla release di fine Novembre, sarà anche possibile tramite User Portal: Creare un nuovo datasetdefinendone la struttura e popolare il nuovo datasettramite upload di file (p.e. CSV) Accedere ai dati sia tramite API standard odata, sia tramite download di file CSV

17 Creazione nuovo dataset

18 Accesso ai dati del dataset

19 Fruizione Api di esposizione dati Fruitore DATA API DATA LAKE Standard odata

20 Developer center Raggiungibile dal portale pubblico Destinato a chi sviluppa soluzioni usando Yucca Contiene linee guida, getting started, reference, docs

21 Protocolli e modello stream

22 Protocolli MQTT(s) HTTP(s) RTSP H264 HTTP M-JPEG FTP (dataset) Near Realtime Online Batch Yucca Platform Alfanumerico Binario MQTT(s) Stomp over WebSocket HTTP (S2S) WebM Rest API ODATA Download File Disponibili nella versione DEV-0.9 o successive

23 Link LINEE GUIDA Formato Protocolli SPECIFICHE DI INTEGRAZIONE Nomenclatura endpoint Nomenclatura topic

24 Modello Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 FORNISCE 1..N Stream posizione Info meteo INVIA 1..N CONTIENE 1..N Evento Contiene la misura in un determinato istante per uno stream Components longitudine latitudine altitudine temperatura umidità

25 Esempi di implementazione Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 All info longitudine latitudine altitudine temperatura umidità Smart Object 89f84a22-1e2e bbf0-9c6efffb8ce7 position meteo longitudine latitudine altitudine temperatura umidità Smart Object1 Smart Object1 position meteo longitudine latitudine altitudine temperatura umidità

26 Formato di un evento (alfanumerico) { } "stream":"position", "sensor":"cc1bfe50-491c-560d-a235-0e4134bbdc23", "values":[ { "time":" t12:36: ", "components":{ "longitude":" ", "latitude":" ", "altitude":"0.0" } } ]

27 Strumenti per la fruizione Strumenti utili ( MQTT: Linux Library C for SDP(GITHUB) Arduino reference implementations(github) Stomp over Websocket: Stomp-websocket(GITHUB) WebSocket Singleton Reconnecting Library(GITHUB) Reference SDP: Server Reference implementation(github)

28 DEMO SDP - Arduino Reference Implementation SDP - Complex Event Processing SDP -bulk datasetload SDP Access data via APIs

29 Demo SDP -Arduino Reference Implementation

30 Reference implementation con Arduino MQTT Stomp over WebSocket Yucca Platform Arduino (550e8400-e29b- 41d4-a ) Invio e ricezione eventi Yucca features: Protocol switching (MQTT Stomp over WebSocket) Broadcasting (1 source N destination) Monitoring Webapp su public hosting

31 Reference implementation con Arduino Informazioni Tenant: SMARTLAB Smart object: 550e8400-e29b-41d4-a Stream: temperature Componente: c0 (float) Formato Messaggio { } "stream":"temperature", "sensor":"550e8400-e29b-41d4-a ", "values":[ { "time":" t12:36: ", "components":{ "c0":"22.8" } } ]

32 Reference implementation con Arduino Censimento su platform ms/smartlab Monitoraggio smartlab/550e8400-e29b-41d4-a /temperature Reference Application:

33 Inside $('#connect_form').submit(function() { varurl= $("#connect_url").val(); varlogin = $("#connect_login").val(); var passcode = $("#connect_passcode").val(); destination= $("#destination").val(); // client = Stomp.client(url); client = WebSocketService(url); // the client isnotifiedwhenitisconnectedto the server. client.connect(login, passcode, function(frame) { client.subscribe(destination, function(message) { var json = message.body; obj = JSON.parse(json);..

34 Demo SDP -ComplexEvent Processing

35 Elaborazioni online HTTP Stomp over WebSocket Smartphones Yucca Platform Elaborated streams Webapp su server Composizione ed elaborazione stream Yucca features: Aggregation Filter Pattern matching Windowing

36 Elaborazioni online Informazioni { } Tenant: SMARTLAB Smart object(s): cc1bfe50-491c-560d-a235-0e4134bbdc23/ 5391c45d f9b-b971-f711e / Flusso: position (longitude, latitude, altitude, speed) Componente: longitude, latitude, altitude, speed "stream":"position", "sensor":"cc1bfe50-491c-560d-a235-0e4134bbdc23", "values":[ { "time":" t12:36: ", "components":{ "longitude":" ", "latitude":" ", "altitude":"0.0" "speed":"0.0" } } ]

37 Software per smartphone Applicazione verticale fruitrice

38 Elaborazioni online: Aggregation "long":" ", "long":" ", "lat": "long": " ", " ", "lat":" ", "alt": "lat": "289.0", " ", "alt":"289.0", "alt":"289.0", "long": " ", "lat": "long": " ", " ", "alt": "lat": "long": "289.0", " ", " ", "alt": "lat": "289.0", " ", "alt": "289.0", "long":" ", "lat": "long": " ", " ", "alt": "lat": "long": "289.0", " ", " ", "alt": "lat": "289.0", " ", "alt":"289.0",

39 Elaborazioni online: Enrichment "long":" ", "long":" ", "lat": "long": " ", " ", "lat":" ", "alt": "lat": "289.0", " ", "alt":"289.0", "alt":"289.0", "long":" ", "lat": "long": " ", " ", "alt": "lat": "long": "289.0", " ", " ", "alt": "lat": "289.0", " ", "alt":"289.0", "long": " ", "lat": " ", "alt": "289.0", "Inbound":true "long":" ", "lat": "long": " ", " ", "alt": "lat": "long": "289.0", " ", " ", "alt": "lat": "289.0", " ", "alt":"289.0",

40 Elaborazioni online: Enrichment Informazioni Tenant: SMARTLAB Smart object(s): internal Flusso: allgpsfiltergeo(longitude, latitude, altitude, speed) Componente: longitude, latitude, altitude, speed { "stream":"allgpsfiltergeo", "sensor":"cc1bfe50-491c-560d-a235-0e4134bbdc23", "values":[ { "time":" t12:36: ", "components":{ "longitude":" ", "latitude":" ", "altitude":"0.0", "speed":"0.0 ", "inbound":" true" } } ] }

41 Elaborazioni online: Pattern "long": " ", "lat": " ", "alt": "289.0", "inbound": "false", "long": " ", "lat": " ", "alt": "289.0", "inbound": "true", "long": " ", "lat": " ", "alt": "289.0", "inbound": "false", "long": " ", "lat": " ", "alt": "289.0", "inbound": "true", +1-1 "long": " ", "lat": " ", "alt": "289.0", "inbound": "true", "long": " ", "lat": " ", "alt": "289.0", "inbound": "true", "long": " ", "lat": " ", "alt": "289.0", "inbound": "true", "long": " ", "lat": " ", "alt": "289.0", "inbound": "false",

42 Elaborazioni online: Windows hours

43 Elaborazioni online: Pattern + Windows Informazioni Tenant: SMARTLAB Smart object(s): internal Flusso: gpscounter(counter) Componente: longitude, latitude, altitude, speed { "stream":"gpscounter", "sensor":"-", "values":[ { "time":" t12:36: ", "components":{ "counter":"2" } } ] }

44 Elaborazioni online: altro scenario Applicazione online delle regole di data quality utilizzate neltropical Atmosphere Oceanprojectdel National Oceanic and Atmospheric Administration. Misura: Sea Surface Temperature Primo livello(filtro): Datonon validose SST < -9 C osst > +33 C Secondo livello(filtro e WINDOW) Dato non valido se SST-SSTgiorno precedente > 5 C

45 Demo SDP -bulk datasetload

46 DEMO caricamento datasete accesso ai dati Il big data storagedella Smart Data Platform consente di salvare sia le misure provenienti dagli streamiotsia i dati di contesto caricati in modalità offilinein modalità bulk La DEMO ha l obiettivo di mostrare la creazione di un nuovo datasete il caricamento dei dati tramite file CSV

47 DEMO creazione datasete download dati Creazione nuovo dataset Invio CSV per preview struttura dati contenuti Accesso alla scheda dettaglio dataset Definizione struttura di dettaglio attributi dataset Urle informazioni per l accesso Upload file CSV per caricamento dati

48 Demo SDP Access data via APIs (odataservice API)

49 Browsinge accesso ai dati via odataapi La Smart DataPlatform espone l accesso ai dati provenienti dagli streame/o da importazioni bulk tramite servizi REST secondo lo standard odata v2. The Open Data Protocol (OData) enables the creation and consumption ofrestapis, which allow resources, identified using URLs and defined in a data model, to be published and edited by Web clients using simple HTTP messages Questo abilita l integrazione di toole applicazioni in differenti linguaggi aderenti allo standard odata.

50 DEMO accesso ai dati tramite odataapi odata API browsing tramite client web open source odataquerybuilder Interrogazione e fruizione odataapi da prototipo Web applicativo Interrogazione singolo datasetda odataquerybuilder

51 Dati Condivisi

52 Dati disponibili nella SDP Dati di «Business» Originati dalle aziende che utilizzano la Smart Data Platform Dati acquisiti dai sensori Dati conferiti alla piattaforma a livello applicativo Dati aggregati o elaborazioni rese disponibili in fruizione Dati di Contesto della PA Permettono di arricchire e contestualizzare i dati di business Hanno origine nei sistemi informativi della PA Comprendono i dati della PA (Public Sector information) Vengono inseriti in piattaforma per poterli aggregare ai dati di business

53 Dati di Business Dati conferitialla piattaforma (in conformità alle linee guida), il fornitore: ha piena ed esclusiva disponibilità del dato o ha acquisito tutte le eventuali autorizzazioni e consensi da soggetti terzi è l unico soggetto che risponderà di eventuali contestazioni o richieste di risarcimento ha responsabilità della definizione della licenza di eventuale fruizione sulla SDP Dati fruiti dalla piattaforma: il fruitore sarà l'unico soggetto che risponderà di eventuali utilizzi non conformi alla licenza associata ai dati fruiti

54 Dati di Business(2) In caso di dati: Open non Open personali sensibili l'utilizzo in Piattaforma sarà subordinato all'applicazione dei vincoli conformi alla normativa; è in corso un analisi giuridico-normativa sui flussi critici.

55 Dati di Contesto della PA DA: portale " Open Data Regione Piemonte Open Data Geoportale ARPA Open Data GeoportaleRegione Piemonte (coming soon) DA: patrimonio informativo Regione Piemonte: elenco Basi Dati per il funzionamento dell'ente Scaricabili liberamente e importabili in piattaforma Se open(tutti o in parte): LIBERATI e pubblicati su Se non open: richiesta di fruizione in modalità riservata

56 Linee guida al monitoraggio

57 Linee Guida al Monitoraggio IlmonitoraggiodelBandosicomponedidueparti: Monitoraggio Tecnico CSI Piemonte Monitoraggio Fisico, Finanziario e Procedurale Finpiemonte La documentazione richiesta per entrambe le parti dovrà essere anticipata alla casella PEC finanziamenti.finpiemonte@legalmail.it 5 gg lavorativi prima di ogni incontro di monitoraggio

58 Monitoraggio Tecnico

59 Monitoraggio Tecnico CuratodalCSIPiemonte,(DDn.151del30maggio2014)avrà per scopo la verifica dello stato di avanzamento del progetto in riferimento ai risultati raggiunti dalle attività di ricerca industriale e/o di sviluppo sperimentale in coerenza con i deliverable previsti Le informazioni sullo stato del progetto saranno riportate nella Relazione Tecnica: descrizione delle attività realizzate o avviate; risultati ottenuti in riferimento ai piani di progetto; le prime valutazioni sugli effetti prodotti; avanzamento attività.

60 Monitoraggio Tecnico Avanzamento attività

61 Monitoraggio Tecnico Lo svolgimento dell attività di monitoraggio comporterà l accesso da parte di CSI Piemonte ai deliverable di progetto in formato documentale e/o applicativo CSI Piemonte assicura la segretezza e la confidenzialità dei dati, delle informazioni e del know-how commerciale di cui verrà a conoscenza nell'ambito del monitoraggio Per eventuali richieste di chiarimento relative alla predisposizione della Relazione Tecnica di monitoraggio occorrerà fare riferimento alla casella di posta: smartdatanet@csi.it

62 Monitoraggio Tecnico Sono previsti 3 incontri di monitoraggio tecnico Primo Incontro entro il prossimo mese di dicembre presso la sede del CSI Piemonte con ogni Capofila progettuale (ed eventuali altri partner a sua discrezione) verrà richiesta la prima Relazione Tecnica di monitoraggio in cui dovrà essere presentato il cronoprogramma aggiornato del progetto, riportandoladatadikickoffdiavvioattività

63 Monitoraggio Tecnico Secondo Incontro si svolgerà entro aprile 2015 verrà richiesta la Relazione Tecnica di monitoraggio intermedio con possibili verifiche tecniche e documentali dei deliverable previsti a piano Terzo Incontro sisvolgeràentrolafinedisettembre2015 verrà richiesta la Relazione Tecnica di avanzamento finale del progetto, che sarà utilizzata per la valutazione conclusiva la verifica dovrà comprendere una dimostrazione funzionale dei deliverable di progetto

64 Monitoraggio Tecnico Primo incontro proposta calendario Lunedì, 1 dicembre 2014 h progetto SEes@W h progetto QUIES Venerdì, 12 dicembre 2014 h progetto IoTiBevo h progetto HealthCommons Mercoledì, 3 dicembre 2014 h progetto IDEM h progetto ALL4ALL Venerdì, 5 dicembre 2014 h progetto EDEN h progetto SMARTWEAR Lunedì, 15 dicembre 2014 h progetto Pitagora h progetto ELISE Mercoledì, 17 dicembre 2014 h progetto ESGP h progetto ComfortSense Mercoledì, 10 dicembre 2014 CONFERMARE DATA PROPOSTA VIA MAIL A h progetto LEO smartdatanet@csi.it (entro 26/11) h progetto O.N.D.E. - UWC

65 Integrazione con Smart Data Platform In parallelo al monitoraggio tecnico CSI Piemonte richiede alle aziende informazioni per il capacity planning della Piattaforma (es. frequenza invio stream, dimensioni dataset, necessità di fruizione). Si richiede alle aziende di compilare il capacity planning entro il mese di dicembre 2014 CSI Piemonte è disponibile per approfondimenti sull'interfacciamento con la Smart Data Platform Yucca: Mediante Developer center e contatti continuativi Con incontri de visu contestuali agli incontri di monitoraggio (segnalandone prima l esigenza)

66 Monitoraggio Fisico Finanziario e Procedurale

67 Monitoraggio Fisico Finanziario Procedurale Curato da FINPIEMONTE, segue temporalmente le scadenze previste dal monitoraggio tecnico I beneficiari, contemporaneamente all invio della documentazione tecnica, inoltrano anche lo stato di avanzamento della spesa (= fatture quietanzate), da compilarsi su supporto excel messo a disposizione da Finpiemonte NB: prima dell incontro 1, Finpiemonte fornisce al capofila del progetto il file excel di partenza, con già compilato il piano di spesa approvato dal Comitato

68 Monitoraggio Fisico Finanziario Procedurale Nel file sono presenti opportuni campi note, in cui il capofila riporta le motivazioni degli scostamenti che possono eventualmente emergere La documentazione viene analizzata prima degli incontri fissati per il monitoraggio tecnico per evidenziare eventuali problematiche. Finpiemonte potrà chiedere opportuni chiarimenti ed informazioni, anche in occasione degli incontri previsti dal monitoraggio tecnico

69 Contatti Per eventuali richieste di chiarimento, si prega di utilizzare i seguenti riferimenti: per la predisposizione della Relazione Tecnica di monitoraggio, fare riferimento alla casella di posta elettronica: smartdatanet@csi.it per la predisposizione del Piano di Spesa, e chiarimenti relativi al monitoraggio fisico, finanziario e procedurale così come definiti nel Bando, fare riferimento alla casella di posta elettronica: finanziamenti@finpiemonte.it oppure chiamare l URP Finpiemonte: dal lunedì al venerdì dalle ore 9:00 alle ore 12:00

70 Q & A

71