Open data in Trentino e Sistemi Informativi provinciali Marco Combetto Informatica Trentina spa 71
Programma Modello di riferimento Cosa si intende per messa a sistema Testo slide Modelli per la raccolta dati Dati dinamici (sensori e IoT) La piattaforma catalogo come hub per gli sviluppatori 72
Modello Testo slide https://dati.trentino.it/faq 73
Modello di riferimento: DAF (cap.9 Piano Triennale) Il Data & Analytics Framework (DAF) fa parte delle attività atte a valorizzare il patrimonio informativo pubblico nazionale. Il DAF ha l obiettivo di sviluppare e semplificare l interoperabilità dei dati pubblici tra PA, standardizzare Testo slide e promuovere la diffusione degli open data, ottimizzare i processi di analisi dati e generazione di conoscenza. L idea è quella di aprire il mondo della Pubblica amministrazione ai benefici offerti dalle moderne piattaforme per la gestione e l analisi dei big data. Raffaele Lillo https://teamdigitale.governo.it/en/people/11-profile.htm https://avanzamentodigitale.italia.it/it 74
Cosa è il DAF Un insieme di tool per l analisi e l elaborazione dei dati presenti nel DAF che sfruttano le capacità di gestione ed elaborazione di big data, tra cui: Un tool per generare dashboard e report. Un notebook per effettuare analisi sui dati presenti nel DAF a cui l utente ha accesso (non solo OD). L accesso a un insieme di dati utili per l elaborazione di analisi e visualizzazioni (analytics) dei dati che a tendere saranno presenti nel DAF 75
Basi di dati in DAF Dati delle basi di dati d interesse nazionale: basi di dati autoritative rispetto alle entità che gestiscono (ad es. ANPR è autoritativa per l entità residente). Nel DAF è possibile trovare una copia sempre aggiornata dei dati in esse contenute, fatte salve le eccezioni di norme e regolamenti, e in accordo con il Garante per la Privacy. Dati delle PA: le PA sincronizzeranno (cfr. Piano triennale) una copia dei dati utili a svolgere il proprio mandato istituzionale nonché i dati generati dai propri sistemi informatici (es. log). Tali dati sono accessibili da parte di tutte le PA, ad eccezione di quei dati sui cui vigono norme in materia di protezione dei dati personali. Dati di interesse pubblico di terze parti: il DAF raccoglie e mette a disposizione di tutte le PA dati di terze parti di potenziale interesse pubblico (es. dati provenienti dai social networks, dati forniti da aziende, ecc.). 76
Mettere a sistema la pubblicazione dei dati Marco Combetto Informatica Trentina spa 77
Mettere a sistema gli opendata Abbiamo visto cosa si intende per formato aperto, licenza aperta e come è possibile con semplici operazioni manuali creare i dati in questo formato, ma in realtà per garantire la maggiore qualità, occorre: Avvicinarsi alla sorgente dei dati (dove vengono prodotti) Rendere automatico Testo il processo slide di pubblicazione Economicità di pubblicazione Per la produzione sistematica dei dati occorre tenere conto anche della realtà attuale (e a tendere) dei sistemi informativi a supporto del sistema pubblico Trentino, tra cui del sistema informativo Provinciale SINET 3 + 1 passi da considerare 78
3 azioni necessarie La fase di censimento e documentazione delle basi informative e dei servizi informativi dei vari enti che aderiscono al sistema, in gestione presso e non solo gli enti pubblici e le società di sistema ad essi collegate. Le fasi di analisi e progettazione dei sistemi informativi, ove sono definite le specifiche Testo tecniche slide che permettono la realizzazione dei sistemi informativi in collaborazione con i fornitori reperiti sul mercato con le procedure di procurement piu adeguate. La georeferenziazione dei dati è un passaggio molto importante per valorizzare i dati, cioè l'attribuzione a un dato dell informazione relativa alla sua localizzazione geografica (latitudine e longitudine): tale posizione è espressa in un particolare sistema geodetico di riferimento. 79
Georeferenziare i dati Non è solo per gli esperti di dati geografici ma lo possono fare tutti usando OpenStreetMap dal proprio PC usando lo smartphone (nel caso) usando un GeoCoder online e verificando i risultati Aggiungendo due colonne Testo alla slide tabella in oggetto (nel caso di elenchi/dataset gestiti a mano) Attenzione alla licenza con cui sono fornite le coordinate (caso GMaps) Farlo/segnalarlo durante in fase di definizione del sistema ICT o nel form utilizzato per la richiesta di dati https://www.openstreetmap.org/#map=19/46.05961/11.11882 80
+ 1: capitolati tecnici Inoltre Indicazioni Operative per i dati di tipo aperto nei capitolati di gara (cap 11 LG AGID 2014) includere nello schema di contratto una clausola per includere all interno della fornitura le funzionalità ed il codice necessario per la pubblicazione Testo slidedei dati in modo programmatico nel catalogo dati.trentino.it CASO 1: produzione dati aperti indiretta (documentare e esplicitare le modalità di passaggio dei dati dall aggiudicatario all amministrazione, se non previsto gia) CASO 2: produzione dati aperti diretta (prevederlo nel capitolato) 81
Censimento banche dati (webservices, applicativi, ) Avere un catalogo delle basi di dati riusabile per il sistema pubblico, non solo le basi di dati presenti in SINET, ma anche database piu locali (se possibile) Chi sta già facendo censimenti? O richieste? AGID - Paniere Opendata TEAM DIGITALE: bdati int. naz. AGID - Censimento ICT Privacy e GDPR Elenco Applicazioni ICT PAT FOIA TRASPARENZA Testo slide Oggi (per Agid) In excel, ed incompleto (2016) Catalogo Navigabile Interrogabile DCAT-AP ATTIVITA: Partenza dall attuale file excel creato per AGID (2016) e dal file Web Service di IT Metadatazione DCAT-AP e messa a disposizione su catalogo CKAN (intrapat e pubblico) Obiettivo: avere un catalogo di almeno 100 basi dati, 50 web services metadati in modo Non necessariamente per aprirli Ma per avere un catalogo unico che serva ai diversi scopi per tenerli in ordine essere pronti per i monitoraggi 82 82
Modelli di raccolta dati e sistemi informativi Marco Combetto Informatica Trentina spa 83
Avvicinare la sorgente dei dati I dati sono prodotti e memorizzati nei sistemi informatici utilizzati normalmente da parte dell amministrazione pubblica. Office e strumenti per il desktop Sistemi Gestionali verticali (tanti) Siti web e sistemi CMS e DMS SAP (Gestionali/Bilancio) Servizi online e Pagamenti Testo Elettronici slide Business Intelligence, Datawarehouse IT Service Management e altro Centralizzati ma anche periferici, ma anche non in gestione diretta Un arcipelago di isole informative, più o meno accessibili, con diverse tecnologie, modalità, limitazioni e vincoli 84
Quali dati? Ci sono delle priorità.. 1. Elenco basi di dati chiave link Trasporti (che include anche dati relativi in generale alla mobilità) Istruzione, cultura e sport (che include anche il turismo); Economia e finanze; Testo slide Giustizia, sistema giuridico e sicurezza pubblica; Regioni e città. 1. Paniere opendata link (complemento a 1) 85
Vorrei pubblicare dei dati aperti, cosa devo fare? 1. Contatto info@dati.trentino.it che accompagnerà nelle scelte successive 2. Analisi dei dati secondo le indicazioni presenti nella checklist (titolarità, privacy, segreto, diritti di proprietà intellettuale, disciplina dell'accesso agli atti e documenti amministrativi, formato) 3. Se non già presente, individuo un referente operativo per la Struttura e invio una lettera di autorizzazione alla pubblicazione dei dati sul catalogo dati.trentino.it firmata dal dirigente responsabile della struttura 4. Modellazione dei dati per renderli pubblicabili come open data secondo quanto definito nelle linee guida provinciali/nazionali. Testo slide 5. Nel caso non fosse ancora presente, creazione dell'account del referente su dati.trentino.it 6. Compilazione dei metadati, scelta della licenza e pubblicazione dei dati. 7. Una volta pubblicato il dataset è importante tenerlo aggiornato nel caso di eventuali modifiche nel tempo dei valori o della struttura. 86
Pubblicazione semplificata Non è sempre sostenibile lo sviluppo di uno specifico modulo di harvesting, in particolare se si tratta di pochi dataset e non aggiornati spesso Alternative percorribili: Testo slide Link inserito manuale: creazione di un collegamento nel catalogo al dataset messo a disposizione in un sistema informativo (accessibile dal web) Semimanuale: export automatico in un formato aperto dal sistema gestionale/ict che contiene i dati e pubblicazione manuale nel catalogo 87
Il modello di raccolta dei metadati/dati Internet Internet SINET e altri sistemi Provinciali 1 API Harvester Controllo esecuzione Testo slide3 2 API dati.trentino.it PROD CKAN dati.trentino.it TEST CKAN 1 - Raccolta dei dati/metadati dalla sorgente esterna definita e memorizzazione in un database temporaneo locale 2 - Adattamento formati dati in vista dell importazione 3 - Import dei metadati nel catalogo (ambiente di TEST e/o Produzione) 88
Integrazione in fase di progetto Predisporre i sistemi informativi in fase di realizzazione (analisi e progettazione) con modalità che permettano di facilmente pubblicare come open data successivamente In fase di raccolta requisiti utente In fase di pianificazione evolutive Inserendo i costi implicati all interno dei costi previsti Importante: Testo slide Opportunità per analizzare/rivedere la disponibilità dei dati (qualità, caratteristiche, riuso) I sistemi ICT sono in continua evoluzione... 89
Integrazione a posteriori Individuare la sorgente informativa nei sistemi Sappiamo il sistema che lo produce? (in gestione si/no,..) Come è memorizzato? (in un database, applicativo, etc) Come è accessibile? (intranet, TELPAT, internet) Quali servizi di interoperabilità applicativa sono disponibili? Testo slide Valutare l intervento applicativo necessario, costi e competenze richieste e se sostenibile realizzare l intervento applicativo Tipo 1: Realizzazione funzione di export Tipo 2: Integrazione con il sistema di harvesting 90
Dati dinamici e da sensori (IoT) Marco Combetto Informatica Trentina spa 91
Di cosa si parla? I sensori sono dispositivi che convertono le grandezze ambientali in dati, cosi permettono di misurare, comunicare, elaborare e conservare le informazioni concernenti l ambiente stesso. Testo slide Dispositivi come i sensori, ma non solo, creano un interfaccia tra un sistema elettronico e l ambiente esterno, con le seguenti caratteristiche: Produzione continua di dati (real time); Continuo aggiornamento dei dati di una misura (diretta o calcolata); Misurano fenomeni altrimenti difficilmente misurabili; Permettono la creazione di serie storiche e modelli previsionali. 92
Dati da maneggiare con cura Nell utilizzo dei dati prodotti ha delle criticità specifiche: Problemi legati alla rilevazione e al trattamento dei dati (causa fattori esterni); Testo slide I sensori producono dati molto grezzi; L elaborazione e la gestione dei dati dei sensori richiede competenze tecniche specifiche; Problemi legati alla protezione dei dati personali (es. targhe a Trento); Spesso i dati prodotti da sensori non sono standardizzati e non infrastrutturati per essere distribuiti via web. 93
Varie tipologie in Dati.Trentino.it Testo slide 94 94
Come raccogliere questi dati? Dati generali: Files, sistemi informativi (databases, gestionali, etc) Dati Geografici: Sistemi informativi Territoriali Testo (SIAT, slide GeoCAT, etc) Dati da Sensori? Web services generici WFS/WMS Sensor Observation Services Reti IoT 95
La piattaforma per il catalogo dei dati Marco Combetto Informatica Trentina spa 96
CKAN: Cosa è? E un Data Management System (DMS) Un software open source per i cataloghi di dati aperti Serve per memorizzare metadati, non dati possibile ma solo in caso di necessità Testo slide Semplifica il modo di trovare i dataset (anche via Google) Permette di avere a portata di mano la documentazione sui dati Permette di avere i dati a disposizione su Internet tramite una URL permanente e quindi direttamente collegabile 97
CKAN: Cosa è? E un Data Management System (DMS) Un software open source per i cataloghi di dati aperti Serve per memorizzare metadati, non dati possibile ma solo in caso di necessità Testo slide Semplifica il modo di trovare i dataset (anche via Google) Permette di avere a portata di mano la documentazione sui dati Permette di avere i dati a disposizione su Internet tramite una URL permanente e quindi direttamente collegabile 98
CKAN: funzionalità Permette di catalogare attraverso un interfaccia web o utilizzando le API Permette la ricerca in tutti i campi di metadati anche con un interfaccia a faccette Sistema di profilazione utente sulla Organizzazione, in modo da abilitare/disabilitare chi modifica le informazioni Testo slide Permette di ordinare i dati come " set di dati " e " risorse" Anteprima dei Dati Permette di memorizzare e visualizzaze la cronologia delle modifiche di un set di dati Permette di definire Categorie ed Organizzazioni Permette di fare un tema grafico custom 99
Struttura del catalogo Struttura home page Ricerca con parola chiave Organizzazioni Categorie Testo slide Creazione di un nuovo dataset Modifica dei metadati di un nuovo dataset Elementi correlati (Bacheca applicazioni) Utenti, storia delle modifiche 100
Possibilità di automatizzare tasks utilizza le richieste http di tipo RESTful consuma e ritorna metadati in formato JSON si può fare a livello di codice qualsiasi operazione che si può fare utilizzando l'interfaccia utente (ad esempio, la ricerca) utilizzando una chiave di accesso Testo slide sulle API è possibile avere accesso ai dataset e fare operazioni quali modifica/scrittura, se l'utente è autorizzato a fare tramite l'interfaccia utente L API utile per l'elaborazione dei dati e la catalogazione in grandi volumi (ad esempio, applicare una correzione per molti metadati in un batch, includere molte risorse simili in un set di dati, fare harvest) 101
Roadmap di sviluppo Allineamento standard Piattaforma BZ e AGID Su interfaccia web e form di metadatazione Competenze est. a supporto GESOLUTIONS srl Già in coord con BZ - Agid Testo slide Adeguamento Sistema di Harvesting API/processi schedulati Oggi si harvestano/da fare: SIAT/completamento migrazione STEM STATWEB/Miglioramento generale, Civici, etc. COMUNWEB BugFix e miglioramento UPDATE Da avviare Gruppo portali SINET TEMPLATE: implementazione allineamento piattarma ComunWeb MIGLIORAMENTO QUALITA Riduzione LINKS rotti, duplicati, imprecisioni (ID, etc) anche grazie a segnalazioni da Harvesting nazionale (es. Bug ComunWeb) Da valutare dopo l upgrade in corso di CKAN, dal quale qualche strumento in piu c è 102 102