Tecnologie di storage and retrieval: Data Warehouse Idrologico Sommario Abstract

Transcript

1 Tecnologie di storage and retrieval: Data Warehouse Idrologico Attilio Colagrossi, Anna Maria Rizzo Italia Agenzia Nazionale per la Protezione dell Ambiente (APAT) Direttore del Dipartimento: Giorgio Cesari Sessione: Telerilevamento e reti di monitoraggio ambientale Sommario Le informazioni sulle acque richiedono, per la loro memorizzazione, gestione e fruibilità, tecnologie adeguate a supportare grosse quantità di dati, una forte eterogeneità, esigenze di accesso e fruibiltà estremamente diversificate. Per questi motivi si ritiene adeguata la tecnologia Data Warehouse, impiegata attualmente presso il Servizio Raccolta e gestione dati dell APAT per la gestione dei dati relativi alla idrologia su scala nazionale. Il Data Warehouse Idrologico consiste, allo stato attuale, di informazioni sulle precipitazioni misurate al suolo, sui livelli idrometrici dei corsi d acqua, sulle precipitazioni di massima intensità e di lunga durata per complessivi quaranta milioni di record. La tecnologia Data Warehouse, ed in modo particolare il sistema utilizzato, presenta caratteristiche di flessibilità e di performance di accesso indipendenti dalle dimensioni del repository. Il front-end del sistema, che consente l accesso in rete Internet con protocollo http, presenta caratteristiche di estrema versatilità, rendendo possibile la profilazione di utenze variabili da quelle generiche alle più specialistiche, al fine di soddisfare le esigenze sia del cittadino qualisiasi, sia della comunità tecnico-scientifica. Abstract Information concerning waters require, for their storage, management and fruition, technologies suitable to support large amount of data with strong heterogeneity and different needs of accessing and fruition. For these reasons the Data Warehouse technology seems to be the most adequate. It is at the present utilized at the Data Collection and Management Service of the APAT for the data concerning the hydrology on the national territory. The Hydrological Data Warehouse consists of data on precipition and hydrometry for about forty millions of records. The Data Warehouse technology, and in particular the specific system utilized here, is flexible and presents performances indipendent from the size of the repository. The system front-end, available on the Internet via the http protocol, is extremely versatile, allowing for the creation of different user profiles in order to satisfy the needs of both the generic user and those of the specialistic and scientific user.

2 1. Introduzione La raccolta e gestione dei dati sulle acque è da sempre una attività di estremo interesse sia ai fini conoscitivi riguardo al territorio nazionale, sia come contributo essenziale alla soluzione di grandi problematiche riguardanti il Paese. La stessa evoluzione socio-economica dell Italia è in parte maturata con il contributo forte di attività sviluppate sulla base di esigenze conoscitive sulle caratteristiche dell idrografia nazionale e sullo stato delle acque. Agli inizi del secolo XX, la necessità di disporre di nuovi terreni agricoli e di incrementare la produttività agricola attraverso l irrigazione dei campi ha richiesto la disponibilità dei dati cartografici dei corsi d acqua e dei valori degli afflussi; nel periodo del dopoguerra, a seguito dello sviluppo industriale è cresciuta la richiesta di energia idroelettrica e, di conseguenza, dei dati sulla disponibilità dell acqua da invasare e sui carichi idraulici da considerare per le opere di sbarramento; nello stesso periodo è aumentato il consumo di acqua pro-capite e sono state avviate opere per la conduzione e la raccolta delle acque con la richiesta di dati sulla disponibilità della risorsa idrica sotterranea e delle sorgenti; lo sviluppo edilizio degli anni 60 ha incrementato la richiesta di dati relativi agli eventi pluviometrici di breve durata per il dimensionamento delle opere di urbanizzazione. Più recentemente, le esigenze di controllare l inquinamento dei corpi idrici e di costituire anche un forte supporto alle attività di protezione civile, hanno portato allo sviluppo di sistemi di raccolta dati e di diffusione capillare delle informazioni nel più ampio ambito della conoscenza e protezione ambientale. Presso l APAT le informazioni riguadanti le acque sono raccolte e gestite attraverso l impiego di distinte tecnologie, adottate sulla base delle caratteristiche specifiche dei servizi da offrire ai cittadini ed alla pubblica amministrazione locale e centrale [1]. Le principali attività relative alla raccolta e gestione delle acque su scala nazionale sono, in sintesi, le seguenti: Sistema informativo per la raccolta delle informazioni sullo stato delle acque (Sistema.152). I dati trasmessi dalle Regioni e Province Autonome attraverso i propri Punti Focali Regionali riguardano le acque a specifica destinazione, la disciplina degli scarichi, la protezione delle acque dall inquinamento provocato dai nitrati provenienti da fonti agricole. Inoltre, vengono raccolte dall APAT anche le informazioni trasmesse dalle Regioni e Province Autonome sulla caratterizzazione dei bacini idrografici e il monitoraggio e la classificazione delle acque. L attività di raccolta e gestione dei dati sullo stato delle acque su scala nazionale viene effettuata dall APAT sulla base del D.Lvo 152/99 e dai successivi decreti attuativi del 18 settembre 2002 e del 19 agosto Le informazioni alimentano due repositories rispettivamente in tecnologia RDBMS ed XML. Sistemi per la sorveglianza idrologica (SASI e SALVA). I dati, rilevati dalle stazioni idropluviometriche e trasmessi dagli uffici idrografici regionali alimentano un repository gestito attraverso un relational data base management system il quale viene acceduto attraverso il sistema di monitoraggio SASI [2], la cui principale caratteristica è l indipendenza dalle tecnologie proprietarie utilizzate per la raccolta dei dati. Attraverso il sistema SALVA [3] viene segnalata in tempo reale per via telefonica la presenza di condizioni idropluviometriche avverse. Sistema informativo per l accesso alle Relazioni Idrologiche. Gli studi trovano la loro espressione nella pubblicazione di Relazioni Idrologiche, che, per quantità ed elevata qualità, costituiscono parte del patrimonio informativo dell APAT. La rilevazione dei dati idro-pluvioclimatici, l analisi di eventi rilevanti sotto il profilo idrologico, i bilanci idrici su territorio nazionale, sono tutti elementi che trovano sistematizzazione nelle Relazioni Idrologiche, che costituiscono, insieme ai dati analitici. La tecnologia adottata per la memorizzazione su supporto informatico delle Relazioni Idrologiche è quella basata su XML [4], la quale costituisce la chiave per consentire la massima diffusione del patrimonio informativo sugli aspetti idrografici del territorio nazionale [5]. Data Warehouse Idrologico. L APAT raccoglie, gestisce e rende disponibili i dati storici relativi alle precipitazioni, ai livelli idrometrici e di portata, alla freatimetria ed a tutti gli altri fenomeni misurati, attraverso il Data Warehouse Idrologico. Attualmente sono disponibili, per

3 periodi variabili tra il 1921 ed il 1995 i dati relativi ai totali mensili di pioggia, al numero di giorni piovosi, alle precipitazioni di massima intensità, alle osservazioni idrometriche e di portata media giornaliere. Per il periodo sono disponibili anche le precipitazioni cumulate giornaliere. La diversità di formato ed anche di contenuti ha reso indispensabile utilizzare la tecnologia Data Warehouse al fine di disporre di un set di dati omogeneo e facilmente accessibile. Il sistema adottato è Red Brick [6], uno tra i più noti in letteratura. Il Data Warehouse è corredato da un sistema di navigazione, analisi e reportistica. Per questa specifica funzionalità è stato adottato il sistema Business Objects, per due aspetti fondamentali: il primo aspetto riguarda la estrema versatilità d uso di Business Objects, che permette di non vincolare risorse specialistiche; il secondo aspetto è invece relativo alla funzionalità di Business Objects anche in ambito Internet, che permette di ottenere senza ulteriori fasi lavorative la personalizzazione e la piena fruibilità via web delle informazioni memorizzate nel Data Warehouse. Allo stato attuale la più rilevante concentrazione di informazioni è costituita dal Data Warehouse Idrologico il quale, per la notevolissima rilevanza sotto il profilo della quantità dei dati, della loro collocazione geografica e della particolare scelta tecnologica, è funzionale alla rappresentazione del fenomeno idropluviometrico su scala nazionale attraverso serie storiche di svariati decenni. 2. Tipologia delle informazioni e loro disponibilità Le informazioni riguardanti l idrologia su scala nazionale provengono dalle rilevazioni effettuate su tutto il territorio nazionale mediante circa ottomila stazioni di misura. Le caratteristiche idrografiche dell Italia avevano condotto alla individuazione di alcuni uffici idrografici rappresentativi dell intero territorio nazionale. Alcuni di essi sono collocati in Bari, Catanzaro, Napoli, Pescara, Roma, Pisa, Genova, Bologna, Parma, Venezia i quali disegnano sul territorio nazionale una mappa di compartimenti idrografici rappresentata in Fig. 1. Fig. 1 Suddivisione dell Italia in Compartimenti Idrografici

4 I dati raccolti attraverso le stazioni di misura sono numerosi e di svariate tipologie. Una loro parziale classificazione è la seguente: Rilevamento climatico dati termometrici: temperature massime e minime giornaliere; valori medi ed estremi delle temperature mensili; dati pluviometrici: altezze di precipitazione giornaliere, mensili, annuali; precipitazioni massime di 1, 2, 3, 6, 12, 24 ore consecutive; massime precipitazioni dell anno per periodi di più giorni consecutivi; precipitazioni di notevole intensità e breve durata; manto nevoso; pressione atmosferica; umidità relativa; nebulosità; vento al suolo. Rilevamento idrometrico: corsi d acqua: altezze idrometriche giornaliere; altezze idrometriche medie, massime e minime mensili ed annuali; laghi naturali: altezze idrometriche giornaliere; altezze idrometriche medie, massime e minime mensili ed annuali; misure di portata La maggior parte del patrimonio informativo sulla idrologia nazionale è tuttora disponibile su supporto cartaceo, in particolare sugli Annali Idrologici, sintetizzabili nei seguenti numeri: 1500 volumi pagine 8000 stazioni di misura 240x106 osservazioni elementari numerose osservazioni complesse calcolate da modelli matematici Naturalmente, la disponibilità diffusa delle tecnologie informatiche ha indotto i rilevatori ad archiviare parte delle informazioni disponibili anche su supporto informatico. L esigenza di disporre delle informazioni su tutto il territorio nazionale attraverso le tecnologie informatiche ha condotto alla scelta della costituzione di una Data Warehouse Idrologico, considerata la diversità delle tecnologie e dei formati impiegati dai numerosi rilevatori. Ad esemplificazione della tipologia varia del supporto e formato delle informazioni a disposizione, si riportano in Figg. 2 e 3 le immagini relative ai dati forniti da due Uffici Idrografici relativamente alle medie mensili di precipitazione.

5 Fig. 3 Precipitazioni mensili forniti dall Ufficio Idrografico di Bari in formato Excel Tipo: precipitazione cum [mm] Codice: 10 Nome: Marinella Strumento: Pr Aggregazione: STORICO 1940 ; 6; 25.6; 9; 108.2; 5; 45.8; 3; 14.2; 8; 113.0; 9; 165.4; 3; 57.8; 3; 21.8; 5; 26.2; 15; 158.8; 14; 258.0; 3; ; 15; 197.5; 15; 234.6; 10; 79.0; 10; 154.6; 15; 237.8; 5; 63.8; 3; 14.8; 2; 7.4; 3; 61.4; 11; 71.1; 10; 92.6; 4; ; 10; 224.2; 19; 248.8; 13; 117.8; 6; 24.2; 12; 121.0; 2; 43.2; 2; 5.6; 3; 23.6; 7; 37.0; 6; 104.0; 11; 148.4; 5; ; 12; 87.0; 7; 98.0; 5; 33.8; 6; 69.4; 4; 49.4; 0; 0.0; 3; 64.4; 3; 73.6; 12; 133.2; 13; 202.6; 8; 167.2; 13; ; 4; 27.8; 5; 69.4; 1; 3.4; 8; 80.7; 7; 75.4; 10; 58.2; 3; 85.8; 3; 21.4; 10; 77.6; 14; 314.6; 5; 55.8; 11; ; 8; 85.2; 7; 109.2; 13; 102.6; 6; 129.2; 8; 72.4; 6; 35.4; 3; 54.6; 10; 108.8; 3; 44.0; 7; 191.2; 8; 202.2; 6; Fig. 4 Precipitazioni mensili forniti dall Ufficio Idrografico di Pisa in formato ASCII 3. Il Data Warehouse Idrologico La realizzazione del Data Warehouse Idrologico persegue la finalità di costituire un repository di osservazioni idrologiche misurate e validate per ogni stazione di misura, dall inizio delle attività di misurazione ad oggi. I requisiti del sistema, al fine di soddisfare le esigenze di qualità, accessibilità, efficienza, manutenibilità, sono stati individuati nei seguenti: DBMS Relazionale SQL Standard ANSI Sistema Operativo Windows NT/2000 Hardware standard Scalabilità, upgradabilità nel tempo Non necessari nuovi skill DBA Semplice inserimento nel Sistema Informativo pre-esistente Minori costi dell investimento globale

6 La soluzione adottata consiste nella scelta di un sistema Data Warehouse tra i più noti e studiati in letteratura: Red Brick. Esso, infatti: richiede una modesta attività di gestione, è altamente scalabile, sia per quanto riguarda l hardware che per l ambiente operativo è compatibile con altri prodotti già in uso presso APAT. La soluzione adottata pertanto prevede, per l architettura software: Red Brick MS-SQL Server (utilizzato come Data Base di appoggio per la fase ETL) Business Objects, sia nella versione full client che web intelligence (in funzione di front-end)) Per quanto riguarda il modello dei dati, al fine di garantire sia la completezza del data set, sia per sfruttare completamente le caratteristiche di elevata performance nella fase di retrieving di Red Brick, si è scelto di adottare una soluzione ibrida basata sull Entity Data Warehouse, seguendo l approccio di Kimball [], e su di una architettura a Data Mart Multistella, secondo lo schema di massima mostrato in Fig. 5. In questo modo si è coniugata la necessità di non perdere nessun dato elementare con la necessità di offrire servizi estremamente efficienti ad utenze qualificate. Completezza osservazione pluviometrica Dimensione A Dimensione D Dimensione B Dimensione C OSSERVAZIONE PLUVIOMETRICA OSSERVAZIONE IDROMETRICA Dimensione E Completezza osservazione idrometrica Fig. 5 - Schema Data Mart Multistella di massima

7 Attualmente sono presenti nel Data Warehouse Idrologico i dati relativi a circa cinquemila stazioni di misura per complessivi quaranta milioni di record. I dati, nel dettaglio, riguardano le seguenti informazioni: la precipitazione cumulata giornaliera, il totale delle piogge mensili, il numero dei giorni piovosi del mese, le pogge di massima intensità a 30, 1, 3, 6, 12 e 24 ore, le piogge di lunga durata a 1, 2, 3, 4 e 5 giorni, l altezza idrometrica giornaliera, la portata media giornaliera; riferite a: Stazioni di misura Località Comune Provincia Regione Compartimento Bacino idrografico. I dati sono organizzati nel modello Data Mart Multistella di Fig. 5 specializzato con le seguente tabelle:?? OSSERVAZIONE_PLUVIOMETRICA: Tabella dei fatti contenente i dati delle osservazioni pluviometriche. Contiene i seguenti campi: o ID_VALIDAZIONE: ForeignKey per la tabella VALIDAZIONE o ID_FONTE: ForeignKey per la tabella FONTE o ID_DURATA: Contiene l'intervallo della misurazione espresso in minuti (Es."1440" giornaliero, "43200" mensile) o DATA_MISURA: Dato in formato TIMESTAMP (Es:"01/01/ ") o ID_QUALITA: ForeignKey per la tabella QUALITA o MISURA: Dato della rilevazione pluviometrica?? FONTE: Tabella per la descrizione delle fonti da cui provengono i dati. Contiene i seguenti campi: o ID_FONTE: Chiave primaria riferita dalla tabella OSSERVAZIONE_PLUVIOMETRICA tramite ForeignKey o DESCRIZIONE_FONTE:Descrizione della provenienza del dato (Es. "SQL Geodoc", "SQL Tempo Reale" etc.).?? QUALITA: o ID_QUALITA:Chiave primaria riferita dalla tabella OSSERVAZIONE_PLUVIOMETRICA tramite ForeignKey o DESCRIZIONE_QUALITA: Descrizione sulla tipologia e l'affidabilita del dato (Es. "Dato incerto", "Dato mancante", "Dato cumulato", etc.).?? VALIDAZIONE: o ID_VALIDAZIONE:Chiave primaria riferita dalla tabella OSSERVAZIONE_PLUVIOMETRICA tramite ForeignKey

8 o DESCRIZIONE_VALIDAZIONE:Tipologia di validazione (Es. "Dato non validato", "Dato validato") o ORIGINE_VALIDAZIONE:Ente che ha proceduto alla validazione (Es. "Ufficio compartimentale di Venezia")?? STAZIONE o ID_STAZIONE:Chiave primaria riferita dalla tabella OSSERVAZIONE_PLUVIOMETRICA tramite ForeignKey o LOCALITA:Descrizione geografica o COMUNE:Descrizione geografica o PROVINCIA:Descrizione geografica o REGIONE:Descrizione geografica o NOME_STAZIONE:Nome della stazione o ENTE_PROPRIETARIO:Ente proprietario della stazione o LONGITUDINE:Espressa in formato decimale( Es: "13,86") o LATITUDINE:Espressa in formato decimale( Es: "46,65") o QUOTA:Altezza sul livello del mare o NAZIONE:Nazione di appartenenza o GMT:Fuso orario espresso in minuti da aggiungere all'ora locale (Es. "60" per l'italia) 4. Il front-end per il Data Warehouse Idrologico La realizzazione del Data Warehouse Idrologico persegue la finalità di rendere fruibili le informazioni idrologiche a tutti i cittadini ed i soggetti interessati professionalmente. L utenza potenziale è costituita, oltre che da cittadini qualsiasi, da: Uffici Idrografici operanti sul territorio nazionale; Soggetti operanti per la Protezione Civile; Studi di ingegneria civile e idraulica; Contenzioso. Per la fruizione personalizzata dei dati da parte delle categorie citate, è necessario predispore un fron-end che consenta di fruire dei dati immagazzinati in modo facile ed efficiente attraverso la rete Internet. Il Data Warehouse può naturalmente essere interrogato utilizzando l appropriato linguaggio per la formulazione delle queries, ma la natura specialistica di questo metodo d accesso non corrisponde senz altro alle esigenze della gran parte dell utenza. Infatti, se è relativamente agevole scrivere una query SQL standard per ottenere valori in forma tabellare, è senz altro più complicato e, per questo, riservato soltanto ad una ristretta schiera di specialisti, scrivere queries che prevedano l uso di operatori specifici per Data Warehouse (come ad esempio lo Star Join) e definire schemi di reports in cui le informazioni vengano rappresentate, ad esempio, in forma di grafici. La soluzione adottata per il front-end al Data Warehouse Idrologico consiste nell utilizzo di Business Objects nella versione Web Intelligence. Questo tool consente infatti di approcciare il problema dell efficacia, efficienza ed amichevolezza della attività di retrieving e reporting in modo estremamente flessibile. Nella fattispecie, ci si è avvalsi della opportunità offerta da Web Intelligence di definire numerosi profili di utenza, riservando a ciascun profilo la possibilità di compiere alcune operazioni e di ottenere i risultati sotto forma di reports visualizzabili e stampabili. Al momento sono stati previsti tre profili utente. Il primo profilo è riservato all utente generico ed inesperto: ad esso è soltanto consentito di selezionare interrogazioni già predisposte e di ottenere reports in formato già predefinito. Un secondo profilo è riservato ad utenti con qualche conoscenza di idrologia: ad essi è consentito di utilizzare le interrogazioni già predisposte ma anche di formulare delle query in modo autonomo e di ottenere i risultati in reports formattati secondo le

9 proprie esigenze. Questo profilo utente non può però memorizzare in una propria area di lavoro le queries ed i reports ottenuti. Il terzo profilo utente è quello riservato agli idrologi ed a tutti gli operatori che accedono al Data Warehouse per finalità professionali. Ad essi è consentito di utilizzare tutte le funzionalità disponibili anche per gli altri due profili e, in più, è assegnata a ciascun utente un area di lavoro in cui memorizzare tutte le query ed i reports personalizzati. Alcuni esempi di sessioni di lavoro con Web Intelligence sono mostrati nelle Figg. 6,7,8. Fig. 7 Reports predefiniti in forma di grafico

10 Fig. 7 Reports predefiniti in forma di grafico Fig. 8 Schema di report definito dall utente

11 Riferimenti bibliografici [1] A. Colagrossi, G. Nardone: Technologies For Storing, Processing and Fruition of Hydrological Data, Proc. of the Second International Conference on River Basin Management, Las Palmas,, [2] A. Colagrossi, G. Di Toma, N. Giua, F. Guiducci: SASI: An Automated System for Hydrological Monitoring, in Proc. of the 21 st Urban Data Management Symposium, Venezia, [3] N. Giua: SALVA A Vocal Automated System for Detecting Hydrological Alarm Situations, in Proc. of the 21 st Urban Data Management Symposium, Venezia, [4] E. Rusty Harold: Processing XML with Java: A Guide to SAX, DOM, JDOM, JAXP, and TrAX, Addison Wesley Professional, [5] A. Colagrossi et al.: XML Technology for the Diffusion of the Awareness of Water Resources, Proc. of the IASTED International Conference on Artificial Intelligence and Applications, Innsbruck, [6] M. Jarke, M. Lenzerini, Y. Vassiliou, P. Vassiliadis: Fundamentals of Data Warehouses, Springer-Verlag, 2003 [7] R. Kimball: The Data Warehouse Toolkit, Wiley, 1996.