Studio di fattibilità per la realizzazione del sistema informativo-statistico della regione lazio

Transcript

1 REGIONE LAZIO Assessorato Personale, Demanio Patrimonio ed Informatica Studio di fattibilità per la realizzazione del sistema informativo-statistico della regione lazio Rapporto finale Schede di informazione statistica luglio 2002 SISTEMA STATISTICO REGIONALE

2 Regione Lazio Direttore del progetto: Roberto De Vecchis Sistema Statistico Regionale Archivio banche dati: Laura Baldini Sistema Statistico Regionale Paolo Risso e-government Ruggero Trenna Dip.to Interventi socio-sanitari, educativi e per la qualita della vita Università di Roma La Sapienza Prof. Alberto Marchetti-Spaccamela, Prof. Silvio Salza, Prof. Giuseppe Santucci Dip.to di Informatica e Sistemistica Paolo Giulio Franciosa Dip.to di Statistica, Probabilità e Statistiche Applicate

3 Introduzione L organizzazione di un moderno sistema informativo ha come presupposto una struttura organizzativa scientifica con l obiettivo di sistematizzare la conoscenza depositata nei diversi uffici che attuano i processi operativi sia della regione che degli altri enti pubblici e privati che svolgono attività a favore del cittadino. Questa informazione, preziosa per un governo che sia caratterizzato da massima efficienza, efficacia, ed economicità, è infatti diluito in molti e diffusi ambiti che spesso risultano di difficile reperimento e comunque tra loro scoordinati. Spesso questo clima di separazione comporta di fatto l impossibilità di usufruire di preziose informazioni da parte degli operatori. Così allo stesso modo risulta difficoltoso, in mancanza di cruscotti informativi, orientare i decisori pubblici verso forme di valutazione delle decisioni di investimento e nella verifica degli effetti da queste ottenute. La direzione della Giunta regionale ne risulta spesso menomata, cosicché diviene necessario ricorrere a faticose e anche costose ricerche, per ottenere le necessarie conoscenze. Il progetto di studiare un moderno strumento che offra un cruscotto informativo diviene una necessità, nella misura in cui si voglia consentire un governo che utilizzi le stesse metodologie che da anni ormai adottano gli imprenditori nel governo delle loro imprese. La stessa regione si è dotata di strumenti di controllo strategico e di controllo gestionale, per la verifica degli interventi operativi, strumenti che si ritrovano e sono mutuati nelle conduzioni aziendali private. Ciò consentirebbe di conoscere la soddisfazione degli utenti, come ulteriore verifica della bontà delle azioni intraprese dalle diverse aree di intervento pubblico, al pari del controllo che effettuano gli imprenditori sulla soddisfazione riscontrata nei loro prodotti. Queste esigenze, di cui la Regione Lazio si rende interprete, devono essere estese anche a tutti gli altri enti pubblici che operano a favore del cittadino, su risorse pubbliche. Per divenire concrete devono basarsi su due paradigmi: da un lato una moderna struttura di rete informatica e dall altro una corretta struttura informativo-statistica. La rete di e-government, attualmente in fase organizzativa, si estende in ambito comunale, provinciale, regionale, nazionale. Questa deve assicurare concretezza operativa alla necessità del riordino della enorme mole di archivi esistenti, giacenti in modo spesso disordinato nelle diverse strutture pubbliche regionali e/o degli altri enti locali e nazionali. iv

4 Questa ricchezza informativa deve quindi trovare un contenitore unico in grado di offrire un valore aggiunto alla attività faticosa di chi desidera governare avendo in mente i comportamenti virtuosi degli investitori privati. L obiettivo di questo studio condotto dall Assessorato Personale, Informatica e Statistica, attraverso il Sistema Statistico Regionale, si inquadra quindi nell ottica di recupero e valorizzazione delle diverse fonti informative esistenti per creare un pannello di governo che possa facilitare scelte strategiche e consentire gestioni oculate e moderne delle risorse disponibili a favore, sia dei cittadini, che dello sviluppo economico. Rilevo che una Pubblica Amministrazione moderna costituisce un anello fondamentale dell intero sviluppo socio-economico del territorio. Una struttura pubblica all altezza delle aspettative quale fornitore di servizio nel moderno processo produttivo, diviene punto di forza essenziale per lo sviluppo e l elevazione del benessere generale. Questo non solo dà certezza di aver bene operato, ma costituisce di per sé l orgoglio civico di chi come noi sente tutta intera la responsabilità di dover contribuire al bene delle popolazioni amministrate. On. Francesco Storace v

5 Presentazione Il presente studio è realizzato nel piano operativo di ammodernamento dell attività amministrativa della Regione Lazio attraverso una duplice strategia: prendere atto dello stato di arretratezza in cui versava il sistema informativo, ed operare con rapidità a colmare un gap ormai sempre più profondo tra la società amministrata e l arretratezza degli strumenti pubblici per rispondere alle sfide dello sviluppo. Sul versante della costruzione di una rete di e-government l obiettivo è legare in un unico e solidale schema di trasmissione informativa tutti gli enti pubblici della Regione Lazio così da migliorare attraverso lo strumento informatico la potenzialità operativa e aumentando in tale modo la produttività pubblica, non solo regionale, ma dell intero sistema delle autonomie locali. Infatti il piano di e-government, oggi in fase di avanzata realizzazione, può costituire una valida risposta al ritardo accumulato in questi anni di mancata introduzione delle tecnologie informatiche nella Pubblica Amministrazione. Questi strumenti devono essere anche al servizio del sistema statistico regionale per la diffusione dell informazione. Il piano di lavoro nella costruzione di sistemi informativi si identifica in due diverse fasi: 1. la prima fase della realizzazione di rete di e-government, consente di offrire all utente cittadino fin da subito, di accedere a servizi (on line) in modo da facilitare il suo rapporto con la P.A. in termini di certificazione, ecc.; 2. la seconda, di medio periodo, permette l interconnessione tra tutte le amministrazioni e la condivisione informativa anche con altri soggetti quali famiglie ed imprese, attraverso la realizzazione di un portale unico (one-stop shops). Questa seconda fase coincide con la rivoluzione culturale che dovrà investire l operatività pubblica attraverso una struttura organizzativa che ne migliori l efficacia nell intervento pubblico a favore del miglioramento della vita del cittadino e dell aumento di competitività del sistema Paese. Sotto questo profilo la statistica rappresenta una funzione strategica, per lo sviluppo della seconda fase di e-government, attraverso la possibilità dello scambio delle informazioni tra i diversi soggetti coinvolti e non di semplici scambi di dati. Le informazioni infatti provengono da una corretta organizzazione dei dati e metadati. La statistica che per definizione costituisce la scienza dello Stato consente attraverso gli strumenti metodologici che le sono propri, di avere attraverso una base di flussi informativi, realizzata secondo un criterio organizzativo a rete nei sistemi statistici nazionali e locali, la conoscenza dei fenomeni socio-economici. Inoltre una buona organizzazione statistica consente vi

6 l adozione di linguaggi standard per lo scambio tra tutti i soggetti interessati di polis di governo, effettuate su dati (e metadati), così da assicurare l adozione di politiche più adeguate in termini di efficacia, efficienza ed economicità, e la loro verifica, attraverso la misura della soddisfazione dell utente (customer). La Regione Lazio ha quindi attraverso il SISTAR-Lazio attuato la funzione operativa del Federalismo Statistico così da consentire la partecipazione delle strutture statistiche provinciali e comunali, identificando attraverso il Piano Statistico Regionale gli strumenti più adeguati per l uso di indicatori appropriati e condivisi da applicare alle metodologie di programmazione pubblica. Allo stato si osserva che nel quadro dell organizzazione statistica esistente si evidenziano due grandi aggregati informativi: le informazioni derivanti da indagini campionarie o dai censimenti e quelle derivanti dall attività amministrativa (giacimenti informativi amministrativi). Questi giacimenti costituiscono un grande serbatoio di dati che possono soddisfare esigenze informative a più basso costo rispetto ai primi, solo se questi sono organizzati con criteri metodologici adeguati. Legare le informazione dei censimenti con gli archivi amministrativi consente di abbassare i costi di produzione informativa, di ottenere informazioni dinamiche territorializzate (Geographich Information System - G.I.S.) consente inoltre di aggiornare e verificare lo stato degli archivi esistenti. Sul versante della organizzazione statistica per l e-government si è preso atto che a fronte di giacimenti informativi di grande consistenza distribuiti in ogni ufficio operativo pubblico l informazione statistica ricavabile è a causa di una generale disattenzione di politica dell informazione pressoché nulla; essa cioè, non fornisce alcun contributo alle esigenze conoscitive per le scelte dell intera pubblica amministrazione. Ciò induce spesso a ricorrere a commissionare ricerche esterne, facendo lievitare i costi di produzione informativa, per colmare i deficit informativi, che si generano a causa di questo non intervento organizzativo nella struttura archivistica degli uffici operativi. Una ricerca condotta dal Sistema Statistico Regionale aveva evidenziato già all inizio del 2001 che giacimenti informativi esistenti in soli quattro assessorati della Regione Lazio erano risultati oltre 400. Questi sono mal organizzati e le informazioni da essi ricavabili sono pressoché nulle, né queste possono essere confrontabili e/o integrabili con quelle esistenti in campo nazionale individuate nel Piano Statistico Nazionale. Preso atto che questa realtà produce di fatto la perdita assoluta delle informazioni necessarie, per consentire un miglioramento operativo, già all inizio del 2001 si è avviata una riflessione approfondita al fine di realizzare un nuovo modello operativo nella organizzazione statistica della Regione. vii

7 A questo scopo con l ausilio del dipartimento informatica e sistemistica e del dipartimento di statistica, dell università la Sapienza il SISTAR-Lazio ha avviato lo studio sperimentale per organizzare le potenzialità informative esprimibili attraverso gli archivi interni e il loro collegamento con le altre strutture informative giacenti nel più generale sistema statistico nazionale. Il risultato dello studio che offriamo alla conoscenza di quanti sono interessati alla nostra produzione statistica costituisce un patrimonio scientifico di altissimo interesse poiché per la prima volta si è posto in modo concreto l avvio di un vero processo di costruzione di quelle banche dati (data warehouse) che pur espresse come obiettivi operativi in numerose leggi di produzione nazionale e regionale rimanevano solo desideri comportamentali senza alcun contributo che consentisse di tradurre quelle normative in azioni concrete. La presente pubblicazione ha il pregio di segnalare i criteri che si dovranno adottare per gestire dati di business e dei relativi livelli architetturali di Datawarehouse (DW). E questo lo stadio necessario per affrontare con minori spese possibili l introduzione di un moderno sistema operativo che correlato al programma di e-government potrà realizzare quella rivoluzione copernicana tanto attesa da una società civile che vive una realtà tecnologica in forte evoluzione innovativa. Il progetto di DW applicato ad un solo settore operativo quello del settore sociale, che realizzeremo nell attuazione del piano statistico regionale sarà la sfida verso il completamento del più generale disegno di una moderna amministrazione che vuole porsi alla guida dello sviluppo e del benessere della popolazione amministrata. Ing. Giulio Gargano Assessore al Personale, Informatica e Statistica. viii

8 Sommario Introduzione dell On.Francesco Storace Prefazione dell Assessore Ing.Giulio Gargano 1 Sintesi...ix 1.1 Introduzione...x 1.2 Descrizione del progetto...xi 1.3 Il Data warehouse...xiii 1.4 Metadati...xiii 1.5 Il cruscotto informativo...xiv 1.6 Data mining...xiv 1.7 Il piano di lavoro...xv 1.8 La struttura organizzativa e di supporto decisionale...xv 2 Introduzione Motivazioni e finalità Organizzazione in fasi dello studio Lo studio di fattibilità La realizzazione pilota Progetto e realizzazione del sistema Contenuti della relazione Il Data Warehouse Problematiche generali Dati gestiti da un data warehouse Dati di Business Metadati Livelli architetturali di un DW Architettura ad un livello Architettura a due livelli Architettura a tre livelli Accesso ai dati di un DW Interfaccia utente Funzionalità di navigazione e metadati...14

9 4 Il sistema informativo statistico della Regione Lazio Architettura generale proposta per il sistema Utenti e livelli di accesso Dati e metadati Gli studi pilota e la loro attuazione Lo studio pilota L'assessorato delle politiche sociali Tipologia delle fonti informative L'analisi delle fonti informative Classificazione delle fonti Organizzazione dello schema dei metadati Criteri di classificazione delle fonti Tabelle descrittive delle Entità e delle Relazioni Descrizione delle Entità Descrizione delle Relazioni Il prototipo Descrizione del prototipo Ristrutturazione dello schema E-R Schema relazionale Manuale utente Prerequisiti per l utilizzo dell applicazione Avvio, navigazione, gestione dei dati e ricerche Sezione Catalogo Sorgenti Sezione Gestione del Thesaurus Sezione Ricerche Proposta operativa Fase 1: Realizzazione del data warehouse di primo livello Attività Analisi Attività Progettazione (dati e metadati) Attività 1.3 Realizzazione (metadati) Attività 1.4 Realizzazione (dati) Attività 1.5 Sperimentazione Fase 2: Realizzazione del data warehouse di secondo livello Attività 2.1 Estensione dei requisiti Attività 2.2 Individuazione delle nuove tematiche di interesse...74 ii

10 8.2.3 Attività 2.3 Progettazione Attività 2.4 Realizzazione (dati, metadati e data mart) Fase 3: Estensione del data warehouse di secondo livello Riepilogo delle attività Gantt Elenco dei deliverable Gruppo di lavoro Appendice A: Elenco delle fonti informative analizzate Allegato A : Il prototipo "Catalogo Sorgenti" iii

11 2 Introduzione Il presente documento costituisce la relazione finale dell'attività svolta dal Dipartimento di Informatica e Sistemistica dell'università di Roma "La Sapienza" (DIS nel seguito) nell'ambito dello Studio di fattibilità commissionato dalla Regione Lazio. 2.1 Motivazioni e finalità La L.R n.14/99 sul decentramento amministrativo nel Lazio all art.32 promuove l attivazione del Sistema Informativo-Statistico sia regionale che delle Amministrazioni locali in essa operanti (SIARL). In particolare la L.R. n.14/99 afferma che la Regione Lazio dovrà utilizzare tale sistema al fine di verificare e misurare l efficacia delle proprie attività. Tale sistema dovrà da un lato essere integrato con sorgenti informative preesistenti, dall altro servire da supporto per l attività di enti esterni autorizzati ad accedere alle informazioni raccolte. Il Sistema Informativo-Statistico Regionale si profila, quindi, come un vero e proprio data warehouse, in cui dovranno confluire informazioni che rappresentano le grandezze di interesse per le attività dei vari uffici della regione Lazio legate al territorio amministrato. Si può realisticamente assumere che una grossa quantità di informazioni utili al conseguimento degli obbietivi imposti dalla L.R. 14/99 siano detenute, sotto varie forme, nei sistemi informativi di numerosi soggetti, sia pubblici che privati, distribuiti sul territorio regionale. Il progetto è molto ambizioso e di notevole complessità, e presenta caratteristiche fortemente innovative a livello nazionale. In tal senso si osserva che non si hanno attualmente nella Pubblica Amministrazione esempi significativi di integrazione di sorgenti di dati così numerose ed eterogenee. Inoltre, si profilano una serie di problemi per quanto riguarda la proprietà dei dati, essendo le singole amministrazioni tipicamente riluttanti a cederli e a condividerne l uso. Questo tipo di difficoltà potrebbe tuttavia essere risolto in un contesto di reciprocità, cioè concedendo a tali amministrazioni la possibilità di accedere al Sistema Informativo-Statistico Regionale, ed anche a prelevare da esso dati integrati. Tutti questi motivi suggeriscono una strategia di realizzazione graduale nel tempo del progetto. Ciò consentirà di valutare in modo appropriato le scelte tecniche e i vantaggi per l amministrazione e per ridurre i costi complessivi di realizzazione, e di raffinare le strategie e le tecniche in sede di realizzazione definitiva. Più precisamente si propone un articolazione in tre fasi, descritte in dettaglio nella prossima sezione:?? studio di fattibilità,?? realizzazione pilota,?? progettazione e realizzazione del sistema.

12 2.2 Organizzazione in fasi dello studio Lo studio di fattibilità Questa fase ha come obbiettivi l analisi del problema, l'analisi dello stato dell'arte, la determinazione della strategia complessiva e la definizione dettagliata delle specifiche della seconda fase. In particolare si intende individuare un settore delimitato su cui avviare, nella seconda fase, una realizzazione pilota. Gli ostacoli più rilevanti alla fruizione di informazioni distribuite in archivi di diversi enti risiedono, oltre che nella semplice conoscenza dell esistenza delle varie sorgenti informative, nella accuratezza della descrizione del contenuto informativo delle sorgenti, sia dal punto di vista semantico che dal punto di vista più strettamente tecnico. Queste difficoltà possono essere superate solo attraverso la messa a punto di una metodologia per la descrizione formale delle sorgenti informative, metodologia che, unitamente alla individuazione di un' architettura di riferimento, costituisce l'obbiettivo principale dello studio di fattibilità. Per raggiungere tale risultato sarà necessario procedere ad un censimento delle sorgenti informative, censimento che evidenzierà le inevitabili differenze nelle caratteristiche delle varie fonti. Tali differenze riguardano sia le tipologie di sorgenti, sia le caratteristiche dei dati contenuti. La metodologia così individuata permetterà di raccogliere le caratteristiche delle sorgenti informative necessarie per una loro classificazione. Tali caratteristiche saranno memorizzate in una base di metadati, sulla quale verranno definite opportune interfacce di interrogazione e navigazione. I risultati di questa prima fase rappresentano il primo passo per la definizione dell input da fornire alle procedure automatiche di popolamento del data warehouse, da realizzare nella terza fase del progetto. Le metodologie descritte e le specifiche dell interfaccia di navigazione verranno sperimentate sul settore pilota durante la seconda fase La realizzazione pilota Come specificato sopra, lo studio di fattibilità non prevede al suo interno un attività di prototipazione, ma piuttosto la sua specifica. Il prototipo sarà invece realizzato nella seconda fase. La realizzazione pilota ha dunque come obbiettivo la convalida delle metodologie definite nella prima fase e del corretto soddisfacimento dei requisiti utente. A tal fine, sarà necessario individuare uno specifico settore di interesse. Tale settore deve godere di due caratteristiche: 2

13 significatività e rappresentatività. Con la prima intendiamo che in tale settore ricadano meccanismi decisionali ed ambiti di azione politica che siano percepiti come significativi per l Amministrazione Regionale. La realizzazione pilota in tale settore deve pertanto poter consentire una piena valutazione dell efficacia, in termini di benefici pere l Amministrazione, dell azione proposta. Con rappresentatività intendiamo invece la garanzia che nel processo di realizzazione pilota siano effettivamente toccate tutte le problematiche che lo studio di fattibilità ha individuato come centrali e critiche per la realizzazione definitiva del sistema, quali ad esempio la varietà nella tipologia delle sorgenti informative e la ricchezza nella struttura dei metadati Progetto e realizzazione del sistema Questa terza ed ultima fase è ovviamente anche la più cospicua ed impegnativa, ed è articolata su tre interventi:?? ingegnerizzazione del sistema pilota (interrogazione e navigazione nella base dei metadati);?? popolamento della base dei metadati su tutti i settori di interesse per la Regione Lazio;?? costruzione del data warehouse, con la realizzazione degli opportuni moduli di raccolta e riconciliazione dei dati dalle sorgenti informative di interesse. La realizzazione di questi tre interventi dovrà essere demandata a soggetti industriali, i quali agiranno nell ambito delle metodologie individuate e definite con dettaglio a livello di studio di fattibilità. Grazie ai risultati delle due fasi precedenti, ed all esperienza in esse maturata, dovrebbero esistere tutti i presupposti per una stima dei relativi costi e per una pianificazione e programmazione di massima. 2.3 Contenuti della relazione L'attività di ricerca condotta dal DIS ha portato al completamento delle due prime fasi, ovvero lo studio di fattibilità e la implementazione del caso di studio pilota relativo alle politiche per il Sociale. Inoltre, è stata effettuata una stima dei tempi e dei costi necessari alla realizzazione del sistema informativo statistico relativo al settore Sociale. La presente relazione descrive i risultati ottenuti, così esposti nel seguito:?? la sezione 2 contiene una introduzione alle problematiche relative ai Data Warehouse ed alle relative possibili scelte architetturali; 3

14 ?? la sezione 3 descrive la proposta metologica per la realizzazione del Sistema Informativo Statistico della regione Lazio, descrivendo l'architettura prescelta per la sua attuazione, la pianificazione delle attività previste e le specifiche per lo studio pilota;?? la sezione 4 descrive lo studio pilota, mostrando le problematiche del settore Sociale e la tipologia delle fonti informative coinvolte; l'elenco puntuale delle fonti informativecensite è mostrato, invece, in appendice A;?? la sezione 5 mostra la struttura utilizzata per la classificazione delle fonti, descrivendo nel dettaglio lo schema di una base di metadati, contenente tutte le informazioni necessarie alla individuazione ed al reperimento dei dati di interesse;?? la sezione 6 descrive il prototipo realizzato per il caso pilota, fornendo un manuale di utilizzo dello stesso;?? la sezione 7 mostra la stima dei tempi e dei costi previsti per la realizzazione del Sistema Informativo Statistico relativo al settore Sociale. 4

15 3 Il Data Warehouse 3.1 Problematiche generali Il data warehouse è la risposta più efficace all esigenza di comprendere ed analizzare i fattori chiave delle proprie attività produttive, siano esse di tipo imprenditoriale o di tipo amministrativo. L obbiettivo ultimo del data warehouse è, difatti, quello di ricavare un vantaggio strategico dalle proprie informazioni, per poter valutare le scelte fatte in passato e pianificare quelle future. Il data warehouse è quindi orientato al supporto alle decisioni, ed è basato sul principio che i dati presenti nei sistemi informativi di supporto alle attività di base della organizzazione debbono essere profondamente trasformati per essere efficacemente utilizzati. Come si vede, quindi l idea di base di un data warehouse è molto semplice, e consiste sostanzialmente nell osservare come le esigenze dei processi decisionali siano profondamente diverse dal semplice processo di gestione dei dati, e che sia quindi sbagliato tentare di soddisfarle tutte con un unico ambiente. I processi legati alla semplice gestione dei dati sono tipicamente transazionali e richiedono lettura e/o modifica di pochi dati alla volta con tempi di risposta strettissimi. I processi decisionali invece richiedono l accesso a quantità di dati anche molto grandi per produrre risultati sintetici e possono accettare tempi di risposta meno stretti (purchè ragionevoli). Inoltre, mentre le attività legate alla gestione dei dati sono altamente ripetibili, le richieste dei processi decisionali variano di volta in volta in funzione delle esigenze. Una soluzione basata sul concetto di data warehouse affronta il problema in maniera radicale: visto che i due tipi di processi hanno esigenze così diverse, conviene separare gli ambienti che li supportano. Un data warehouse è, quindi, un ambiente separato in cui far convergere (prelevandoli dagli ambienti di produzione) tutte le informazioni utili ai processi decisionali e su cui costruire tutte le funzioni a supporto di tali processi. 3.2 Dati gestiti da un data warehouse Per comprendere le possibili architetture concettuali utilizzate nella progettazione di un data warehouse; risulta necessario premettere un'analisi delle tipologie di dati gestiti da un DW. Ci sono molti tipi di dati memorizzati nei sistemi informatici. Alcuni sono particolarmente appropriati per essere gestiti in un data warehouse, altri no. In questa sezione, dopo una generale caratterizzazione dei dati, verrà identificato il tipico campo di azione di un DW. 5

16 Le coordinate utili per la classificazione dei dati sono tre: 1. Significato. I dati possono avere significato intrinseco o possono rappresentare qualche altra cosa che, a sua volta, ha un suo proprio significato. Un esempio della prima tipologia può essere un libro in formato elettronico, un esempio della seconda può essere una tabella contenente, provincia per provincia, l'investimento complessivo effettuato in un certo anno per il settore Sociale. I dati presenti nei sistemi informativi di una impresa o di un ente amministrativo (business data) cadono quasi sempre nella seconda categoria. Un caso particolare della prima categoria sono i metadati, che rappresentano il significato dei dati stessi. Per la valenza particolare che quest'ultimo tipo di dati riveste, tratteremo questo caso particolare come una terza tipologia di dati. 2. Struttura. I dati possono essere strutturati, essendo definiti in termini di campi collegati o record e/o aggregati, oppure non strutturati, quando la struttura interna non è ben definita. 3. Campo di Azione. I dati possono essere personali, o pubblici. Un corretto campo di azione di un data warehouse dovrebbe comprendere allora dati di business e metadati nella maggior parte pubblici, sia strutturati che non come mostrato in Figura 1. Figura 1 Dati gestiti da un data warehouse Dati di Business I dati di business sono necessari alla gestione dell'organizzazione stessa. Essi rappresentano sia le attività che sono svolte dall organizzazione sia gli oggetti del mondo reale con i quali l organizzazione è solita trattare. È possibile classificare i dati di business in tre distinte categorie: 6

17 1. Real-Time Data. Rappresentano lo stato corrente delle attività svolte dall'organizzazione, e ne consentono lo svolgimento. Sono i dati al più basso livello di dettaglio nell organizzazione e sono creati, manipolati e acceduti quasi esclusivamente da sistemi operazionali o personali. Tali dati vengono gestiti tramite Data Base Management System (DBMS), e sono oggetto delle usuali operazioni di inserimento, ricerca, modifica e/o cancellazione. 2. Dati Derivati (Derived Data). Sono dati ottenuti dai dati real-time tramite un processo di trasformazione. Possono esistere sia ad un elevato livello di dettaglio sia in forma aggregata e, per la loro natura, rappresentano o informazioni puntuali raccolte in un certo istante temporale o di tipo periodico, fornendo una visione storica dell' attività di interesse. I dati derivati vengono acceduti esclusivamente in lettura da applicazioni di supporto alle decisioni (DSS). 3. Dati Riconciliati (Reconcilied Data). Sono dati generati da un processo di razionalizzazione ed integrazione dei dati real-time provenienti da molteplici sorgenti dati. Sono, di fatto, un particolare caso di dati derivati, dove il processo di manipolazione è più di tipo sintattico (risoluzione di omonimie, sinonimie, formato di memorizzazione, ecc.) che di tipo semantico anche se la loro produzione, ha come effetto collaterale la creazione ed il mantenimento di un insieme di dati storici. Nei sistemi di supporto alle decisioni raramente i dati riconciliati sono esplicitamente definiti, e dove esistono raramente sono fisicamente memorizzati. Il più delle volte, infatti, sono soltanto il risultato logico di operazioni eseguite sui dati real-time. Come si vedrà in seguito la costruzione di un livello di riconciliazione dei dati è il passo fondamentale nella costruzione di un data warehouse proprio perchè l importanza di tali dati è stata per lungo tempo trascurata dalle imprese portando alla proliferazione di inconsistenze tra dati operativi. Relativamente alla struttura, appare evidente che la maggior parte dei dati di business è di tipo strutturato; eventuali eccezioni, tipo diagrammi, documenti strategici, ecc., meritano di essere considerati all'interno di un data warehose, ma solo a valle di una completa gestione dei dati strutturati Metadati Con l aumentare della varietà dei dati usati e memorizzati in una impresa, e con l aumentare dei diversi usi che di tali dati è possibile fare, nasce la necessità di formalizzarne la descrizione e l uso, per assicurare che vengano utilizzati in maniera completa e consistente. I metadati, ovvero dati sui dati, soddisfano questa esigenza. 7

18 Come si può facilmente immaginare, i metadati giocano un ruolo fondamentale anche nel campo del data warehousing. Infatti, affinchè un data warehouse sia acceduto e mantenuto in maniera efficiente è necessario conoscere quali dati sono disponibili dove sono collocati, quali procedure di trasformazione sono state effettuate, etc. Una classificazione porta ad individuare tre tipologie di metadati: 1. Metadati di servizio, per la costruzione del sistema informativo, ovvero metadati utilizzati per la creazione e gestione dei dati operazionali. L'origine di questi metadati è antecedente alla creazione del data warehouse ma il loro ruolo in tale contesto è essenziale in quanto contengono tutte le informazioni necessarie per l'integrazione e riconciliazione dei dati; 2. Metadati di controllo, utilizzati dal DW per gestire il funzionamento del data warehouse stesso. Questa tipologia di metadati realizza il collegamento tra i dati operazionali e la struttura del DW; 3. Metadati per l'utente finale, pensati per aiutare l'utente del DW nella ricerca delle informazioni di interesse attraverso l enorme mole di dati disponibili. Alcuni di questi metadati sono derivabili dai metadati di cui al punto 1 e 2, altri devono essere raccolti ad-hoc. Da un punto di vista utente i metadati dovrebbero contenere: a. l origine dei dati (ricavabili dai metadati di servizio), in quanto l utente del data warehouse ha necessità di conoscere da quale sistema provengano i dati da lui richiesti; b. le sequenze di trasformazioni, poichè è fondamentale per un utente conoscere quale trasformazione è stata applicata ai dati nel passaggio dall ambiente operativo al data warehouse; c. i livelli di accesso, contenenti informazioni relative ai permessi di accesso disponibili all utente e a come sia possibile ottenere informazioni al momento non disponibili; d. informazioni temporali, che forniscono la data e l ora dell ultimo aggiornamento effettuato e/o del periodo temporale coperto dai dati stessi; Appare quindi evidente che i metadati rivestono un ruolo fondamentale nel successo di un progetto di data warehouse. 3.3 Livelli architetturali di un DW Le architetture concettuali di un DW si possono classificare in base al grado di disaccoppiamento tra ambiente operazionale ed ambiente decisionale e, di conseguenza, in base al livello di duplicazione dei dati. 8

19 3.3.1 Architettura ad un livello In questo caso non è prevista alcuna ridondanza dei dati. I sistemi decisionali accedono all unica copia dei dati in concorrenza con i sistemi operazionali, con conseguente degradazione delle prestazioni di entrambi (vedi Figura 2). Il vantaggio è dato dalla minimizzazione del volume dei dati e dall eliminazione dei problemi di consistenza causati dalla duplicazione. L assenza di qualsiasi trasformazione dei dati operazionali ed in particolare l assenza di aggregazioni precalcolate contrasta in modo evidente con le esigenze dell analisi decisionale. Operational systems Informational systems Dati Operazionali Figura 2 Architettura concettuale ad un livello I DW con architettura ad un livello sono anche detti data warehouse virtuali, poichè il disaccoppiamento dall ambiente operazionale è gestito direttamente dalle applicazioni decisionali senza il supporto di dati fisicamente organizzati secondo le esigenze dell ambiente informativo. I DW virtuali hanno avuto un iniziale successo dovuto alla rapidità dei tempi di sviluppo. Allo stato attuale vengono però privilegiate architetture più complesse che forniscono una risposta più adeguata ai problemi dell analisi decisionale. L'unico contesto in cui tale approccio ha ancora una notevole validità è quello in cui la mole dei dati operazionali sia tale da scoraggiare qualunque forma di duplicazione Architettura a due livelli. In questo caso il disaccoppiamento del DW dai sistemi operazionali è realizzato tramite l aggiunta di un livello intermedio di dati replicati (vedi Figura 3). L'architettura prevede quindi due livelli separati: 1. un livello di dati real-time, cui accedono i sistemi operazionali in lettura e scrittura; 9

20 2. un livello di dati derivati, cui accedono i sistemi decisionali tipicamente in lettura; in tale livello sono presenti sia dati di dettaglio che dati aggregati, relativi a finestre temporali di differenti dimensioni. I dati derivati sono periodicamente arricchiti tramite processi di estrazione dai dati real-time. L integrazione di questi dati avviene contestualmente all estrazione. La replicazione dei dati elimina il problema della concorrenza tra sistemi decisionali e sistemi operazionali; il prezzo pagato è il notevole aumento dello spazio di memorizzazione necessario. Operational systems Informational systems Derived Data Real-time data Figura 3 Architettura concettuale a due livelli Il buon grado di separazione tra ambiente decisionale e ambiente operazionale, uniti alla semplicità architetturale, hanno determinato un ampia diffusione di questa soluzione, soprattutto nei casi in cui il processo di derivazione e di integrazione è meno complesso, cioè in quelle organizzazioni caratterizzate dall omogeneità dei sistemi operazionali e da un numero limitato di piattaforme hardware e software. Una grossa controindicazione a tale approccio è legata al fatto, non sempre compreso, che il legame esistente tra dati real-time e dati derivati non è affatto lineare: ognuno dei due livelli è, difatti, composto dall'unione di differenti insiemi di dati parzialmente sovrapposti e, tipicamente, gli insiemi di dati presenti nei dati derivati provengono da più d'uno degli insiemi presenti nei dati real-time (vedi Figura 4). Tutto questo produce una notevole complicazione nel livello di gestione ed aggiornamento dei dati derivati, rendendone difficile la manutenzione. 10