Miriam Gotti

Transcript

1 Cenni sul Dat a Warehouse Ravenna 5 Novembre 2007 Miriam Gotti m.gotti@cineca.it www. cineca.it

2 Agenda Fondamenti di Data Warehouse Modello Multidimensionale Analisi OLAP Introduzione a Statportal 2

3 Agenda Fondamenti di Data Warehouse Modello Multidimensionale Analisi OLAP Introduzione a Statportal 3

4 Contesto Fondamenti di Data Warehouse Miglioramento potenzialitàsupporti tecnologici e diminuzione costi Aumento operazioni automatizzate e intensificarsi operazioni su Web Quantità Dati Complessità del processo di estrazione dell informazione dai dati Complessitàdel processo decisionale 4

5 Perché non usare un operazionale? Fondamenti di Data Warehouse Sistemi decisionali (DSS) Sistemi operazionali st Qtr 4th Qtr 5

6 Fondamenti di Data Warehouse Limiti dei sistemi operazionali nei processi decisionali I dati nonsono integrati, risiedono su sistemi operazionali eterogenei o fisicamente separati (es. ARGO, SISSI, ecc.) Supportano operazioni predefinite eripetitive, sono strutturati per lelaborazione in lettura e scrittura di un elevato numero di transazioni elementari e concomitanti I dati sono volatili e normalmente noncontengono dati storici, ma si limitano alla memorizzazioni on-line degli ultimi 12 mesi Linterfacciautentedi tali sistemi ènormalmente troppo rigidae non fornisce le funzionalitànecessarie per costituirsi come strumento di supporto all attività decisionale 6

7 Che cosè Fondamenti di Data Warehouse Linsieme centralizzatodelle strutture dati e degli strumenti necessari per ottenere, a partire dai dati operazionali prodotti e gestiti da un sistema informativo aziendale, informazioni utili ai manager come supporto alle decisioni. Il data warehouse devessere orientato agli oggetti, integrato, non volatile e invariante nel tempo Che cosa non è Un programma Un prodotto da scaffale La soluzione ai problemi (del gestionale) 7

8 Orientato al soggetto Fondamenti di Data Warehouse Nel DW i dati sono organizzati per soggetto danalisi, anziché per processo gestionale. Lorientamento influisce sulla struttura del sistema in termini di organizzazione dei dati e delle modalità di presentazione e dell interfaccia utente Sistemi Transazionali Data Warehouse Iscrizioni Allievi Trasferimenti Scuole Esiti Classi Orientati all applicazione Orientati al soggetto d analisi 8

9 I ntegrato Sistemi transazionali Fondamenti di Data W arehouse Data Warehouse I dati, estratti da varie sorgenti, vengono ripuliti, trasformati e modellati in modo da consentirne una gestione coerente ed efficace, ad esempio implementando metodi di codifica uniformi, unitàdi misura omogenee, lomogeneitàsemantica delle variabili 9

10 Non Volatile Fondamenti di Data Warehouse I dati, che periodicamente sono raccolti, trasformati e caricati nel DW, sono stabili persistenti Quando i dati sono caricati nel DW, non possono più essere modificati e ad essi si può accedere in sola lettura risultando così estremamente rapidi. I dati nel data warehouse coprono un orizzonte temporale molto ampio in modo da favorire le attività di analisi comparative su diversi periodi temporali 10

11 I nvariante nel tempo Fondamenti di Data Warehouse Vengono memorizzate fotografie della stessa realtà in momenti successivi, mantenendo costante l organizzazione dei dati Questo consente di effettuare confronti, individuare tendenze e fare previsioni. I dati vengono aggiornati periodicamente (e non in tempo reale come nei sistemi gestionali). 11

12 Operazionale vs Decisionali Fondamenti di Data Warehouse Utenti Dimensioni DB Carico di lavoro Accesso Scopo Dati Copertura temporale Aggiornamenti Ottimizzazione Unità di lavoro Performance Sistemi transazionali > MB-1GB Transazioni predefinite A centinaia di record in lettura e scrittura Supporto ai processi operativi Dettagliati Solo dati correnti Continui Per accessi OLTP su una frazione di dati Transazione Numero di transazioni Data Warehouse >100 1GB-1TB Interrogazioni ad hoc A milioni di record in lettura Supporto alle decisioni Sia di dettaglio che di sintesi Dati correnti e storici Periodici Per accessi OLAP su gran parte del DB Interrogazione complessa Tempi di risposta 12

13 Concludendo perché un DW? Fondamenti di Data Warehouse Basare le decisioni su fatti, anzichè sensazioni quindi migliorare i processi decisionali Migliorare la qualità del dato operazionale Creare un repository unico dei dati aziendali, attendibile e facilmente usufruibile Analizzare l andamento del fenomeno analizzato sotto diversi punti di vista (analisi multidimensionale) 13

14 Fonti Dati / Fornitore Informazione Fondamenti di Data Warehouse Conoscenza Allievi RA / Allievi RA / (Anag. Regionale (Anag. Regionale Studenti) Studenti) DM Allievi Report Tabellari Allievi extra-ra / Allievi extra-ra / (Anag. Regionale (Anag. Regionale Studenti) Studenti) Classificazione Classificazione Autonomie Autonomie Scolastiche e Scolastiche e Scuole (MIUR) Scuole (MIUR) Staging Area Area ETL Data Warehouse Metadati DM Autonomie Scolastiche Classi Grafici Mappe Tematiche Cruscotti Backend Frontend 14

15 Agenda Fondamenti di Data Warehouse Modello Multidimensionale Analisi OLAP Introduzione a Statportal 15

16 Modello Dati Modello Multidimensionale Fatti d analisi Allievo Nazionalità Classe Età Nel modello multidimensionale le informazioni sono organizzate concettualmente in iper-cubi (fatti) composti da categorie descrittive, (dimensioni) e misure quantitative (celle). Tempo Dimensioni d analisi 16

17 Un Esempio Nazionalità Modello Multidimensionale Allievo Tempo Classe Età Attributi Dimensioni Nazionalità Macro Area Anno Formativo Classe Età Gerarchia Stato Nascita Età Fatti Allievo 17

18 Modello Multidimensionale Gli elementi Dimensioni: prospettive attraverso cui è possibile analizzare gli aspetti d interesse del business. Raggruppano attributi logicamente correlati rispetto all oggetto del business. Attributi: variabili di classificazione o elementi descrittivi. Sono tipicamente testuali e contengono valori discreti. Servono a definire il livello di aggregazione dei dati e impostare dei filtri sugli stessi. Gerarchie: relazioni logiche tra attributi che definiscono un percorso di navigazione dei dati all interno delle dimensioni, e quindi il livello di aggregazione dei dati. 18

19 Gli elementi Modello Multidimensionale Fatti/Metriche: variabili d analisi, misure mediante le quali è possibile valutare il soggetto d analisi. Sono tipicamente numeriche. Sono classificati in due tipologie: fatti base, grandezze elementari che non possono essere derivate da altri fatti. I fatti base sono sempre fisicamente memorizzati nel database fatti calcolati, misure calcolate applicando funzioni matematiche ad uno o più fatti base. Normalmente non sono memorizzate nel database, ma sono calcolati on-the-fly Granularità: livello minimo di dettaglio di un fatto 19

20 Fonti Dati / Fornitore Informazione Modello Multidimensionale Conoscenza Allievi RA / Allievi RA / (Anag. Regionale (Anag. Regionale Studenti) Studenti) DM Allievi Report Tabellari Allievi extra-ra / Allievi extra-ra / (Anag. Regionale (Anag. Regionale Studenti) Studenti) Classificazione Classificazione Autonomie Autonomie Scolastiche e Scolastiche e Scuole (MIUR) Scuole (MIUR) Staging Area Area ETL Backend Data Warehouse Metadati DM Autonomie Scolastiche Classi Grafici Mappe Tematiche Cruscotti Frontend 20

21 Modello Multidimensionale Strumento di Amministrazione di Statportal E un applicativo desktop che consente di: Definire i percorsi di navigazione dei dati Definire gli indicatori precalcolati Gestire gli utenti e i profili utenti Impostare i diritti di accesso Introdurre uno strato semantico per rendere i nomi degli oggetti più parlanti per l utente finale 21

22 Agenda Fondamenti di Data Warehouse Modello Multidimensionale Analisi OLAP Introduzione a Statportal 22

23 Tecniche di accesso alle informazioni Analisi OLAP Query & Reporting: orientato agli utenti che hanno necessità di accedere agli stessi prospetti informativi predefiniti, a intervalli di tempo prestabiliti Analisi What-if: insieme di tecniche di predizione guidate dall utente che permettono di creare previsioni ed eseguire simulazioni sulla base di scenari Data Mining: processo di estrazione di conoscenza da banche dati di grandi dimensioni tramite l applicazione di algoritmi statistici che individuano le relazioni nascoste e le rendono visibili Analisi OLAP (on line analytical processing): identifica un insieme di tecnologie e di strumenti predisposti per l analisi di tipo multidimensionale (pivoting, drilling, filtering) 23

24 Analisi OLAP Pivoting Permette di variare la vista corrente dei dati ruotando gli assi del cubo 24

25 Analisi OLAP Pivoting: esempio 25

26 Analisi OLAP Drilling Permette di navigare una gerarchia, scendendo verso dati maggiormente dettagliati (Drill-Down) o salendo verso informazioni più aggregate (Roll-Up) Anno Roll-Up Mese Drill-Down Giorno 26

27 Analisi OLAP Drilling: esempio Roll-Up Drill-Down 27

28 Analisi OLAP Filtering Permette di visualizzare solo la porzione di dati desiderata Slicing consiste in una selezione con un vincolo di ugualianza e produce una fetta dell ipercubo Dicing consiste in una selezione con uno o più vincoli di ugualianza combinati tra loro con operatori di AND e/o OR. Produce un ipercubo più piccolo estratto da quello corrente 28

29 Analisi OLAP Filtering: esempio Slice Dice 29

30 Analisi OLAP Fonti Dati / Fornitore Informazione Conoscenza Allievi RA / Allievi RA / (Anag. Regionale (Anag. Regionale Studenti) Studenti) DM Allievi Report Tabellari Allievi extra-ra / Allievi extra-ra / (Anag. Regionale (Anag. Regionale Studenti) Studenti) Classificazione Classificazione Autonomie Autonomie Scolastiche e Scolastiche e Scuole (MIUR) Scuole (MIUR) Staging Area Area ETL Backend Data Warehouse Metadati DM Autonomie Scolastiche Classi Grafici Mappe Tematiche Cruscotti Frontend 30

31 Agenda Fondamenti di Data Warehouse Modello Multidimensionale Analisi OLAP Introduzione a Statportal 31

32 I ntroduzione a Statportal Cos è Un portale Web, compatibile con i browser più diffusi ad interfaccia user-friendly utile per la: Consultazione Produzione Condivisione Analisi di informazione statistica e geostatistica su internet 32

33 Cosa mi permette di fare I ntroduzione a Statportal Consultare un catalogo di schede metainformative che documentano i dati presenti nel sistema (Catalogo Dati) Visualizzare i dati presenti nel sistema tramite diverse modalità, ed in modo totalmente interattivo (Databrowsing) Salvare la struttura di un report, senza salvare i dati al suo interno e renderla disponibile agli altri utenti Produrre nuova informazione dai dati, tramite la creazione di nuovi indicatori, e renderli disponibili agli altri utenti 33

34 I ntroduzione a Statportal Vantaggi Garantisce una completa integrazione tra la reportistica e le schede metainformative dando la possibilità di passare in modo lineare da una funzionalità all altra in maniera semplice ed intuitiva Non salvando i dati, ma solo la struttura del report è possibile visualizzare sempre l ultimo dato caricato nel datawarehouse 34

35 I ntroduzione a Statportal Aut ent ic azione 35

36 Modific a Dat i Personali I ntroduzione a Statportal 36

37 I ntroduzione a Statportal Hom e Page 37

38 Visualizzazione delle New s I ntroduzione a Statportal 38

39 I ntroduzione a Statportal Proget t i 39

40 I ntroduzione a Statportal Proget t i 40

41 I ntroduzione a Statportal Proget t i Livelli di Int erazione Passiva: l utente visualizza reportistica preimpostata condivisa da altri utenti, ma non può fare nessun tipo di modifica Mista: Attiva: l utente visualizza reportistica preimpostata condivisa da altri utenti, non può scegliere le dimensioni o la modalità di visualizzazione, ma può fare filtri sui dati, scegliere il livello di dettaglio o invertire le righe con le colonne l utente a partire da un set di dati condivisi da altri utenti può scegliere le dimensioni, il livello di dettaglio, il modo migliore per visualizzarle, può impostare filtri e il layout 41

42 Creazione Nuovi Proget t i I ntroduzione a Statportal 42

43 Creazione Nuovi Proget t i I ntroduzione a Statportal Il sistema permette, tramite un percorso guidato di: Selezionare i dati Aggregare, disaggregare, impostare i filtri sui dati selezionati Combinare i dati tramite espressioni Creare reportistica dai dati selezionati e dalle nuove espressioni calcolate Rendere disponibili come dati i nuovi Progetti creati agli altri utenti 43

44 I ntroduzione a Statportal Modalit à di Visualizzazione del Dat o Tabellare: Grafica: standard, multidimensionale, comparativa, cruscotto barre, colonne, torte, curve Geografica: permette una visualizzazione del dato tematizzando i valori su una mappa facilmente navigabile. Può comprendere diversi strati informativi per arricchire la comprensione della tematizzazione nel contesto territoriale 44

45 I ntroduzione a Statportal Tabelle Piat t e 45

46 Tabelle Mult idim ensionali I ntroduzione a Statportal 46

47 Tabelle Com parat ive I ntroduzione a Statportal 47

48 I ntroduzione a Statportal Crusc ot t i 48

49 I ntroduzione a Statportal Grafic i 49

50 I ntroduzione a Statportal Mappe 50

51 I ntroduzione a Statportal Cat alogo Dat i 51

52 I ntroduzione a Statportal Cat alogo Dat i Contiene un insieme di schede metainformative, che includono descrizioni utili per la compressione dei dati, il loro corretto utilizzo e la loro reperibilità Ogni dato o report può essere documentato tramite le schede metainformative presenti nel catalogo dati Fornisce un potente motore di ricerca per la ricerca delle schede dati secondo diversi criteri (tematici, di contenuto, di provenienza, ecc.) 52

53 I ntroduzione a Statportal Cat alogo Dat i Ha una struttura tipo Explorer che permette di accedere alle schede dei dati in modo agevole Permette la modifica e la gestione on-line dei metadati esistenti Permette di passare direttamente alla reportistica se il dato documentato è presente nel sistema 53

54 Riferimenti Bibliografici The Data Warehouse Lifecycle Toolkit di Ralph Kimball, Laura Reeves, Margy Ross, Warren Thornthwaite ed. John Wiley & Sons, Inc., 1998 The Data Warehouse Toolkit, 2nd edition di Ralph Kimball, Margy Ross ed. John Wiley & Sons, Inc., 2002 Data Warehouse. Teoria e Pratica della Progettazione di Matteo Golfarelli, Stefano Rizzi ed. McGraw-Hill,