MODELLI DEI DATI PER DW DAI DATI ALLE DECISIONI. Per definire la struttura di un DW si usano i seguenti formalismi, detti modelli dei dati:

Transcript

1 DAI DATI ALLE DECISIONI MODELLI DEI DATI PER DW Le aziende per competere devono usare metodi di analisi, con tecniche di Business Intelligence, dei dati interni, accumulati nel tempo, e di dati esterni, sia per la formazione delle decisioni sia per rendere i processi efficienti ed efficaci. Per definire la struttura di un DW si usano i seguenti formalismi, detti modelli dei dati: Il modello concettuale grafico dei fatti per DW. E necessario utilizzare una base di dati particolare, detta data warehouse, organizzata per analizzare i dati secondo una logica aziendale. Il modello logico relazionale, per mostrare come si rappresentano i dati nei sistemi per DW. La realizzazione di un data warehouse avviene gradualmente, a diversi livelli di astrazione, con un modello concettuale, un modello logico e un modello fisico. Il modello logico multidimensionale (detto cubo), adatto per illustrare la nozione di analisi interattiva dei fatti. 1 2 IL DATA WAREHOUSE DEGLI ORDINI COSA SI MODELLA IN UN DW Pagamento Pagamento Fattura Ordine Numero Impiegato Qualifica Ufficio Unitario RigaOrdine NumeroRiga Ordinata Requisiti di analisi di articoli ordinati, per articolo, per cliente e per mese Fatturato per categoria di articolo, per cliente e per mese Fatturato verso clienti della provincia di Pisa per città dei clienti e per anno I fatti da analizzare (ad es. le vendite di articoli). Le misure dei fatti: le proprietà numeriche da analizzare (ad es. la quantità venduta di un articolo). Le dimensioni: rappresentano le prospettive di analisi dei fatti (ad es. le vendite si analizzano per articolo, per mese). Gli attributi dimensionali: attributi descrittivi delle dimensioni. Le gerarchie fra attributi dimensionali. BASE DI DATI 3 4 IL DATA WAREHOUSE DEGLI ORDINI SCHEMA CONCETTUALE DEI FATTI Pagamento Pagamento Fattura Ordine Numero Impiegato Qualifica Ufficio RigaOrdine NumeroRiga Ordinata Ordine I componenti di base sono i fatti, le misure e le dimensioni. Fatti Misure BASE DI DATI DATA MART = DW TEMATICO 5 6

2 SCHEMA CONCETTUALE DEI FATTI: DIMENSIONI CON ATTRIBUTI SCHEMA CONCETTUALE DEI FATTI: DIMENSIONI CON ATTRIBUTI E GERARCHIE Senza gerarchie Con gerarchie 7 8 PER INIZIARE IL PROGETTO DI UN DW METODOLOGIA (SEMPLIFICATA) DI PROGETTAZIONE DI UN DW Identificare i patrocinatori, i dirigenti convinti del valore del progetto. Per ogni data mart: Analisi dei requisiti Conoscere il problema aziendale prima di iniziare a discutere gli obiettivi del progetto. Progettazione concettuale Progettazione concettuale iniziale (cosa si vuole) Intervistare gli interessati, per comprendere le loro esigenze informative da tradurre in requisiti del progetto. Un DW deve essere di supporto alle decisioni e quindi va progettato tenendo conto di come i dirigenti vogliono analizzare un certo processo aziendale e di quali informazioni sintetiche hanno bisogno. Intervistare gli esperti del sistema informatico operazionale, per sapere quali dati esistono e come vengono gestiti. Progettazione concettuale dai dati operazionali Progettazione concettuale finale Progettazione logica Progettazione logica del DW Progettazione fisica del DW Progettazione dell alimentazione dei dati (cosa si può ottenere) (cosa si può analizzare) 9 10 PROGETTAZIONE CONCETTUALE (SEMPLIFICATA) DI UN DATA MART PROGETTAZIONE DI UN DATA MART(cont) Passo 1 Si raccolgono i requisiti di analisi che il committente vuol fare sugli eventi di interesse di un certo processo aziendale. Passo 3 Si sceglie la granularità del fatto da analizzare. La grana dei fatti è il significato di un suo elemento. Di solito si preferisce una grana fine. Ad es. il processo di registrazione degli ordini dei clienti fatti ai venditori. Requisito di analisi: Totale dell importo per venditore e per articolo Aggregazione Misura (metrica) Dimensioni Passo 4 Si scelgono le misure interessanti del fatto: grandezze numeriche che ha senso sommare. Alternativa: Report di analisi che si vogliono. Passo 2 Si analizzano i requisiti di analisi per individuare il fatto da analizzare. Importo 11 12

3 PROGETTAZIONE DI UN DATA MART(cont) PROGETTAZIONE DI UN DATA MART (cont) Passo 5 Si scelgono le dimensioni secondo le quali analizzare le misure dei fatti (prospettive di analisi, contesto dei fatti) Si cerca una risposta a domande sul fatto tipo: Chi è coinvolto? Cosa riguarda? Quando è accaduto? Dove è accaduto? Passo 6 Per rendere le analisi più interessanti è in generale utile prevedere dimensioni con degli attributi organizzati in gerarchie per consentire aggregazioni delle misure a diversi livelli di generalità. Sono domande che mirano a individuare le variabili determinanti delle misure e le possibili leve di intervento. Venditore ZonaVendita Venditore Venditore Importo Importo Soluzione STUDIO DI UN CASO Si consideri una BD di una casa di cura che contiene informazioni sugli interventi effettuati sui pazienti ricoverati. Di un paziente interessano il codice fiscale, che lo identifica, il nome e l indirizzo. Di un medico interessano il codice fiscale, che lo identifica, il nome, il telefono e la specializzazione. Un paziente può essere ricoverato più volte e ogni volta interessa la data, il medico che ne ha fatto la richiesta, il reparto assegnato, la diagnosi, la durata e l attesa in giorni del ricovero e la tariffa (ricavo) del ricovero. Di una diagnosi interessa il codice e la 3.1 descrizione. Soluzione Lo schema concettuale della base di dati è mostrato in Figura 6. Di un reparto interessano il codice, che lo identifica, il nome, il numero dei letti e il telefono. -&."#" )5),,$ Di un intervento interessano il <=,.$">$;;";$'&, codice, che lo identifica, la descrizione, il medico che la effettua, il ricovero del paziente?,>,@'&' che ha subito l intervento. ()*"&+," &:$*$;;' 4):%;,$!"#$%&'"!"#"!$"%&'($!)*"#" +##,(" -$."/' 4)!"#6"&,3$!&0)'," 7)8,*'A,##$?,>,@'&' /+,&'%&+,"!,(.*$;$'&, 1")2+$3"!,(.*$;$'&, Figura 6 Schema concettuale della BD dei ricoveri SPECIFICA DEI REQUISITI La specifica dei requisiti viene data elencando gli esempi di analisi e, per ognuna di esse, le dimensioni e le misure utilizzate, e le aggregazioni dacalcolare(metriche): 7&8 Processo Ricoveri N Requisito di analisi Dimensioni Misure Metriche (a) totale dei ricoveri per codice (descrizione) della diagnosi e per mese (anno). (Codice, ), (, ) totale (b) (c) (d) Numero totale dei ricoveri e ricavo totale per reparto e per sesso (età, città, regione) del paziente. totale, durata e attesa media dei ricoveri per descrizione della diagnosi e per nome (specializzazione) del medico richiedente. totale, durata e attesa media de ricoveri per età (regione) del paziente e per codice (descrizione) dell intervento. (&' 9$+ Reparto, Paziente(Sesso, Età,, ) (), Medico(, Specializzazione) Paziente(Età, ), Intervento(Codice, ), Durata,, Durata, Numero totale totale totale Durata media media totale Durata media media 15 STUDIO DI UN CASO: REQUISITI DI ANALISI -&."#" )5),,$ <=,.$">$;;";$'&, (a) totale dei ricoveri per codice?,>,@'&' (descrizione) della diagnosi e per mese (anno) Pazienti <<PK>> HaAvuto Medici <<PK>> Specializzazione HaRichietso ()*"&+," Per Ricoveri 9&:$*$;;' Durata Con Nel Reparti NumeroLetti Figura 1 Schema concettuale della BD dei ricoveri 4)!"#6"&,3$ HaFatto (b) Numero totale dei ricoveri e ricavo totale per (&' /+,&'%&+,"!"#$%&'" reparto e per sesso (età, città, regione) del 4):%;,$!"#" paziente!,(.*$;$'&, Interventi!$"%&'($!)*"#" 9$+ +##,(" 1")2+$3" (c) totale, durata e attesa media del -$."/' ricovero per descrizione!,(.*$;$'&, della diagnosi e per 7&8 nome (specializzazione) del medico richiedente!&0)'," (d) totale, durata e attesa media del 7)8,*'A,##$?,>,@'&' ricovero per età (regione) del paziente e per codice (descrizione) dell intervento Processo Ricoveri N Requisito di analisi Dimensioni Misure 1 totale dei ricoveri per codice (Codice, (descrizione) della diagnosi e per mese, (anno). (, ) 2 Numero totale dei ricoveri e ricavo totale Reparto, Paziente(Sesso, Età, per reparto e per sesso (età, città,, ) regione) del paziente. 3 totale, durata e attesa media del (), Medico(,, Durata, At- ricovero per descrizione della diagnosi e Specializzazione) tesa per nome (specializzazione) del medico SPECIFICA DEI REQUISITI richiedente. 4 totale, durata e attesa media del Paziente(Età, ), Intervento(CodiceIntervento,, Durata, At- ricovero per età (regione) del paziente e Detesa per codice (descrizione) dell intervento. scrizioneintervento) Granularità del fatto Ricovero Dimensioni preliminari Misure preliminari Un fatto riguarda un ricovero di un paziente, supponendo che comporti al più un intervento., Reparto,, Intervento, Medico che lo ha richiesto Durata,, 16 Dalla specifica dei requisiti scaturisce la seguente granularità del fatto e lo schema concettuale del data mart di Figura 7: Granularità del fatto Ricovero Dimensioni preliminari Misure preliminari Un fatto riguarda un ricovero Paziente,, Reparto, Dia- Durata,, di un paziente, supponengnosi, Intervento, Medico che do che comporti al più un lo ha richiesto intervento

4 RICOVERI RIEPILOGO Medici <<PK>> Specializzazione HaFatto Esempio di progettazione concettuale a partire dai requisiti di analisi Formulazione requisiti Pazienti <<PK>> HaAvuto HaRichietso Per Ricoveri Durata Con Nel Interventi Codice Intervento Codice Intervento Intervento Funzioni di aggregazioni da usare, su quale sottoinsieme dei dati, per quali raggruppamenti dei dati, come presentare il risultato. Reparti NumeroLetti Età Sesso Paziente Ricoveri Durata Medico Reparto SELECT X FROM WHERE B GROUP BY Y ORDER BY W Alternativa: Report di analisi che si vogliono BASE DI DATI Specializzazione DATA MART Granularità dei fatti Problemi dei dati: come si ricavano dalla BD disponibile La granularità dei fatti determina il tipo di analisi che si possono fare Tipi di misure e tipi di aggregazioni Agenzia Conto Movimenti CC Ammontare Conto Movimenti CC Ammontare Costo Margine Magazzino Scorte Scorta Livello Riordino Reclami? Transazione Numeriche (calcolate) additive Possono mancare Movimenti sui conti correnti (Fatto istantaneo) Movimentazione mensile (Fatto istantanea periodica) Numeriche semiadditive (Scorta), Numeriche non additive (LivelloRiordino) (Margine sui ricavi ROS = Margine/?) (Fatto istantanea accumulata) 21 Il tipo di misura si specifica a parte. 22 TIPI DI MISURE Paese Stato Misure di flusso: sono le più comuni e si riferiscono a valori cumulati dello stato di eventi che si verificano in un intervallo temporale di riferimento. (es. di prodotti venduti in un giorno) (Additive) Misure di livello: valore dello stato di eventi che si verificano in un intervallo temporale di riferimento. (es. Giacenza di un prodotto, Saldo CC) (Semi additive) Dimensioni degeneri Attributi descrittivi Dimensioni o attributi opzionali Dimensioni multivalore Gerarchie bilanciate, incomplete, ricorsive Fatturazione Vendita Supervisore Agente Provvigione Numero ordine Misure unitarie: (Non additive) Gerarchie condivise Garanzia 23 24

5 MODELLAZIONE CONCETTUALE: ATTRIBUTI DI DATA Column name type Format/Example date_key int yyyymmdd day_date smalldatetime day_of_week char Monday week_begin_date tinyint week_num tinyint 1 to 52 or 53 month_num tinyint 1 to 12 Attributi dimensionali con valori che cambiano raramente nel tempo TIPO 1 (oggi per ieri): si perde la storia. Fatti NumeroDellaSettimana GiorniDel DellaSettimana month_name char January month_short_name char Jan month_end_date smalldatetime days_in_month tinyint TIPO 2 (oggi o ieri): si conserva la storia. TIPO 3 (oggi e ieri): si conserva la storia e la date della modifica. yearmo int yyyymm Festività quarter_num tinyint 1 to 4 quarter_name char 1Q2000 Attributi dimensionali con valori che cambiano frequentemente nel tempo year smallint Nella tabella relazionale come chiave surrogata si può usare l intero AAAAMMGG weekend_ind bit workday_ind bit holiday_ind bit holiday_name char Thanksgiving TIPO 4 Questi aspetti non si modellano nello schema concettuale, ma si specificano a parte peak_period_ind bit MODELLO RELAZIONALE SCHEMI A STELLA I sistemi ROLAP (Relational OLAP) sono dei DBMS relazionali estesi con funzionalità per supportare efficientemente le applicazioni OLAP. Usando uno schema relazionale, la collezione dei fatti viene memorizzata in una tabella con attributi le dimensioni e le misure. Nei sistemi ROLAP, un DW viene rappresentato con tabelle di uno schema Si parla di schema a stella quando ogni dimensione ha attributi propri che vengono memorizzati in una tabella distinta. Nella tabella dei fatti le dimensioni a stella (star schema), sono le chiavi esterne. a fiocco di neve (snowflake schema) o a costellazione (constellation schema). Tutte le chiavi sono surrogate UN ESEMPIO DI SCHEMA A STELLA SCHEMA A FIOCCHI DI NEVE Lo schema a fiocco di neve è un raffinamento dello schema a stella, con la Pk Fk Fk Fk Pk Pk normalizzazione delle gerarchie, che vengono rappresentate in tabelle separate. Pk Pk Fk Fk Fk Pk Pk Pk Fk Fk 29 30

6 SCHEMA A COSTELLAZIONE DIMENSIONE DATA: DAL MODELLO CONCETTUALE AL MODELLO LOGICO Per situazioni più complesse si può pensare di avere più tabelle dei fatti che condividano alcune tabelle di dimensioni. E' il caso dello schema a costellazione. Reclami FK Pk FK Id Livello Pk Pk Fk Fk Fk NScontrino Pk Fk Fk Fk NScontrino Pk Pk Pk Fk Pk Fk Pk PROGETTAZIONE LOGICA: DIMENSIONI MODIFICABILI TIPO2 SQL PER ANALISI DEI DATI Clienti con una chiave naturale SK<<PK>> <<PK1>> FK SQL è stato esteso con le funzioni analitiche. Clienti senza chiave naturale SK<<PK>> PrimaSK FK SK<<PK>> FK PrimaSK MODELLO MULTIDIMENSIONALE CUBO DEI DATI 2-D I dati vengono rappresentati con una matrice multidimensionale (cubo): un fatto corrisponde ad una cella, individuata dai valori delle possibili coordinate (le dimensioni), che contiene i valori delle possibili misure Rappresentazione a cubo di una tabella dei fatti con due dimensioni VENDITE M4 M3 M2 M1 T4 Market Id Id 12 p p2 8 Id 12 p Id 50 T3 Tabella dei fatti Cubo 2-D P1 P2 P3 P

7 CUBO DEI DATI 3-D CUBO E GERARCHIE Rappresentazione a cubo di una tabella dei fatti con tre dimensiomi La rappresentazione delle gerarchie non è immediata, ma è possibile. VENDITE Id p2 p2 Id d2 44 Id d Id Id d2 44 p2 12 p Id 4 50 Gerarchia M4 M3 M2 M1 T4 T3 Market Tabella dei fatti Cubo 3-D P1 P2 P3 P SISTEMI MOLAP Alcuni sistemi specializzati e i sistemi OLAP implementano direttamente il modello multidimensionale, usando un'opportuna struttura dati permanente tipo matrice. Sono i cosiddetti MOLAP (Multidimensional OLAP). Una rappresentazione molto comune di un cubo sono le tabelle pivot di Excel Operazioni su un cubo: slice, dice, pivot, roll-up, drill-down 39