Sistema informativo. Combinazione di risorse umane, materiali e procedure per la gestione. (raccolta, archiviazione, elaborazione, scambio )

Transcript

1 Data Warehousing 1

2 Ripasso 2

3 Sistema informativo Combinazione di risorse umane, materiali e procedure per la gestione (raccolta, archiviazione, elaborazione, scambio ) delle informazioni necessarie per le attivita aziendali 3

4 Attività aziendali e informazioni connesse ATTI VITA di Pianificazione Strategica informazioni di governo ATTI VITA di Programmazione e Controllo informazioni di gestione ATTI VITA OPERATIVE informazioni di servizio 4

5 Sistema azienda Sistema informativo Sistema informatico 5

6 Evoluzione dei Sistemi Informatici -1 Inizio anni 60: Applicazioni operative Elaborazione ripetitiva di grandi quantita di dati: fatture, paghe, stipendi etc... Fine anni 60: Servizi informatici di funzione Supporto ai responsabili delle funzioni aziendali: contabilita generale, controllo di gestione etc Inizio anni 70:Servizi informatici per l organizzazione Integrazione dati comuni alle diverse funzioni : DBMS (Data Base Management System) 6

7 Evoluzione dei Sistemi Informatici - 2 Inizio anni 80:Servizi informatici per pianificazione strategica Sintesi di informazioni dai dati della produzione : Supporto alle decisioni, Datawarehouse Fine anni 90: Servizi informatici per la cooperazione Internet e Web favoriscono lo sviluppo di protocolli di interazione e cooperazione tra sistemi diversi : commercio elettronico, web services 7

8 Dai sistemi settoriali ai sistemi informatici Inizio anni 60: Applicazioni operative Elaborazione ripetitiva di grandi quantita di dati: fatture, paghe, stipendi etc... Fine anni 60: Servizi informatici di funzione Supporto ai responsabili delle funzioni aziendali: contabilita generale, controllo di gestione etc Inizio anni 70:Servizi informatici per l organizzazione Integrazione dati comuni alle diverse funzioni : DBMS (Data Base Management System) 8

9 Dal dato alla conoscenza dato informazione conoscenza archivi Basi di dati Basi di conoscenza programmi DBMS Tecniche DM tempo 9

10 Significato implicito dei dati Scoperta della conoscenza in modo semiautomatico Perchè? Significato intuitivo dei dati Schema Logico Che cosa? Ordner A Ordner B File 1 File 2 Archivi Fisici Come? 10

11 Tipologie di dati STRUTTURATI Sparta non ride... NON STRUTTURATI SEMISTRUTTURATI Se Atene piange. 11

12 Problemi?? In genere: DB1 DB2 abbondanza di dati DB4 DB3 ma anche ridondanza ed inconsistenza che non permette di utilizzare i dati in modo utile a fini decisionali 12

13 Perché i sistemi tradizionali non sono sufficienti? no dati storici sistemi eterogenei basse prestazioni DBMS non adeguati al supporto decisionale problemi di sicurezza 13

14 Tipiche richieste Qual è il volume delle vendite per regione e categorie di prodotto durante l ultimo anno? Come si correlano i prezzi delle azioni delle società produttrici di hardware con i profitti trimestrali degli ultimi 10 anni? Quali sono stati i volumi di vendita dello scorso anno per regione e categoria di prodotto? In che modo i dividendi di aziende di hardware sono correlati ai profitti trimestrali negli ultimi 10 anni? 14

15 Data Warehouse : cos e? E un processo per trasformare i dati in informazioni e per rendere le stesse disponibili agli utenti in tempo utile. E una singola completa e consistente raccolta di dati derivati da una varietà di sorgenti diverse e messa a disposizione degli utenti perché possano capirne il significato e utilizzarla nei processi decisionali aziendali. 15

16 Data Warehouse : cos e? Terabytes (10 12 bytes); Petabytes (10 15 bytes); GIS Exabytes (10 18 bytes); sist. Sanitario USA Zettabytes (10 21 bytes); immag. prev. tempo Zettabytes (10 24 bytes); video CIA 16

17 Data Warehouse : cos e? Processo Tecnica per assemblare e gestire dati da sorgenti differenti per risolvere questioni aziendali e supportare le decisioni Dataset Database di supporto alle decisioni gestito separatamente rispetto ai DB operativi aziendali 17

18 Data Warehouse : cos e? Una collezione di dati orientata ai soggetti Integrata Variabile nel tempo Non-volatile utilizzata pricipalmente come supporto decisionale nei processi organizzativi aziendali 18

19 Più formalmente... Sistemitradizionali(DB) On-Line Transaction Processing (OLTP ) Sistemi di data warehousing On-Line Analytical Processing (OLAP ) Profondamente diversi 19

20 OLTP On Line Transaction Processing Transazioni predefinite e di breve durata Dati dettagliati, recenti e aggiornati Dati residenti su un unico DB Read & write di pochi record Critiche le proprietà ACIDe Implementate su Main Frame 20

21 OLAP On Line Analytical Processing Interrogazioni complesse e casuali Dati storici e aggregati Dati provenienti da più DB eterogenei Moltissime operazioni di Read (nessuna di write) Visualizzazione dei dati su PC 21

22 Da tener ben presente. I dati usati dai sistemi OLAP sono gli stessi di dati usati dai sistemi OLTP: quello che cambia nei due tipi di sistemi è l elaborazione compiuta sui dati. 22

23 Un DW è un DB specializzato... OLTP OLAP funzione gestione giornaliera supporto alle decisioni progettazione orientata alle orientata al soggetto applicazioni frequenza giornaliera sporadica dati recenti, dettagliati storici, riassuntivi, multidimensionali sorgente singola DB DB multiple uso ripetitivo ad hoc accesso read/write read flessibilità accesso uso di programmi generatori di query precompilati # record acceduti decine migliaia tipo utenti operatori manager # utenti migliaia centinaia tipo DB singola multiple, eterogenee performance alta bassa dimensione DB 100 MB - GB 100 GB - TB 23

24 Architettura Multi-Tier per un DW Database OLTP Strumenti ETL Estrazione Trasporto e Trasformazione Data Warehouse Data Mart Utilizzatori Finali 24

25 Ovvero Sorgenti dei dati Data Marts utenti Magazzino dati analisi Area di Staging Acquisti reporting Sistemi di supporto operativo File piatti Vendite Inventario mining 25

26 OLAP: modelli logici 26

27 OLAP (On line Analytical Processing) Per supportare un sistema OLAP, i dati devono essere organizzati attraverso modelli multidimensionali 27

28 Il modello logico di un OLAP: il data cube Magazzini Quantità Vendite Prodotti Periodi di tempo 28

29 MOLAP Processo: vendite in una catena di supermercati tempo magazzino A feb apr mag set prodotto B C vino acqua coca cola 29

30 Dimensional Fact Model (DFM) Si basa sui seguenti elementi Fatto: un concetto sul quale centrare l analisi Misura: Una proprietà atomica(numerica) di un fatto da analizzare Dimensione: Una proprietà del fatto che definisce la prospettiva lungo la quale effettuare l analisi 30

31 Esempio DFM per le vendite Fatti (le celle) Dimensioni (gli spigoli) SETTIMANA a b c d VENDITE X Y Z W PRODOTTO n3 n2 n1 NEGOZI Vendite del prodotto w, nel negozio n1, nella settimana a misure 31

32 DFM ricapitolando I componenti di base dei FS sono fatti, misure dimensioni e gerarchie. Un fatto è un evento di interesse per l impresa ed è descritto da un insieme di misure. Una dimensione determina la granularità di rappresentazione dei fatti. Una gerarchia determina come le istanze di fatto possono essere aggregate e selezionate in modo significativo per il processo decisionale. 32

33 Un altro DFM Mercati Quantità Vendite Prodotti Periodi di tempo 33

34 Dimensioni e gerarchie regione anno provincia marca categoria trimestre città magazzino Mercati prodotto Prodotti mese giorno Periodi di tempo 34

35 I punti di vista aziendali.e nuovi tipi di query Il manager regionale esamina la vendita dei prodotti in tutti i periodi relativamente ai propri mercati Il manager finanziario esamina la vendita dei prodotti in tutti i mercati relativamente al periodo corrente e quello precedente mercato tempo prodotto Il manager di prodotto esamina la vendita di un prodotto in tutti i periodi e in tutti i mercati Il manager strategico si concentra su una categoria di prodotti, un area regionale e un orizzonte temporale medio 35

36 Operazioni OLAP drill-down/roll-up pivoting slicing dicing top-n 36

37 Roll UP Aggrega i dati, salendo nella gerarchia dei concetti per una dimensione o attraverso una riduzione di una dimensione Volume di vendite per categorie di prodotto, E per regione 37

38 Roll Down or Drill Down Disaggrega i dati da un livello di dettaglio basso ad un livello di dettaglio alto, scendendo nella gerarchia o introducendo una nuova dimensione. Trova le vendite giornaliere per una data categoria di prodotto, E per una data regione 38

39 Roll-Up & Drill Down Region Product Roll-up Year Store Product Roll-up Year Drill-Down Store Product Month Drill-Down 39

40 Slice and Dice: select& project SLICE : Esegue una selezione su una dimensione del cubo. DICE : Definisce un sottocubo eseguendo una selezione su due o più dimensioni 40

41 Operazioni tipiche: Slice and Dice Store Product Store Product Slice Month Month 41

42 Pivot (rotate) Top-n Pivot (rotate): ri-orienta il cubo Top-n (ranking): Esempio: determinare i 10 prodotti piu` venduti ad una certa data e in un certo magazzino, ordinati per vendite 42

43 Store Operazioni tipiche: Pivot Pivot Product All All Pivot Time Product Pivot All Time Drill-Down AllAll All Drill-Down Time Drill-Down 43

44 La R sta per relazionale OLAP: gli schemi logici ROLAP utilizza il modello relazionale per rappresentare i dati multidimensionali Il DFM è implementato a livello logico da tabelle relazionali; i dati sono acceduti tramite query SQL su di essi, vengono effettuate le sintesi necessarie per la visualizzazione dei risultati. 44

45 ROLAP vantaggio dati acceduti sono sempre gli ultimi disponibili. Esiste una classe di strumenti che è in grado di recuperare i dati dalle tabelle e sintetizzarli. svantaggio una volta usciti dal viewer i dati di sintesi si perdono e quindi per riaccedervi è necessario rieseguire le estrazioni e le sintesi. 45

46 OLAP: gli schemi logici M indica una struttura per dati MOLAP Multidimensionali L insieme dei dati da navigare è archiviato su una struttura dati a matrice dove sono registrate tutte le sintesi statistiche degli incroci multidimensionali possibili il presentation server in questo caso chiede i dati direttamente al database multidimensionale 46

47 MOLAP Vantaggio in questo caso sono i tempi di risposta. Svantaggio il Multidimensional Data Base deve essere allineato all aggiornamento dei dati di base dal quale viene generato. 47

48 Come fare le interrogazioni? complicato e dispendioso in termini di tempo SQL standard: per ciascuna misura, bisogna considerare alternativamente ogni dimensione e applicare esplicitamente la formula di aggregazione desiderata (conteggio, somma, media, etc.). Tecniche proprietarie basate su opportune estensioni del linguaggio SQL 48

49 Un data cube in SQL (ROLAP) 49

50 Un data cube in SQL (ROLAP) La tabella relazionale T risultante esprime i fatti rilevanti. T (settimana, prodotto, negozio, città, vendite) 50

51 Esempio roll-up (aggrega) SELECT categoria, SUM(unità_cat) FROM vendite, prodotti, tempo WHERE vendite.prodotto-k = prodotti.prodotto-k AND vendite.tempo-k = tempo.tempo-k AND tempo.giorno = 1 Gennaio, 1996 GROUP BY categoria Vista vendite_per_categorie 51

52 Esempio query aggregata SELECT categoria, unità_cat FROM vendite-per-cat, tempo WHERE vendite-aggreg-per-cat.tempo-k = tempo.tempo-k AND tempo.giorno = 1 Gennaio,

53 Operatori aggregati in Oracle 9i SQL viene esteso con nuovi operatori di aggregazione. Tra i vari operatori: ROLLUP CUBE RANK/TOP-N 53

54 Roll-up SELECT. GROUP BY ROLLUP (elenco colonne) calcola l aggregato standard rispetto all elenco di colonne specificato calcola subtotali di livello più alto, riducendo ad uno ad uno le colonne da aggregare, procedendo da destra a sinistra nella lista 54

55 Roll-up Esempio: SELECT città, mese, prodotto, SUM(vendite) FROM Vendite v, Magazzini m, Tempo t, Prodotti p WHERE m.magazzino_k = v.magazzino_k AND p.prodotto_k = v.prodotto_k AND t.tempo_k = v.tempo_k GROUP BY ROLLUP(città,mese,prodotto) 55

56 Roll-up Città Mese Prodotto Vendite genova marzo p1 120 genova marzo p2 320 genova marzo 440 genova luglio p1 220 genova luglio p2 110 genova luglio 330 genova 770 milano marzo p1 430 milano marzo p2 143 milano marzo 573 milano luglio p1 340 milano luglio p2 100 milano luglio 440 milano

57 Cube SELECT. GROUP BY CUBE (elenco colonne) calcola l aggregato standard rispetto all elenco di colonne specificato e rispetto ad ogni sottoinsieme dell elenco specificato 57

58 Cube Esempio: SELECT città, mese, prodotto, SUM(vendite) FROM Vendite v, Magazzini m,tempo t,prodotti p WHERE m.magazzino_k = v.magazzino_k AND p.prodotto_k = v.prodotto_k AND t.tempo_k = v.tempo_k GROUP BY CUBE(città,mese,prodotto) 58

59 Cube Città Mese Prodotto Vendite genova marzo p1 120 genova marzo p2 320 genova marzo 440 genova luglio p1 220 genova luglio p2 110 genova luglio 330 genova p1 340 genova p2 440 genova 770 milano marzo p1 430 milano marzo p2 143 milano marzo 573 milano luglio p1 340 milano luglio p

60 Top-N SELECT A1,,An FROM (SELECT B1,,Bm, RANK() OVER(ORDER BY Ai ASC, ORDER BY Aj DESC) AS rank FROM WHERE... GROUP BY A1,,An) WHERE rank <= N; permette di ordinare i risultati e restituire solo i primi N rispetto all ordinamento prescelto 60

61 Top-N SELECT città, mese, prodotto, sum_vendite FROM SELECT città,mese,prodotto, SUM(vendite) AS sum_vendite, RANK() OVER (ORDER by SUM(vendite) DESC) AS rank FROM Vendite v, Magazzini m, Tempo t, Prodotti p WHERE m.magazzino_k = v.magazzino_k AND p.prodotto_k = v.prodotto_k AND t.tempo_k = v.tempo_k GROUP BY (città,mese,prodotto)) WHERE rank <= 3; 61

62 Top-N Città Mese Prodotto Vendite milano marzo p1 430 milano luglio p1 340 genova marzo p

63 Tipiche query OLAP richiedono molte aggregazioni Impatto sul codice SQL GE MI Totale SELECT SUM (vendite) FROM vendite S, Tempo T, Magazzini M WHERE S.TId = T.TId AND S.Mid = M.Mid GROUP BY T.anno, M.citta` Totale SELECT SUM (vendite) FROM vendite S, Magazzini M WHERE S.MId = M.MId GROUP BY M.citta` SELECT SUM (vendite) FROM vendite S, Tempo T WHERE S.TId = T.TId GROUP BY T.anno 63

64 Impatto sul codice SQL {PId, MId,TId} In genere: fatti con k dimensioni 2 k query SQL aggregate Nuovo operatore SQL CUBE per calcolare tutte le possibili aggregazioni rispetto ad un insieme di attributi CUBE Pid, Mid, Tid BY SUM Vendite equivalente ad un insieme di query: SELECT SUM (vendite) FROM vendite S GROUP BY grouping lis {PId, MId} {PId, TId} {MId, TId} {PId} {MId} {TId} { } 64

65 Impatto sul codice SQL Necessita` di determinare i primi n elementi rispetto ad un certo ordinamento Esempio: determinare i 10 prodotti piu` venduti in un certo magazzino, ordinati per entita` delle vendite Presente in molti DBMS 65

66 ROLAP: sistema di data warehouse in grado di supportare le interrogazioni tipiche (roll-up, drill-down, ) presentation server relazionale Oracle 9i + Discoverer MOLAP: sistema di data warehouse in grado di supportare le interrogazioni tipiche (roll-up, drill-down, ) presentation server multidimensionale Express Server DOLAP (Desktop OLAP): i dati vengono recuperati da un DW relazionale o multidimensionale e copiati localmente Business Objects 66

67 Progettazione logica 67

68 Fatti : associazioni molti a molti 68

69 Schemi logici multidimensionali modello a stella modello a fiocco di neve (snowflake) modello a costellazione di fatti 69

70 Modello a stella (Star Schema) Un singolo oggetto (fact table) connesso ad un numero di oggetti (dimension tables) Fatto: - identifica l attività principale - caratterizzato dai dati di dettaglio che si desidera analizzare Dimensioni: parametri rispetto ai quali si analizzano i dati di dettaglio 70

71 Uno Star Schema è. Un insieme di relazioni (tabelle DT 1,Dt 2, DT n ) ognuna delle quali corrisponde ad una dimensione Ogni DT i è caratterizzata da una chiave primaria d i e da un insieme di attributi descriventi le dimensioni a diversi livelli di aggregazione Una relazione FT (tabella dei fatti) che importa le chiavi primarie delle tabelle DT i La chiave primaria di FT è (d 1,d 2,.d n ) FT contiene un attributo per ogni misura 71

72 Esempio 72

73 Il modello a stella - in generale, uno schema a stella rappresenta una relazione molti a molti - il collegamento tra ogni tabella delle dimensioni e la tabella dei fatti rappresenta una relazione uno a molti 73

74 Star Schema : Le tabelle delle dimensioni DT non sono normalizzate Es. prodotto tipo categoria (dip. transitiva) La mancanza di normalizzazione comporta ridondanza, ma facilita l accesso ai dati che avviene tramite join tra le Dimension Table e la Fact Table La tabella dei fatti contiene informazioni espresse a diversi livelli di aggregazione 74

75 Vantaggi nell uso dello schema a stella Permette di fare assunzioni circa i dati, da utilizzare in fase di ottimizzazione simmetrico facilmente estensibile approcci standard alla costruzione tipiche query eseguibili efficientemente 75

76 76

77 77

78 Modello a fiocco di neve (Snow Flake) Si ottiene normalizzando le tabelle dimensioni dello star schema -rimozione di alcune dipendenze transitive -numero di tabelle maggiori ma di piccole dimensioni e normalizzate - conseguente semplicità di gestione in fase di popolazione ed aggiornamento delle tabelle 78

79 Uno Snowflake Schema è. Un insieme di relazioni (tabelle DT 1,Dt 2, DT n ) ognuna delle quali corrisponde ad una dimensione Ogni DT i è caratterizzata da : una chiave primaria un sotto-insieme di attributi che dipendono direttamente da d i nessuna o piu chiavi esterne che permettono di ricostruire l intera informazione 79

80 In un Snowflake Schema si distinguono: Tabelle di dimensione PRIMARIE : Le loro chiavi sono importate nella tabella dei fatti Tabelle di dimensione SECONDARIE: Gli attributi dipendono dalla chiave primaria Sono collegate con chiavi esterne Hanno un certo livello di normalizzazione 80

81 Esempio snow flake 81

82 Vantaggi nell uso dello schema snowflake Riduzione dello spazio di memoria Nuove chiavi surrogate Vantaggi nell esecuzione di query collegate agli attributi contenuti in un fatto e nelle tavole di dimensione primaria. 82

83 83

84 Aggregazioni Talvolta è necessario introdurre nuova misure per gestire correttamente le aggregazioni Misure derivate : si ottengono applicando operatori matematici a due o piu valori nella stessa t-upla 84

85 Operatori aggregati Operatori distributivi Aggregano i dati partendo da aggregazioni parziali (es. somma, max,min) Operatori algebrici Richiedono ulteriori informazioni per aggregare i dati (es. media) Operatori olistici Non è possibile ottenere dati aggregati partendo da aggregazioni parziali (es. mediana,moda) 85

86 86

87 Navigatori aggregati Inclusi nei DW commerciali Consentono di riformulare query OLAP sulla best view Gestiscono aggregati esclusivamente tramite operatori distributivi 87

88 Constellation schema Memorizza nelle tabelle dei fatti le viste aggregate Solo la dimensione della fact table è ottimizzata (ma è già un passo avanti) Massimo livello di ottimizzazione Tabelle dei fatti separate Tabelle di dimensioni ripetute per differenti livelli di aggregazione 88

89 89

90 90

91 Progettazione concettuale 91

92 Progettazione concettuale Tiene conto della documentazione relativa a tre possibili tipologie di schemi: Schema E/R Schema Relazionale Schema XML 92

93 DFM e E/R Un fatto descrive una relazione N a M lungo le sue dimensioni E presente una dipendenza funzionale tra il fatto e le sue dimensioni Le dimensioni di uno schema devono avere nomi differenti 93

94 94

95 Metodologia top down Definizione del fatto Per ogni fatto Definizione attributi Definizione dimensioni Definizione misure Creazione dello schema dei fatti 95

96 Partendo dallo schema E/R Identificazione di fatti, misure e dimensioni Ristrutturazione dello schema concettuale Rappresentazione dei fatti tramite entità Individuazione di nuove dimensioni Raffinamento dei livelli per ogni dimensione Grafo dimensionale Progettazione logica e fisica 96

97 Partendo dallo schema E/R 97

98 98

99 99

100 Definizione dei fatti Un fatto corrisponde ad un evento In uno schema E/R puo corrispondere ad un entità o ad un associazione di entità In uno schema relazionale corrisponde ad una tabella relazionale Una volta identificato il fatto diventa la radice di uno schema di fatti 100

101 Grafo di derivazione 101

102 Star Schema 102

103 Dal DB al DW fatti e dimensioni diventano tabelle a cui si aggiunge una chiave artificiale le tabelle delle dimensioni contengono tutti gli attributi per tutti i livelli della gerarchia poiché le associazioni sono tutte uno-amolti, si modellano con chiavi esterne 103

104 Chiavi Le chiavi aggiunte devono essere chiavi artificiali (numeriche, progressive) non sono le chiavi semantiche eventualmente utilizzate nella base di dati operazionale si ottimizzano le operazioni di join le chiavi semantiche possono essere comunque presenti come attributi comuni 104

105 Esempio di schema Tempo Prodotto Codice orario Ora Giorno Settimana Mese Trimestre Anno Luogo Codice luogo Negozio Indirizzo Codice Città Città Codice Regione Regione Codice Stato Stato Vendite Codice orario Codice luogo Codice prodotto Codice cliente Unità Incasso Codice prodotto Descrizione Colore Modello Codice categoria Categoria Cliente Codice cliente Nome Cognome Indirizzo Età Codice professione Professione 105

106 Esempio di instanza product prodid name price p1 bolt 10 p2 nut 5 store storeid city c1 nyc c2 sfo c3 la sale oderid date custid prodid storeid qty amt o100 1/7/97 53 p1 c o102 2/7/97 53 p2 c /8/ p1 c customer custid name address city 53 joe 10 main sfo 81 fred 12 main sfo 111 sally 80 willow la 106