Data warehouse: introduzione DataBase and Data Mining Group of Politecnico di Torino

Transcript

1 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Supprt alle decisini aziendali La maggir parte delle aziende dispne di enrmi basi di dati cntenenti dati di tip perativ ðqueste basi di dati cstituiscn una ptenziale miniera di infrmazini utili Sistemi per il supprt alle decisini permettn di ðanalizzare l stat dell azienda ðprendere decisini rapide e migliri Data warehuse Intrduzine Cpyright Tutti i diritti riservati INTRODUZIONE - 1 INTRODUZIONE - 2 Cpyright Tutti i diritti riservati Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Supprt alle decisini aziendali Business Intelligence Disciplina di supprt alla decisine strategica aziendale Obiettiv: trasfrmazine dei dati aziendali in infrmazini fruibili Analisi e previsine dell evluzine della dmanda Individuazine di aree critiche Chiarezza dei cnti e trasparenza finanziaria reprting, pratiche antifrde e antiriciclaggi Definizine e realizzazine di strategie vincenti ðcnteniment di csti e aument di prfitti Cpyright Tutti i diritti riservati a livelli diversi di dettagli per applicazini di analisi Tiplgia di utenza etergenea Necessaria un adeguata infrastruttura hardware e sftware di supprt INTRODUZIONE - 3 INTRODUZIONE - 4 Cpyright Tutti i diritti riservati Database and data mining grup, Ambiti applicativi Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Esempi Industrie manifatturiere: gestine rdini e spedizini, supprt clienti Distribuzine: prfil utenti, gestine magazzin Servizi finanziari: analisi acquisti (carta di credit) Assicurazini: analisi richieste indennizz, ricnsciment frdi Telecmunicazini: analisi delle chiamate, ricnsciment frdi Servizi pubblici: analisi dell utilizz Sanità: analisi dei risultati Cpyright Tutti i diritti riservati INTRODUZIONE - 5 Prestiti Stipendi Clienti di una banca che hann cntratt un prestit : clienti che hann mancat la restituzine di rate : clienti che hann rispettat le scadenze Intrduzine - Cpyright Tutti i diritti riservati Pag. 1 INTRODUZIONE - 6

2 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Esempi Esempi Prestiti k Prestiti Stipendi Stipendi If stipendi < k then mancati pagamenti Cpyright Tutti i diritti riservati INTRODUZIONE - 7 Cpyright Tutti i diritti riservati INTRODUZIONE - 8 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Elabrazine dei dati Analisi dei dati Mdalità tradizinale di us dei MS, caratterizzata da Elabrazine dei dati per il supprt alle decisini, caratterizzata da istantanea del valre crrente dei dati dati dettagliati, rappresentazine relazinale perazini strutturate e ripetitive access in lettura aggirnament di pchi recrd transazini brevi islament, affidabilità e integrità sn critici dimensine della base di dati 100MB-GB Cpyright Tutti i diritti riservati dati di tip stric dati cnslidati e integrati applicazini ad hc access in lettura a milini di recrd interrgazini di tip cmpless cnsistenza dei dati prima e dp le perazini di caricament peridic dimensine della base di dati 100GB-TB INTRODUZIONE - 9 Cpyright Tutti i diritti riservati INTRODUZIONE - 10 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Data warehuse Perché dati separati? Base di dati per il supprt alle decisini, che è mantenuta separatamente dalle basi di dati perative dell azienda Dati rientati ai sggetti di interesse integrati e cnsistenti dipendenti dal temp, nn vlatili utilizzati per il supprt alle decisini aziendali Prestazini ricerche cmplesse riducn le prestazini delle transazini perative metdi di access diversi a livell fisic Gestine dei dati infrmazini mancanti (stric) cnslidament dei dati qualità dei dati (prblema di incnsistenze) W. H. Inmn, Building the data warehuse, 1992 Cpyright Tutti i diritti riservati INTRODUZIONE - 11 Cpyright Tutti i diritti riservati Pag. 2 INTRODUZIONE - 12

3 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f OLAP servers Gestine DW back end Srgenti di dati (esterne) Analisi dei dati alimentat dal data warehuse primari alimentat direttamente dalle srgenti realizzazine più rapida richiede prgettazine attenta, in md da evitare prblemi di integrazine in seguit Data marts Cpyright Tutti i diritti riservati DataBase and Data Mining Grup f Warehuse aziendale: cntiene infrmazini sul funzinament di tutta l azienda prcess di mdellazine funzinale estes prgettazine e realizzazine richiedn mlt temp Data mart: sttinsieme dipartimentale fcalizzat su un settre prefissat due pssibilità analisi Data warehuse Data warehuse e data mart Elementi cstitutivi di un data warehuse INTRODUZIONE - 13 Cpyright Tutti i diritti riservati INTRODUZIONE - 14 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Server per data warehuse back-end Server ROLAP (Relatinal OLAP) MS relazinale estes Alimentazine del data warehuse (ETL = Etractin Transfrmatin Lading) estrazine dei dati da srgenti esterne pulizia dei dati (errri, dati mancanti duplicati) trasfrmazini e cnversini di frmat caricament e refresh peridic rappresentazine cmpatta di dati sparsi estensini SQL per aggregati metdi di access speciali che realizzan le perazini di access in md efficiente Server MOLAP (Multidimensinal OLAP) dati rappresentati in frma matriciale (multidimensinale) prprietaria dati sparsi richiedn cmpressine primitive OLAP speciali Server HOLAP (Hybrid OLAP) Cpyright Tutti i diritti riservati INTRODUZIONE - 15 Cpyright Tutti i diritti riservati INTRODUZIONE - 16 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f = dati sui dati Diversi tipi di metadati per trasfrmazine e caricament: descrivn i dati srgenti e le trasfrmazini necessarie Architetture per data warehuse utile usare una ntazine cmune per dati srgente e dati risultanti dalle trasfrmazini CWMI (Cmmn Warehuse Metadata Initiative): standard prpst da O per l interscambi di dati tra strumenti DW e repsitry di metadati in ambienti etergenei e distribuiti per la gestine dei dati: descrivn la struttura dei dati presenti nel data warehuse anche per dati derivati, quali le viste materializzate per la gestine delle query: dati sulla struttura delle query e mnitraggi della lr esecuzine cdice SQL della query pian di esecuzine us di memria e CPU Cpyright Tutti i diritti riservati INTRODUZIONE - 17 Cpyright Tutti i diritti riservati Pag. 3 INTRODUZIONE - 18

4 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, Architetture per data warehuse Strumenti ETL evitare le architetture a un livell analisi Architetture a due più livelli separan in misura diversa i dati in ingress nel data warehuse dai dati ggett dell analisi maggirmente scalabili Srgenti di dati (perazinali ed esterni) Livell delle srgenti INTRODUZIONE - 19 Data warehuse Analisi dei dati Data marts Livell del data warehuse INTRODUZIONE - 20 Cpyright Tutti i diritti riservati Database and data mining grup, Database and data mining grup, Caratteristiche delle architetture a 2 livelli Gestine DW Strumenti ETL Facilità di gestine delle differenti granularità temprali dei dati perazinali e analitici Separazine del caric transazinale da quell analitic Necessità di svlgere al vl la preparazine dei dati (ETL) Livell delle srgenti Cpyright Tutti i diritti riservati Data marts Livell del data warehuse INTRODUZIONE - 22 Database and data mining grup, Etractin, Transfrmatin and Lading (ETL) DataBase and Data Mining Grup f Staging area: area di transit che permette di separare l elabrazine ET dal caricament nel data warehuse DataBase and Data Mining Grup f Prcess di preparazine dei dati da intrdurre nel data warehuse permette perazini cmplesse di trasfrmazine e pulizia dei dati ffre un mdell integrat dei dati aziendali, ancra vicin alla rappresentazine OLTP talvlta denminata Operatinal Data Stre (ODS) estrazine dei dati dalle srgenti pulitura trasfrmazine caricament semplificat dalla presenza di una staging area eseguit durante Intrduce ulterire ridndanza il prim pplament del DW l aggirnament peridic dei dati aumenta l spazi necessari per i dati Analisi dei dati Data warehuse Database and data mining grup, INTRODUZIONE - 23 analisi Lading Staging area Srgenti di Livell di dati (peraz. alimentazine ed esterni) Caratteristiche delle architetture a 3 livelli Cpyright Tutti i diritti riservati DataBase and Data Mining Grup f OLAP servers pssibilità di gestire dati esterni al sistema OLTP mdellazine dei dati adatta all analisi OLAP prgettazine fisica del data warehuse mirata al caric analitic INTRODUZIONE - 21 Architettura a tre livelli DataBase and Data Mining Grup f Disaccppiament dalle srgenti Cpyright Tutti i diritti riservati DataBase and Data Mining Grup f OLAP servers Gestine DW Separazine tra elabrazine transazinale e analisi dei dati Cpyright Tutti i diritti riservati Architettura a due livelli DataBase and Data Mining Grup f Cpyright Tutti i diritti riservati Pag. 4 INTRODUZIONE - 24

5 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f ETL Estrazine: acquisizine dei dati dalle srgenti Pulitura: perazini vlte al miglirament della qualità dei dati (crrettezza e cnsistenza) Trasfrmazine: cnversine dei dati dal frmat perazinale a quell del data warehuse (integrazine) Caricament: prpagazine degli aggirnamenti al data warehuse Cpyright Tutti i diritti riservati Struttura e elabrazine dei dati INTRODUZIONE - 25 INTRODUZIONE - 26 Cpyright Tutti i diritti riservati Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Rappresentazine multidimensinale Rappresentazine multidimensinale negzi Dati rappresentati cme un (iper)cub cn tre più dimensini Misure su cui si esegue l analisi: elementi individuati all intersezine delle dimensini Data warehuse per l analisi delle vendite di una catena di supermercati SupShp 3 prdtt assi dimensinali: prdtt, negzi, temp misure: quantità venduta, imprt della vendita, latte temp Tratt da Glfarelli, Rizzi, Data warehuse, teria e pratica della prgettazine, McGraw Hill Cpyright Tutti i diritti riservati INTRODUZIONE - 27 Cpyright Tutti i diritti riservati INTRODUZIONE - 28 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Rappresentazine relazinale: mdell a stella Esempi Data warehuse per l analisi delle vendite di una catena di supermercati Misure numeriche memrizzate nella tabella dei fatti gli attributi cntengn valri numerici Le dimensini descrivn il cntest di gni misura nella tabella dei fatti cntengn mlti attributi descrittivi Negzi Vendite Prdtti Temp Cpyright Tutti i diritti riservati INTRODUZIONE - 29 Cpyright Tutti i diritti riservati Pag. 5 INTRODUZIONE - 30

6 Data warehuse: intrduzine DataBase and Data Mining Grup f Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Dimensine del data warehuse analisi dei dati dimensine temp: 2 anni 365 girni dimensine negzi: 300 negzi dimensine prdtt: prdtti, di cui venduti gni girn in gni negzi numer di righe della tabella dei fatti: = 657 milini Analisi OLAP: calcl di funzini aggregate cmplesse necessità di frnire supprt a diversi tipi di funzine aggregata (esempi: media mbile, tp ten) Analisi dei dati mediante tecniche di data mining varie tiplgie di analisi pesante cmpnente algritmica ðspazi ccupat dalla tabella dei fatti 21GB INTRODUZIONE - 31 Cpyright Tutti i diritti riservati Cpyright Tutti i diritti riservati INTRODUZIONE - 32 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f analisi dei dati Data mining: tiplgie di attività Presentazine attività distinta dalla ricerca: i dati ttenuti da una ricerca pssn essere rappresentati mediante diversi tipi di strumenti di rappresentazine Ricerca di mtivazini esplrazine dei dati mediante apprfndimenti (esempi: drill dwn) Classificazine e regressine: generazine di un mdell predittiv richiede un insieme di dati già classificati Regle di assciazine: ricerca di crrelazini tra i dati Clustering: suddivisine dei dati in gruppi mgenei richiede una definizine di distanza INTRODUZIONE - 33 Cpyright Tutti i diritti riservati Cpyright Tutti i diritti riservati INTRODUZIONE - 34 Database and data mining grup, Database and data mining grup, DataBase and Data Mining Grup f DataBase and Data Mining Grup f Esempi: classificazine Età Età < 26 Tip aut familiare sprtiva utilitaria sprtiva utilitaria Esempi: regle di assciazine Classe rischi bass alt alt alt bass E` data una cllezine di transazini di cassa di un supermercat (scntrini) Regla di assciazine Pannlini Birra Tip aut = sprtiva il 2% delle transazini cntiene entrambi gli elementi il 30% delle transazini che cntengn pannlini cntiene anche birra Alt Alt Bass Alber di decisine Cpyright Tutti i diritti riservati INTRODUZIONE - 35 Cpyright Tutti i diritti riservati Pag. 6 INTRODUZIONE - 36

7 DataBase and Data Mining Grup f DataBase and Data Mining Grup f DataBase and Data Mining Grup f D B Data warehuse: intrduzine Libri Database and data mining grup, D B M G Link utili Database and data mining grup, D B M G Data warehusing Glfarelli, Rizzi, Data warehuse: teria e pratica della prgettazine, McGraw-Hill 2006 Kimball e altri, numersi testi su metdlgia e casi di studi, Wiley Data mining Han, Kamber, Data mining: cncepts and techniques, Mrgan Kaufmann 2006 Tan, Steinbach, Kumar, Intrductin t data mining, Pearsn 2006 Data warehuse Specific per data mining Cpyright Tutti i diritti riservati INTRODUZIONE - 37 Cpyright Tutti i diritti riservati INTRODUZIONE - 38 Pag. 7