Convergenza. Schema di fatto

Transcript

1 Convergenza Quando due attributi dimensionali possono essere connessi da due o più cammini direzionali distinti pur mantenendo le dipendenze funzionali di tutte le direzioni. 451 Schema di fatto 452 1

2 Rappresentazione delle convergenze nello schema di fatto Sullo schema di fatto le convergenze sono denotate da due o più archi, in genere appartenenti alla stessa gerarchia che terminano nello stesso attributo dimensionale. In presenza di una convergenza le direzioni degli archi non possono essere più univocamente determinate dalla struttura dell albero. Vengono pertanto disegnate frecce sugli archi convergenti 453 Nel diagramma e/r la convergenza è rappresentatoa dal ciclo ridondante di associazioni tra le entità NEGOZIO, CITTA STATO e DISTRETTO DI VENDITA Convergenza 454 2

3 Convergenza ridondante Una gerarchia in cui uno dei percorsi alternativi non comprende attributi intermedi non ha ragione di esistere. La convergenza è del tutto ovvia in virtù della transitività delle dipendenze funzionali. 455 Archi multipli Quando l associazione tra padre e figlio di unastessa gerarchia non è solo di tipo unoamolti occorre specificare la cardinalità dellarelazione con la notazione del doppio trattino. Un libro può essere scritto da uno o più autori e un autore può scrivere più libri

4 Archi opzionali Quando una associazione tra padre e figlio è definita solo per alcuni sottoinsiemi di eventi si dice opzionale. (Es. Taglia è un attributo valido solo per prodotti di tipo abbigliamento). L opzionalità può esistere verso un attributo o verso un intera dimensione (Es. la dimensione promozione può essere nulla in corrispondenza di alcune combinazioni di prodotto, negozio, città). 457 Dinamicità dei valori degli attributi Spesso accade che il valore di un attributo in una dimensione cambi (Es. cambia una categoria di prodotti). Questi cambiamenti incidono direttamente sulle interrogazioni che l utente può effettuare. (Es. nel dominio della fornitura, in data 1/1/2002 cambia il responsabile degli acquisti e un vecchio fornitore cambia nome). Questa situazione porta all individuazione di quattro scenari: 458 4

5 Dinamicità dei valori degli attributi Oggi per ieri: tutti gli eventi vengono riportati all attuale configurazione (tutti gli acquisti anche quelli precedenti al2002 vengono attribuite al nuovo responsabile e al nuovo fornitore). Ieri per oggi: tutti gli eventi vengono riportati alla configurazione precedente (tutti gli acquisti vengono attribuiti al vecchio responsabile e al vecchio fornitore). Oggi o ieri: ciascun evento viene riportato alla configurazione assunta dalla gerarchia nell istante di tempo in cui si è verificata (gli acquisti prima del 2002 vengono attribuite al vecchio responsabile e al vecchio fornitore, mentre quelle avvenute dal 2002 in poi vengono attribuite al nuovo responsabile e al nuovo fornitore). Oggi e ieri: vengono considerati solo gli eventi riferiti alla parte di gerarchia rimasta immutata (non vengono considerati gli acquisti del nuovo responsabile e del nuovo fornitore). 459 Misure In un ambiente di Data Warehousing è possibile individuare tre tipi di misure: 1. Misure di f lusso. Si riferiscono ad un periodo, al c ui termine vengono valutate in modo c umulativo (N um. P rodotti venduti in un giorno, l incasso mensile, ilnumero di pazienti in un anno). 2.Misure di livello. Vengono valutate in particolari istanti di tempo, rappresentano istantanee di specifici aspetti del dominio applicativo (numero di prodotti in magazzino, numero di degenti ricoverati in un dato giorno). 3.Mi sure unit arie. V engono valutate in particolari istanti di tempo, ma sono espresse in termini relativi (prezzo unitario di un prodotto, percentuale di sconto)

6 Operatori di aggregazione 461 Additività semi-additività non aggregabilità L aggregazione richiede di definire degli operatori capaci di comporre i risultati delle misure quando si aggregano gli a ttributi dimensiona li (Es. le ve ndite de l mese riporta la somma delle vendite di ogni giorno). Non tutte le misure sono additive! Una misura è detta additiva su una dimensione quando i sui valori possono essere aggregati lungo la corrispondente gerarchia tramite l operatore di somma, altrimenti è detta non-additiva. Una m isura non-additiva è non-aggregabile se nessun operatore di aggregazione può essere usato su di essa

7 Additività e notazione grafica Vengono esplicitate solo le eccez ioni, la misura viene collegata alla dimensione su cui non è additiva tramite una linea tratteggiata etichettata con gli eventuali operatori. 463 Esempio 464 7

8 Problema Come costruire un DFM a partire dagli schemi delle sorgenti operazionali e dai requisiti utente 465 Fasi della progettazione concettuale 1. Definizione dei fatti 2. Per ciascun fatto 1. Costruzione dell albero degli attributi 2. Potatura e innesto dell albero degli attributi 3. Definizione delle dimensioni 4. Definiz ione delle misure 5. Creazione dello schema di fatto (DFM) 466 8

9 Definizione dei fatti La definizione dei fatti può essere svolta attraverso diverse strade: Da schemi concettuali E/R Da schemi logici E/R Da schemi XML 467 Progettazione da schemi concettuali E/R 468 9

10 1 Definizione dei fatti 469 Scelta dei fatti La scelta dei fatti dipende in massima parte dal dominio applicativo e dai requisiti utente (analisi che l utente vuole poter eseguire). Ciascun fatto individuato nello schema sorgente diventa radice di un differente schema di fatto

11 Algoritmo di costruzione albero Dato uno schema concettuale E/R sorgente è possibile automatizzare una procedura capace di navigare ricorsivamente le dipendenze funzionali costruendo l albe ro de gli attributi corrispondenti. Per ogni entità si crea la radice costituita dall identificatore dell entità e che sarà collegata con il fatto F. A questa gli si aggiunge un vertice figlio per ogni suo attributo. Per ogni associazione R che esce da E con cardinalità massima 1 e diretta verso un altra entità G, si aggiungono a v tanti figli quanti sono gli attributi di R. Poi si ripete il procedimento per G e cosi via fino a esaminare tutte le entità dello schema concettuale E/R. 471 Pseudo-codifica algoritmo di costruzione albero

12 Schema concettuale E/R 473 Albero degli attributi Albero degli attributi per lo schema delle vendite. La radice 474 È in grigio 12

13 Flusso operativo della procedura traduci per l esempio vendite 475 Casi particolari Entità padre-figlio (selfreferencing) Associazioni n-arie Associazioni cicliche Gerarchie

14 Esempio Esempio

15 Esempio Esempio

16 Potatura e innesto Significa manipolare l albero per modifica rne la struttura e la granularità. La potatura di un ve rtice v si e ffe ttua e lim ina ndo l inte ro so ttoa lbe ro con radice in v. L innesto del vertice v, con padre v1 viene effettuato collegando tutti i figli di v direttamente a v1 ed eliminando v. 481 Osservazioni Quando un vertice opzionale viene innestato, tutti i suoi figli ereditano il trattino di opzionalità. Potare o innestare un figlio della radice significa rendere più grossolana la granularità de l fatto. Se viene innestato un vertice con più figli si ha po te nzialmente un aumento de l numero de lle dimensioni

17 Esempio 483 Esempio

18 Ultimi accomodamenti A volte può essere necessario ulteriori manipolazioni dell albero degli attributi. In particolare puòessere necessario modificare la struttura dell albero sostituendo il padre di un certo nodo modificando una dipendenza funzionale tra gli attributi. 485 Definizione delle dimensioni Le dimensioni determinano in che modo gli eventi potranno essere aggregati significativamente per il processo decisionale. Devono essere scelte nell albero degli attributi tra i vert ici figli della radice (possono corrispondere ad attributi discreti o a intervalli discreti o continui). Definiscono la granularità degli event i primari

19 Esempio

20 Grana transazionale o temporale Quando la granularità degli eventi dello schema di fatto coincide con quella degli schemi logici si dice che il DW è a grana transazionale al contrario quando la granularità degli schemi di fatto sono l aggregazioni di due o più transazioni dello schema sorgente si dice a grana temporale. 489 Tempo come dimensione chiave Il tempo è una dimensio ne chia ve pe r il DW ed è quasi sempre presente, tuttavia c è una profonda differenza su come questa viene intesa. Ciò dipende dagli schemi sorgenti e da come si è scelto di impostare il campo d indagine. Se il risultato finale deve essere un analisi nel tempo dei fatti accaduti il DW sarà detto storico a l contra rio se si de ve studia re lo sta to a ttua le di un contesto viene detto snapshot. Nel primo caso i dati cadenzalmente aggiunti a quelli presenti tenendo traccia delle modificazioni avvenute, nel secondo caso le versioni dei dati vengono continuamente sostituiti ad ogni aggiornamento

21 Definizione delle misure 491 Generazione dello schema di fatto (1)

22 Esempio 493 Esempio

23

24 Attributi cross-dimensionali e opzionali 497 Generazione dello schema di fatto (2) Identificazione delle additività semiadditività e non aggregazione delle misure presenti nello schema, considerando tutte le coppie dimensione-misura

25 Progettazione da schemi logici relazionali Partendo da schemi logici la progettazione concettuale non cambia. Viene ridefinito l algoritmo di creazione dell albero degli attributi che si baserà sullo schema relazionale della base dati operazionale. Il processo risulta più complesso in quanto gli schemi logici hanno meno potere descrittivo di uno schema concettuale (spesso però è l unico documento a disposizione del progettista). 499 Fasi della progettazione di un DW Analisi e riconciliazione delle fonti dati II. Analisi dei requisiti III. Progettazione concettuale IV. Raffinamento del carico di lavoro, validazione dello schema concettuale V. Progettazione logica VI. Progettazione dell alimentazione VII. Progettazione fisica

26 Modellazione logica Le strutture dimensionali possono essere rappresentate utilizzando due distinti modelli logici: Relazionale ROLAP (Relational On- Line Analytical Processing); Multidimensionale MOLAP(Multidimensional On-Line Analytical Processing); 501 Lo schema a stella La modellazione multidimensionale è basata sul cosiddetto schema a stella e sulle sue varianti. Definizione: uno schema a stella è composto: Un insieme di relazioni DT1,DTn, chiamate dimension table che corris pondono alle dimensioni. O gni DTi è caratterizzata da una chiave primaria di e da un insieme di attributi che descrivono le dimensioni di analisi a diversi livelli di aggregazione. Una relazione FT, chiamata fact table, c he importa le c hiavi primarie di tutte le dimension table. La chiave primaria di FT è data dalla combinazione delle chiavi esterne alle dimensioni o da una chiave propria ( chiave surrogata.. Kimball)

27 Osservazioni L aspetto più rilevante di questa soluzione è la forte denormalizzazione limitata alle dimension table. Per limitare questo fenomeno si può utilizzare lo schema a fiocco di neve (snowflake schema). Si ottiene eliminando progressivamente alcune delle dipendenze funzionali transitive presenti nelle dimension table 503 Viste È possibile aumentare le prestazioni del sistema pre-aggregando i dati di maggior interesse e/o di uso comune in strutture dette viste. Le viste primarie definite da pattern primari contengono dati dettagliati mentre le viste secondarie contengono dati aggregati. Per richiedere dati aggregati (vendite del mese) è molto più efficiente interrogare una vista secondaria precalcolata!

28 Attenzione Scenari temporali

29 507 Scenario

30

31 Terza soluzione È la più sofisticata, ma da supporto a tutti gli scenari temporali visiti. La sua realizzazione richiede la storicizzazione completa della gerarchia e non può essere basata sul classico schema a stella. Occorre aggiungere alle dimensioni tre attributi (campi): una coppia di timestamp che indichino l intervallo di validità di una tupla, un campo master per individuare tutte le tuple coinvolte in una sequenza di modifiche (riporta, per ogni record modificato, il valore di chiave della tupla da cui il record ha avuto origine. I record primigeni riportano nel campo master il valore della propria chiave)

32

33 Progettazione Logica In questa fase vengono definite le strutture dati in base al modello logico prescelto attuando varie forme di ottimizzazione. Lo schema logico viene determinato a partire dallo schema concettuale. Occorre dimenticare tutte le tecniche progettuali assimilate per la progettazione di data base operazionali. In contrasto perché diversi sono gli obiettivi che si devono raggiungere. La progettazione logica influisce sulle prestazioni del sistema finale. 515 Fasi della progettazione logica Traduzione degli schemi di fatto in schemi logici: schemi a stella, a fiocco di neve, schema constellation. Materializzazione delle viste. Frammentazione verticale e orizzontale delle fact table

34 Traduzione degli schemi di fatto Regola generale: uno schema di fatto può essere modellato in ambito relazionale mediante uno schema a stella in cui la fact table contiene tutte le misure e gli attributi descrittivi direttamente collegati al fatto, e per ogni gerarchia viene creata una dimension table che ne contiene tutti gli attributi

35

36

37

38

39

40

41

42

43

44 537 Fasi della progettazione di un DW Analisi e riconciliazione delle fonti dati II. Analisi dei requisiti III. Progettazione concettuale IV. Raffinamento del carico di lavoro, validazione dello schema concettuale V. Progettazione logica VI. Progettazione dell alimentazione VII. Progettazione fisica

45 Fasi della progettazione dell alimentazione 1. Dalle sorgenti operazionali al livello riconciliato: fase più complessa in cui devono essere progettate sia le procedure di trasformazione definite durante la fase dell integrazione, sia le procedure di pulizia dei dati (data cleaning). 2. Dal livello riconciliato al livello del data mart: vengono definite procedure che permettono di confrontare i dati del livello riconciliato con lo schema a stella del DW. Oltre alle procedure di denormalizzazione e delle chiavi surrogate, si definiscono anche le procedure di materializzazione delle viste secondarie (aggregate) oltre che di quelle primarie

46

47 Documentazione di progetto e caso di studio Vedi pagine del libro. Capitolo 13, Business intelligence

48 Business intelligence e DM Business intelligence: disciplina che consente ai decisori aziendali di capire, attraverso soluzioni software, i fattori chiave del business e conseguentemente di prendere le migliori decisioni in quel momento. 2 fattori chiave: componente logica e componente scientifica 545 Componenti tecnologica -> superare i problemi dovuti alla numerosità dei dati Scientifica -> il decisore deve essere in grado di indirizzare l analisi individuando i fattori critici e utilizzare le tecniche più appropriate per ottenere le informazioni Profilo sia tecnico che manageriale

49 Il dw Consente di gestire serie storiche dei dati; Permette di effettuare analisi; multidimensionali e rapide; Si basa su un modello semplice che può essere facilmente assimilato dai manager È alla base dei sistemi per il calcolo degli indicatori. 547 Il dw L intervallo di aggiornamento dati è raramente più breve della settimana/giorno È poco efficiente quando è utilizzato per interrogazioni complesse fuori dal modello multidimensionale Registra solo il passato e non consente di formulare scenari di previsione

50 Adozione di nuove soluzioni in grado di: Fornire tecniche più potenti e non basate sul modello multidimensionale Fornire la possibilità di effettuare analisi dei dati provenienti da sorgenti informative con aggiornamenti rapidi; Possibilità di prevedere il futuro e non solo di analizzare il passato 549 Business intelligence

51 Proposte Analisi what- if Data mining: insieme di tecniche evolute in grado di individuare automaticamente caratteristiche nascoste nei dati Business Performance Monitor: framework per il controllo della performance aziendale che permette di condividere la strategia aziendale a tutti i livelli 551 Analisi What-if Rispondere a domande tipo: Se applicassi lo sconto del 5% al prezzo unitario del prodotto x cosa avverrebbe sul prodotto y? Come varierà il costo del personale tra 5 anni seguendo l attuale piano delle assunzioni?

52 Analisi what-if (2) Modello realizzato in modalità iterativa definendone una prima versione validata su un insieme di dati storici (training set) Riscontrare le eventuali differenze di comportamento individuate rispetto a un secondo insieme di dati (test set) Reiterare il processo fino a che non si raggiunge un sufficiente livello di aderenza al comportamento reale Il DW viene utilizzato come fonte dati per la validazione 553 Analisi what-if (3) Il modello può essere elaborato secondo: Tecniche induttive : ricavando il modello basandosi sul comportamento che il sistema ha avuto durante un intervallo temporale. Se finora è andata così andrà così anche dopo Tecniche deduttive: sono mirate all identificazione e alla caratterizzazione dei rapporti di tipo causa ed effetto tra i componenti del sistema

53 Data Mining Il data mining è il processo per estrarre conoscenza da banche dati di grandi dimensioni tramite l applicazione di algoritmi che individuano le associazioni nascoste tra le informazioni e le rendono visibili In poche parole è l attività orientataa scoprire informazioni nascoste nei dati 555 Applicazioni di data mining Ricerche di mercato: studio sulle propensioni del cliente, analisi dello stile di vita, valutazione della soddisfazione del cliente, predizione dei risultati elettorali Studio dell efficacia del marketing: click-stream-analysis per monitorare l uso del sito web Segmentazione del mercato per l identificazione di profili cliente significativi Analisi delle abitudini di acquisto per organizzare la merce sugli scaffali Pianificazione aziendale per la gestione dei carichi di lavoro, il controllo dei costi, il budget, la previsione delle entrate, il controllo dei magazzini

54 Esempi Modellazione degli investimenti per predire gli andamenti di borsa Rilevamento di attività fraudolente Valutazione delle categorie di rischio nei settori assicurativi e concessione prestiti Riconoscimento di similarità tra sequenze di eventi Valutazione di casi clinici e studio di modelli epidemiologici 557 Considerazioni Il data mining raccoglie un insieme di tecniche e di metodologie (logica fuzzy, reti neuronali, algoritmi genetici,..) per aiutare l utente ad individuare tutti i modelli significativi presenti (pattern) quali: Sequenze ripetute Correlazioni e associazioni tra i dati Raggruppamenti interessanti

55 Considerazioni (2) L utente ha il compito di specificare cosa e dove vuole ricercaree lasciare che uno strumento automatico si sobbarchi il peso della computazione. Consente di analizzare automaticamente grosse quantità di dati Il data mining può essere utilizzato nel DW con fini descrittivi, ma anche con fini predittivi, ossia per determinare i valori futuri di alcune variabili o quelli sconosciuti di altre 559 Knowledge Discovery Elementi fondamentali del processo di estrazione della conoscenza son i dati e i parttern. Con il termine dati si intende un insieme di descrizioni e di eventi derivati da una base dati, da un datawarehouse o da un data stream Un pattern è una rappresentazione sintetica e ricca di semantica di un insieme di dati

56 pattern in altri termini un pattern è un espressione codificata in un linguaggio opportuno che descrive le informazioni derivate dai dati Un pattern in genere esprime uno schema ricorrente nei dati, o la sua atipicità 561 Esempi di pattern in linguaggio naturale I clienti maschi di età compresa tra 8 e 15 anni comprano videogiochi I clienti con uno stipendio mensile inferiore a 800 euro non rispettano le scadenze nei pagamenti delle rate

57 Il processo di KD Selezione e campionamento dei dati di interesse (possono essere presi da qualsiasi fonte dati) Trasformazione e pulitura Data Mining: applicazione dell algoritmo prescelto opportunamente parametrizzato per generare i pattern Valutazione: I pattern vengono esaminati, verificati e validati. Se i risultati non sono soddisfacienti, si innesca una retroazione verso i passi precedenti per tarare meglio i parametri dell algoritmo 563 Algoritmi di DM Basati su: Regole associative Clustering Classificatori o alberi decisionali Serie temporali

58 Regole associative Consentono di determinare le regole di implicazione logica presenti nella base dati e di individuare i gruppi di affinità tra oggetti. Si basa sulla regola: X=>Y (X implica Y) Dove X e Y sono insiemi di elementi da analizzare. Il significato di questa regola è che le transazioni che contengono gli elementi in X tendono a contenere anche quelli in Y 565 Misure Supporto: percentuale degli eventi contenenti sia X che Y Supporto (X=>Y)=Numero di eventi contenenti X e Y / Numero di eventi totale Confidenza: percentuale degli eventi tra quelli che contengono X che contengono anche Y Confidenza(X=>Y)=Numero di eventi contenenti X e Y / Numero di eventi contenenti X

59 Esempio Market Basket Analysis ovvero l analisi dei prodotti acquistati insieme dai clienti volta a determinare le correlazioni più frequenti tra i prodotti. Si supponga di disporre di una base dati che contenga un insieme di transazioni di acquisto ciscuna delle quali descritta dall insieme dei prodotti acquistati 567 Esempio (Birra=>Patatine), supporto = 70%, confidenza=85% Indica che l 85% dei clienti che acquistano Birra acquistano anche patatine, e che questo abbinamento si riscontra nel 70% delle transazioni registrate

60 Algoritmo Normalmente, estrarre regole associative significa determinare tutte le regole che presentano supporto e confidenza superiori ad una data soglia Diversi algoritmi (il più noto Apriori) si basano sulla determinazione degli insiemi degli item più frequenti Tra gli ambiti di applicazione: Studio delle abitudini di acquisto per la pubblicità mirata L organizzazione della merce sugli scaffali Lo studio della variabilità delle vendite in assenza di un certo prodotto 569 Clustering Data una popolazione di oggetti rappresentabili come punti in uno spazio multidimensionale in cui ciascuna dimensione corrisponde ad una caratteristica (feature) di interesse, e data una funzione che esprima la similarità o vicinanza tra due punti, effettuare un clustering significa raggruppare gli oggetti in un ridotto numero di insiemi (cluster) che caratterizzino meglio la popolazione

61 Rappresentazione clustering Possiamo dire che il clusteringindividua le somiglianze tra oggetti. Ciascun cluster contiene oggetti molto simili tra loro, mentre oggetti appartenenti a cluster differenti sono dissimili o molto lontani 571 Ambiti di applicazione Segmentazione della clientela in categorie al fine di fornire per ciascuna un migliore servizio o per la promozione mirata di nuovi prodotti Valutazione di casi clinici sulla base della sintomatologia L analis i epidemiologica e la determinazione delle aree a rischio geologico Vedi tutorial : Creazione di un modello di data mining di tipo OLAP con l'algoritmo Microsoft Clustering (tutorial analysis services sql 572 server2000) 61

62 Alberi decisionali Gli alberi decisionali rappresentano un particolare tipo di classificatore e vengono usati per la comprensione di un particolare fenomeno poiché permettono di classificare, in ordine di importanza le cause che portano al verificarsi di un evento. 573 Algoritmi di classificazione Alberi decisionali Un classificatore è un algoritmo che dato un insieme di classi note a priori e un insieme di oggetti etichettati con il nome della classe di appartenenza (training set) permette di tracciare un profilo descrittivo basato sulle feature dei dati contenuti nel training set. Il modello generato, viene poi utilizzato per assegnare alla classe appropriata altri oggetti esterni al training set. E particolarmente adatto per effettuare previsioni

63 Alberi decisionali In un albero decisionale ciascun nodo intermedio modella una scelta, tipicamente attraverso una condizione che confronta una condizione con una costante, ciascun arco in unscita da un nodo rappresenta un possibile esito della condizione ivi contenuta, ciascuna foglia rappresenta una decisione finale. 575 Esempio

64 Alberi decisionali 577 Esempi di applicazioni Valutazione di categorie di rischio dei clienti che concedono mutui e prestiti Classi di rischio dei clienti di una assicurazione Vedi esercitazione Visualizzazione della dimensione e del cubo virtuale del modello di data mining di tipo OLAP (tutorial sqlserver2000)

65 Serie temporali Individuazione di pattern ricorrenti o atipici in sequenze di dati complesse. I campi di applicazione spaziano in più campi dalla economia, alla meteorologia all astrofisica Tipi di interrogazioni collegate alle serie temporali: Corrispondenza completa: in cui la sequenza cercata e le sequenze presenti hanno la stessa lunghezza Corrispondenza parziale: in cui la sequenza cercata può essere considerata una sottosequenza di quelle recuperate nel db 579 Ambiti di applicazione Identificazione di schemi associati alla crescita dei titoli di borsa Rilevazione anomalie in un sistema di monitoraggio Studio delle correlazioni tra serie temporali distinte Identificazione di aziende con modelli di sviluppo simili Analisi dei percorsi di navigazione in siti web

66 Business Performance Management Insieme di attività atte a misurare le proprie prestazioni incoraggiando l efficacia dei processi aziendali e l uso efficiente delle risorse umane, materiali ed economiche. Ottimizzare l effic ienza e l efficacia dei processi attraverso Associazione di KPI per ogni obiettivo aziendale e il relativo valore obiettivo

67 Ricordate che l innovazione è per il 10% ispirazione e per il 90% traspirazione ossia Fatica e Lavoro Jacob Nielsen Jacob Nielsen Web usability Buon.. Lavoro