Misure (parte II) Gerarchie Incomplete

Transcript

1 Sistemi Informativi Avanzati Anno Accademico 2013/2014 Prof. Domenico Beneventano Misure (parte II) Gerarchie Incomplete Esempio Schema di Fatto STUDENTE(STUDENTE,,REGIONE,), DF:! REGIONE (,,) REGIONE! APPELLO(APPELLO,:) (,STUDENTE:STUDENTE,APPELLO:APPELLO,VOTO) (1,1) DEL (1,N) APPELLO (1,1) DEL (1,N) (1,1) DEL VOTO (1,N) STUDENTE (1,1) IN (1,N) (1,1) DEL (1,N) REGIONE REGIONE NUM_APPELLI NUM_ESAMI NUM_STUDENTI 50

2 Nuova Dimensione : (caso 1) " DBO: il dipende dalla e dal (,,)... (:,,) APPELLO (1,1) DEL (1,N) (1,N) CON (1,1) " La dimensione dipende dalle altre dimensioni: nel calcolo delle non aggregabilità (NA) la dimensione non entra in gioco REGIONE SCHEMA EQUIVALENTE NUM_APPELLI NUM_ESAMI NUM_STUDENTI 51 Star Schema e SQL-OLAP FACT_TABLE(:DT_,:DT_,,, NUM_APPELLI,NUM_ESAMI,,NUM_STUDENTI) DT_(,REGIONE,) DT_(,) " Realizzare in SQL-OLAP il reticolo di roll-up relativo a :,,, 1. La misura NUM_APPELLI non è mai calcolabile in quanto il suo insieme NA contiene che non è di raggruppamento 2. Occorre considerare le FD tra gli attributi " Nella soluzione i dettagli possono essere omessi SELECT,,, =SUM(), NUM_APPELLI=SUM(NUM_APPELLI), NUM_STUDENTI=CASE WHEN GROUPING()=0 THEN SUM(NUM_STUDENTI) ELSE 'NonCalcolabile END, FROM FACT_TABLE NATURAL JOIN DT_ GROUP BY,,, WITH CUBE HAVING NOT ( GROUPING()=0 AND GROUPING()= 1 AND GROUPING()=1 OR GROUPING()=0 AND GROUPING()= 1 ) 52

3 Nuova Dimensione : (caso 2) " DBO: il dipende dalla e dallo STUDENTE (,STUDENTE:STUDENTE, APPELLO:APPELLO,VOTO, ) " La dimensione non dipende dalle altre dimensioni: deve essere inclusa nel calcolo delle non aggregabilità (NA) " Misure 1. NUM_APPELLI=count(DISTINCT APPELLO) Non Additiva rispetto a 2. NUM_STUDENTI=count(DISTINCT STUDENTE) Additiva rispetto a perché STUDENTE,! REGIONE NUM_APPELLI NUM_ESAMI NUM_STUDENTI 53 Nuova Misura: dcount(regione) (caso 1) " Allo schema di fatto viene aggiunta la misura NUM_REGIONI= COUNT(DISTINCT REGIONE) REGIONE NUM_APPELLI NUM_ESAMI NUM_STUDENTI (D) NUM_REGIONI " NUM_REGIONI è una misura derivata: il suo valore è calcolato sulla base della dimensione # È calcolabile rispetto a tutte le dimensioni # Si noti che REGIONE non è un figlio diretto della radice dell albero degli attributi: per la FD:! REGIONE, il valore di NUM_REGIONI è invariato (ed in particolare vale 1) per tutti i pattern che contengono! 54

4 Nuova Misura: dcount(regione) (caso 2) " Si considera ancora NUM_REGIONI= COUNT(DISTINCT REGIONE) ma al posto della dimensione si considera NUM_APPELLI NUM_ESAMI NUM_STUDENTI NUM_REGIONI " NUM_REGIONI non è più una misura derivata ma una misura normale definita con dcount di cui occorre valutare l aggregabilità # NUM_REGIONI=count(DISTINCT REGIONE) Additiva solorispetto a perché! REGIONE $ Valutazione l aggregabilità delle altre due misure - NUM_APPELLI e NUM_STUDENTI - rispetto alla nuova dimensione 55 Misure di flusso e misure di livello " Nel caso generale, è necessario definire misure più complesse, non direttamente riconducibili agli standard operatori SQL DBO di una Università: ISCRIZIONE(STUDENTE,ANNO,) " Schema di fatto ISCRIZIONE con: " Dimensioni 1. ANNO 2. " Misure 1. NUM_ISCR= COUNT(*) 2. NUM_STUD= COUNT(DISTINCT STUDENTE) Schema di Fatto temporale No Dipendenze Funzionali tra le dimensioni 3. NUM_MATR_UNIV numero di prima iscrizione all università 4. NUM_MATR_FAC numero di prima iscrizione ad una facoltà 56

5 " Per queste due misure complesse si calcola prima un attributo booleanno S/N e quindi si somma " Per controllare anche i valori aggregati si usa un WTH CUBE NUM_MATR_FAC= SUM(CASE WHEN PRIMA_ISCRIZ S_N='S' THEN 1 ELSE 0 END) NUM_MATR_UNI= SUM(CASE WHEN PRIMA_ISCRIZ_UNIVERSITA_S_N='S' THEN 1 ELSE 0 END) 57 Misure di flusso e di livello: addittività FACT_TABLE ANNO ISCRIZIONE NUM_ISCR NUM_STUD NUM_MATR_UNIV NUM_MATR_FAC " In base alle proprietà degli operatori count e dcount : 1. NUM_ISCR= COUNT(*) : addittiva rispetto a tutte le dimensioni 2. NUM_STUD= COUNT(DISTINCT STUDENTE) addittiva rispetto a in quanto { STUDENTE, ANNO }! " È possibile verificare che anche NUM_MATR_UNIV e NUM_MATR_FAC risultano addittive rispetto a tutte le dimensioni $ NUM_ISCR, NUM_MATR_UNIV e NUM_MATR_FAC: misure di flusso $ NUM_STUD : misure di livello 58

6 Misure di flusso, di livello e unitarie " L aggregazione richiede di definire un operatore adatto per comporre i valori delle misure che caratterizzano gli eventi primari in valori da abbinare a ciascun evento secondario " Da questo punto di vista è possibile distinguere tre categorie di misure: # Misure di flusso: si riferiscono a un periodo, al cui termine vengono valutate in modo cumulativo (il numero di prodotti venduti in un giorno, l incasso mensile, il numero di studenti iscritti in un anno) # Misure di livello: vengono valutate in particolari istanti di tempo (il numero di prodotti in inventario, il numero di matricole di una facoltà) # Misure unitarie: vengono valutate in particolari istanti di tempo, ma sono espresse in termini relativi (il prezzo unitario di un prodotto, la percentuale di sconto, la percentuale di studenti stranieri) Gerarchie temporali Gerarchie non temporali Misure di flusso SUM, AVG, MIN, MAX SUM, AVG, MIN, MAX Misure di livello AVG, MIN, MAX SUM, AVG, MIN, MAX Misure unitarie AVG, MIN, MAX AVG, MIN, MAX 59 Misura aggregabile con differenti operatori " Schema INVENTARIO con misure 1. Livello (misura di livello) 2. Quantità Ingresso (misura di flusso) 3. Prezzo Unitario (misura unitaria) anno mese data peso confezione AVG, MIN prodotto tipo INVENTARIO livello quantità ingresso (C) PU (AVG) reparto categoria marca unità per pallet indirizzo magazzino città stato! " La misura Livello è addittiva sulle dimensioni Prodotto e Magazzino, mentre rispetto alla dimensione Data si possono usare gli operatori AVG e MIN " Se per Data si usa MIN, nel calcolo di Livello per {Città, Mese} si deve scegliere se applicare prima MIN e poi SUM (somma dei minimi) o viceversa (minimo della somma) 60

7 Misura aggregabile con differenti operatori Pattern Primario: {Magazzino, Prodotto,Data} {Magazzino, Mese} (per Livello si usa MIN) {Città, Data} (per Livello si usa SUM) " Per Livello, nel Pattern {Città, Mese} si hanno due possibilità: 1. Minimo della Somma = Somma dei Minimi = 40 " Nel sistema OLAP di SQL-SERVER (Analysis Services, linguaggio MDX) è possibile definire: $ formule personalizzate di rollup per i vari livelli di una dimensione $ l ordine di priorità per dire a quale aggregazione dare precedenza 61 Gerarchie Incomplete " Questo termine indica una gerarchia in cui per alcune istanze risultano assenti uno o più livelli di aggregazione Gerarchia Incompleta Su Citta MAGAZZINO L 1 L 2 L 3 " Una misura additiva permette di calcolare dati aggregati a partire da dati parzialmente aggregati: non è vero nelle gerarchie incomplete $ È fondamentale considerare gerarchie complete 62

8 Definizione di Gerarchia Completa " Sia L1,L2,!, Ln un percorso all interno di una gerarchia " Per definizione, ogni arco è una associazione uno-a-molti, cioè 1. card-max(li,li+1)=1 2. card-max(li+1,li)=n " La definizione di gerarchia completa viene data considerando le cardinalità minime coinvolte nelle associazioni uno-a-molti. " La gerarchia è completa se, per ogni suo percorso L1,L2,!, Ln, per 1 <= i <= n-1, si ha: 1. card-min(li,li+1) = 1 2. card-min(li+1,li) = 1 63 Gerarchie Incomplete vs Archi Opzionali " Importante differenza tra gerarchie incomplete ed archi opzionali: " Arco opzionale: per alcune istanze, manca il valore di un attributo e quelli di tutti gli eventuali discendenti di tale attributo MAGAZZINO " Gerarchia incompleta: per alcune istanze, manca il valore di uno o più attributi, in una posizione generica della gerarchia MAGAZZINO " Due modellazioni equivalenti per la stessa gerarchia: MAGAZZINO MAGAZZINO 64

9 Gerarchie Incomplete " Come per gli archi opzionali, vengono gestite a livello estensionale inserendo opportuni valori fittizi per renderle complete " Il problema è più complesso rispetto al caso di attributi opzionali poiché la mancanza di un valore di un attributo non implica la mancanza dei successivi nella gerarchia di aggregazione " È necessario mantenere la consistenza rispetto al roll-up " Sono possibili più soluzioni che si differenziano per il tipo di valore fittizio (segnaposto) inserito 65 Gerarchie Incomplete " Bilanciamento per esclusione: in tutte le tuple viene inserito un segnaposto generico (es. altro) # Preferibile quando il numero di dati mancanti è elevato " Viene violata la semantica del roll-up: aggregando i dati si ha un maggiore livello di dettaglio 66

10 Gerarchie Incomplete " Bilanciamento verso il basso: i valori mancanti vengono rimpiazzati con il valore dell attributo che lo precede nella gerarchia # Preferibile quando il numero di dati mancanti è basso " L interpretazione dei report è complicata dal fatto che appariranno valori non corrispondenti al livello di aggregazione prescelto 67 Gerarchie Incomplete " Bilanciamento verso l alto: i valori mancanti vengono rimpiazzati con il valore dell attributo che lo seguenella gerarchia # Preferibile quando il numero di dati mancanti è elevato " I report risultano più leggibili rispetto alla soluzione precedente in quanto presentano un numero inferiore di valori 68

11 Esercizio (16/04/2013 ) TELEFONATA(NP,,DA_CHIAMANTE:SIM, A_CHIAMATA:SIM,DURATA) SIM(SIM,PREFISSO:PREFISSO, UTENTE:UTENTE, TARIFFA) PREFISSO(PREFISSO, OPERATORE) UTENTE(UTENTE, ) Schema di fatto TELEFONATA con dimensioni D = {, SIM_CHIAMANTE, OPERATORE_CHIAMATO, UTENTE_CHIAMATO } e misure DURATA_MEDIA: durata media delle telefonate NumSIM_CHIAMANTI: numero delle SIM chiamanti, count(distinct DA_CHIAMANTE) NumSIM_CHIAMATE : numero delle SIM chiamate, count(distinct A_CHIAMATA) OPERATORE OPERATORE_CHIAMATO TELEFONATA NumSIM_CHIAMANTI NumSIM_CHIAMATE DURATA_MEDIA PREFISSO SIM_CHIAMANTE TARIFFA UTENTE UTENTE_CHIAMATO 69