Introduzione ad OLAP Metodi e Modelli per il Supporto alle Decisioni Paolo Avallone IT Specialist Sr Consulting DB2, Data Management

OLAP Data Management Software Introduzione ad OLAP Metodi e Modelli per il Supporto alle Decisioni Paolo Avallone IT Specialist Sr Consulting DB2, Data Management Dicembre 2004

Obiettivo L obiettivo che si pone la metodologia OLAP è quello di fornire un supporto efficiente all analisi multidimensionale dei dati, intesa come l analisi delle informazioni prendendo in considerazione più dimensioni contemporaneamente 2

Cosa vuol dire OLAP Il termine OLAP è l acronimo di On-Line Analytical Processing E il nome con cui sono comunemente identificati strumenti e tecniche di analisi di grosse quantità di dati OLAP costituisce uno strumento di supporto alle decisioni di tipo manageriale 3

Cosa vuol dire OLAP (E. F. Codd) OLAP è il nome dato all analisi dinamica dell impresa necessaria per creare, manipolare, animare e sintetizzare informazioni dagli Enterprise Data Models. Questo processo consente di scoprire nuove relazioni tra le variabili, di identificare i parametri necessari alla gestione di grosse quantità di dati, di creare un numero illimitato di dimensioni di specificare condizioni ed espressioni che coinvolgono, contemporaneamente, più dimensioni. 4

Cosa vuol dire OLAP La definizione OLAP può essere riassunta in cinque parole chiave: Fast Analysis Shared Multidimensional Information Le cinque parole sono usate per esprimere il seguente concetto: Fast analysis of shared multidimensional information 5

Cosa vuol dire OLAP FAST Una applicazione OLAP deve essere molto veloce In ogni caso, non sempre è possibile ottenere una elevata velocità di risposta in presenza di grosse quantità di dati ANALYSIS Il sistema può far fronte ad ogni logica di busine$$ e di analisi statistica importanti per l applicazione e per gli obiettivi dell utente E necessario permettere all utente di definire nuovi calcoli ad hoc come parte dell analisi e riportare i risultati in qualunque modo desiderato 6

Cosa vuol dire OLAP SHARED il sistema deve fornire tutti i requisiti di sicurezza affinché ognuno possa accedere ai dati e, se è possibile avere un accesso ai dati in scrittura da parte di più utenti, deve essere in grado di gestire la concorrenza Nonostante la sua importanza è una delle principali debolezze dei prodotti OLAP i quali tendono ad assumere che tutte le applicazioni saranno read-only, con semplici controlli di sicurezza 7

Cosa vuol dire OLAP MULTIDIMENSIONAL E il requisito più importante Se si dovesse scegliere una parola per definire OLAP, questa sarebbe multidimensionale Il sistema deve fornire una vista concettuale multidimensionale dei dati, includendo pieno supporto per gerarchie e gerarchie multiple L approccio multimensionale è certamente il modo più logico per analizzare busine$$ e organizations Non è imposto nessun vincolo sul numero minimo di dimensioni, come non è imposto nessun vincolo sulla tecnologia del database 8

Cosa vuol dire OLAP INFORMATION E tutto ciò di cui necessita il sistema dovunque e comunque sia immagazzinato, proveniente dai dati dettagliati o aggregati 9

Dati Multidimensionali I data base relazionali sono organizzati secondo una lista di record Ogni record è suddiviso in colonne Un tipico esempio potrebbe essere una lista di utenti con le seguenti colonne: nome utente, numero utente, telefono, indirizzo, Utente Numero Telefono Indirizzo BERRO/VINCENZO 2133300000 350-7220 Via Cavour ALBERTI/ROSANNA 4211800000 266-7023 Via Roma BOCCHIO/PIETRO 3409200000 423-7700 Via Emilia CELAURO/ALFONSO 4018700000 267-4040 Via Napoli DIA/TALLA 3737300000 250-7451 Viale Castro Pretorio AZZOLIN/ANTONIO 2613700000 267-4456 Via Kennedy 10

Dati Multidimensionali La tabella precedente ha diverse colonne, ogni colonna è relazionata ad un solo Numero La tabella ha una sola dimensione Se si volesse creare una matrice bi-dimensionale con Utente in verticale ed altri campi (come il Telefono) in orizzontale, si otterrebbe: 11

Dati Multidimensionali Consideriamo la seguente tabella contenente i dati relativi alla: Prodotto mele mele Regione abruzzo lazio Quantità 50 60 Quantità di vendite per ogni prodotto e per ogni regione mele mele meloni meloni lombardia sicilia abruzzo lazio 100 40 40 70 meloni lombardia 80 meloni sicilia 90 ciliegie abruzzo 90 ciliegie lazio 120 ciliegie lombardia 140 ciliegie sicilia 100 uva abruzzo 20 uva lazio 40 uva lombardia 60 uva sicilia 70 12

Dati Multidimensionali Una migliore rappresentazione delle informazioni contenute nella tabella precedente è ottenuta con una matrice bi-dimensionale Le dimensioni sono prodotto e regione Il valore quantità sono rappresentati dall intersezione delle due dimensioni abruzzo lazio lombardia sicilia mele 50 60 100 40 meloni 40 70 80 90 Quantità ciliegie uva 90 20 120 40 140 60 100 70 13

Dati Multidimensionali Supponiamo di voler estrarre le seguenti informazioni: quante mele sono state vendute in abruzzo?, quante ciliegie sono state vendute in sicilia? Per estrarre queste informazioni non c è bisogno di tabelle multidimensionali Se si volesse, invece, rispondere alla domanda: Quale è il totale di vendite per l abruzzo? Oppure Quale è il totale di ciliegie vendute? L operazione richiederebbe l estrazione di informazioni multiple aggregate fra loro 14

Dati Multidimensionali Se si considera un database di grandi dimensioni con migliaia di prodotto, il tempo per estrarre l informazione diverrebbe molto alto Un database relazionale può analizzare centinaia di record al secondo Un database multidimensionale può analizzare un insieme di 10000 righe/colonne al secondo Per rispondere alla domanda: Quale è il totale di vendite per l abruzzo?, un database bi-dimensionale cerca semplicemente la colonna abruzzo ed esegue la somma 15

Terminologia Le dimensioni equivalgono ai campi di un database relazionale Le celle equivalgono ai record INPUTS INPUTS MEMBER DELLA DIMESIONE REGIONE OUTPUTS MEMBER DELLA DIMESIONE REGIONE OUTPUTS OUTPUTS MEMBER DELLA DIMESIONE PRODOTTI mele meloni ciliegie abruzzo 50 40 90 lazio 60 70 120 lombardia 100 80 140 sicilia 40 90 100 Totale 250 280 450 uva 20 40 60 70 190 Totale 200 290 380 300 1170 16

Gerarchie Nell esempio precedente era presente una semplice gerarchia per la dimensione Regione Totale Regione Abruzzo Lazio Lombardia Sicilia 17

Gerarchie E possibile avere anche gerarchie a più livelli di una stessa dimensione Totale Regione Abruzzo Lazio Lombardia Sicilia Roma Frosinone 18

Gerarchie La necessità di avere gerarchie multilivelli in una dimensione, invece di dimensioni addizionali, è che non si possono considerare omogenei entità come città, regione, stato Unire città e regioni nella stessa dimensione restituisce un risultato errato, in quanto i valori della città sono già inclusi in quelli delle regioni Lazio Roma Frosinone Sicilia Prodotti 19

Gerarchie La soluzione del problema potrebbe essere quella di separare, per esempio, città e stati in diverse dimensioni Concettualmente è più complicato All aumentare dei livelli aumentano anche le dimensioni del cubo Stato Città Prodotto 20

Gerarchie Il modo corretto è quello di usare gerarchie all interno delle dimensioni Tempo Prodotto 21

Il concetto di CUBO Il principale oggetto di una applicazione OLAP è il CUBO Un CUBO è una rappresentazione multimediale dei dati Un CUBO si compone di: Una sorgente dei dati Dimensioni Misure La progettazione di un CUBO è basata sui requisiti analitici dell utente. Una applicazione OLAP può supportare cubi differenti 22

Il concetto di CUBO La sorgente dei dati identifica e connette un cubo ad un database dove è presente l informazione Le dimensioni mappano le informazioni presenti nelle dimension table in una gerarchia di livelli, come ad esempio la dimensione GEOGRAFIA con i livelli di CONTINENTE, STATO, CITTA Le misure identificano i valori numerici provenienti dalla fact table che sono riassunti per l analisi, es. prezzo, costo, quantità 23

Definizione di FATTO E una collezione di dati collegati, consistente di misure e dati di contesto. Ogni fatto rappresenta un evento che può essere utilizzato per analizzare l andamento dei fenomeni di interesse per la propria organizzazione Le fact table contengono molte righe I dati primari sono numerici (raramente caratteri) Foreign multiple verso le dimension tables Dati statici 24

Definizione di DIMENSIONE E un entità o un insieme di entità correlate (e appiattite in un unica entità denormalizzata) usate dall utente per interpretare le misure di interesse. Rappresentano lo sfondo contestuale dei fatti (When, Where,Who, What, How) Le dimensioni non contengono tante righe come le fact tables I dati sono soggetti a cambiamenti Le dimension tables sono strutturate per permettere cambiamenti 25

Definizione di MISURA E l attributo numerico di un fatto. E un indicatore che l utente usa nelle sue analisi per misurare le prestazioni o il comportamento dell organizzazione relativamente alle Dimensioni 26

OLAP Data Management Software Il Sistema Informativo Interforze Introduzione ad OLAP I Data Mart Paolo Avallone IT Specialist Sr Consulting DB2, Data Management Dicembre 2004

Che cos è un Data Mart Un DW più piccolo che funziona indipendentemente o può essere interconnesso per formare un warehouse integrato un data mart è un sottoinsieme di un DWH che assiste un particolare dipartimento o una particolare funzione direzionale memorizza un sottoinsieme dei dati del DWH normalmente in forma molto aggregata utile ad un particolare dipartimento direzionale 28

Data Mart vs Data Warehouse Un data mart contiene meno informazioni e quindi è più facile navigare in essi Un data mart non contiene dati operativi Un data mart si focalizza solo sui requisiti di un particolare dipartimento 29

Perché un Data Mart Essi permettono agli utenti un accesso rapido alle informazioni usate da loro più frequentemente migliorando i tempi di risposta del sistema (essendo diminuito il volume dei dati da visitare) Forniscono strutture dati appropriate ad esigenze specifiche agevolando le tecniche di data mining. Il costo per la creazione e la gestione di un data mart è normalmente più basso di quello di un DWH 30

Star Schema (lo schema a stella) Consiste in una grande tabella centrale (tabella dei FATTI) circondata da un insieme di tabelle più piccole (tabelle delle Dimensioni) Ciascuna Dimensione ha la sua propria Chiave Primaria (PK) La PK di ciascuna Dimensione compare anche come chiave esterna (FK) nella tabella centrale dei Fatti Le tabelle delle Dimensioni forniscono un modo per vedere i dati da diverse prospettive 31

Star Schema - Esempio 32

Snowflake (lo schema a fiocco di neve) La variante nota con il termine schema a fiocco di neve consiste nella suddivisione delle tabelle delle dimensioni a livello degli attributi di aggregazione Si ottiene normalizzando una o più dimensioni dello star schema il che consente di avere un numero di tabelle maggiori ma di piccole dimensioni e normalizzate con conseguente semplicità di gestione in fase di popolazione ed aggiornamento delle tabelle Si riduce la dimensione e la cardinalità delle Dimension Table 33

OLAP Data Management Software Il Sistema Informativo Interforze Introduzione ad OLAP Analisi Multidimensionale Paolo Avallone IT Specialist Sr Consulting DB2, Data Management Dicembre 2004

Analisi Multidimensionale L analisi viene eseguita sui dati estratti dal DW o dal DM e rappresentata in forma multidimensionale E basata di solito su: Fatti: un concetto sul quale centrare l analisi Dimensione: una prospettiva lungo la quale effettuare l analisi Misura: una proprietà atomica di un fatto da analizzare 35

Un Esempio Si vuole rispondere alle seguenti domande: Quali eventi criminosi hanno mostrato crescite improvvise? Dove è necessario incrementare il controllo del territorio? L andamento di un particolare reato in una provincia mostra problemi da affrontare? Dove è necessario contrastare l andamento della criminalità? Come risulta l andamento delle rapine negli ultimi due mesi dell anno precedente? Dove è necessario contrastare maggiormente la criminalità? 36

Un Esempio Si può pensare ad un cubo, sulle cui dimensioni geometriche riportiamo le dimensioni di interesse: I Luoghi dove avvengono i delitti Il Tempo I Reati Dove è necessario contrastare maggiormente la criminalità? 37

I Punti di Vista Tale cubo è rivolto a chi: È interessato alle denunce di un determinato reato in tutte le regioni e in tutto il periodo di tempo preso in considerazione È interessato alle denunce di tutti i reati in tutte le regioni in un determinato periodo di tempo È interessato a conoscere le denunce di tutti i reati per un arco di tempo in una determinata regione È interessato alle denunce di un determinato reato, in una singola regione in un preciso periodo di tempo 38

Le Prospettive Le prime tre prospettive sono ricavabili fissando il valore di una delle tre dimensioni e aggregando i dati lungo le rimanenti due Tale modalità corrisponde ad una visualizzazione bidimensionale, tipo foglio elettronico L ultima prospettiva, si ottiene fissando un intervallo su ognuna delle tre dimensioni Un cubo 39

Le Prospettive Regione Regione Reati Tempo Regione Reati Reati Tempo Regione Reati Tempo Tempo 40

Approcci all OLAP L insieme dei dati da navigare è archiviato su una struttura dati a matrice dove sono registrate tutte le sintesi statistiche degli incroci multidimensionali possibili il viewer in questo caso chiede i dati direttamente al database multidimensionale insieme dei dati su cui navigare è registrato su una o più tabelle relazionali; i dati, in questo caso, sono acceduti tramite query su di essi, vengono effettuate le sintesi necessarie per la visualizzazione dei risultati 41

Rappresentazione Multidimensionale Dimensione Regioni Abruzzo Lazio Puglia Sicilia T1 T2 T3 T4 Omicidio Furto Rapina Truffa Dimensione Reati Dimensione Tempo 42

MOLAP Multidimensional OLAP Indica l esistenza di una struttura per dati multi dimensionali Il viewer chiede i dati direttamente a questa struttura, la quale li ha già memorizzazati secondo le dimensioni Vantaggio In questo caso sono i tempi di risposta Svantaggio Il Data Base multidimensionale deve essere sincronizzato con gli aggiornamenti dei dati di base dal quale viene generato 43

MOLAP Multidimensional OLAP Ha come perno il concetto di array multidimensionale, tecnica per la riorganizzazione e la memorizzazione di dati aggregati, in modo che possano essere analizzati da più prospettive Un array multidimensionale è costituito da un insieme di celle di dati, ciascuna delle quali contiene il valore assunto da una specifica misura, trovato in base alla formula di calcolo e alle dimensioni che determinano il processo di aggregazione. In tale struttura, ciascuna dimensione funge da indice per l individuazione di un insieme di celle di dati, eventualmente composto da un singolo elemento 44

Un esempio di MOLAP 2D 45

MOLAP Multidimensional OLAP L' esempio riportato in tabella corrisponde essenzialmente alla gestione dei dati caratteristica dei fogli elettronici Nell esempio le dimensioni considerate sono la dimensione reati e la dimensione tempo, la misura riguarda i delitti denunciati e la formula di aggregazione consiste nel calcolo del numero totale di delitti denunciati avvenuti 46

MOLAP Multidimensional OLAP fissando uno specifico reato ed uno specifico trimestre si individua la cella che riporta il numero totale di unità delitti denunciati in quel periodo fissando, un valore su una sola delle due dimensioni si ha accesso a tutti i dati relativi al valore fissato lungo tutta la dimensione su cui non è stato specificato un attributo volendo determinare il numero totale di delitti denunciati per i Furti in tutto l anno è sufficiente accedere all array fissando l attributo Furti e sommare i valori presenti su tutta la riga selezionata 47

ROLAP Relational OLAP La R sta per relazionale Indica la caratteristica peculiare di estrazione dati da una struttura dati relazionale (tabelle in formati riga-colonna) Vantaggio I dati acceduti sono sempre gli ultimi disponibili Svantaggio Una volta usciti dal viewer i dati di sintesi si perdono e quindi per riaccedervi è necessario rieseguire le estrazioni e le sommarizzazioni 48

HOLAP Hybrid OLAP La H sta per hybrid la caratteristica principale è che l approccio OLAP è misto l estrazione dati può avvenire da una struttura relazionale o multidimensionale la scelta dipende da dove i dati richiesti sono più efficientemente memorizzati 49

Riepilogo MOLAP, HOLAP, ROLAP Prospettiva Client MOLAP HOLAP ROLAP Query performance Il più veloce Velocissimo Veloce Consumo CPU Alto Medio Basso 50

OLAP: Gli Operatori Multidimensionali roll-up Il Roll-up consente di analizzare i dati presenti in forma aggregata ad un minore livello di dettaglio. 51

OLAP: Gli Operatori Multidimensionali 52

OLAP: Gli Operatori Multidimensionali drill-down Il Drill-down consente di analizzare i dati presenti in forma aggregata ad un maggiore livello di dettaglio. 53

OLAP: Gli Operatori Multidimensionali slice-and-dice Le operazioni di Slice e Dice consentono di visualizzare i dati da differenti prospettive, a diversi livelli di dettaglio. 55

OLAP: Gli Operatori Multidimensionali pivoting (rotation) Il Pivoting consente il riorientamento del cubo. 57

OLAP Data Management Software Il Sistema Informativo Interforze Introduzione ad OLAP Un Caso di Studio I Delitti Denunciati Paolo Avallone IT Specialist Sr Consulting DB2, Data Management Dicembre 2004

Un Caso di Studio I Delitti Denunciati Dimensione Regioni Abruzzo Lazio Puglia Sicilia T1 T2 T3 T4 Omicidio Furto Rapina Truffa Dimensione Reati Dimensione Tempo 60

Un Caso di Studio I Delitti Denunciati 62

OLAP Data Management Software Il Sistema Informativo Interforze Introduzione ad OLAP Glossario Paolo Avallone IT Specialist Sr Consulting DB2, Data Management Dicembre 2004

Glossario BIW - busine$$ Intelligence Warehouse: fornisce agli utenti un posto sicuro per utilizzare le informazioni che preferiscono. Gli utenti possono cambiare queste informazioni, modificarne la struttura, aggiungere altri dati, ect., senza temere di influenzare gli altri utenti. EDW: Enterprise data warehouse; una infrastrutura ed un corollario di strumenti per la raccolta, la memorizzazione, la gestione, la distribuzione delle informazioni agli utenti. Data mart: è un data warehouse dipartimentale usato per mantenere informazioni di reparto che sono estratte dal data warehouse aziendale (Bill Inmon). Cubo: Una struttura nella quale i dati sono organizzati rispetto a varie dimensioni (ad esempio, il tempo, la geografia, tipo delitto), il cui scopo è il suppoorto alle funzioni OLAP. 70

Glossario OLAP: On-line Analytical Processing; è l insieme dei tool che consentono di operare on-line sui dati del warehouse, mettendo l utente in condizione di realizzare sofisticate indagini a supporto del proprio processo decisionale. ROLAP: Relational OLAP; metodo di analisi multidimensionale dei dati, tale analisi viene effettuata su un insieme di tabelle relazionali. MOLAP: Multidimensional OLAP; metodo di analisi multidimensionale dei dati, tale analisi viene effettuata su cubi mnemorizzati in strutture proprietarie, non relazionali. Star schema: consiste di una grande tabella centrale (detta tabella dei fatti) circondata da un insieme di tabelle più piccole (dette tabelle delle dimensioni). Snowflake: è una estensione (normalizzata) del modello star schema, in cui ogni punta si irradia a sua volta in più punte. 71