CAPITOLO 9 Piattaforme di Business Intelligence e DSS

Транскрипт

1 CAPITOLO 9 Piattaforme di Business Intelligence e DSS Lucidi di Gianmario Motta 2010

2 OBIETTIVI DI APPRENDIMENTO Identificare quali sono le applicazioni d uso dei sistemi di BI Spiegare quali sono le caratteristiche del paradigma applicativo dei sistemi di BI Descrivere le componenti funzionali dei sistemi BI, in termini di processo e caratteristiche tecnologiche 2

3 Piattaforme di Business Intelligence e DSS ARCHITETTURA DI RIFERIMENTO LE ESIGENZE INFORMATIVE ANALITICHE LO SCHEMA DEI SISTEMI DI BUSINESS INTELLIGENCE IL LIVELLO DELLE FONTI IL LIVELLO DELLA TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE : DATA WAREHOUSE IL LIVELLO DI MEMORIZZAZIONE : DATA MART E OLAP IL LIVELLO DI ELABORAZIONE DOMANDE DI RIEPILOGO 3

4 ESIGENZE INFORMATIVE ANALITICHE DSS/ BI/ WAREHOUSE Processi strategici e di controllo direzionale ELABORAZIONE ANALITICA P.e. analisi traffico aereo Basi dati finalizzate alla consultazione ed alla analisi dei dati e/o al controllo degli obiettivi OLTP Processi operativi ELABORAZIONE TRANSAZIONI P.e. prenotazioni aeree Basi dati finalizzate all aggiornamento 4

5 DEFINIZIONI OLTP (On Line Transactions Processing) Architettura software nata per i sistemi di prenotazione aerea ( ) finalizzata alla elaborazione veloce e sicura di singole transazioni immesse da tastiera Basi dati capaci di accettare elevati massicci di di inserimenti DSS (Decision Support Systems) Sistemi software finalizzati alla elaborazione di alberi decisionali (p.e. scelta di un investimento) e/o calcoli gestionali (p.e. budget) WAREHOUSE Detta warehouse in quanto immagazzina dati raccolti on alri sistemi (anni Novanta) Schema di dati finalizzato alla consultazione (non all inserimento) BI (Business Intelligence) Definizione generica dei software finalizzati alla analisi gestionale 5

6 ACRONIMI ABC: Activity Base Costing ABM: Activity Based Management BI: Business Intelligence BW: Business Warehouse (sinonimo di DW) BSC: Balanced Score Card CPM: Corporate Performance Management (sinonimo di SEM) CRM: Customer Relationship Management CSF: Critical Success Factor DBMS: Data Base Management System DSS: Decision Support System DW: Data Warehouse EIS: Executive Information System EPM: Enterprise Performance Management (sinonimo di SEM) ERP: Enterprise Resource Planning ERM: Enterprise Resource Management ES: Enterprise System KPI: Key Performance Indicator MBO: Management By Objectives MRP: Manufacturing Resource Management ODS: Operational Data Store OLAP: On Line Analytical Processing OLTP: On Line Transaction Processing SCM: Supply Chain Management SEM: Strategic Enterprise Management 6

7 CARATTERISCHE DELLE INFORMAZIONI DIREZIONALI ED ANALITICHE Le informazioni direzionali ed analitiche sono Periodiche Prodotte da calcoli od aggregazioni Rispecchiano obiettivi e/o dati effettivi P.e. i dati di Conto Economico di un azienda automobilistica provengono da molteplici SI operativi vendite e distribuzione, ordini di acquisto, sistemi contabili vari Conseguentemente: la progettazione BI é top-down Definisce le variabili che la BI deve elaborare (target data) Individua le fonti informative corrispondenti (source data). Definisce le elaborazioni di estrazione/ trasformazioni necessarie 7

8 SCHEMA DEI SISTEMI DI BUSINESS INTELLIGENCE Accesso Browser fisso Browser mobile Casting Altri client Elaborazione DSS Reporting Mining e altri Memorizzazione Data Warehouse Input e trasformazione Caricamento Trasformazione Estrazione Data Entry Acquisizione dati esterni Fonti basi dati interne transazionali fonti esterne 8

9 SCHEMA DEI SISTEMI DI BUSINESS INTELLIGENCE Motori di calcolo (DSS) Motori di presentazione (EIS, reporting) Mining ed altri motori DATA MART DATA WAREHOUSE CARICAMENTO TRASFORMAZIONE ESTRAZIONE DATA ENTRY BASI DATI OPERATIVE BASI DATI OPERATIVE BASI DATI OPERATIVE BASI DATI TRANSAZIONALI 9

10 ESEMPIO CONTESTO La catena di supermercati ROSSETTI conta 300 punti vendita in 3 regioni; ciascuno di essi offre circa prodotti diversi. Il supporto alle attività operative si basa sulla raccolta dei dati relativi all'ingresso, allo stoccaggio ed all'uscita delle merci nei magazzini dei singoli punti vendita. La cattura dei dati può avvenire in diversi momenti ed a diversi stadi del flusso dei prodotti (logistica in entrata, display scaffale o vendita alle casse). La vendita è registrata dallo scontrino REQUISITI Si vuole osservare l andamento delle vendite. Fatti: Vendite giornaliere unitarie di prodotto per punto di vendita Unità di misura: valore, q.ta, numero scontrini Dimensioni di analisi e loro granularità Tempo : valore giornaliero Prodotto : codice prodotto Punto Vendita: singolo punto vendita Profondità temporale : 24 mesi rolling 10

11 IL LIVELLO DELLE FONTI : ESEMPIO Scontrino # 2002a23b11 Punto di vendita #0021MI Cod art Des Prezzo Qta Importo #190 Pen #69 Mat #90 Lib TOTALE Pagamento Carta P. Data Tabella Anagrafe Prodotto # Articolo # Punto di vendita Descrizione Prezzo Unità di misura della quantità Scorta corrente Scorta a inizio giornata Previsione consumo medio giornaliero Tabella Testata Scontrini # Punto di vendita # Scontrino Importo Mezzo pagamento Data Tabella Dettaglio Scontrini # Scontrino # Articolo Importo Quantità 11

12 IL LIVELLO ESTRAZIONE / TRASFORMAZIONE : SCHEMA Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori La estrazione include Selezione dei source data Controllo e pulizia dei source data (data cleaning o data cleansing) Parcheggio dei dati estratti (staging) Log (giornale delle estrazioni) La estrazione può essere Automatica: procedure batch Interattiva : integra e corregge i dati automatici NB Si possono usare basi dati intermedie Staging Area (basi dati di appoggio) in cui sono memorizzati i dati estratti (p.e file dei dati di ogni magazzino, file delle anagrafiche ecc.) Operational Data Store (ODS) in cui sono memorizzati e riconciliati i dati estratti di solito con granularità identica a quella delle fonti (p.e. data store scontrini) 12

13 IL LIVELLO DI MEMORIZZAZIONE : SCHEMA Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE Altri motori DATA ENTRY I dati sono memorizzati in Warehouse e Mart Warehouse : base dati tematica estesa, che può arrivare a coprire tutte le esigenze di una impresa Mart : base dati più ridotta, in genere un sottoinsieme della Warehouse. Warehouse e Mart adottano distinti schemi di memorizzazione BASI DATI TRANSAZIONALI 13

14 IL LIVELLO DI MEMORIZZAZIONE : DATA WAREHOUSE: SCHEMA TABELLA CHIAVE 1 CHIAVE1 Proprietà 1 Proprietà 2 Proprietà. TABELLA CHIAVE 2 CHIAVE2 Proprietà 1 Proprietà 2 Proprietà. subject-oriented, integrated, timevariant (temporal), non volatile collection of summary and detailed data, used to support strategic decision-making process for the enterprise (Inmon 1996) TABELLA DEI FATTI CHIAVE 1 CHIAVE 2 CHIAVE Proprietà 1 Proprietà 2 Proprietà. TABELLA CHIAVE CHIAVE Proprietà 1 Proprietà 2 Proprietà. Struttura di memorizzazione orientata alla consultazione formata da due tipi di tabelle Tabelle fatti Tabelle chiavi 14

15 IL LIVELLO DI MEMORIZZAZIONE DATA WAREHOUSE : SCHEMA TABELLE DEI FATTI Memorizzano i valori degli indicatori. Identificate da chiavi multiple, che corrispondono a segmentazioni Aggiungendo fatti nuovi con chiavi diverse : nuovi tipi di tabelle dei fatti. Aggiungendo nuovi fatti con identiche chiavi: modificare il tracciato della tabella fatti TABELLE DELLE CHIAVI Ogni chiave rispecchia un distinto criterio di segmentazione dei fatti Ogni chiave è descritta da un tipo di tabella che specifica la chiave identificativa e le proprietà della chiave Le proprietà delle chiavi possono essere usate come criteri di sotto segmentazione Le tabelle delle chiavi facilitano la consultazione della warehouse (analogamente all indice analitico di un libro) 15

16 TEMPO Punto Vendita (chiave) Descrizione Tipologia CAP IL LIVELLO DI MEMORIZZAZIONE DATA WAREHOUSE : ESEMPIO TEMPO Data (chiave) Giorno nella settimana Flag feriale / festivo per calendario cristiano locale Data per calendario mussulmano Data per calendario cinese VENDITE (Fact Table) Data (chiave) Prodotto (chiave) PuntoVendita (chiave) Vendite a valore Vendite a qtà Numero scontrini PRODOTTO Prodotto (chiave) Unità di misura per fatturazione Descrizione Numero codice a barre Qtà per confezione Tipo confezione Marca/fornitore Categoria merceologica Macro-categoria La tabella dei fatti (in questo caso = vendite) contiene i valori dei fatti (variabili) e la chiave multipla corrispondente alle dimensioni di analisi applicate Ad una tabella dei fatti corrispondono N tabelle delle chiavi (Tempo, Prodotto, Puntovendita) NB Una stessa tabella chiave (per esempio Tempo) può essere collegata a molteplici tabelle di fatti (p.e. Acquisti) 16

17 IL LIVELLO DI MEMORIZZAZIONE DATA WAREHOUSE: SCHEMA A FIOCCO DI NEVE Categoria Macrocate goria Prodotto Fornitore Vendite CAP Punto di vendita Comune Tempo Zona Regione Settimana /anno Festa cristiana Calendario cinese Calendario mussulmano Gli schemi DW sono a stella (star schema) od a fiocco di neve (snowflake schema) Nello schema a fiocco di neve le tabelle delle chiavi sono a loro volta indicizzate Il fiocco di neve può essere il risultato della normalizzazione di una stella L esempio a fianco è ottenuto dallo schema a stella del caso Rossetti 17

18 IL LIVELLO DI MEMORIZZAZIONE: DATA WAREHOUSE : PASSI DI PROGETTAZIONE Il ciclo che va dalla estrazione dei dati alla creazione del data warehouse è supportato da suite di tool generici con interfacce semplici (Drag & Drop) Progetto di Dati Target Mappatura Dati Source sui Dati Target Generazione del codice di trasformazione 1 Definizione Fonti 5 Creazione del Data Warehouse 6 Estrazione dei Dati 18

19 IL LIVELLO DI MEMORIZZAZIONE: DATA WAREHOUSE : PASSI DI PROGETTAZIONE 19

20 IL LIVELLO DI MEMORIZZAZIONE DATA MART & OLAP Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori memorizza le informazioni più frequentemente consultate dallo utente sostituendo in modo efficiente query ad hoc é formato da basi di dati multidimensionali (OLAP) strutturate in ipercubi La tecnologia OLAP può essere MOLAP (multidimensional OLAP) in cui la ipercubo è reale ed esiste sul server ROLAP (Relational OLAP) in cui l ipercubo è un vista volatile formata da una base dati relazionale HOLAP (Hybrid OLAP) in cui sono utilizzate entrambe le tecniche 20

21 IL LIVELLO DI MEMORIZZAZIONE : DATA MART & OLAP Datamart storia vendite Datamart marketing Datamart di filiale Datamart amministrazio ne Datamart analisi vendite Datawarehouse Da una stessa warehouse possono derivare molteplici mart 21

22 IL LIVELLO DI MEMORIZZAZIONE : DATA MART & OLAP: DIMENSIONI DELLO IPERCUBO Centri di Costo CDC ATT. MESE BUDGET MB21000 MB31000 MB41000 MB21000 MB21000 MB21000 MB21000 MB31000 MB31000 MB31000 MB31000 MB41000 MB41000 MB41000 MB GEN FEB GEN FEB GEN FEB GEN FEB GEN FEB GEN FEB Attività Mese Gen Feb Mar Apr ATTIVITA CDC Dimensione OLAP = Chiave warehouse MESE 22

23 IL LIVELLO DI MEMORIZZAZIONE: DATA MART & OLAP TEMPO Tempo (ch) Tempo attributi (da def.) FATTI Tempo (ch) Prodotto (ch) PuntoVendita (ch) Vendite a valore Vendite a qtà PRODOTTO Prodotto (ch) Prodotto attributi (da def.) PUNTO VENDITA PuntoVendita (ch) PuntoVendita attributi (da def.) NB Il dominio del DM, rispetto al DW relazionale: può coincidere (vedi esempio) può essere un sotto-insieme può essere un superinsieme (p.e. + dimensione fase gestionale + variabile costi ottenuta per calcolo) Numero scontrini Promozione Tempo Vendite a qtà Prodotto PdV Promozione Tempo Numero scontrini Prodotto PdV Promozione Tempo Vendite a valore PdV Prodotto 23

24 IL LIVELLO DI MEMORIZZAZIONE: DATA MART & OLAP VISUALIZZAZIONE DI UN IPERCUBO Pagine Colonne Fatti 24

25 IL LIVELLO DI ELABORAZIONE Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori Il livello 4 elabora informazioni sintetiche per il management Il livello 4 comprende i motori applicativi per: calcolo (con tecnologia DSS) presentazione, di tipo interattivo guidato, finalizzata ad utenti inesperti (EIS) preparazione di rendiconti, con funzionalità ricche e complesse, finalizzate ad utenti esperti (reporting) motori vari di analisi, p.e. data mining 25

26 IL LIVELLO DI ELABORAZIONE REPORTING Macrofunzionalità dei sistemi di presentazione e reporting Gestione delle elaborazioni e della distribuzione Gestione del formato (editing) Strato semantico di mappatura Datamart Database vari Datawarehouse 26

27 IL LIVELLO DI ELABORAZIONE REPORTING : DEFINIZIONE DOMINIO Scopo del sistema : presentare dati di fonti eterogenee. Obiettivo della definizione dominio: modellare lo schema delle informazioni che il sistema elabora; riclassificare lo schema delle informazioni della collezione di basi dati, data mart, data warehouse, file Lo schema del dominio è articolato in classi Le classi sono formate da dimensioni (= dimensioni OLAP = chiavi warehouse) dettagli delle dimensioni ( = attributi di una dimensione = attributi di una chiave) misure (= indicatori = fatti ). 27

28 IL LIVELLO DI ELABORAZIONE REPORTING : DEFINIZIONE FORMATO Include le operazioni di editing attraverso cui sono costruite le pagine dei report. La funzionalità basilare è definire le informazioni dell universo da riportare nella pagina e gli eventuali indicatori derivati da calcolare (drag and drop sullo schema del dominio) Ulteriori operazioni definiscono l editing vero e proprio della pagina 28

29 IL LIVELLO DI ELABORAZIONE REPORTING: DISTRIBUZIONE 29

30 IL LIVELLO DI ELABORAZIONE CALCOLO : DSS DSS (Decision Support Systems), introdotto intorno al 1980, indica un sistema su elaboratore in grado di assistere processi decisionali con analisi e ricerca di informazioni su di una collezione di fonti strumenti di valutazione e calcolo di un risultato. Negli anni Novanta DSS ha assunto il generico significato di motore di calcolo Aspetto essenziale del motore di calcolo è modellazione Negli anni Novanta, la modellazione del calcolo è stato integrata da evolute interfacce grafiche, che, con di drag and drop, realizzano modelli complessi Campo di applicazione canonico: pianificazione e budgeting finanziario 30

31 IL LIVELLO DI ELABORAZIONE CALCOLO : DSS - ESEMPIO Ricavi a budget Sistema di vendita Sistema amministrativo Ricavi Ricavi Voci economiche e patrimoniali Spese e costi a budget Costi Processi di calcolo Processi di calcolo Memorizzazione e calcolo Dati Processi finanziari di calcolo KPI Processi di calcolo Conto economico Stato patrimoniale Cashflow KPI Elaborazione report Il sistema di controllo deve produrre mensilmente un report con dati economici e patrimoniali e un report con indicatori di efficienza e di efficacia Report finanziario e KPI sono segmentati su quattro dimensioni (= chiavi) : centro di costo/profitto, prodotto, canale, attività I ricavi effettivi sono acquisiti dal SI Vendita, e memorizzati in un data mart; Analogo procedimento per budget di vendita, costi effettivi e costi budget. I data mart sono fusi nei due ipercubi KPI e dati amministrativi e finanziari. Sopra gli ipercubi, è attivato un software di reporting che produce i rendiconti su KPI, Conto Economico, Stato Patrimoniale e sul Cashflow 31

32 IL LIVELLO DI ELABORAZIONE 3 - MOTORI ANALITICI Sistemi di data mining (marketing e ricerca) scoprire in una base di dati associazioni e relazioni non note a priori data mining helps end user extract useful business information from large databases (Berson 1997). NB I software mining sono elemento essenziale dei sistemi analitici usati per il marketing delle aziende ed anche a scopo di ricerca, dove sono usati per calcolare indici predittivi, come per esempio il rischio di abbandono o il rischio di truffa da parte di un abbonato. Sistemi di profilatura dei clienti (Customer Profiling) e sistemi analitico (vedi CRM analitico). 32