I S.I. DIREZIONALI (BUSINESS INTELLIGENCE)

Transcript

1 I S.I. DIREZIONALI (BUSINESS INTELLIGENCE) LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

2 IL MODELLO INFORMATICO DEI SISTEMI INFORMATIVI DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI I LIVELLI DI ELABORAZIONE IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE DATA WAREHOUSE TABELLE DEI FATTI TABELLE DELLE CHIAVI SCHEMA A STELLA E SCHEMA A FIOCCO DI NEVE PROGETTAZIONE DEL SISTEMA DI WAREHOUSING MEMORIZZAZIONE: DATA MART E OLAP IL LIVELLO DI ELABORAZIONE PRESENTAZIONE E REPORTING MOTORI DI CALCOLO E DSS MOTORE DI ANALISI E DATA MINING 2

3 IL MODELLO INFORMATICO DEI S.I. DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

4 Sistemi di supporto operativo e sistemi direzionali / analitici Tecnologie di accesso Motori di calcolo e tecnologie DSS + Tecnologie di reporting ed EIS (Executive Information System) Altre tecnologie Data warehouse e datamart Altri sistemi Legacy o di nicchia Sistemi Financial Contabilità Conti Clienti Conti Fornitori Sistemi per le Risorse Umane Altri sistemi orizzontali Sistemi MRP* Produzione Approvigion. Distribuzione Sistemi CRM *** Call center Portali Web Automazione forza vendita Altri * Manufacturing Resource Planning ** Enterprise Resource Planning *** Customer Relationship Management + Decision Support Systems Sistemi ERP ** 4

5 Schema standard dei sistemi direzionali / analitici (Business Intelligence) Motori di calcolo (DSS) Motori di presentazione (EIS, reporting) Altri motori DATA MART DATA WAREHOUSE CARICAMENTO TRASFORMAZIONE ESTRAZIONE DATA ENTRY BASI DATI OPERATIVE BASI DATI OPERATIVE BASI DATI OPERATIVE BASI DATI TRANSAZIONALI 5

6 ESEMPLIFICAZIONE DEL MODELLO INFORMATICO DEI S.I. DIREZIONALI CONTESTO La catena di supermercati ROSSETTI conta 300 punti vendita in 3 regioni; ciascuno di essi offre circa prodotti diversi. Il supporto alle attività operative si basa sulla raccolta dei dati relativi all'ingresso, allo stoccaggio ed all'uscita delle merci nei magazzini dei singoli punti vendita. La cattura dei dati può avvenire in diversi momenti ed a diversi stadi del flusso dei prodotti (logistica in entrata, display scaffale o vendita alle casse). La vendita è registrata dallo scontrino REQUISITI Si vuole osservare l andamento delle vendite. Fatti: Vendite giornaliere unitarie di prodotto per punto di vendita Unità di misura: valore, q.ta, numero scontrini Dimensioni di analisi e loro granularità Tempo : valore giornaliero Prodotto : codice prodotto Punto Vendita: singolo punto vendita Profondità temporale : 24 mesi rolling 6

7 IL MODELLO INFORMATICO DEI S.I. DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

8 IL LIVELLO DELLE FONTI - 1 Le fonti standard dei SI direzionali sono le basi dati operative. Gli indici elaborati da un SI direzionale derivano da molteplici fonti. Esempio: i dati economici ( = informazioni direzionali) di una azienda automobilistica derivano da molteplici SI di livello operativo (vedi mappa) 8

9 IL LIVELLO DELLE FONTI - 2 Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori Il livello 1 comprende SI che elaborano transazioni ed eventi ERP operativi CRM operativi Sistemi custom di supporto alle operazioni (Legacy) Sistemi istituzionali ed amministrativi Il livello 1 (Fonti) contiene dati elementari di tipo anagrafico di tipo dinamico 9

10 IL LIVELLO DELLE FONTI - 3. SCHEMA DELLE FONTI - ESEMPIO ROSSETTI Scontrino # 2002a23b11 Punto di vendita #0021MI Cod art Des Prezzo Qta Importo #190 Pen 35,60 2 7,12 #69 Mat 5, ,50 #90 Lib 32, ,00 TOTALE 44,62 Pagamento Carta P. Data Tabella Anagrafe Prodotto # Articolo # Punto di vendita Descrizione Prezzo Unità di misura della quantità Scorta corrente Scorta a inizio giornata Previsione consumo medio giornaliero Tabella Testata Scontrini # Punto di vendita # Scontrino Importo Mezzo pagamento Data Tabella Dettaglio Scontrini # Scontrino # Articolo Importo Quantità 10

11 IL MODELLO INFORMATICO DEI S.I. DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

12 IL LIVELLO TRASFORMAZIONE 1- ESTRAZIONE Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori La estrazione include Selezione dei source data Controllo e pulizia dei source data (data cleaning o data cleansing) Parcheggio dei dati estratti (staging) Log (giornale delle estrazioni) La estrazione può essere Automatica: procedure batch Interattiva : integra e corregge i dati automatici NB Si possono usare basi dati intermedie Staging Area (basi dati di appoggio) in cui sono memorizzati i dati estratti (p.e file dei dati di ogni magazzino, file delle anagrafiche ecc.) Operational Data Store (ODS) in cui sono memorizzati e riconciliati i dati estratti di solito con granularità identica a quella delle fonti (p.e. data store scontrini) 12

13 IL LIVELLO TRASFORMAZIONE 2 -TRASFORMAZIONE Scopo della trasformazione è ottenere i target data dai source data, attraverso una catena di operazioni di select e join. Nel caso Rossetti i dati target sono costituiti da una unica registrazione riepilogativa (vedi dopo) 13

14 IL LIVELLO TRASFORMAZIONE 2- TRASFORMAZIONE : ESEMPIO ROSSETTI Testata Testata Scontrini Scontrini ## Punto Punto di di vendita vendita ## Scontrino Scontrino Importo Importo Mezzo Mezzo pagamento pagamento # # Data Data Dettaglio Dettaglio Scontrini Scontrini ## Scontrino Scontrino ## Articolo Articolo Importo Importo Quantità Quantità TRASFORMAZIONE Registrazione Registrazione riepilogativa riepilogativa ## Punto Punto vendita vendita ## Articolo Articolo # # Data Data Quantita Quantitatotale totale venduta venduta del del prodotto prodotto ## nel nel punto punto di di vendita vendita ## nella nella data data ## Importo Importo delle delle vendite vendite del del prodotto prodotto ## nel nel punto punto di di vendita vendita ## nella nella data data ## Numero Numero degli degli scontrini scontrini emessi emessi del del prodotto prodotto ## nel nel punto punto di di vendita vendita ## nella nella data data ## 14

15 IL LIVELLO TRASFORMAZIONE 3 - CARICAMENTO Caricamento : i target data sono inseriti nel warehouse. Periodicità arbitraria (normalmente inferiore a quella della periodicità di riferimento) Nel caso Rossetti: periodicità giornaliera o settimanale. 15

16 IL MODELLO INFORMATICO DEI S.I. DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

17 IL LIVELLO DI MEMORIZZAZIONE Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE Altri motori DATA ENTRY I dati sono memorizzati in Data Warehouse e Data Mart Warehouse : base dati tematica estesa, che può arrivare a coprire tutte le esigenze di una impresa Mart : base dati più ridotta, in genere un sottoinsieme della Warehouse. Warehouse e Mart adottano distinti schemi di memorizzazione BASI DATI TRANSAZIONALI 17

18 IL LIVELLO DI MEMORIZZAZIONE 1-DATA WAREHOUSE Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE Altri motori DATA ENTRY Contiene dati prodotti dai processi di livello 2 Fornisce input al livello 4 É aggiornato : dalle interfacce e dai moduli di data entry di livello 3 dagli output dei motori di calcolo di livello 4 BASI DATI TRANSAZIONALI 18

19 IL LIVELLO DI MEMORIZZAZIONE 1-DATA WAREHOUSE (cont.) TABELLA CHIAVE 1 CHIAVE1 Proprietà 1 Proprietà 2 Proprietà. TABELLA CHIAVE 2 CHIAVE2 Proprietà 1 Proprietà 2 Proprietà. TABELLA DEI FATTI CHIAVE 1 CHIAVE 2 CHIAVE Proprietà 1 Proprietà 2 Proprietà. TABELLA CHIAVE CHIAVE Proprietà 1 Proprietà 2 Proprietà. subject-oriented, integrated, timevariant (temporal), non volatile collection of summary and detailed data, used to support strategic decision-making process for the enterprise (Inmon 1996) Struttura di memorizzazione orientata alla consultazione formata da due tipi di tabelle Tabelle fatti Tabelle chiavi 19

20 IL LIVELLO DI MEMORIZZAZIONE 1-DATA WAREHOUSE (cont.) TABELLE DEI FATTI Memorizzano i valori degli indicatori. Identificate da chiavi multiple, che corrispondono a segmentazioni Aggiungendo fatti nuovi con chiavi diverse : nuovi tipi di tabelle dei fatti. Aggiungendo nuovi fatti con identiche chiavi: modificare il tracciato della tabella fatti TABELLE DELLE CHIAVI Ogni chiave rispecchia un distinto criterio di segmentazione dei fatti Ogni chiave è descritta da un tipo di tabella che specifica la chiave identificativa e le proprietà della chiave Le proprietà delle chiavi possono essere usate come criteri di sotto segmentazione Le tabelle delle chiavi facilitano la consultazione della warehouse (analogamente all indice analitico di un libro) 20

21 NEGOZIO Punto Vendita (chiave) Descrizione Tipologia CAP IL LIVELLO DI MEMORIZZAZIONE 1-DATA WAREHOUSE (cont.): ESEMPIO ROSSETTI TEMPO Data (chiave) Giorno nella settimana Flag feriale / festivo per calendario cristiano locale Data per calendario mussulmano Data per calendario cinese VENDITE (Fact Table) Data (chiave) Prodotto (chiave) PuntoVendita (chiave) Vendite a valore Vendite a qtà Numero scontrini PRODOTTO Prodotto (chiave) Unità di misura per fatturazione Descrizione Numero codice a barre Qtà per confezione Tipo confezione Marca/fornitore Categoria merceologica Macro-categoria La tabella dei fatti (in questo caso = vendite) contiene i valori dei fatti (variabili) e la chiave multipla corrispondente alle dimensioni di analisi applicate Ad una tabella dei fatti corrispondono N tabelle delle chiavi (Tempo, Prodotto, Negozio) NB Una stessa tabella chiave (p.e. Tempo ) può essere collegata a molteplici tabelle di fatti (p.e. Acquisti) 21

22 IL LIVELLO DI MEMORIZZAZIONE 1-DATA WAREHOUSE (cont.): SCHEMA A FIOCCO DI NEVE Settimana /anno Gli schemi DW sono a stella (star schema) od a fiocco di neve (snowflake schema) Categoria Prodotto Fornitore Vendite CAP Punto di vendita Tempo Zona Festa cristiana Calendario cinese Calendario mussulmano Nello schema a fiocco di neve le tabelle delle chiavi sono a loro volta indicizzate Il fiocco di neve può essere il risultato della normalizzazione di una stella Macrocate goria Comune Regione L esempio a fianco è ottenuto dallo schema a stella del caso Rossetti 22

23 IL LIVELLO DI MEMORIZZAZIONE 2 - PASSI E TOOL DI PROGETTAZIONE Il ciclo che va dalla estrazione dei dati alla creazione del data warehouse è supportato da suite di tool generici con interfacce semplici (Drag & Drop) Progetto di Dati Target Mappatura Dati Source sui Dati Target Generazione del codice di trasformazione 1 Definizione Fonti 5 Creazione del Data Warehouse 6 Estrazione dei Dati 23

24 IL LIVELLO DI MEMORIZZAZIONE 2 - PASSI E TOOL DI PROGETTAZIONE (DETTAGLIO) 24

25 IL LIVELLO DI MEMORIZZAZIONE 3- DATA MART & OLAP Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori memorizza le informazioni più frequentemente consultate dallo utente sostituendo in modo efficiente query ad hoc é formato da basi di dati multidimensionali (OLAP) strutturate in ipercubi La tecnologia OLAP può essere MOLAP (multidimensional OLAP) in cui la ipercubo è reale ed esiste sul server ROLAP (Relational OLAP) in cui l ipercubo è un vista volatile formata da una base dati relazionale HOLAP (Hybrid OLAP) in cui sono utilizzate entrambe le tecniche 25

26 IL LIVELLO DI MEMORIZZAZIONE 3- DATA MART & OLAP: I MART COME DERIVAZIONE DAL WAREHOUSE Datamart storia vendite Datamart marketing Datamart di filiale Datamart amministrazio ne Datamart analisi vendite Datawarehouse Da una stessa warehouse possono derivare molteplici mart 26

27 IL LIVELLO DI MEMORIZZAZIONE 3- DATA MART & OLAP: DIMENSIONI DELLO IPERCUBO Centri di Costo CDC ATT. MESE BUDGET MB21000 MB31000 MB41000 MB21000 MB21000 MB21000 MB21000 MB31000 MB31000 MB31000 MB31000 MB41000 MB41000 MB41000 MB GEN FEB GEN FEB GEN FEB GEN FEB GEN FEB GEN FEB Attività Mese Gen Feb Mar Apr ATTIVITA CDC Dimensione OLAP = Chiave warehouse MESE 27

28 IL LIVELLO DI MEMORIZZAZIONE 3 - DATA MART & OLAP TEMPO Tempo (ch) Tempo attributi (da def.) FATTI Tempo (ch) Prodotto (ch) PuntoVendita (ch) Vendite a valore Vendite a qtà PRODOTTO Prodotto (ch) Prodotto attributi (da def.) PUNTO VENDITA PuntoVendita (ch) PuntoVendita attributi (da def.) NB Il dominio del DM, rispetto al DW relazionale: può coincidere (vedi esempio) può essere un sotto-insieme può essere un superinsieme (p.e. + dimensione fase gestionale + variabile costi ottenuta per calcolo) Numero scontrini Promozione Tempo Vendite a qtà PdV Prodotto Promozione Tempo Numero scontrini Prodotto PdV Promozione Tempo Vendite a valore PdV Prodotto 28

29 IL LIVELLO DI MEMORIZZAZIONE 3 - DATA MART & OLAP VISUALIZZAZIONE DI UN IPERCUBO Pagine Colonne Fatti 29

30 IL MODELLO INFORMATICO DEI S.I. DIREZIONALI LE ESIGENZE INFORMATIVE DIREZIONALI IL LIVELLO DELLE FONTI IL LIVELLO DI TRASFORMAZIONE IL LIVELLO DI MEMORIZZAZIONE IL LIVELLO DI ELABORAZIONE

31 IL LIVELLO DI ELABORAZIONE Motori di calcolo CARICAMENTO TRASFORMAZIONE ESTRAZIONE Motori di presentazione DATA MART DATA WAREHOUSE DATA ENTRY BASI DATI TRANSAZIONALI Altri motori Il livello 4 elabora informazioni sintetiche per il management Il livello 4 comprende i motori applicativi per: calcolo (con tecnologia DSS) presentazione, di tipo interattivo guidato, finalizzata ad utenti inesperti (EIS) preparazione di rendiconti, con funzionalità ricche e complesse, finalizzate ad utenti esperti (reporting) motori vari di analisi, p.e. data mining 31

32 IL LIVELLO DI ELABORAZIONE 1 - REPORTING Macrofunzionalità dei sistemi di presentazione e reporting Gestione delle elaborazioni e della distribuzione Gestione del formato (editing) Strato semantico di mappatura Datamart Database vari Datawarehouse 32

33 IL LIVELLO DI ELABORAZIONE 1- REPORTING : DEFINIZIONE DOMINIO Scopo del sistema : presentare dati di fonti eterogenee. Obiettivo della definizione dominio: modellare lo schema delle informazioni che il sistema elabora; riclassificare lo schema delle informazioni della collezione di basi dati, data mart, data warehouse, file Lo schema del dominio è articolato in classi Le classi sono formate da dimensioni (= dimensioni OLAP = chiavi warehouse) dettagli delle dimensioni ( = attributi di una dimensione = attributi di una chiave) misure (= indicatori = fatti ). 33

34 IL LIVELLO DI ELABORAZIONE 1- REPORTING : DEFINIZIONE FORMATO Include le operazioni di editing attraverso cui sono costruite le pagine dei report. La funzionalità basilare è definire le informazioni dell universo da riportare nella pagina e gli eventuali indicatori derivati da calcolare (drag and drop sullo schema del dominio) Ulteriori operazioni definiscono l editing vero e proprio della pagina 34

35 IL LIVELLO DI ELABORAZIONE 3 - REPORTING: DISTRIBUZIONE 35

36 IL LIVELLO DI ELABORAZIONE 2 - CALCOLO : DSS DSS (Decision Support Systems), introdotto intorno al 1980, indica un sistema su elaboratore in grado di assistere processi decisionali con analisi e ricerca di informazioni su di una collezione di fonti strumenti di valutazione e calcolo di un risultato. Negli anni Novanta DSS ha assunto il generico significato di motore di calcolo Aspetto essenziale del motore di calcolo è modellazione Negli anni Novanta, la modellazione del calcolo è stato integrata da evolute interfacce grafiche, che, con di drag and drop, realizzano modelli complessi Campo di applicazione canonico: pianificazione e budgeting finanziario 36

37 IL LIVELLO DI ELABORAZIONE 2 - CALCOLO : DSS - ESEMPIO ASSICURAZIONE Ricavi a budget Sistema di vendita Sistema amministrativo Ricavi Ricavi Voci economiche e patrimoniali Spese e costi a budget Costi Processi di calcolo Processi di calcolo Memorizzazione e calcolo Dati Processi finanziari di calcolo KPI Processi di calcolo Conto economico Stato patrimoniale Cashflow KPI Elaborazione report Il sistema di controllo deve produrre mensilmente un report con dati economici e patrimoniali e un report con indicatori di efficienza e di efficacia Report finanziario e KPI sono segmentati su quattro dimensioni (= chiavi) : centro di costo/profitto, prodotto, canale, attività I ricavi effettivi sono acquisiti dal SI Vendita, e memorizzati in un data mart; Analogo procedimento per budget di vendita, costi effettivi e costi budget. I data mart sono fusi nei due ipercubi KPI e dati amministrativi e finanziari. Sopra gli ipercubi, è attivato un software di reporting che produce i rendiconti su KPI, Conto Economico, Stato Patrimoniale e sul Cashflow 37

38 IL LIVELLO DI ELABORAZIONE 3 - MOTORI ANALITICI Sistemi di data mining (marketing e ricerca) scoprire in una base di dati associazioni e relazioni non note a priori data mining helps end user extract useful business information from large databases (Berson 1997). NB I software mining sono elemento essenziale dei sistemi analitici usati per il marketing delle aziende ed anche a scopo di ricerca, dove sono usati per calcolare indici predittivi, come per esempio il rischio di abbandono o il rischio di truffa da parte di un abbonato. Sistemi di profilatura dei clienti (Customer Profiling) e sistemi analitico (vedi CRM analitico). 38