Un progetto di Datawarehouse Politecnico di Milano 27 Maggio 2002
Indice Deloitte Consulting e il Cliente Obiettivi, approccio e risultati Il Datawarehouse Dimensioni di analisi Modello di calcolo Modello dati: star schema e universi Reportistica Processo di caricamento dati Architettura tecnica Conclusioni 1
Deloitte Consulting Deloitte Consulting is the 5th management consulting company in the world Europe US$ 661M 2.869 Staff Americas US$ 2.387M Deloitte Consulting 6.808 Staff Asia/Pacific/ Africa US$ 445M 2.605 Staff 3.493M US $ global revenue in FY 2001 +11% growth vs. FY2000 12.282 professionals 2
Il Cliente: Intermediazione Elettronica Intermediazione Elettronica è la più grande società di gestione carte di credito in Italia. Carte in circolazione: > 7,5 milioni su di un network di 430.000 point of sales (P.O.S) in Italia Transazioni gestite: > 280 milioni ogni 6 mesi Volumi intermediati: > 28 miliardi di euro POS 1 BANKS Revenues SI Systems POS 1 Revenues Database Oracle Fee Interchange Fee Legacy Systems POS n Revenues SI Fee Dati al 31 12 2001 3
Scheda di progetto Cliente: Intermediazione Elettronica Progetto: Profittabilità Clienti Business Durata: 6 mesi Settembre 2002 Marzo 2002 Breve Descrizione: PCB permette di fornire al cliente un puntuale monitoraggio economico degli oltre 400.000 esercenti convenzionati, attraverso una ampia e composita reportistica in grado di fornire valori economici e indicatori di performance per ogni singolo esercente. 4
Obiettivi, approccio e risultati Obiettivi - Effettuare un processo di attribuzione puntuale dei ricavi e dei costi generati da ciascun esercente, in modo diretto o tramite l utilizzo di appropriati driver di attribuzione - Definire la redditività generata per ciascuna banca dall esercente / punto di vendita convenzionato, in modo tale da verificare la congruenza del valore creato rispetto al livello di compensi riconosciuto a ciascuna banca in relazione ai suoi esercenti Approccio Suddivisione del progetto in cinque fasi Risultati SI dispone del Nuovo Sistema che è integrato, aggiornato e consistente con i sistemi pre-esistenti Dispone di una reportistica in grado di dettagliare il conto economico fino all esercente Può creare facilmente nuovi report ad hoc e navigazioni a richiesta 5
Le macrofasi del progetto Fase Definizione ed Analisi Business Requirement ETL e Parametrizzazione Engine di calcolo Data warehouse di 1 e di 2 livello Reporting su Business Objects Effort 8 % 7% 35% 30% 20% Contenuti Definizione delle dimensioni di analisi, dei modelli di allocazione e di ribaltamento. Progettazione e sviluppo shell, caricatori di staging area e form di associazione voci economiche ai driver Realizzazione delle procedure di allocazione sulle voci economiche attraverso 4 modelli di ribaltamento del calcolo Progettazione e realizzazione Star Schema e tabelle degli aggregati per implementare KPI e dimensioni Creazione dei metadati di business e realizzazione reportistica standard 6
Fase Definizione ed Analisi Business Requirement Dimensioni di analisi Banca Le Dimensioni di analisi rappresentano gli elementi chiave al cui livello le voci quantitative, economiche e gli indicatori si devono riferire. Gli Attributi delle dimensioni costituiscono gli elementi non fondamentali su cui eventualmente la dimensione può creare una gerarchia. Definisce l ABI del gruppo banca di appartenenza. Gruppo Banca 7
Fase Definizione ed Analisi Business Requirement Dimensioni di analisi Tempo Anno Corrente Granularità Semestrale. Storicizzazione: 4 semestri in linea. Primo Semestre Anno Corrente Secondo Semestre Anno Corrente Anno Precedente Primo Semestre Anno Precedente Secondo Semestre Anno Precedente 8
Fase Definizione ed Analisi Business Requirement Dimensioni di analisi - Prodotto Circuito Tipologia Tecnologia Proprietà Rappresenta il circuito utilizzato durante la transazione. I circuiti disponibili sono: Visa Mastercard PagoBancomat Rappresenta il modo con cui è stata utilizzata la carta di credito durante la transazione. Le tipologie sono: Debito Credito Indica con quale tecnologia è stata eseguita la transazione. Le tecnologie attualmente disponibili sono: Elettronico Cartaceo E Business Indica la proprietà del POS su cui è stata effettuata la transazione. Tale proprietà è specifica per i Servizi Interbancari oppure meno. 9
Fase Definizione ed Analisi Business Requirement Dimensioni di analisi - Esercenti Società Rappresenta la legal entity del titolare di più punti vendita (più esercenti). Nel caso in cui l esercente sia mono punto vendita la società coinciderà con il punto vendita. Categoria Merceologica Tipo Distribuzione Rappresenta il settore merceologico dell esercente, il settore merceologico sarà un aggregato di più sotto settori Indica se l esercente appartiene alla grande distribuzione o piccola distribuzione Tipo Esercente Area Geografica Indica se se il fatturato l esercente dell esercente gestisce volumi è considerato da grande rilevante. esercente volumi da esercente standard Rappresenta la suddivisione del territorio nazionale attraverso le quattro macro aree geografiche NIELSEN: Nord Ovest Nord Est Centro Sud e isole 10
Fase Definizione ed Analisi Business Requirement Gestione dei dati di sintesi Voci economiche di sintesi Le voci economiche di sintesi permettono di avere una prima visione macro dell andamento dell esercente. Le voci sono: Commissioni attive da esercente Altri ricavi Interchange fee Costi di gestione Costi Pos e linee Compensi Margine Indicatori di perfomance Gli indicatori di perfomance permettono di valutare l andamento del singolo esercente attraverso una serie di misure standard. Tali indicatori sono: Commissione media applicata Volume negoziato % di interchange fee media Numero transazioni gestite Ticket medio Redditività banca 11
Fase ETL e Parametrizzazione Trasformazione Loading e caricamento La parametrizzazione del sistema è un attività che permette di definire il metodo di ripartizione dello scostamento per ottenere una quadratura contabile con il principale sistema gestionale presente in azienda. Il gestore dell applicazione aggiorna semestralmente la parte di parametrizzazione, utilizzando Oracle Forms 6i come front-end. 12
Fase Calculation Modello di calcolo SAP Transazioni effettuate Ricavi e costi per Banca e Prodotto Driver banca prodotto esercente Banche, voci di costo e ricavo raggruppate e prodotti raggrupati Legacy B.I.C. Transazioni effettuate Ricavi e costi diretti Banca prodotto per esercente Banche, voci di costo e ricavo raggruppate e prodotti raggrupati Delta ricavi e costi per banca prodotto da assegnare per ogni esercente Driver per banca esercente Ricavi e costi per esercente Banca e Prodotto Informazioni provenienti da due sorgenti di dato di diverso livello di aggregazione che possono essere disallineate in valore. 4 modelli di allocazione e calcolo che assegnano le voci al dettaglio massimo di esercente. 13
Fase Data warehouse e creazione universi DWH_PRODOTTO CODICE_PRODOTTO DESCRIZIONE_PRODOTTO CODICE_CIRCUITO DESCRIZIONE_CIRCUITO. Modello Dati Star Schema VOLUME DB : 200 Gb NUMERO TABELLE: 60 STORE/PROCEDURE: 40 PARTITITONING/ OPT- RULE INDICI BITMAP / DIRECT MODE DWH_FACT DWH_BANCA CODICE_BANCA DESCRIZIONE_BANCA CODICE_GRUPPO_BANCA. DWH_GRUPPO_BANCA CODICE_BANCA DESCRIZIONE_BANCA CODICE_GRUPPO_BANCA. DWH_ESERCENTE CODICE_ESERCENTE DESCRIZIONE_ESERCEN TE INDIRIZZO CAP CODICE_SOCIETA DESCRIZIONE_SOCIETA. CODICE_ESERCENTE CODICE_BANCA CODICE_PRODOTTO CODICE_TEMPO VOCE1 VOCE2 VOCE3. Tabella partizionata 32.000.000 di record 500 Colonne DWH_TEMPO CODICE_TEMPO DESCRIZIONE_TEMPO CODICE_SEMESTRE DESCRIZIONE_SEMESTRE. DIMENSIONE VOCE (40 righe) DENORMALIZZATA A LIVELLO DI COLONNA DA 1.280.000.000 32.000.000 500.000 record 14
Fase Data warehouse e creazione universi Universi per BO E stato sviluppato un Data Warehouse di II livello per consentire una risposta immediata alle necessità di analisi aggregata da parte degli utenti La creazione di differenti universi ha permesso una semplice gestione delle politiche di accesso al dato 15
Fase Reporting su Business Objects Reportistica Sono stati realizzati 25 report raggruppabili in 3 tipologie per tipo di analisi: Report di dettaglio esercente Report aggregati per dimensione di analisi (es. Area geografica, Categoria merceologica,etc..) Report di monitoring delle fasi di loading e calculation 16
Gestione delle informazioni per esercente: modalità di ricerca Il conto economico per esercente è rintracciabile attraverso le seguenti chiavi: TIPOLOGIA DI DI ESERCENTE Banca Categoria merceologica Grande/ piccolo esercente Grande/ piccola distribuzione Area geografica Pag No Pag SINTETICO Attributi 6 voci di costo sintetico INDICATORI DI DI PERFORMANCE Commissione media applicata Volumi negoziati % % interchange fee Nr. Transazioni gestite Ticket medio POS CARTASI / POS Totali TIPOLOGIA DI DI PRODOTTO Circuito Debito/Credito Elettronico/cartaceo/ebusiness ANALITICO Attributi 30 voci di costo 17
Esempio di report POP UP MENU WORKSHEET REPORT WORKSHEET DI SELEZIONE WORKSHEET PER IL DRILL 18
Processo di Caricamento Dati Con frequenza semestrale viene eseguito il processo di caricamento dati dai sistemi legacy: CARICAMENTO DATI PARAMETRIZZAZIONE CALCULATION ALIMENTAZIONE DWH REPORTING 1 2 3 4 5 un amministratore DBA, in grado d attivare le procedure di caricamento del DB e del DWH; un Gestore dell Applicazione, capace d aggiornare la parametrizzazione del sistema secondo le nuove linee guida e di fare una valutazione semantica sui flussi acquisiti. 19
Architettura Tecnologica / Infrastruttura Hardware ETL Database Oracle Reporting Tools Sistemi Legacy Oracle 8.1.7 Business Objects Client/Server Systems Server Unix External Data... ETL : Sviluppo Custom Server: Sun V880 / 8 Gb RAM / 4 CPU Client : Pentium 4 (1Ghz) 512 Mb Schedulatore: Unix SAN: Sparc Array / 360 GB RAID: RAID 0, RAID 1 ( Software) 20
Conclusioni: lessons learned Superamento difficoltà tecnologiche: Volumi e dimensionamento DB. Costruire una base dati in cui un incrocio tra le dimensioni di analisi dava in prima analisi un miliardo e trecentomila righe e che in rilascio ha portato alla creazione di una tabella con quasi 600 colonne. Per ogni cella del report la costruzione di un oggetto Key learning Valutazione attenta dell infrastruttura Hardware a fronte di un iniziale Capacity planning Valutazione della fase di tuning dell istanza della base dati Corretta gestione delle aspettative dell utente sulle performance del Warehouse e sulle features degli strumenti di Front-end Approccio allo sviluppo del codice fortemente iterativo 21