Data Management toolbox: alla ricerca dell informazione perduta

Transcript

1 Data Management toolbox: alla ricerca dell informazione perduta Mauro Minenna Responsabile Architetture e Standard Applicativi e Dati POSTE ITALIANE S.p.A.

2 Indirizzo Strategico Diventare un azienda di servizi integrati ad alto valore aggiunto che soddisfi le specifiche necessità della clientela, nelle sue molteplici articolazioni, valorizzando al massimo i propri asset fondamentali strumento fondamentale per il conseguimento di questi obiettivi è l uso di Tecnologie Informatiche e di Telecomunicazione (ICT) Orientamento verticale Azienda divisionalizzata Partendo da ICT ICT frammentato

3 Shared Services Shared Services are the convergence and stream-lining of an organisation s functions to ensure that they deliver the organisation the services required of them as effectively and efficiently as possible. Wikipedia Driver: ICT ICT UNICO Obiettivo: Integrazione

4 Integrazione: perché Visione Cliente-centrica Marketing Sales driven approach Analisi profittabilità CRM Reportistica Corporate

5 Condividendo dati non integrati Divisione Corrispondenza ACME Inc. Via del Gran Canyon,41 Flagstaff AZ Ricavi 400M Quantità Reclami 200 Divisione Bancoposta Acme Incorporated Via G. Canyon, 41 Flagstaff Arizona Ricavi 250M Quantità Reclami 105 Poste Italiane Divisione Rete Territoriale Soc. Acme Inc. Via Gran Canyon,41 Flagstaff AZ Ricavi 500M Quantità Reclami 69 NOTA: Dati esemplificativi non reali

6 costruire l Informazione integrata Poste Italiane ACME Inc. Via Gran Canyon,41 Flagstaff AZ Ricavi 1.150M Quantità Reclami 374 Bollettini: Pacchi: C/Correnti: Raccomandate: Prioritaria: NOTA: Dati esemplificativi non reali

7 Integrazione: come Armonizzazione Riconciliazione sistemi Operazionali operazionali Elevata Flessibilità Costi Elevati Blocco dei servizi Continuità di servizio Problemi organizzativi Impatto zero sugli operazionali CLIENTE CORPORATE Deduplica Anagrafiche Certificazione Cliente Purificazione indirizzi CATALOGO PRODOTTI Integrazione Prodotti Viste Marketing Divisionali GESTIONE INTEGRATA METADATI Aggancio ai singoli movimenti Definizione del singolo punto di verità

8 Vista Cliente Corporate Silos Verticali Divisionali Dai dati organizzati per silos verticali all utilizzo di una piattaforma di normalizzazione Base Inf. Corporate Multicodificati Validazione Incoerenti Deduplica Doppi Certificazione

9 Deduplica e Certificazione: Processo 6 Sistemi Operazionali 1 BIC BIC 2 CLIENTI CLIENTI 4 Certi Certi 3 SCARTI SCARTI CLIENTI CLIENTI CERTI CERTI 5 BACKOFFICE RECUPERATI RECUPERATI NON NON CERT. CERT. CLIENTI CLIENTI CERTIFICATI CERTIFICATI Clienti Clienti Non Non Certificati Certificati 1. Acquisizione delle Anagrafiche dagli Operazionali (Owner dei Dati) 2. Deduplica (univocità del Cliente) in base alla Partita IVA e Codice Fiscale 3. Ricezione dei Dati Certi 4. Certificazione del Cliente, tramite Matching Semantico (Tool Open Source) 5. Scarti del Matching automatico certificati in Back Office 6. Segnalazione delle Anomalie e delle Anagrafiche non certificate agli Operazionali * Dati di esempio

10 Il Il portale web Data-management

11 Tool Clienti: Principali Funzionalità Homepage con statistiche

12 Tool Clienti: Principali Funzionalità Homepage con statistiche Report Divisionali Indicatore di Certificazione Dati Certificati Dati Originali

13 Tool Clienti: Principali Funzionalità Homepage con statistiche Report Divisionali Report Clienti BIC Indicatore di Certificazione Dati Certificati Dati Originali

14 Tool Clienti: Principali Funzionalità Homepage con statistiche Report Divisionali Report Clienti BIC Ricerca Clienti: ID Cliente Partita IVA Codice Fiscale Rag.Sociale Cognome Indicatore di Certificazione Dati Certificati Dati Originali

15 Vista Cliente Corporate: Indirizzi Normalizzazione Verifica Deduplica Driver per Riconciliazione Riconciliazione fonti fonti Georeferenziazione Georeferenziazione Geomarketing Geomarketing Sistemi Operazionali ID_INDIRIZZO INDIRIZZO CAP CO M UNE PRO VINCIA 1000 Piazza Re di roma Roma rm 1001 P.Zza re di roma Roma RM 1002 P. Re di Roma Roma RM Vista Clienti ID_INDIRIZZO INDIRIZZO CAP COMUNE PROVINCIA MD PIAZZA RE DI ROMA Roma RM key PIAZZA RE DI ROMA Roma RM key PIAZZA RE DI ROMA Roma RM key1 NOTA: Dati esemplificativi non reali

16 Vista Cliente Corporate: Indirizzi Tool di monitoring NOTA: Dati esemplificativi non reali

17 Vista dei Prodotti Anagrafiche prodotto divisionali BP SAP DR Anagrafica prodotto unica Catalogo Prodotti Unico CET - EFIS Molte applicazioni Duplicazione prodotti Scarsa fruibilità Processo Frammentato Prodotti aggregati Normalizzazione Correlazione prodotti Vista Unica e viste divisionali

18 Vista dei Prodotti Il Catalogo Prodotti è organizzato in 3 aree tematiche: Prodotti Gerarchia crossdivisionale dei Prodotti Strutture Permettono la creazione di Viste Personalizzate Flussi Permettono l aggancio dei Prodotti alle Movimentazioni Driver per Ricostruzione degli economics per prodotto, cliente e canale Definizione di offerte integrate e innovative Processo integrato di gestione prodotto Analisi di business intelligence commerciale e di Marketing su clienti, clienti/prodotti, campagne

19 Vista Strutture Strutture

20 Vista Prodotti Prodotti

21 Vista Flussi Flussi Codici di aggancio dei sistemi operazionali

22 Metadati integrati I metadati in ambito enterprise servono a rispondere alle seguenti domande: Quali dati esistono? Qual è la loro definizione di business? Quali sono i sistemi da cui provengono? Come sono correlati ad altre informazioni? Chi è l owner dei sistemi? A quale data sono aggiornati? Qual è l impatto di una modifica nella loro struttura e quali sono i sistemi che potrebbero essere coinvolti?

23 Metadati integrati Il Repository dei Metadati Aziendali: 1. Consente l aggancio dei dati di movimento ai prodotti ed ai clienti 2. fornisce alle varie categorie di Utenti interni di Poste Italiane: i tracciati di scambio delle informazioni tra i sistemi e le eventuali regole di business i modelli concettuali e logici che descrivono gli archivi le regole di trasformazione all interno dei singoli ETL metadati di processo e monitoraggio qualità dei dati L obiettivo principale è quello di fornire valore aggiunto ai progetti permettendo di: facilitare l integrazione tra Dati e Processi (diffusione conoscenza) evitare l insorgenza di duplicazioni di dati dannose alla qualità degli archivi operativi

24 Metadati integrati Il sistema metadati consta di due sezioni, la prima per l inserimento dei documenti attraverso un tool che fa da orchestratore per l acquisizione delle informazioni nel repository

25 Metadati integrati La seconda parte del sistema è realizzata per la visualizzazione delle informazioni acquisite Esempi di utilizzo Utenti Finali Data Dictionary, Metadati di Processo, Descrizione fonti alimentanti Utenti Tecnici Impact Analysis, Modelli dati, ETL Jobs

26 Metadati integrati L architettura è stata definita al fine di garantire: una standardizzazione del processo di acquisizione documentale mediante utilizzo di XML per lo scambi dati tra applicativi Metadati Processo Teradata Grant Utente Mysql Repository Metadati ORACLE Portale Metadati l esercibilità rispetto agli standard aziendali (strumenti tecnologici riconcosciuti) Diario di Bordo Online (Ruolo Attivo) GESTORE DI WIZARD Sistema fruizione informazioni sui Metadati utilizzo di tecnologie Open Source lungo tutto il processo di acquisizione documentale e nella costruzione degli engine ETL SCHEDULER XML PARSER LOG e Monitoraggio XML XML XML erwin 7.0 Ascential DataStage OpenOffice Sistema popolamento repository Metadati

27 Architettura Acquisizione Dati Il diario di bordo prende un ruolo attivo nel processo di importazione dei metadati Vengono individuate 3 componenti, il gestore di wizard, lo scheduler e i parser XML Documentazione Input.erwin.doc.txt FileSystem di memorizzazione STAGING AREA Diario di Bordo Online (Ruolo Attivo) GESTORE DI WIZARD SCHEDULER XML PARSER LOG e Monitoraggio Il DBO traccia ogni azione e visualizza gli stati di elaborazione di ogni file metadati XML XML XML erwin 7.0 Ascential DataStage OpenOffice Sistema popolamento repository Metadati

28 Architettura Front End Estensione della gestione degli accessi con profilazione utenti Introduzione dell acquisizione e del monitoraggio dei metadati di runtime Estensione dei metadati di processo per individuazione dei metadati (cross class) collegabili

29 Data Monitor Anomalie ETL ETL Monitoraggio di processo Qualitàfonti alimentanti Quadrature

30 Web Services L interfaccia basata su Web Services permettono lo scambio di dati in maniera flessibile e interattiva RICHIESTE ONLINE 2 BIC ETL Gestore delle Code Richiesa massiva di dati SOAP/XML SOAP/XML Services Repository Web Services TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP TCP/IP

31 Risorse umane E stato costituito un gruppo di lavoro di circa 10 persone principalmente neo-laureati che hanno seguito un percorso di formazione training on the job con risultati eccezionali. I profili delle persone inserite provengono dalle più disparate discipline: ingegneri, statistici, matematici ed economisti. L approccio metodologico scelto ha fornito: una visione dei flussi e dei processi di business dell azienda forte autonomia nello sviluppo dei progetti libertà nella scelta delle soluzioni e strumenti da addottare (i.e.: open-source) Sono state formate all interno del gruppo di lavoro delle figure professionali: - Data Quality Manager - Data Architect - Customer Data Modeler - Product Data Monitor - Metadati Data Monitor - Web Developer Età media: circa 30 anni