Aprile 2013 LA SOLUZIONE EXPERTEE EEDG ENTERPRISE DATA GOVERNANCE

Transcript

1 Aprile 2013 LA SOLUZIONE EXPERTEE EEDG ENTERPRISE DATA GOVERNANCE

2 Company Profile Startup, fondata Q Prodotto: Suite Expertee Enterprise Data Governance - EEDG, per la Governance end-to-end dei processi di Integrazione Dati e Business Intelligence Unica Suite per la Governance «multi tecnologia» presente sul mercato Posizionata come un add-on per prodotti E-LT/ETL e BI In produzione in ambienti complessi Company Confidential

3 Management Team Enrico Durango Presidente Laureato in Economia, ha iniziato la sua carriera professionale in Datamat dove ha maturato solide competenze tecniche per condurre progetti complessi. E 'stato il primo tecnico italiano ad utilizzare Oracle. E 'stato Country Manager di aziende multinazionali del settore ICT come Informix e Ascential. Ha ricoperto ruoli importanti, con responsabilità in Italia e all'estero, in IBM. Paolo Di Stefano, CEO & Co-Founder Inventore di EXPERTEE, co-fondatore di BigData Governance Srl. Esperienza pluriennale in grandi progetti di Data Warehouse (tra cui: Telecom Italia, Inail, Acea, Poste Italiane) e CRM. Conoscenza enorme dei principali strumenti di ETL presenti sul mercato. Vasta esperienza sulla "gestione dei dati", Data Quality, metodologie e best practices di sviluppo con particolare riguardo al tema del "riuso". Andrea Stillone CTO & Co-Founder Ingegnere informatico con 20 anni di esperienza su DWH e CRM. Come responsabile di BU di realtà multinazionali e come amministratore delegato di una società di software ha maturato grandi competenze nella gestione di ambienti e organizzazioni complesse. Come architetto SW ha maturato una grande competenza nella progettazione e prototipazione di DWH e di soluzioni Big Data. Filippo Durango Business Development Director & Co-Founder 10 anni di esperienza nel marketing e nelle vendite nel mercato ICT, in BigData Governance è responsabile per lo sviluppo del business e del marketing. Ha lavorato per aziende italiane e multinazionali, occupandosi di progetti dallo start up delle attività commerciali fino al successivo consolidamento sul mercato. Company Confidential

4 La Suite Expertee

5 SVILUPPO Expertee: Caratteristiche Expertee è un framework strutturato in moduli che può fornire supporto nella gestione di ogni fase del ciclo di vita dei contesti applicativi; Governance dei processi end-to-end di Integrazione Dati e BI Sviluppo in ambito ETL Upgrade di release software ETL Migrazione/Sostituzione di tecnologia ETL ESERCIZIO

6 Governance end-to-end Company Confidential

7 OPERATION MONITOR IL MODULO DI GOVERNANCE A SUPPORTO DELL ESERCIZIO

8 Il Centro di comando: l Operation Monitor L Operation Monitor è il cuore della piattaforma Expertee. L Operation Monitor è una potente console in grado di : Monitorare: Più tecnologie (es. ETL, BI, OLAP ) Più istanze della stessa tecnologia Versioni (release) diverse della stessa tecnologia Creare allarmi unificati, personalizzati sulle necessità operative, su tutta la filiera di integrazione dati. L Operation Monitor è un vero e proprio centro di comando dal quale è possibile tenere sotto controllo tutte le diverse tecnologie coinvolte in una applicazione. Raccogliere ed analizzare i dati delle elaborazioni per prevenire proattivamente possibili degradi. Correlare tutte le tecnologie relative ad una applicazione. Fornire tutte le informazioni utili per razionalizzare il software sviluppato.

9 Operation Monitor: Panoramica DISCOVERY Anagrafico Processo Utilizzo ALERT Allarmistica parametrizzabile e customizzabile sulle necessità del cliente MANAGEMENT Gestione degli allarmi Action sugli allarmi Comunicazione con Trouble Ticketing ANALYSIS Trend Statistiche Correlazione informazioni

10 Datastage Contesto Applicativo Staging area Data Warehouse Reporting ETL ETL Primario TERADATA INFORMATION LAYER Microsoft BI Pentaho ETL ETL ETL ETL Primario TERADATA Primario Cubi Olap Datamart Datamart Business Object Microstrategy Front-end Data mining Secondario SPSS Agent Piattaforma di monitoraggio Report agent Livelli di monitoraggio Discovery Esecuzione dei flussi in corso Operation monitoring Alert Stato di esecuzione dei flussi Management Management delle segnalazioni Tempi medi di elaborazione Statistical monitoring Analysis Attendibilità dell elaborazione Confronta le informazioni con i dati statistici raccolti per evidenziare immediatamente eventuali indici di scostamento Attivazione degli allarmi e segnalazione dei comportamenti anomali alla SCR e al gruppo di gestione Presa in carico dell alert. Gestione del WF di risoluzione. Chiusura dell allarme Verifica eventuali scostamenti rispetto alla media usuale Evidenzia eventuali risultati anomali rispetto a quelli ritenuti statisticamente accettabili

11 Operation Monitor Console di gestione dell ambiente operativo Workflow di integrazione dati End to End La Console di Monitoraggio Il Cruscotto di analisi delle esecuzioni

12 KPI per verificare qualità del servizio Tendenza Ultimi 12 Rilevamenti KPI Risultato Dettagli Calcolo

13 Operation Monitor: Funzionalità

14 Operation Monitor: Discovery Discovery Anagrafico Censimento dei Job Etl, dei Cubi Olap, dei Report al fine di effettuare un assessment completo dell ambiente operativo dell applicativo del cliente. Discovery di Processo Monitoraggio delle esecuzioni dei job in corso: confronta le informazioni con i dati statistici raccolti, per evidenziare immediatamente eventuali indici di «scostamento». Monitoraggio dei tempi medi di elaborazione: a livello di singolo job, per evidenziare eventuali scostamenti rispetto alla media usuale. Monitoraggio dello stato di esecuzione dei job: segnala immediatamente comportamenti anomali (ad es. il job è fermo e non ha elaborato record) Monitoraggio dell attendibilità dell elaborazione: evidenzia eventuali risultati «anomali» rispetto a quelli ritenuti statisticamente accettabili. Discovery sull Utilizzo Monitoraggio del reale utilizzo dei report.

15 Operation Monitor: Alert Attraverso l Operation Monitor è possibile predisporre una allarmi parametrizzabili e customizzabili sulle reali necessità del cliente. La definizione di allarmi personalizzati, ed il loro successivo e costante monitoraggio, permette alla struttura responsabile dell esercizio dell applicazione, di identificare i comportamenti anomali prima che si conclamino in veri e propri problemi, e di definire la strategia di correzione più idonea e mirata, allontanando i rischi di disservizio e mantenendo, o nei migliori casi riducendo, gli SLA assunti. Dettagli Job In esecuzione

16 Operation Monitor: Analysis La funzionalità di Analysis dell Operation Monitor permette all utente di definire, in modo parametrico, tutti i KPI che devono essere rispettati e di verificarne l effettiva performance. In particolare è possibile analizzare: Trend Statistiche Correlazione informazioni K P I Risultato Tendenza Ultimi 12 Rilevamenti Le informazioni afferenti alle diverse tecnologie coinvolte in una applicazione, centralizzate in un unico ambiente, permettono all utente di prendere decisioni rispetto alla gestione dell applicazione stessa. Ad esempio è possibile, dopo avere analizzato il reale utilizzo di una componente dell applicazione (es. Job e/o report), prendere decisioni sulla manutenzione e/o sull eventuale eliminazione delle componenti meno utilizzate. L analisi dei picchi di elaborazione di tutte le tecnologie relative ad una singola applicazione, permette al responsabile del esercizio di ottimizzare in maniera puntuale l utilizzo delle risorse. Dettagl i Calcolo

17 Operation Monitor: Management Attraverso l Operation Monitor è possibile intraprendere action sugli allarmi definiti in precedenza. In particolare è possibile gestire in maniera autonoma e centralizzata il processo end-to-end di risoluzione dell allarme. Presa in carico dell alert. Action di 1 livello per la risoluzione dell allarme. Chiusura dell allarme o comunicazione con le piattaforme di Trouble Ticketing presenti in azienda.

18 EXPERTEE STUDIO IL MODULO DI DEVELOPMENT A SUPPORTO DELLO SVILUPPO

19 Modulo Sviluppo: Expertee Studio Expertee Studio è la console del Modulo di Sviluppo attraverso la quale è possibile: Disegnare i processi indipendentemente dalla tecnologia di ETL utilizzata. Adottare una metodologia di «riuso» attraverso la generazione automatica di parti di progetto senza l intervento dell utente. Centralizzare le regole di trasformazione e di business. Integrare e controllare i requisiti di progetto. Controllare la configurazione e il versioning. Generare automaticamente la documentazione. Assicurare il rispetto della naming convention al fine di garantire la qualità del software sviluppato. Generare automaticamente i job/report progettati. Generare automaticamente job/report standard per velocizzare lo sviluppo delle applicazioni. Alimentare automaticamente l ambiente target. Il supporto automatizzato ai test dell applicazione.

20 Gestione della Naming Convention A livello di progetto è possibile gestire Naming Convention per ogni tipologia di stage gestito dall Expertee Studio Su ogni stage si decide come il target name sarà formato in base a Prefisso, Suffisso e uso lettura/scrittura

21 Gestione della Lookup & Join In EXPERTEE è presente solo un operatore di join. Quando esportato nell ETL (ex Datastage), i job generati usano i corrispondenti stage di lookup&join in funzione dell input 1 Check numerosità input e decisione: 2a esecuzione con Join, oppure.. Questo join in Expertee genera una serie di job Datastage 2b esecuzione con Lookup

22 Regolamentazione dello sviluppo In EXPERTEE non è possibile sviluppare job con più di 15 stage, di cui al massimo un trasformer (parametri definibili a livello di progetto) La catena ETL può essere lunga a piacere ma la complessità del singolo job è tenuta sotto controllo

23 «Fast Track» Sono stati inseriti alcuni automatismi che rendono più agile la modifica o la creazione di job Ed Inoltre: -Propagazione facilitata della struttura dataset fra job -Utilizzo trasparente di dataset a partire da tabelle Teradata -Versionamento di progetti/job Parameter set (tipici di DS 8.x) gestiti a livello di progetto Metadati importabili direttamente da Erwin

24 Sviluppo guidato dai requisiti Partendo da una lista di requisiti inseriti in fase di preparazione, è possibile definire fino a livello di singolo stage del processo ETL, quali requisiti/regole di business sono implementati nello stage. All atto della generazione, i job (es. Datastage) hanno già una documentazione sia a livello di job (su annotation) che di singolo stage (su tab Description) Requisiti implementati dallo stage DS (tab description) Requisiti implementati dal job DS (annotation)

25 Cruscotto di Navigazione Expertee permette un modello di sviluppo in cui la corrispondenza fra Requisiti, Regole di trasformazione, Mapping è mantenuta durante tutto il ciclo di vita del software. Un cruscotto di navigazione tecnica permette di passare da una di queste entità a quelle corrispondenti. Informazioni di carattere tecnico sono già a disposizione nel cruscotto, per la facile consultazione anche da parte di chi non ha a disposizione un client DS

26 Expertee: sintesi dei vantaggi EXPERTEE permette di superare gli approcci progettuali tipici della gestione delle problematiche di Governance dei processi di integrazione dati e di business intelligence. EXPERTEE e una soluzione: Flessibile. Parametrica. Implementabile velocemente, in funzione dei sistemi presenti in azienda è implementabile in un periodo che varia da 2 a 4 settimane. Completa della reportistica necessaria alla Governance. Personalizzabile ed Espandibile, in funzione di eventuali necessità o requisiti specifici del Cliente. Integrabile con gli strumenti di reportistica e / o console aziendali presenti, salvaguardando gli investimenti effettuati in precedenza.