Tecnologie IBM per la governance e l integrazione dei dati

Transcript

1 Tecnologie IBM per la governance e l integrazione dei dati Una panoramica Monica Ginocchio Senior IT Specialist Software Group - IBM Italia Monica.Ginocchioi@it.ibm.com Carlo Patrini Information Architect Software Group - IBM Italia Carlo.Patrini@it.ibm.com Francesco Airoldi Executive Architect ets Team - IBM Italia airfranz@it.ibm.com

2 Agenda Breve introduzione generale Data Governance (cenni) Data Integration: la piattaforma IBM InfoSphere Information Server Introduzione Panoramica funzionale: come fare per: Scoprire, modellare e gestire la struttura ed il contenuto dell'informazione Combinare e ristrutturare le informazioni per nuovi utilizzi Bonificare le informazioni aziendali Sincronizzare, spostare e virtualizzare le informazioni on-line Migliorare la collaborazione e lo sviluppo grazie ad un repository dei metadati comune e condiviso Utilizzare funzionalità addizionali 2 Tecnologie IBM per governance e integrazione dati

4 Information Management: visione ad alto livello Fornire informazioni affidabili a supporto delle operazioni e decisioni di business lungo tutta la filiera informativa della azienda estesa Applicazioni transazionali e collaborative Metodologie e strumenti Integrare Analizzare Applicazioni analitiche Big Data Gestire Master Data Cubi Dati Data Warehouses Streams Sorgenti di informazione esterne Contenuti Flussi Qualità Governare Ciclo di vita Sicurezza e Riservatezza Standards Politiche, metodologie e strumenti 4 Tecnologie IBM per governance e integrazione dati

6 Le informazioni oggi: la necessità di governarle Instrumented Interconnected Intelligent L espolosione dell informazione digitalizzata pone nuove sfide ad aziende ed organizzazioni 6 Tecnologie IBM per governance e integrazione dati Crescita esponenziale dei volumi di dati Miriadi di formati diversi Utilizzi in tempo reale Accesso interno ed esterno all azienda Infrastrutture IT complesse creando la necessità di una migliore Information Governance Alimentare il business con dati affidabili, consistenti, di elevata qualità Gestire i dati lungo tutto il loro ciclo di vita Ridurre i rischi assicurando adeguati livelli di sicurezza e riservatezza il tutto controllando i costi e ottimizzando le infrastrutture Information governance is the orchestration and technology to enable an organization to leverage information as an enterprise asset Costi crescenti per infrastrutture e gestione delle risorse Crescite dati non gestite, e degrado delle prestazioni Ridondanza dei dati Applicazioni e infrastrutture disparate e complesse Mancanza di strategia comune su sicurezza e riservatezza Rischi: brecce nella security, non conformità a normative Incapacità di valutare le vulnerabilità e prevenire intrusioni non autorizzate Scarsa affidabilità delle informazioni Disallineamenti nella definizione del significato dei dati Poca chiarezza nel comprendere le sorgenti dati e le loro relazioni reciproche Mancanza di standard e metriche sulla qualità dei dati Mancanza di controllo sugli ambienti di test dei dati

7 Che dire di Costi crescenti per lo storage (dischi)? Essere preparati a controlli (audit) audit interni ed esterni? Conformità a un numero crescente di leggi e normative? L effetto moltiplicatore della clonazione dei database di produzione? Problemi prestazionali delle applicazioni, a causa delle dimensioni dei loro database, nei quali la maggior parte dei dati sono obsoleti? La qualità dei dati immessi nei sistemi operazionali? Il tempo e lo sforzo richiesto per creare e popolare database di test? Frodi interne e/o errori da parte di utenti privilegiati (p.e. DBA)? Gestire un gran numero di database in ambienti complessi? Attacchi esterni verso i database di produzione? Sostituzione di applicazioni? Riservatezza dei dati sensibili, p.e. se condivisi fuori dell azienda? Domande come: Dove sono i dati? Da dove arrivano questi dati? Che cosa significano questi dati? Qual è l impatto di modifiche su questa tabella?... Ciclo di vita dei dati (archiviazione, cancellazione )? Information governance is able to address all the above 7 Tecnologie IBM per governance e integrazione dati

8 IBM Information Governance Un approccio globale Validato dall Information Governance Council Aziende leader, business partners ed esperti di industria Implementazione accelerata sulla base del Maturity Model definito dal Council Un quadro di riferimento (discipline, livelli) come punto di partenza e per la definire le azioni prioritarie Applicato con un Processo Unificato Guidato dai requisiti e allineato agli obiettivi di business, per risolvere problemi di business A good Information Governance program supports compliance initiatives, reduces cost and minimizes risk to enable sustainable profitable growth 8 Tecnologie IBM per governance e integrazione dati

9 InfoSphere: Collaborative Information Governance Una suite completa di strumenti e soluzioni per le tre discipline fondamentali del Governance Maturity Model Ampiezza dell offerta Indirizza un ampia gamma di requisiti Riutilizzo e consistenza Condivisione di metadati e politiche Modularità, diversi punti di ingresso In funzione delle priorità di business e IT Ampio spettro di applicabilità Tecnologie open che supportano ambienti eterogenei Soluzioni collaudate L informazione fluisce attraverso i sistemi e i dipartimenti aziendali, in modo simile alle merci fisiche di una supply chain Intoppi e guasti possono rovinare i processi di business e condurre a decisioni errate Test/Dev Single solution provider to govern and optimize the Information Supply Chain 9 Tecnologie IBM per governance e integrazione dati

10 InfoSphere Information Governance: Quality Management Definire che cosa significa per il business avere dati di elevata qualità Sviluppare dati di test realistici e riutilizzabili, conformi alle normative sulla privacy Standardizzare e ripulire i dati a supporto di inizative strategiche Monitorare costantemente la qualità dei dati e capire come trattare le eventuali anomalie Capire le filiere alle quali sono soggetti i dati Understand & Define Test/Dev Develop & Test Cleanse & Manage Continuously InfoSphere Discovery InfoSphere Data Architect InfoSphere Information Analyzer InfoSphere Business Glossary InfoSphere Metadata Workbench InfoSphere Quality Stage InfoSphere Information Server Data Quality Module for SAP 10 Tecnologie IBM per governance e integrazione dati

11 InfoSphere Information Governance: Lifecycle Discover & Define Capire il che cosa e dove dei dati aziendali Includere nel ciclo di vita dei dati aziendali lo sviluppo di modelli e programmi per configurare i dati degli ambienti di test Ottimizzare le prestazioni mediante l identificazione dei colli di bottiglia, e implementare la corretta strategia per gestire la crescita dei dati e delle applicazioni Implementare un processo consistente per il ritiro e il consolidamento delle applicazioni Develop & Test Test/Dev Optimize, Archive & Access Consolidate & Retire InfoSphere Discovery InfoSphere Optim Data Growth Solution InfoSphere Optim Test Data Management Solution InfoSphere Optim solutions for performance optimization IBM Content Collector family IBM Commonstore for SAP 11 Tecnologie IBM per governance e integrazione dati

12 InfoSphere Information Governance: Security & Privacy Capire il che cosa e dove dei dati aziendali Proteggere i dati ovunque in azienda, a fronte di minacce sia interne che esterne Sapere sempre chi sta accedendo ai dati, quando, e perchè Monitorare l accesso ai database e generare report ai fini di audit Discover & Define Secure & Protect Test/Dev Monitor & Audit InfoSphere Discovery InfoSphere Optim Data Masking Solution InfoSphere Guardium Data Redaction InfoSphere Guardium Encryption Expert InfoSphere Guardium Database Activity Monitor Tivoli Security Information & Event Monitor 12 Tecnologie IBM per governance e integrazione dati

14 Contesto e obiettivi Origine delle informazioni Fornire informazioni affidabili a partire da sistemi differenti e frammentati, con i volumi e la velocità richiesta. Utenti delle informazioni Indirizzare le diverse esigenze del business con informazioni pertinenti quando e dove esse servono. 14 Tecnologie IBM per governance e integrazione dati

15 IBM InfoSphere vision Una piattaforma unica per la gestione delle informazioni Semplifica il rilascio di informazioni affidabili Accelera il client value Agevola la collaborazione Mitiga il rischio Modulare ma Integrata Scalabile dal progetto all impresa 15 Tecnologie IBM per governance e integrazione dati

16 IBM InfoSphere vision 16 Tecnologie IBM per governance e integrazione dati

17 InfoSphere Information Platform Le fondamenta per avere informazioni affidabili Business Applications CRM Business Analyst Data Steward LOB Owner Data Analyst Subject Matter Expert CxO Application / Data Silos ERP CRM Call Center ERP Legacy Data Analysis & Reporting Data Mining Predictive Modelling Data Architect Developer System Architect IT Manager Database Administrator CIO Enterprise Architect Application Manager Mgt Reporting 17 Tecnologie IBM per governance e integrazione dati

18 Collaborazione e Produttività Strumenti e Ruoli: condivisione immediata dei Metadati Approfondire Esempi Una Definizione I Metadati costituiscono il curriculum vitae dei dati, raccolgono le informazioni relative al dove, al quando, al come e da chi i dati sono stati ottenuti Utenti Business Esperti in materia Architetti Analisti Dati Sviluppatori Database Administators Design Operational Gestione dei Metadati Unificata Semplifica l integrazione Incrementa l affidabilità delle informazioni Semplifica il riutilizzo e il Favorisce la compatibilità change management con gli standard IBM Corporation

19 IBM Information Server: architettura UNIFIED USER INTERFACE Analysis Interface Development Interface Web Admin Interface COMMON SERVICES Metadata Services Unified Service Deployment Security Services Logging & Reporting Services UNIFIED PARALLEL PROCESSING UNIFIED METADATA Understand Cleanse Transform Deliver Design Operational COMMON CONNECTIVITY Structured, Unstructured, Applications, Mainframe 19 Tecnologie IBM per governance e integrazione dati

20 Quale tool per quale fase InfoSphere QualiyStage InfoSphere Business Glossary InfoSphere Information Analyzer InfoSphere FastTrack InfoSphere DataStage Native connectivity (DB2, Informix, Netezza, Oracle, Teradata...) InfoSphere Information Server Manager InfoSphere Information Services Director InfoSphere Connectivity Pack (SAP, Siebel,...) InfoSphere Metadata Workbench InfoSphere Federation Server InfoSphere Replication/CDC tools Core component Add-on component 20 Tecnologie IBM per governance e integrazione dati

22 L importanza di un glossario di Business Comprendere In poche parole, un glossario Business è creato per rappresentare il linguaggio del business, indipendentemente dalla tecnologia Responsabilità Identificare gli stewards Gestione dei contenuti Collaborazione Vocabolario comune ed approvato Condividere le esperienze di competenza - Business & IT Auditability Evoluzione del linguaggio Gestione centralizzata Gestione degli elementi determinanti per la conformità alle varie normative e all'ibm Data Governance Maturity Model 22 Tecnologie IBM per governance e integrazione dati

23 InfoSphere Business Glossary Un tool web-based dedicato agli utenti di business che permette: La creazione e gestione di un vocabolario controllato Creazione e gestione di una tassonomia di business Creazione di un repository dei metadati di business Un riferimento per conoscere il patrimonio informativo dell'impresa Significato Dipendenze Utilizzo Qualità Ownership/Responsabilità Comprendere Organizzato secondo gerarchie di business definite dalla tassonomia di business 23 Tecnologie IBM per governance e integrazione dati

24 Information Analyzer Analizzare le informazioni e monitorarne la qualità Fornisce un analisi dettagliata dei sistemi esistenti Analisi focalizzata su dati di applicazioni, database e files, per contenuto, qualità e struttura Affidabile e dettagliato profiling di campi e relazioni attraverso strutture e sorgenti multiple Consente la misurazione ed il reporting della qualità dell informazione Crea i metadati che descrivono dove l informazione è gestita attraverso i sistemi coinvolti Consentendo l analisi di specifiche fonti si mettono in evidenza i punti che costituiscono potenziali criticità Subject Matter Experts IBM Information Analyzer Comprendere Data Analysts Business Analizza strutture dati e ne controlla Glossary l aderenza alle regole di integrazione e qualità Approfondire Esempi Vista fisica 24 Tecnologie IBM per governance e integrazione dati

25 Come lavora InfoSphere Information Analyzer Comprendere Column Analysis Table Analysis Cross-Table Analysis Analisi delle frequenze di distribuzione Analisi di Classe, Proprietà, Formato, Dominio e Completezza Analisi delle Primary Keys Analisi delle Foreign Keys e delle analogie tra colonne Annotazioni e evidenziazioni dei campi da controllare Capacità di confronto rispetto a baselines Report dei risultati 25 Tecnologie IBM per governance e integrazione dati

26 Information Analyzer: l analisi dei dati Comprendere 26 Tecnologie IBM per governance e integrazione dati

27 Information Analyzer: Data Auditing Possibilità di definire Data Rule per il monitoraggio della conformità dei dati alle regole di business Possibilità di definire delle Metriche per il monitoraggio globale della qualità dati e la registrazione del suo andamento nel tempo Condivisione dei Metadati dei sistemi sorgente Approfondire Esempi 27 Tecnologie IBM per governance e integrazione dati

29 InfoSphere DataStage Trasformare ed aggregare informazioni in batch o real-time Consente la progettazione visuale delle procedure senza bisogno di codice, sfruttando centinaia di funzioni built-in Riutilizzo ottimizzato delle procedure Supporto batch & real-time Produce componenti riusabili tra progetti Funzionalità ETL complete con approccio orientato ai metadati Developers Architects InfoSphere DataStage Trasformare Trasforma ed aggrega informazioni in batch o real-time attraverso un design visuale della logica Supporto alla collaborazione ed al lavoro in team Fornisce accesso ad ogni genere di fonte dati Centinaia di funzioni di trasformazione built-in 29 Tecnologie IBM per governance e integrazione dati

30 InfoSphere DataStage L ambiente di sviluppo Trasformare 30 Tecnologie IBM per governance e integrazione dati

31 InfoSphere DataStage Trasformazione e movimentazione dei dati Visualizzazione del percorso dei dati durante lo sviluppo delle procedure Ricerca qualunque oggetto DataStage Trasformare Trova eventuali dipendenze Da quali altri elementi dipende un dato oggetto? Identifica dove viene utilizzato Dov è utilizzato? IBM Corporation

32 InfoSphere DataStage Performance: esecuzione parallela Assemblaggio della procedura: un singolo flusso Source Data TRANSFORM ENRICH LOAD Esecuzione della procedura: sequenziale o parallela Data Warehouse Sequential 4-Way Parallel 64-Way Parallel Uniprocessor SMP System MPP, GRID, and Clustered Systems Disegno sequenziale, deploy parallelo Scalabilità lineare Partizionamento dinamico dei dati e ripartizionamento in-flight Portabile su SMP, Cluster, GRID, e piattaform MPP Supporto per RDBMS paralleli (IBM DB2 UDB, Oracle, Teradata, Informix) Parallelizzazione codeless Incorpora e rende parallele applicazioni esterne esistenti, senza scrittura di codice Benefici per il business Elevata produttività Uso ottimale dell hardware Flessibilità nell esecuzione Trasformare 32 Tecnologie IBM per governance e integrazione dati 2011 IBM Corporation

33 InfoSphere DataStage Connettività a svariatissime sorgenti di dati RDBMS DB2 (on Z, I, P or X series) Oracle Informix (IDS and XPS) Ingres MySQL Netezza Progress RDB RedBrick SQL/DS SQL Server Sybase (ASE & IQ) Teradata Universe UniData NonStopSQL And more.. General Access Sequential File Complex Flat File File / Data Sets Named Pipe FTP Compressed / Encoded Data External Command Call Parallel/wrapped 3rd party apps EMC InfoMover Web logs Unstructured: , docs, etc. Content Management Systems Life Sciences Enterprise Applications JDE/PeopleSoft EnterpriseOne Oracle Applications PeopleSoft Enterprise SAS SAP R/3 & BI SAP XI Siebel JDA Ariba Manugistics I2 And more Standards & Real Time InfoSphere MQ Java Messaging Services (JMS) Java XML & XSL-T EBXML Web Services (SOAP) Enterprise Java Beans (EJB) EDI FIX SWIFT HIPAA CDC / Replication DB2 (on Z, I, P, X series) Oracle SQL Server Sybase Informix IMS VSAM ADABAS IDMS NonStopSQL Enscribe Legacy Allbase/SQL C-ISAM D-ISAM Datacom/DB DS Mumps Enscribe Essbase FOCUS IDMS/SQL ImageSQL Infoman KSAM M204 MS Analysis Nomad Nucleus RMS S2000 Supra TOTAL TurboImage Unify And many more. Trasformare 33 Tecnologie IBM per governance e integrazione dati

34 Uso ottimizzato dei sistemi L ottimizzazione non è legata allo stile dell implementazione (ETL o ELT), l approccio ibrido consente TELT e/o TETLT per aumentare la flessibilità e le prestazioni InfoSphere DataStage Balanced Optimization sfrutta completamente le capacità elaborative dei nodi DataStage, Netezza, DB2, Oracle e Teradata Fornisce prestazioni e scalabilità illimitate attraverso l esecuzione parallela delle procedure IBM Corporation

35 Interfaccia utente di IS Balanced Optimization Opzioni di ottimizzazione Proprietà specifiche del connettore Repository Job originale ed ottimizzato Trace / Logging dettagliato 35 Tecnologie IBM per governance e integrazione dati

37 InfoSphere QualityStage Standardizzare e correggere le informazioni Implementa processi specializzati sulla qualità del dato Assicura informazioni corrette, standardizzate, deduplicate Fornisce un unica versione valida del dato Supporta gli standard postali worldwide Subject Matter Experts Bonificare Data Analysts Fornisce strumenti visuali per il design delle regole di qualità e la logica di matching Completamente integrato con DataStage (un engine, un metamodello, una UI) Calibrazione fine delle regole di matching InfoSphere QualityStage Standardizza e corregge dati, consente il matching di record da sorgenti diverse e la creazione di singole viste Consente il deployment della logica in procedure ETL o come servizi condivisi Visual Match Rule Design 37 Tecnologie IBM per governance e integrazione dati

38 Le sfide sulla qualità dei dati Mancanza di standard informativi Diversi formati e strutture su diversi sistemi Sorprese sui dati nei singoli campi Dati fuori posto nelle fonti dati Informazioni annegate in campi free-form Consistenza dei dati Mancanza di identificatori consistenti non permette la realizzazione di una vista unica Ridondanza Record duplicati, mancanza di standard Luca Di Lorenzo via Sciangai 53, 00144, Roma (IT) Di Lorenzo, Luca v. Shangai, Roma Italia, Sig. Di Lorenzo L. 53, v. Shangai B4/3 Rome, Italy Name CF Telephone Luca Di Lorenzo LCDLRZ23GH501G Sistemi S.r.l SimCasa ag. 3 p.iva nessuno Marco Rinaldi cod. fisc. MRCRND12H23 WING ASS. FORO 4 USO 5J868A DADO ESAGONALE 1/4 POLLICE WING ASSEMBL, UTIL. 5J868-A DADO ESAG DRILL FOUR HOLES USE 4 5J868A DADO (HEX.25) USO FORATURA PER ASSEMBL. ALA RUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETTI (10 CM) Cavo RS232 6' M-F CandS CS Cavo Maschio-F 6 ft. RS232 #87951 C&SUCH6 Maschio/Femmina 25 PIN 6 piedi, cavo IBM via Sciangai 53, Roma IT I.B.M. Inc. V. Sciangai 54 Roma IT Int. Bus. Machines via Agrostemmi 21, Roma, Italia International Bus. M. v. Agrostemmi 21, Santa Palomba Inter-Nation Consults v.le Sciangai 53, Roma, I.B. Manufacturing via Shangai 53, Roma, 38 Tecnologie IBM per governance e integrazione dati

39 InfoSphere QualityStage Bonificare Approfondire Esempi Investigazione: comprensione dei dati e loro classificazione in modelli Standardizzazione: riconduzione dei dati ad un unico standard Matching: Identificazione dei duplicati Survivorship: i dati migliori, anche rispetto a più sorgenti, sopravvivono in un nuovo record 39 Tecnologie IBM per governance e integrazione dati

41 InfoSphere Information Service Director Esporre le logiche di traformazione via web senza la scrittura di codice Distribuire Un applicazione J2EE che incapsula le logiche di integrazione informativa in servizi che isolano gli sviluppatori dalle fonti dati fisiche Developers Architects Consente ai servizi di essere invocati come Enterprise Java Beans InfoSphere Information Services Director Consente la gestione ed il deploy dei servizi senza scrittura di codice Implementa funzionalità di load balancing & fault tolerance per richieste verso clusters di InfoSphere Information Server Implementa l infrastuttura di base degli Information Services Deployment SOA rapido 41 Tecnologie IBM per governance e integrazione dati

43 InfoSphere Metadata Workbench Esplorare e comprendere il patrimonio generato e utilizzato dalla suite InfoSphere Information Server Esplorazione web-based degli assets generati e utilizzati da InfoSphere Information Server o importati da tools esterni Funzionalità out-of-the-box di reporting sui dati, data lineage, significato di business, analisi di impatto e dipendenze Data Integration Managers Sviluppatori IBM Metadata Workbench Metadati Fornisce allo staff IT uno strumento per esplorare e comprendere il patrimonio generato e utilizzato dalla suite InfoSphere Information Server. Data lineage dai report di business intelligence come base per la governance e la compliance verso legislazioni come Sarbanes-Oxley, Basel II 43 Tecnologie IBM per governance e integrazione dati

44 InfoSphere Metadata Workbench.. Overview delle funzionalità Metadati ESPLORAZIONE ANALISI GESTIONE Esplorazione degli assets di InfoSphere Information Server: Job, Report, Database, Modelli, Termini, Stewards, Sistemi Navigazione degli assets Ricerca semplice ed avanzata Vista cross-suite integrata degli assets Vista grafica delle relazioni tra assets Query builder ad-hoc Analisi delle dipendenze e delle relazioni tra assets e report di BI di applicazioni esterne Tracciamento dei movimenti dati da e per I database, job e report Comprensione del significato di business di colonne, tabelle ed altri assets Comprensione dell impatto dei cambiamenti di una colonna o di un flusso attraverso tutta la piattaforma Gestione dei metadati di InfoSphere Information Server a scopo analitico Modifica dei nomi e delle descrizioni degli assets Creazione di steward e loro assegnazione Riconciliazione di assets duplicati Accesso alle informazioni di runtime 44 Tecnologie IBM per governance e integrazione dati

45 Da dove provengono i dati relativi ad un campo di un report? Metadati Cosa accade modificando una colonna?!!! Qual è il significato di un campo?!! Navigazione nei metadati dei report di BI Navigazione attraverso gli attributi dei reports Data lineage anche rispetto a strumenti differenti Aumenta affidabilità e comprensione delle informazioni di business Analisi di impatto Mostra gli impatti in formato grafico o tabellare Anche su report degli strumenti di BI Riduce i costi associati ai cambiamenti Mostra le relazioni tra termini di business, entità di un modello dati, campi tecnici o di un report Permette la comprensione del significato dei campi Permette la comprensione delle relazioni tra termini di business Supporta la data governance IBM Corporation

47 Connettività verso applicativi Information Server Packs Requisiti Abilita InfoSphere DataStage e QualityStage ad accedere ai dati delle applicazioni enterprise Benefici Riduce la necessità di conoscere le applicazioni enterprise Elimina la necessità di scrivere codice e fornisce un interfaccia grafica Riduce I costi di sviluppo e aumenta la capacità di riutilizzo. 47 Tecnologie IBM per governance e integrazione dati 2011 IBM Corporation

48 Domande? 48 Tecnologie IBM per governance e integrazione dati 2011 IBM Corporation

49 Grazie Tecnologie IBM per governance e integrazione dati 2011 IBM Corporation