E.T.L. (Extract.Tansform.Load) IBM - ISeries 1/8

Transcript

1 E.T.L. (Extract.Tansform.Load) IBM - ISeries Quick-EDD/ DR-DRm ETL 1/8

2 Sommario ETL... 3 I processi ETL (Extraction, Transformation and Loading - estrazione, trasformazione e caricamento)... 3 Cos è l ETL?... 3 Le sfide dell ETL... 5 Soluzioni di integrazione dati open source per ETL... 5 strumenti di ETL nelle aziende... 6 Costo o Investimento?... 6 Quick-EDD/DR-DRm ETL 2/8

3 ETL I processi ETL (Extraction, Transformation and Loading - estrazione, trasformazione e caricamento) sono i componenti più importanti e con più valore aggiunto di un'infrastruttura di Business Intelligence (BI). Sebbene Figura 1 Schema ETL siano per lo più invisibili gli utenti della piattaforma di BI, i processi ETL recuperano i dati da tutti i sistemi operativi e li pre-elaborano per i tool di analisi e di reporting. La precisione e la tempestività dell intera piattaforma di BI dipendono in larga misura dai processi ETL. Figura 2 - Business Intelligence Cos è l ETL? I processi di estrazione, trasformazione e caricamento comprendono step multipli che hanno come obiettivo il trasferimento dei dati dalle applicazioni di produzione ai sistemi di Business Intelligence : Estrazione dei dati dalle applicazioni di produzione e dai database (ERP, CRM, RDBMS, file ecc.) Trasformazione di questi dati per la loro riconciliazione su tutti i sistemi sorgente, eseguire calcoli o parsing di stringhe, arricchirli con informazioni di lookup esterne e confrontare il formato richiesto dal sistema target (Third Normal Form Star Schema, Slowly Changing Dimensions, ecc.) Quick-EDD/DR-DRm ETL 3/8

4 Figura 3-3NF (Third Normal Form Star Schema) Caricamento dei dati risultanti nelle varie applicazioni BI: Data Warehouse o Enterprise Data Warehouse, Data Mart, applicazioni Online Analytical Processing (OLAP) o cubi, ecc. La latenza dei processi ETL varia da batch (a volte mensilmente o settimanalmente, ma più spesso quotidianamente), a near-real-time con aggiornamenti più frequenti (ogni ora, ogni minuto, ecc). Figura 4 - Diagramma ETL Quick-EDD/DR-DRm ETL 4/8

5 Le sfide dell ETL Ci sono numerose difficoltà da fronteggiare per ottenere un implementazione efficiente ed affidabile dei processi ETL. I volumi di dati crescono in maniera esponenziale, e i processi ETL devono elaborare grandi quantità di dati granulari (prodotti venduti, chiamate telefoniche, transazioni bancarie.). Alcuni sistemi BI raramente vengono aggiornati incrementalmente mentre altri richiedono un caricamento completo ad ogni iterazione. Con l aumento della complessità dei sistemi informatici, anche la disparità delle sorgenti aumenta. I processi ETL richiedono una connettività di vasta portata per i pacchetti di applicazioni (ERP, CRM, ecc.), database, mainframe, file, Servizi Web, ecc. Le strutture e le applicazioni di Business Intelligence comprendono data warehouse, data mart, applicazioni OLAP per l analisi, il reporting, il dashboarding, lo scorecarding, ecc. Tutte queste strutture target hanno diversi requisiti di trasformazione dei dati e diverse latenze. Le trasformazioni coinvolte nei processi ETL possono essere altamente complesse. I dati devono essere aggregati, sottoposti a parsing, calcolati, elaborati statisticamente, ecc. Le trasformazioni specifiche BI sono anch esse necessarie, come lo Slowly Changing Dimensions. Mentre la BI tende alla simultaneità real-time, i data warehouse e data mart devono essere aggiornati più spesso e le finestre di tempo del caricamento diventano sempre più brevi. Soluzioni di integrazione dati open source per ETL Le soluzioni di integrazione dati Talend sono ottimizzate per l ETL enterprise-grade. Le seguenti funzioni sono particolarmente importanti per la progettazione, lo sviluppo, l esecuzione e la manutenzione dei processi ETL : Modeling del processo business-oriented garantisce una comunicazione ottimale tra l'informatica ed il business Ambiente di sviluppo grafico che migliora notevolmente la produttività e agevola la manutenzione Piattaforma molto evolutiva che sfrutta una griglia di commodity hardware e l unica soluzione a supportare l architettura doppia ETL + ELT. Ampissima connettività per supportare tutti i sistemi Componenti avanzati integrati per l ETL, compresi manipolazioni di stringhe, Slowly Changing Dimensions, supporto carichi bulk, ecc. Quick-EDD/DR-DRm ETL 5/8

6 STRUMENTI DI ETL NELLE AZIENDE Costo o Investimento? Le potenzialità degli strumenti ETL e i vantaggi che possono offrire alle aziende. Un'introduzione ai sistemi di estrazione, trasformazione e salvataggio dati a supporto dei datawarehouse. Da qualche anno si sente sempre più spesso parlare di ETL, tipicamente parlando di progetti di Business Intelligence. Molte aziende li stanno adottando, generalmente spinte dall ufficio IT. Ma esattamente cosa sono e a cosa servono questi strumenti? Innanzitutto il significato del termine: le tre lettere sono la sigla inglese di Extract, Transform and Load; si può quindi affermare in sintesi che tratta di una classe di prodotti dedicati alla gestione e trasformazione dei dati. Nulla quindi riguardo alla presentazione delle informazioni ed alla loro analisi, compito questo degli strumenti di reporting. In origine nascono come strumento a supporto dei sistemi di Business Intelligence e/o di DataWarehouse: Extract: estrazione dai sistemi sorgente dei dati necessari per supportare i processi decisionali Transform: trasformazione dei dati in informazione, tramite processi di verifica, pulizia ed arricchimento Load: salvataggio delle informazioni in formati eterogenei Arrivati a questa prima definizione, la domanda spontanea è: perché dovrei investire nell acquisto di uno di questi strumenti quando queste operazioni si sono sempre effettuate anche senza la loro introduzione in azienda? L alternativa all ETL è in sintesi la scrittura di un programma dedicato, sia esso realizzato tramite le funzionalità intrinseche della base dati di riferimento o tramite un linguaggio di programmazione esterno. Partendo dal presupposto che il risultato finale sia comunque raggiungibile, esistono però alcune differenze notevoli tra i due approcci, tali da giustificare in moltissime realtà la spesa necessaria all acquisto delle licenze di un prodotto di ETL. Ci sono naturalmente differenze anche notevoli tra un prodotto e l altro, in funzione spesso del posizionamento che il singolo vendor vuole prendere sul mercato, ma alcune caratteristiche sono comunque accomunabili: strumento grafico: gli ETL sono strumenti dedicati a persone che hanno esperienza sulle basi di dati, ma non necessariamente per programmatori: sono infatti progettati per rendere più semplice e visuale lo sviluppo di trasformazioni complesse sui dati; tutti gli strumenti presenti sul mercato propongono una visione grafica del flusso dati, rendendo quindi molto più immediata l interpretazione di un processo di caricamento o di manipolazione dei dati; sono strumenti dove quindi si scrive pochissimo codice rispetto alla realizzazione di programmi dedicati, in qualsiasi linguaggio essi vengano sviluppati manutenibilità: gli aspetti evidenziati al punto precedente consentono chiaramente non solo una più semplice implementazione dei progetti, ma anche e soprattutto una loro manutenzione molto più rapida e immediata, evitando i lunghi periodi di analisi spesso necessari per comprendere gli impatti di una modifica al codice, anche se di lieve entità analisi degli impatti: molti degli strumenti presenti sul mercato mettono a disposizione diverse interfacce per l analisi delle trasformazioni già realizzate; questi strumenti nello strumento permettono di comprendere con pochi click quali passaggi della Quick-EDD/DR-DRm ETL 6/8

7 trasformazione usino determinate informazioni, e dove si propaghino in cascata eventuali modifiche in corso di realizzazione integrazione con gli strumenti di reporting: alcuni vendor di ETL propongono all interno del loro catalogo anche strumenti di analisi dei dati e reportistica; in questi casi si può sfruttare l integrazione tra i diversi prodotti per analizzare gli impatti di una modifica al substrato informativo realmente end-to-end, visualizzando graficamente quali report siano impattati da una modifica al sistema gestionale o viceversa quali fonti informative vadano integrate per apportare nuove informazioni ad una analisi esistente auto-documentazione: gli strumenti di ETL mettono tipicamente a disposizione molte opzioni tramite cui commentare le trasformazioni sviluppate a diversi livelli di dettaglio; tutte queste informazioni qualitative vengono poi messe a disposizione dell utente tramite apposite interfacce che costruiscono della documentazione tecnica automaticamente generata, che consente in modo rapido e sicuro di documentare i diversi passi che trasformano i dati aziendali in preziose informazioni per il management; non solo velocità nella realizzazione della documentazione tecnica quindi, ma anche e soprattutto sicurezza di avere documentazione sempre aggiornata e allineata con quanto è effettivamente utilizzato ogni giorno in ogni singolo caricamento dati indipendenza dalla base dati: una delle caratteristiche accomunanti gli ETL è la possibilità di far dialogare basi dati eterogenee in modo completamente trasparente; da un unica interfaccia, con un unico software visuale, si riesce quindi a mettere in comunicazione le diverse fonti informative dislocate nell azienda, integrando e consolidando il patrimonio informativo dell azienda senza la necessità di realizzare per ogni sistema un diverso programma di estrazione dati trasformazioni pre-costruite: gli strumenti di ETL vengono tipicamente forniti con un set di trasformazioni già pronte per realizzare le operazioni più comuni e spesso più complesse; questi oggetti portano diversi vantaggi tra cui: una sensibile riduzione dei tempi di deployment perché si favorisce il riutilizzo di soluzioni già sviluppate e soprattutto già testate una migliore comprensibilità di quanto già sviluppato perché questi oggetti standard eseguono operazioni note e ben definite, rendendo quindi immediata la comprensione della loro funzione in un qualsiasi flusso di lavoro ambiente di debug: gli strumenti di ETL forniscono generalmente un ambiente di debug, in cui cioè è possibile testare le operazioni eseguite, verificando passo dopo passo le trasformazioni effettuate; questi ambienti sono estremamente utili nella comprensione di qualsiasi problematica si dovesse riscontrare, poiché abbinati all interfaccia visuale velocizzano il processo di problem-setting e quindi la determinazione della soluzione da realizzare schedulatore e monitor interni: ogni prodotto viene tipicamente fornito con uno schedulatore interno e con un relativo strumento di monitoraggio, che consentono in modo del tutto integrato di gestire la pianificazione e la verifica dei caricamenti. Le caratteristiche fin qui evidenziate permettono già di capire come in molte realtà aziendali l acquisto di un prodotto di questo genere sia velocemente ammortizzabile tramite un aumento di efficienza ed efficacia dell ufficio IT, ovviamente una volta trascorso un seppur breve periodo di apprendimento. Come accennato all inizio dell articolo, questa tipologia di strumenti viene spesso introdotta all interno delle aziende in occasione di grandi progetti di Business Intelligence, spesso di DataWarehouse. Questo perché le loro potenzialità li rendono uno strumento ottimo per la realizzazione di questi sistemi. Per sfruttare appieno l investimento, però, questi strumenti non devono essere considerati Quick-EDD/DR-DRm ETL 7/8

8 solo come il programma per caricare il DataWarehouse, ma come lo strumento tramite cui far passare le grandi movimentazioni di informazioni sempre più presenti all interno delle aziende. In questo modo si potranno sfruttare appieno ad esempio le caratteristiche di documentazione, rendendo molto più trasparente l interoperabilità tra i diversi sistemi aziendali. In quest ottica l ETL non è più solo un software che velocizza il lavoro dell ufficio IT, ma diventa parte integrante della Business Intelligence aziendale e permette di rendere esplicito molto know-how spesso isolato all interno di poche persone, conoscenza questa difficilmente documentabile e tramandabile senza degli strumenti adeguati a causa del suo evolversi spesso frammentato e sedimentato negli anni. In quest ottica l ETL non deve quindi essere interpretato come l ennesima licenza software da acquistare, ma come uno strumento che se correttamente interpretato può portare un vero cambiamento all interno dell azienda, specie per le realtà dove siano presenti molti sistemi eterogenei, o dove le necessità di interoperabilità dei sistemi costringano a numerosi e frequenti sistemi di allineamento delle informazioni per poter mantenere consistenza nei dati aziendali. Quick-EDD/DR-DRm ETL 8/8