MICHAEL SCHMITZ. ETL per il ROMA APRILE 2008 ROMA 24 APRILE 2008 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231

Transcript

1 LA TECHNOLOGY TRANSFER PRESENTA MICHAEL SCHMITZ Tecniche avanzate di Database Design per Sistemi di Business Intelligence e Data Warehouse ETL per il Data Warehouse: un approccio Template-Driven ROMA APRILE 2008 ROMA 24 APRILE 2008 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 info@technologytransfer.it

2 TECNICHE AVANZATE DI DATABASE DESIGN PER SISTEMI DI BI E DW DESCRIZIONE PROGRAMMA Questo workshop indirizza aspetti avanzati di progettazione di schemi database per supportare sistemi di Business Intelligence e di Data Warehouse. I requisiti Real-Time e near Real-Time stanno cambiando radicalmente i requisiti e questo workshop si focalizza sullo shift del paradigma che dovrete affrontare. Questo workshop introduce una nuova architettura dati: Dimensional Normal Form. Dimensional Normal Form combina i punti di forza sia delle metodologie di Dimensional Design che di quelle normalizzate per produrre un design di Enterprise Data Warehouse per sistemi di Business Intelligence usabile, flessibile, scalabile e ad alte prestazioni. Dimensional Normal Form è usata per tutti i livelli di Data Warehouse: ETL, atomici e analitici. I partecipanti impareranno la nuova architettura dati e apprenderanno tecniche avanzate di database Design per la Business Intelligence. I partecipanti lavoreranno in gruppo per sviluppare soluzioni a difficili problemi di Design. Le loro soluzioni verranno analizzate e simulate sia per la usabilità che per la performance, dando ai partecipanti importanti feedback sulle loro scelte di Design. I partecipanti capiranno la nuova architettura dati e si renderanno conto di come scelte diverse di Design influiscano sia sull usabilità che sulla performance, sia sul Design del database che sul Design di ETL. Questo workshop è tenuto da un autorevole progettista e implementatore di Data Warehouses e di Business Intelligence. In particolare i partecipanti impareranno: Come comportarsi di fronte ai requisiti Real-Time e near Real-Time Una nuova architettura dati: Dimensional Normal Form Tecniche avanzate di database Design per Business Intelligence e Data Warehousing Fare il tracking senza compromettere usabilità o performance Guidelines e suggerimenti di implementazione fisica PARTECIPANTI Business Intelligence e Data Warehouse Managers Responsabili di Progetti BI e DW Architetti, Progettisti e Sviluppatori di Business Intelligence Architetti, Progettisti e Sviluppatori di ETL Architetti e Sviluppatori di Data Warehouse DBA di Data Warehouse Data Modelers Progettisti e Sviluppatori di Business Intelligence e OLAP 1. Panoramica sul Data Modeling Tipi di modelli Normalizzazione 2. L approccio Dimensional Normal Form La sfida di design per la BI Storia dell approccio Dimensional Dimensional Normal Form - Strutture ETL - Strutture della Query Conversione dalla terza forma normale a DNF Esercizi di conversione 3. Fondamenti della Dimensional Normal Form Fact Table: caratteristiche, tipi, esempi Fact Table: granularità, dimensionalità e cubi Contenuto della Fact Table Fact Table: misure e additività Dimension Table: fondamenti Dimension Table: caratteristiche, tipi, esempi Famiglie di Dimension Table 4. Pianificare il Database Design per la BI Identificare e dare priorità ai processi Matrice delle priorità Carta delle priorità Raccolta dei requisiti Analisi del sistema sorgente Design preliminare Miglioramento Famiglie di dimensione Storia dell attributo dimensione Strutture di Audit e Data Quality

3 5. Dimensioni del Business La famiglia della dimensione data La dimensione tempo Dimensioni condizione o casuale La dimensione promozione Separare le dimensioni di Business con la stessa entità base Perché non fare lo snowflake sullo schema della query Chiavi dimensione (sempre surrogati) Imposizione della Data Quality e Reporting Esercizi di Design 6. Designing per estendibilità Il Conformed Dimension Bus Case Study 7. Esempio di Enterprise BI Modeling Case Study 8. Fare il tracking della storia dell attributo dimensione Metodologia Considerazioni Worksheet della storia dell attributo dimensione Metodi Matrice di decisione Case Study 9. Ulteriori aspetti di Design Usare dimensioni embedded per Performance e Usability Dimensioni eterogenee e Fact Tables/partitioning verticale Fact Tables correlate gerarchicamente - Consolidamento - Chiavi surrogate della Fact Table Attributi di Dimensione, livelli e gerarchie Dimensioni degenerate - Fact Tables del dettaglio della transazione - Fact Tables del sommario della transazione Gestire dimensioni grandi - Dimensioni analitiche (profile) - Dimensioni di correlazione - Dimensioni che agiscono come Fact Tables Dimensione multi-valore - Dimensioni miste - Tabelle di bridge - Fact Tables associate - Dimensioni di stringhe concatenate Dimensioni di range di valori Tabella di banda di valori Attributi di bracketing Gerarchie della variabile profondità Supportare la dimensione uno a molti Supportare gruppi di clienti Permettere calcoli di percentuale Nulls e Dimension Tables Molteplici unità di misura Dettaglio di promozione Dimensioni distribuite 10. BI Real-Time Esempio Real-Time 11. Supporto internazionale Situazioni Problematicità Calendari multi-nazionali Time Zones Diversità di valute 12. Strategie e Implementazione della Summary Table Perché costruire le Summary Tables Come decidere su quali Summary Tables costruire L impatto del sort sulla Fact Table Automatic Summary Table Navigation e Maintenance Esercizio 13. Physical Design e Tuning della Performance Naming Conventions Memorizzare le misure derivate Implementare le colonne di conteggio Fact Tables partizionate Partizionamento delle Dimension Tables del dettaglio della transazione Tipi di indice - Indici Btrees - Indici Bitmap Ottimizzazione della query Dimensional - Pair-Wise Joins - Indice composito - Intersezione dell indice Indexing della Fact Table Indexing della Dimension Table Considerazioni sulla memoria Tuning della Performance 14. Conclusioni

4 ETL PER IL DATA WAREHOUSE: UN APPROCCIO TEMPLATE-DRIVEN DESCRIZIONE Lo sviluppo del processo di ETL (Extract, Transform and Load) all interno di un progetto di Data Warehousing tipicamente incide per un tempo di lavoro superiore al 50%. Sebbene sia complesso, un processo rigoroso di ETL assicura la qualità dei dati, la credibilità e l usabilità del Data Warehouse. La buona notizia consiste nel fatto che, utilizzando un approccio standardizzato che fa uso di tecniche collaudate e di templates, la quantità degli sforzi richiesti diminuirà in maniera esponenziale e assicurerà qualità dei dati, scalabilità e Performance. Questo seminario, dopo aver dato esauriente panoramica sul processing ETL per il Data Warehouse, scava su alcuni aspetti critici, facendo importanti considerazioni. Valuta la necessità sempre crescente di avere Real- Time data feeds per il Data Warehouse e discute i vari metodi per soddisfare questa necessità. In particolar modo presenta e spiega un approccio Template-Driven che accelera la velocità di sviluppo fornendo completezza. Questi Templates sono dimostrati con un codice che lavora su Informatica/Oracle, ma può ed è stato adattato per altri tools ETL e altre piattaforme database. Un CD contenente il codice sarà distribuito a tutti i partecipanti al seminario. In particolare i partecipanti impareranno: Gli aspetti critici di sviluppo di ETL I principali approcci architetturali di ETL Le tecniche per indirizzare problematiche di sviluppo, includendo come sviluppare Data feeds quasi Real-Time Come usare Templates standardizzati di manutenzione e applicarli al Vostro particolare ambiente PARTECIPANTI Architetti, Progettisti e Sviluppatori di Data Warehouse Architetti, Progettisti e Sviluppatori di ETL DBA di Data Warehouse Managers che vogliono capire le difficoltà dello sviluppo ETL Progettisti e Sviluppatori di Business Intelligence e OLAP che lavorano con ETL

5 PROGRAMMA 1. Introduzione Cosa è ETL Acronimi differenti Principali obiettivi di Design 2. Panoramica su ETL Parti del processo ETL Acquisizione dei dati Validazione e trasformazione dei dati Riconciliazione con il sistema sorgente Data Publishing Auditing Metadati ETL 3. ETL: Infrastruttura e Architettura Business drivers Technology drivers Costruire la Vostra Architettura Architettura dell Infrastruttura Approcci di processing ETL - Tools ETL - Coding personalizzato - Utilities delle 3 parti - Packages specializzati Specifiche dell Architettura ETL Esempi di Architettura di alto livello Aggiunta hardware 4. Gestione della storia Storia dell attributo dimensione Cosa è la storia dell attributo dimensione Perché è importante Il nostro approccio Attributi analitici e di dettaglio Requisiti analitici e di audit Storia del contesto Requisiti basati sull Audit Il Worksheet della storia dimensione 5. Sviluppo ETL Metadata-Driven Design Model-Driven dei processi ETL Metadati richiesti Esempio di Repository dei Metadati La realtà 6. Dimension Processing e Templates Due situazioni di Dimension Processing Processing di estrazione single state Processing di estrazione multiple state Templates per la manutenzione single state Templates per manutenzione multiple state Panoramica dei templates di Informatica Flusso di Processing per dimensione multipla Estratti di transazione 7. Fact Table Processing e Templates Metodi di Lookup della Dimension Key Dividi e conquista Un mix di metodi Diagramma di processo della Fact Table Ordinare i dati nelle Fact Tables Strategia e Implementazione della tabella Summary 8. Supportare i Requisiti Real- Time Cosa sono I Vostri Requisiti? Un esempio di Business Il Requisito Real-Time Un Case Study

6 INFORMAZIONI QUOTA DI PARTECIPAZIONE Tecniche avanzate di Database Design per Sistemi di Business Intelligence e Data Warehouse 1500 (+iva) ETL per il Data Warehouse: un approccio Template-Driven 700 (+iva) La partecipazione ad entrambi i seminari viene offerta ad una speciale quota di 2100 (+iva) La quota di partecipazione comprende documentazione, colazioni di lavoro e coffee breaks. CONDIZIONI GENERALI In caso di rinuncia con preavviso inferiore a 15 giorni verrà addebitato il 50% della quota di partecipazione, in caso di rinuncia con preavviso inferiore ad una settimana verrà addebitata l intera quota. In caso di cancellazione del seminario, per qualsiasi causa, la responsabilità della Technology Transfer si intende limitata al rimborso delle quote di iscrizione già pervenute. MODALITÀ D ISCRIZIONE Il pagamento della quota, IVA inclusa, dovrà essere effettuato tramite bonifico, codice Iban: IT 34 Y Banca Intesa Sanpaolo S.p.A. Ag di Roma intestato alla Technology Transfer S.r.l. e la ricevuta di versamento inviata insieme alla scheda di iscrizione a: TECHNOLOGY TRANSFER S.r.l. Piazza Cavour, ROMA (Tel Fax ) entro il 7 Aprile 2008 Vi consigliamo di far precedere la scheda d iscrizione da una prenotazione telefonica. LUOGO Roma, Residenza di Ripetta Via di Ripetta, 231 DURATA ED ORARIO 3 giorni/ 1 giorno: È previsto il servizio di traduzione simultanea TUTELA DATI PERSONALI Ai sensi dell art. 13 della legge n. 196/2003, il partecipante è informato che i suoi dati personali acquisiti tramite la scheda di partecipazione al seminario saranno trattati da Technology Transfer anche con l ausilio di mezzi elettronici, con finalità riguardanti l esecuzione degli obblighi derivati dalla Sua partecipazione al seminario, per finalità statistiche e per l invio di materiale promozionale dell attività di Technology Transfer. Il conferimento dei dati è facoltativo ma necessario per la partecipazione al seminario. Il titolare del trattamento dei dati è Technology Transfer, Piazza Cavour, Roma, nei cui confronti il partecipante può esercitare i diritti di cui all art. 13 della legge n. 196/2003. MICHAEL SCHMITZ TECNICHE AVANZATE DI DATABASE DESIGN PER SISTEMI DI BI E DW Roma Aprile 2008 Residenza di Ripetta - Via di Ripetta, 231 Quota di iscrizione: 1500 (+iva) nome... cognome... funzione aziendale... azienda... Timbro e firma ETL PER IL DATA WAREHOUSE: UN APPROCCIO TEMPLATE-DRIVEN Roma 24 Aprile 2008 Residenza di Ripetta - Via di Ripetta, 231 Quota di iscrizione: 1200 (+iva) partita iva... codice fiscale... indirizzo... città... ENTRAMBI I SEMINARI cap... Quota di iscrizione per entrambi i seminari: 2100 (+iva) In caso di rinuncia o di cancellazione dei seminari valgono le condizioni generali riportate sopra. È previsto il servizio di traduzione simultanea provincia... telefono... fax Da restituire compilato a: Technology Transfer S.r.l. Piazza Cavour, Roma Tel Fax info@technologytransfer.it

7 DOCENTE Michael Schmitz è un autorevole esperto di Design e Implementazione di Data Warehouse e Data Marts. Ha implementato Data Warehouse usando Informix, RedBrick, Oracle, Teradata, Sybase, DB2 e SQL Server su diverse piattaforme. Ha collaborato con molte aziende fra cui Hewlett Packard, American Express, AT&T, Mobil Oil, ecc. È stato Direttore della Data Warehouse Technology per la mid-market Business Unit di Oracle. È fondatore di High Performance Data Warehousing, una società di consulenza specializzata nel Design e nell Implementazione di Data Warehouses ad altissime prestazioni. Mr. Schmitz tiene regolarmente seminari e workshops ed è attivamente coinvolto nell implementazione di soluzioni di Data Warehousing ad alte prestazioni.