MICHAEL SCHMITZ ROMA NOVEMBRE 2006 ROMA NOVEMBRE 2006 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231

Transcript

1 LA TECHNOLOGY TRANSFER PRESENTA MICHAEL SCHMITZ DATA WAREHOUSING Aspetti avanzati di Design e di Implementazione ETL PER IL DATA WAREHOUSE Un approccio Template-Driven ROMA NOVEMBRE 2006 ROMA NOVEMBRE 2006 RESIDENZA DI RIPETTA - VIA DI RIPETTA, 231 info@technologytransfer.it

2 DATA WAREHOUSING: ASPETTI AVANZATI DI DESIGN E DI IMPLEMENTAZIONE DESCRIZIONE PROGRAMMA Questo workshop indirizza aspetti avanzati di progettazione e di implementazione di un Enterprise Data Warehouse e introduce una nuova architettura dati: Dimensional Normal Form. Dimensional Normal Form combina i punti di forza sia delle metodologie di Dimensional Design che di quelle normalizzate per produrre un Design di Enterprise Data Warehouse usabile, flessibile, scalabile e ad alte prestazioni. Dimensional Normal Form è usata per tutti i livelli di Data Warehouse: ETL, atomici e analitici. I partecipanti impareranno la nuova architettura dati e apprenderanno tecniche avanzate di database Design. I partecipanti lavoreranno in gruppo per sviluppare soluzioni a difficili problemi di Design. Le loro soluzioni verranno analizzate e simulate sia per la usabilità che per la performance, dando ai partecipanti importanti feedback sulle loro scelte di Design. I partecipanti capiranno la nuova architettura dati e come scelte diverse di Design influiscano sia sull usabilità che sulla performance. Questo workshop è tenuto da un autorevole progettista e implementatore di Data Warehouses. In particolare i partecipanti impareranno: L Architettura dati Dimensional Normal Form Concetti avanzati di progettazione dell Enterprise Data Warehouse Tecniche avanzate di Database Design per il Data Warehousing Guidelines e suggerimenti di implementazione fisica PARTECIPANTI Progettisti di Data Warehouse Data Modelers Architetti e Sviluppatori di Data Warehouse Progettisti e sviluppatori di Business Intelligence e OLAP 1. Introduzione I Business drivers del Data Warehousing Approcci storici per soddisfare i requisiti analitici dell azienda Architetture di Data Warehouse Data Warehousing: ieri, oggi e domani 2. Aspetti base di Data Warehouse Design Panoramica sul modeling e la normalizzazione Le sfide del Data Warehouse Design Dimensional Normal Form Esempio di Dimensional Model, dati, queries e reports Fact Tables - Caratteristiche della Fact Table - Traits, tipi ed esempi - Granularità, Dimensionalità e Cubi - Contenuto della Fact Table - Misure e additività Dimension Tables - Caratteristiche della Dimension Table - Traits, tipi ed esempi - Famiglie di Dimension Tables 3. Dimensioni del Business in profondità La famiglia della dimensione data La dimensione tempo Dimensioni condizione o causale La dimensione promozione Dimensioni separate di Business con la stessa Entity Base Perché non lo Snowflake Data Warehouse Dimension Keys (sempre surrogate) Imposizione della qualità dei dati e Reporting 4. Esempio di Enterprise Data Warehouse Modeling Case Study

3 DOCENTE 5. Fare il tracking della storia dell attributo dimensione Metodologia Considerazioni Worksheet della storia dell attributo dimensione Metodi Matrice di decisione Reimpostare la storia Case Study 6. Aspetti avanzati di Design Evitare le misure di conteggio semi-additive Usare dimensioni embedded per Performance e usability Dimensioni eterogenee e Fact Tables/partitioning verticale Fact Tables correlate gerarchicamente - Consolidamento - Chiavi surrogate della Fact Table Attributi di Dimensione, livelli e gerarchie Dimensioni degenerate - Fact Tables del dettaglio della transazione - Fact Tables del sommario della transazione Gestire dimensioni grandi - Dimensioni analitiche (profile) - Dimensioni di correlazione - Dimensioni che agiscono come Fact Tables Dimensione multi-valore - Dimensioni miste - Tabelle di bridge - Fact Tables associate - Dimensioni di stringhe concatenate Dimensioni di range di valori Tabella di banda di valori Attributi di bracketing Gerarchie della variabile profondità Supportare la dimensione uno a molti Supportare gruppi di clienti Permettere calcoli di percentuale Nulls e Dimension Tables Molteplici unità di misura Dettaglio di promozione Dimensioni distribuite 7. Supporto internazionale Situazioni Problematicità Calendari multi-nazionali Time Zones Diversità di valute 8. Strategie e Implementazione della Summary Table Perché costruire le Summary Tables Come decidere su quali Summary Tables costruire L impatto del sort sulla Fact Table Automatic Summary Table Navigation e Maintenance Esercizio 9. Physical Design e Tuning della Performance Memorizzare le misure derivate Implementare le colonne di conteggio Fact Tables partizionate Partizionamento delle Dimension Tables del dettaglio della transazione Tipi di indice - Indici Btrees - Indici Bitmap Ottimizzazione della query Dimensional - Pair-Wise Joins - Indice composito - Intersezione dell indice Indexing della Fact Table Indexing della Dimension Table Considerazioni sulla memoria Tuning della Performance 10. Esercizi di Design Michael Schmitz è un autorevole esperto di Design e Implementazione di Data Warehouse e Data Marts. Ha implementato Data Warehouse usando Informix, Red- Brick, Oracle, Teradata, Sybase, DB2 e SQL Server su diverse piattaforme. Ha collaborato con molte aziende fra cui Hewlett Packard, American Express, AT&T, Mobil Oil, ecc. È stato Direttore della Data Warehouse Technology per la mid-market Business unit di Oracle. È fondatore di High Performance Data Warehousing, una società di consulenza specializzata nel Design e nell Implementazione di Data Warehouses ad altissime prestazioni. Mr. Schmitz tiene regolarmente seminari e workshops ed è attivamente coinvolto nell implementazione di soluzioni di Data Warehousing ad alte prestazioni.

4 ETL PER IL DATA WAREHOUSE: UN APPROCCIO TEMPLATE-DRIVEN DESCRIZIONE PROGRAMMA Lo sviluppo del processo di ETL (Extract, Transform and Load) all interno di un progetto di Data Warehousing tipicamente incide per un tempo di lavoro superiore al 50%. Sebbene sia complesso, un processo rigoroso di ETL assicura la qualità dei dati, la credibilità e l usabilità del Data Warehouse. La buona notizia consiste nel fatto che, utilizzando un approccio standardizzato che fa uso di tecniche collaudate e di templates, la quantità degli sforzi richiesti diminuirà in maniera esponenziale e assicurerà qualità dei dati, scalabilità e Performance. Questo seminario, dopo aver dato esauriente panoramica sul processing ETL per il Data Warehouse, scava su alcuni aspetti critici facendo importanti considerazioni. Si valuta la necessità sempre crescente di avere Real-Time data feeds per il Data Warehouse e discute i vari metodi per soddisfare questa necessità. In particolar modo presenta e spiega un approccio Template-Driven che accelera la velocità di sviluppo fornendo completezza. Questi Templates sono dimostrati con un codice che lavora su Informatica/Oracle, ma può ed è stato adattato per altri tools ETL e altre piattaforme database. Un CD contenente il codice sarà distribuito a tutti i partecipanti al seminario. In particolare i partecipanti impareranno: Gli aspetti critici di sviluppo di ETL I principali approcci architetturali di ETL Le tecniche per indirizzare problematiche di sviluppo, includendo come sviluppare Data feeds quasi Real-Time Come usare Templates standardizzati di manutenzione e applicarli al Vostro particolare ambiente PARTECIPANTI Architetti, Progettisti e Sviluppatori di Data Warehouse Architetti, Progettisti e Sviluppatori di ETL DBA di Data Warehouse Managers che vogliono capire le difficoltà dello sviluppo ETL Progettisti e Sviluppatori di Business Intelligence e OLAP che lavorano con ETL 1. Introduzione 2. Panoramica del processo ETL 3. Il processo ETL in dettaglio Data Sourcing e Data profiling Design dello schema target Mapping dei dati Estrazione dei dati Validazione e pulizia dei dati Trasformazione dei dati Caricamento dei dati 4. Architetture ETL Hub e Spoke Componenti hardware e software 5. Frameworks di sviluppo ETL Costruire o comprare Codice fatto in casa Ibrido con tools selezionati da terze parti ETL tool - Generatori di codice - Basato sull Engine - Basato sul Database 6. Opzioni di Processing Aspetti di Performance del codice fatto in casa - Cursor-based verso Set Processing - Piping - Caching - Metodi di Load - Aggiornamenti del database Aspetti di Performance del tool ETL - Uso delle stored procedures - Database verso tool Un Case Study sul near Real-Time 7. L approccio Template-Driven BK-PRO Uso della tabella intermedia Processing della dimensione Processing della Fact Table 8. Case Study sul Template

5 " INFORMAZIONI QUOTA DI PARTECIPAZIONE Data Warehousing Aspetti avanzati di Design e di Implementazione 1400 (+iva) ETL per il Data Warehouse Un approccio Template-Driven 1200 (+iva) La partecipazione ad entrambi i seminari viene offerta ad una speciale quota di 2400 (+iva) La quota di partecipazione comprende documentazione, colazioni di lavoro e coffee breaks. CONDIZIONI GENERALI In caso di rinuncia con preavviso inferiore a 15 giorni verrà addebitato il 50% della quota di partecipazione, in caso di rinuncia con preavviso inferiore ad una settimana verrà addebitata l intera quota. In caso di cancellazione del seminario, per qualsiasi causa, la responsabilità della Technology Transfer si intende limitata al rimborso delle quote di iscrizione già pervenute. MODALITÀ D ISCRIZIONE Il pagamento della quota, IVA inclusa, dovrà essere effettuato tramite: bonifico sul c/c N della Banca Intesa S.p.A. Ag. 3 di Roma CIN Y - ABI CAB intestato alla Technology Transfer S.r.l. e la ricevuta di versamento inviata insieme alla scheda di iscrizione a: TECHNOLOGY TRANSFER S.r.l. Piazza Cavour, ROMA (Tel Fax ) entro il 6 Novembre 2006 Vi consigliamo di far precedere la scheda d iscrizione da una prenotazione telefonica. LUOGO Roma, Residenza di Ripetta Via di Ripetta, 231 DURATA ED ORARIO 3 giorni/ 2 giorni: È previsto il servizio di traduzione simultanea TUTELA DATI PERSONALI Ai sensi dell art. 13 della legge n. 196/2003, il partecipante è informato che i suoi dati personali acquisiti tramite la scheda di partecipazione al seminario saranno trattati da Technology Transfer anche con l ausilio di mezzi elettronici, con finalità riguardanti l esecuzione degli obblighi derivati dalla Sua partecipazione al seminario, per finalità statistiche e per l invio di materiale promozionale dell attività di Technology Transfer. Il conferimento dei dati è facoltativo ma necessario per la partecipazione al seminario. Il titolare del trattamento dei dati è Technology Transfer, Piazza Cavour, Roma, nei cui confronti il partecipante può esercitare i diritti di cui all art. 13 della legge n. 196/2003. MICHAEL SCHMITZ DATA WAREHOUSING ASPETTI AVANZATI DI DESIGN E DI IMPLEMENTAZIONE Roma Novembre 2006 Residenza di Ripetta - Via di Ripetta, 231 Quota di iscrizione: 1400 (+iva) ETL PER IL DATA WAREHOUSE UN APPROCCIO TEMPLATE-DRIVEN Roma Novembre 2006 Residenza di Ripetta - Via di Ripetta, 231 Quota di iscrizione: 1200 (+iva) ENTRAMBI I SEMINARI Quota di iscrizione per entrambi i seminari: 2400 (+iva) In caso di rinuncia o di cancellazione dei seminari valgono le condizioni generali riportate sopra. È previsto il servizio di traduzione simultanea nome... cognome... funzione aziendale... azienda... partita iva... codice fiscale... indirizzo... città... cap... provincia... telefono... fax Timbro e firma Da restituire compilato a: Technology Transfer S.r.l. Piazza Cavour, Roma Tel Fax info@technologytransfer.it