SQL Server Integration Services. SQL Server 2005: ETL - 1. Integration Services Project

Transcript

1 Database and data mining group, SQL Server 2005 Integration Services SQL Server 2005: ETL - 1 Database and data mining group, Integration Services Project Permette di gestire tutti i processi di ETL Basato sui progetti di Business Intelligence di tipo Integration services Project SQL Server 2005: ETL - 2 1

2 Database and data mining group, Integration Services Project Aprire Visual Studio e creare un nuovo progetto di Business Intelligence di tipo Integration services Project SQL Server 2005: ETL - 3 Database and data mining group, SQL Server 2005: ETL - 4 2

3 Control flow Database and data mining group, Definisce il flusso dei task Offre tutta una serie di strumenti base Data Flow Task Blocco base per effetturae il trasferimento di dati da una sorgente verso una destinazione applicando delle trasformazioni Execute SQL Task Esecuzione di comandi SQL Execute Package Esecuzione di package esterni.. SQL Server 2005: ETL - 5 Database and data mining group, SQL Server 2005: ETL - 6 3

4 Control flow: creazione Database and data mining group, Per creare un nuovo flusso è sufficiente trascinare gli oggetti in mezzo allo schermo e poi collegarli con le frecce Le frecce di collegamento tra i task definisco le precedenze tra i task Generalmente non c è scambio di informazioni tra i task del Control Flow Possibile solo tramite l uso di variabili SQL Server 2005: ETL - 7 Database and data mining group, SQL Server 2005: ETL - 8 4

5 Database and data mining group, Control flow: Execute SQL Task Execute SQL Task permette di eseguire uno script SQL Usato generalmente per Creare tabelle Cancellare dati Inserire informazioni nelle tabelle di Auditing SQL Server 2005: ETL - 9 Database and data mining group, Definire una connessione ad un DB Comando SQL da eseguire SQL Server 2005: ETL

6 Database and data mining group, Control flow: Execute SQL Task (2) Prima di poter eseguire un comando SQL è necessario definire una connessione verso la base di dati Creazione di una nuova connessione Indicare il nome del server Indicare il nome della base di dati Indicare la modalità di autenticazione SQL Server 2005: ETL - 11 Database and data mining group, SQL Server 2005: ETL

7 I blocchi Data Flow gestiscono tutta l elaborazione dei dati Database and data mining group, I Data Flow gestiscono l elaborazione dei dati tramite oggetti che permettono di Definire sorgenti e destinazioni Trasformare, aggiungere attributi Unire il contenuto di più sorgenti.. Control flow: Data flow SQL Server 2005: ETL - 13 Database and data mining group, Dal menu a tendina si può segliere il data Flow su cui lavorare (tra quelli definiti del Control Flow) SQL Server 2005: ETL

8 Data Flow: flusso dei dati Database and data mining group, Sorgenti dei dati Elaborazione dei dati Destinazione dei dati Data Flow Sources: Tabelle di SQL Server Fogli Excel File di testo (CSV) Data Flow Transformation: Cambia il formato dei dati Aggiunge campi derivati Divide o inisce dati di fonti diverse Raggruppa i dati Data Flow Destinations: Tabelle di SQL Server Fogli Excel File di testo SQL Server 2005: ETL - 15 Control flow: Data flow Database and data mining group, Nel Data Flow i collegamenti indicano passaggi fisici di dati Tramite un doppio click sul collegamento (Data Flow Path) si possono Leggere i metadati relativi ai dati trasferiti Definire dei data viewer per visualizzare i dati che passano sul link a runtime Utile in fase di debug SQL Server 2005: ETL

9 Database and data mining group, Metadati relativi al collegamento selezionato SQL Server 2005: ETL - 17 Database and data mining group, Data Flow Source: Sorgente OLE DB Sorgente OLE DB Definisce un collegamento verso una sorgente SQL Server e specifica quali dati utilizzare SQL Server 2005: ETL

10 Database and data mining group, Data Flow Source: Sorgente OLE DB (2) Selezionare la connessione verso la base di dati che si vuole utilizzare Se la connessione non esiste crearne una nuova Selezionare la tabella alla quale si vuole accedere Accesso all interno contenuto della tabella Oppure indicare un interrogazione SQL Accesso ai soli dati di interesse provenienti da una o più tabelle SQL Server 2005: ETL - 19 Database and data mining group, Indicazione delle colonne selezionate Connessione da utilizzare Definire il metodo di accesso: accesso a tutta la tabella accesso tramite interrogazione SQL SQL Server 2005: ETL

11 Database and data mining group, Data Flow Trasformations: Data Conversion Serve a cambiare il formato dei dati Cambio del formato di memorizzazione delle stringhe Unicode verso non unicode Conversione di dati numerico con precisione diversa.. Genera una nuova colonna per ogni trasformazione SQL Server 2005: ETL - 21 Database and data mining group, Colonna di input Nuovo colonna generata dal blocco di conversione SQL Server 2005: ETL - 22 Formato della colonna di output 11

12 Database and data mining group, Data Flow Trasformations: Union all Unisce due o più sorgenti dati e crea un output comune I dati in ingresso devono avere lo stesso schema e formato per poter essere uniti SQL Server 2005: ETL - 23 Database and data mining group, Nome dell attributo di output SQL Server 2005: ETL - 24 Nome degli attributi di input 12

13 Database and data mining group, Data Flow Trasformations: Derived column Crea nuove colonne Per ogni tupla il contenuto delle nuove colonne può essere una costante oppure il risultato di una funzione applicata su altre colonne dello schema Sostituisce il contenuto di una colonna con un nuovo valore Anche in questo caso si può assegnare un valore costante o utilizzare una formula per calcolare il valore dell attributo SQL Server 2005: ETL - 25 Database and data mining group, SQL Server 2005: ETL

14 Database and data mining group, Data Flow Trasformations: Aggregate Aggrega le tuple in funzione degli attributi di aggregazione e restituisce il valore di funzioni aggregate per ogni gruppo somma, media, count.. Quando c è una sola sorgente dati la stessa operazione può essere spesso effettuata usando opportunamente l operato group by SQL Server 2005: ETL - 27 Database and data mining group, Attributi di raggruppamento Risultato di funzioni aggregate SQL Server 2005: ETL

15 Database and data mining group, Data Flow Trasformations: Lookup Permette di accedere ad un altra tabella e farsi restituire un determinato campo Funziona come una join ma può essere applicato a flussi di dati che provengono da sorgenti diverse SQL Server 2005: ETL - 29 Database and data mining group, Selezionare una connessione e la tabella su cui fare il lookup Selezionare la condizione di join e il campo(i) da restituire SQL Server 2005: ETL

16 Database and data mining group, Data Flow Destination: OLE DB Destinazione dei dati Definisce un collegamento verso una destinazione SQL Server e specifica quali dati utilizzare Ultimo blocco di tutti i data flow SQL Server 2005: ETL - 31 Database and data mining group, Definire la connessione alla base di dati nella quale voglio scrivere i dati Definire il mapping tra le colonne SQL Server 2005: ETL

17 Database and data mining group, Data Flow: Execute Package Task Esegue all interno di una package padre un altro package (detto figlio) Si possono passare i valori delle variabili dal padre al figlio SQL Server 2005: ETL - 33 Database and data mining group, Informazioni sul luogo in cui è salvato il package Informazioni sul package da eseguire SQL Server 2005: ETL

18 Database and data mining group, Variabili di sistema Variabili predefinite che contengono informazioni di sistema PackageName ExecStartDT... Variabili utente Definite dall utente Uso di variabili Utilizzate per gestire Path relativi Conteggio dati analizzati,.. SQL Server 2005: ETL - 35 Database and data mining group, Visualizza le variabili di sistema Visualizza le variabili utente SQL Server 2005: ETL

19 Database and data mining group, Data Flow Trasformations: Row count Permette di contare quante tuple passano su un collegamento Il blocco è posizionato sul collegamento che si vuole analizzare Memorizza il risultato in una variabile utente Utile per debug e log delle operazioni effettuate SQL Server 2005: ETL - 37 Database and data mining group, Variabile utente in cui viene memorizzato il numero di tuple che passano sul collegamento SQL Server 2005: ETL

20 Database and data mining group, Caricamento incrementale dei dati Per le dimensioni è necessario identificare le aggiunte e le modifiche In SQL Server 2005 esiste un componente apposito per gestire le variazioni delle dimensioni Per la tabella dei fatti Si devono selezionare solo le nuove tuple Si usano generalmente delle variabili utente per decidere quale fascia temporale di tuple caricare Le tuple nelle tabelle sorgente devono essere caratterizzate dalla data di inserimento/modifica SQL Server 2005: ETL - 39 Database and data mining group, Data Flow Trasformations: Slowly Changing Dimension Genera in modo automatico l insieme di blocchi che servono per gestire le variazioni all interno delle dimensioni L utente deve specificare il tipo di gestione delle variazioni da utilizzare per ogni attributo della dimensione da gestire La scelta deve essere fatta durante la creazione del modello concettuale del data warehouse SQL Server 2005: ETL

21 Database and data mining group, Blocco per la gestione delle tuple in cui il valore di alcuni attributi sono cambiati Blocco per la gestione delle nuove tuple Blocco per la gestione degli errori SQL Server 2005: ETL - 41 Database and data mining group, Esecuzione del processo di ETL Durante l esecuzione i Task vengono eseguiti nell ordine in cui sono definiti nel Control Flow Se possibile vengono eseguiti in parallelo I task in esecuzione sono gialli, quelli già eseguiti e conclusi correttamente verdi e quelli conclusi erroneamente rossi SQL Server 2005: ETL

22 Database and data mining group, Esecuzione del processo di ETL (2) Nel Data Flow inoltre sui collegamenti (path) si può leggere il numero delle righe elaborate Utilizzando i Data viewer è possibile analizzare anche i dati che passano in ogni flusso Utile per le operazioni di debug SQL Server 2005: ETL - 43 Database and data mining group, SQL Server 2005: ETL

23 Database and data mining group, Esecuzione automatica del processo di ETL Il processo di ETL (package) può essere eseguito automaticamente usando dtexec SQL Agent SQL Server 2005: ETL - 45 Gestione degli errori SQL Server 2005: ETL - 46 Database and data mining group, Se non si gestiscono gli errori appena si genera un errore tutto il package termina con errore Non è possibile sapere quale dato ha generato l errore Se si gestiscono gli errori e possibile Terminare in modo positivo il processo di caricamento per i dati che non presentano errori Salvare i dati che hanno generato un errore su un file di log 23

24 Database and data mining group, Gestione degli errori (2) Valori possibili per l opzione Error dei blocchi Redirect row Redirezione delle tuple che generano degli errori sul collegamento errori Linea rossa in uscita dal blocco Ignore failure Le tuple che generano errori vengono ignorate ma il processo continua per le altre tuple Fail component (opzione di default) Il componente termina con errore Nessun dato viene caricato nella destinazione SQL Server 2005: ETL - 47 Database and data mining group, Tipo di gestione degli errori SQL Server 2005: ETL

25 Database and data mining group, I dati che non possono essere salvati nella base di dati di destinazione sono memorizzati in un file di log SQL Server 2005: ETL - 49 Database and data mining group, Durante l esecuzione dei processi di ETL è indispensabile tenerete traccia dei processi (package) eseguiti Stato Tempo di esecuzione Numero di tuple analizzate da ogni processo Numero di errori... Metadati - Auditing SQL Server 2005: ETL

26 Metadati - Auditing (2) Database and data mining group, I metadati /informazioni di auditing sono generalmente memorizzate all interno di una tabella relazionale Facile da aggiornare durante l esecuzione dei processi di ETL Facile da analizzare tramite interrogazioni SQL SQL Server 2005: ETL - 51 Metadati - Auditing (3) Database and data mining group, Nel Control Flow Inserire un blocco all inizio di ogni processo che salva le informazioni di inizio esecuzione Inserire un blocco alla fine di ogni processo che salva le informazioni di fine esecuzione più le informazioni raccolte durante l esecuzione del processo Numero di tuple analizzate Numero di errori... SQL Server 2005: ETL

27 Metadati - Auditing (3) Nel Data Flow Salvare all interno di variabili utente Database and data mining group, Il numero di tuple analizzate Il numero di errori Informazioni usate nel blocco finale del Data Flow quando si salvano le informazioni generali sull esecuzione del processo Salvare su file testuali o in una base di dati Le tuple che hanno generato errori SQL Server 2005: ETL - 53 Database and data mining group, SSIS Log SSIS Log Sistema automatico per il log dei processi fornito da SQL Server 2005 Permette di tracciare le informazioni di base sui processi/package eseguiti Può salvare i dati su file, in una base di dati SQL Server,.. Non permette di memorizzare Il numero di tuple analizzate Le tuple che generano errori SQL Server 2005: ETL

28 Database and data mining group, Task da tracciare SQL Server 2005: ETL - 55 Database and data mining group, Tipi di eventi da tracciare SQL Server 2005: ETL