Tecniche per l Integrazionel di Dati Eterogenei

Transcript

1 Tecniche per l Integrazionel di Dati Eterogenei Domenico Beneventano DB-Group 1 Integrazione di dati! La diffusione di Internet ha come effetto collaterale la frammentazione delle informazioni in un numero elevato di sorgenti dati, distribuite su più nodi e quindi non più centralizzate rispetto alle situazioni classiche di un database.! Nelle moderne organizzazioni è sempre più frequente la costituzione di reti virtuali, in cui diverse organizzazioni indipendenti operano in associazione attraverso processi cooperativi inter-aziendali.! Per poter effettivamente aggregare e gestire processi di diverse organizzazioni, occorre mediare fra l'eterogeneità dei diversi contesti informativi creando una base condivisa ed integrata di conoscenza.! L integrazione di un insieme di sorgenti dati eterogenee (database, file, sorgenty legacy) consiste nell individuazione delle corrispondenze tra i concetti rappresentati negli schemi locali e nella risoluzione dei conflitti finalizzate alla creazione di unico schema globale i cui elementi sono correlati tramite mapping con gli elementi degli schemi locali.! Queste dispense sono organizzate in due parti 1. Introduzione al problema dell integrazione dati 2. Il sistema di integrazione MOMIS 2

2 Eterogeneità! Il processo di integrazione deve tenere in considerazione i problemi derivanti dall eterogeneità delle sorgenti dati: Eterogeneità delle piattaforme, che coinvolge sia l hardware che il software, in particolare i DBMS. Sono stati sviluppati diversi standard per superare il problema, quali SQL, ODBC, Eterogeneità strutturale: " Differenti modelli di dati " Stesso modello dei dati ma diverse modalità con cui l informazione viene rappresentata (ad esempio, due tabelle per rappresentare Studenti e Docenti oppure un unica tabella con attributo selettore) Eterogeneità semantica: differente significato ed interpretazione " due schemi potrebbero usare uno stesso termine per riferirsi a concetti distinti (omonimi), oppure, potrebbero usare termini diversi per far riferimento ad uno stesso concetto (sinomimi). 3 Eterogeneità strutturale: Diversi modelli di dati! Si risolve adottando un unico modello dei dati e trasformando gli schemi locali rispetto al modello prescelto! il modello prescelto dovrebbe essere quello che garantisce il maggior potere espressivo in modo da non perdere informazioni durante la traduzione! Nell ambito dell integrazione di Basi di Dati Relazionali il modello unico prescelto è normalmente il modello E/R e la trasformazione da relazionale ad E/R è effettuta con le tecniche viste di Reverse engineering di schemi relazionali in schemi E/R # IN MOMIS si utilizza il modello ODL delle Basi di Dati ad Oggetti " Comunque ODL è del tutto trasparente all utente finale (il progettista) " In particolare la trasformazione dello schema locale nel modello ODL avviene automaticamente attraverso il wrapper (estrattore) - che traduce, ad esempio, uno schema relazionale in ODL ed il progettista lavora su una rappresentazione grafica di tale schema trasformato 4

3 Eterogeneità strutturale: Differente rappresentazione! Equivalenze tra i costrutti del Modello: I modelli concettuali hanno una vasta varietà di strutture di rappresentazione perciò permettono differenti rappresentazioni equivalenti per la stessa realtà.! Esempio: La relazione tra libro ed editore è rappresentata da un associazione tra LIBRO ed EDITORE nel primo schema e come un attributo dell entità LIBRO nel secondo. L IB R O T IT O L O LIBRO TITOLO E D IT O R E N O M E EDITORE! Esempio: La partizione delle persone in maschi e femmine è rappresentata da una generalizzazione nel primo schema e da un attributo nel secondo PERSONA DONNA UOM O PERSONA SESSO 5 Eterogeneità strutturale: Differente rappresentazione! Punti di vista differenti: " In fase di progettazione i progettisti modellano lo stesso oggetto dal proprio punto di vista. Gli oggetti possono essere visti ad un diverso livello di astrazione o rappresentati usando concetti differenti.! Esempio: " La reazione tra IMPIEGATO e PROGETTO è percepita come associazione nel primo schema e come una combinazione di associazioni nel secondo D I P A R T I M. 6

4 Specifiche Incompatibili! Le specifiche di progetto incompatibili sono un altra causa di conflitti: Errori commessi durante il progetto dei singoli schemi locali sui nomi, le strutture ed i vincoli di integrità possono produrre input errati per l'attività di integrazione: durante l'integrazione questi errori dovrebbero essere rilevati e corretti.! Esempio: Il primo schema indica che ogni impiegato è sempre assegnato ad un unico progetto, mentre il secondo schema indica che ogni impiegato deve lavorare almeno su due progetti IMPIEGATO (1,1) (1,N) PROGETTO IMPIEGATO (1,N) (2,N) (1,N) PROGETTO 7 Eterogeneità semantica! Differente significato ed interpretazione dei termini usati : due schemi potrebbero usare uno stesso termine per riferirsi a concetti distinti (omonimi), oppure, potrebbero usare termini diversi per far riferimento ad uno stesso concetto (sinomimi).! Per scoprire sinonimi ed omonimi il progettista deve analizzare: " Similarità di concetti (i concetti possono essere sinomini) : concetti con differenti nomi hanno proprietà comuni nei due schemi. " Discordanza di concetti (i concetti possono essere omonimi) : concetti con lo stesso nome hanno proprietà differenti nei due schemi. Esempio : Schema1: ADDRESS(STREET,CITY,REGION,POSTALCODE,COUNTRY) Schema2: ADDRESS(IP, DNS, NETWORK), RESIDENCE(STREET,LOCATION,NUMBER,COUNTRY) # IN MOMIS si utilizza il database lessicale WORDNET " Ogni termine dello schema (attributi e relazioni nel caso relazionale) viene annotato stabilendo il suo significato in WORDNET " Omonimie e sinonimie (oltre ad altre relazioni semantiche) sono ricavate automaticamente sulla base di quelle definite in WORDNET 8

5 Integrazione di Schemi Locali! Dopo l analisi degli schemi locali e dei conflitti si procede con l integrazione degli schemi locali per ottenerne lo schema globale integrato " Tale processo di integrazione viene di norma svolto manualmente dal progettista! Nel documento allegato IntegrazioneDiSchemiER (dbgroup.unimo.it/sia/integrazionedeidati/integrazionedischemier.pdf) viene riportata una metodologia di progettazione di schemi E/R, illustrata tramite un esempio " L esempio evidenzia la complessità del problema e il grande lavoro chiesto al progettista : importanza i tecniche e strumenti di supporto al progettista! In MOMIS sono state studiate e progettate una serie di tecniche per automatizzare il più possibile questo processo di integrazione allo scopo di fornire un ausilio al progettista per ottenere lo schema globale : processo di integrazione semi-automatico # Queste tecniche sono state implementate in una serie di tool del sistema MOMIS 9 Esempio di integrazione: schemi locali! Schema Locale SL1 (schema logico e E/R sintetico) IMPIEGATO(CODICE,NOME,INDIRIZZO,LAVORA_SU, N_ORE,TIPO_IMPIEGO) FK: LAVORA_SU REFERENCES PROGETTO PROGETTO(NUM_PROGETTO,TIPO_PROGETTO,ANNO) (1,1)! Schema Locale SL2 (schema logico e E/R sintetico) DIPENDENTE(NUMERO,NOME,AFFERISCE_A_DIP) FK: AFFERISCE_A_DIP REFERENCES DIPARTIMENTO DIPARTIMENTO(NOME,INDIRIZZO,SVOLGE,N_GIORNI) FK: SVOLGE REFERENCES PROGETTO PROGETTO(NOME,TIPO_PROGETTO, DURATA) DIPENDENTE D I P A R T I M. (1,1) (0,1) 10

6 Esempio di integrazione: schema globale integrato! Schema Globale (schema logico e schema E/R sintetico) IMPIEGATO(CODICE,NOME,INDIRIZZO,DIPARTIMENTO, LAVORA_SU,N_ORE,TIPO_IMPIEGO) FK: LAVORA_SU REFERENCES PROGETTO PROGETTO(NUM_PROGETTO,TIPO_PROGETTO,DURATA,ANNO) (0,1) 1. IMPIEGATO (in SL1) e DIPENDENTE (in SL2) sono sinonimi: in SG ho IMPIEGATO i cui attributi sono l unione degli attributi di queste due tabelle 2. Per gli IMPIEGATI provenienti da SL2 si assume che: a) LAVORA_SU è il progetto che SVOLGE il dipartimento al quale afferisce b) INDIRIZZO è quello del dipartimento al quale afferisce c) N_ORE è calcolato a partire da N_GIORNI del DIPARTIMENTO d) TIPO_IMPIEGO assume il valore IMPIEGO_SL2 per ricordare che in SL2 l impiego specifico di un impiegato in un progetto non è riportato 3. PROGETTO in SL1 ed SL2 sono lo stesso concetto: in SG ho PROGETTO con attributi l unione degli attributi di queste due tabelle; considero NOME e NUM_PROGETTO sinonimi e lo riporto in SG solo NUM_PROGETTO 11 Mapping tra schema globale e schemi locali! Normalmente, il termine mapping è usato in maniera del tutto generica, ovvero denota sia 1. Semplici corrispondenze, a livello intensionale, tra gli elementi dello schema globale (SG) e degli schemi locali (SL) " SG.IMPIEGATO corrisponde a SL1.IMPIEGATO e a SL2.DIPENDENTE " SG.IMPIEGATO.CODICE corrisponde a SL1.IMPIEGATO.CODICE e a SL2.DIPENDENTE.NUMERO " Queste corrispondenze derivano direttamente dal processo di integrazione degli schemi locali nello schema globale integrato 2. corrispondenze complesse, a livello estensionale, tra lo schema globale (SG) e gli schemi locali (SL) che stabiliscono come le istanze dello schema globale corrispondano alle istanze di quelli locali Nel progetto di uno Data Warehouse ricavato da un insieme di sorgenti (anche) questi mapping hanno un ruolo fondamentale perchè definiscono su quali dati verranno fatte le analisi 12

7 Definizione di mapping estensionali! I due approcci principali sono: 1. GAV (Globas-As-View) : l istanza dello schema globale è definito in termini delle istanze degli schemi locali " ogni concetto dello schema globale è definito tramite una vista sugli schemi locali 2. LAV (Local-As-View) : le istanze degli schemi locali sono definite in termini dell istanza dello schema globale " ogni concetto di uno schema locale è definito tramite una vista sullo schema globale! Nel contesto dei Data Warehouse si usa normalmente il GAV! Nella presentazione di MOMIS (che usa un approccio GAV) questi due approcci verranno ripresi e confrontati 13 Integrazione a livello dei dati (estensionale( estensionale)! Con lo schema globale integrato si risolve l integrazione intensionale, ovvero a livello di schema : le corrispondenze tra le istanze dello schema globale e quelle degli schemi locali devono prendere in considerazione anche le integrazioni a livello di dati! Consideriamo i seguenti schemi locali con alcune istanze: SL1 firstn Lastn e_mail year Rita Verde PV@i.it 2 Ada Rossi RA@i.it 1 SL2 Name E_mail Dept Ugo Verde UgoV@i.it DeptA Ada Rossi ARossi@iol.it DeptW e supponiamo che lo schema globale ottenuto sia il seguente (i mapping intensionali in questo caso sono ovviamente banali) SG(NAME,E_MAIL,YEAR,DEPT)! Principali questioni a livello estensionale 1. Object Identification: Le due tuple con Ada Rossi corrispondono allo stesso oggetto reale e quindi in SG devo avere un unica tupla relativa ad Ada Rossi, oppure no, ovvero devo avere in SG due diverse tuple? 2. Conflit Resolution : In caso affermativo, quale mail riportare per l unica tupla Ada Rossi in SG? 14

8 Definizione di mapping tra istanze : esempio! A titolo di esempio, usando l approccio GAV, si definiscono le istanze di SG tramite una vista SQL su SL1 e SL2, con le seguenti ipotesi 1. le due tuple con Ada Rossi corrispondono allo stesso oggetto reale : uso della condizione di join ((SN1.firstn + SN1.lastn) = SN2.Name 2. in caso di conflitto riporto il valore di SL1 (perché ritenuta più affidabile) : uso della funzione SQL COALSESCE che restituisce la prima espressione non NULL tra i relativi argomenti CREATE VIEW V_SG(NAME,MAIL,YEAR,DEPT) AS SELECT isnull((sn1.firstn + SN1.lastn), SN2.Name) AS NAME, coalesce(sn1.e_mail, SN2.e_mail ) AS MAIL, year AS YEAR, Dept AS DEPT FROM SL1 FULL JOIN ON ((SN1.firstn + SN1.lastn) = SN2.Name Si ottiene la seguente istanza per SG: NAME MAIL YEAR DEPT SG Rita Verde PV@i.it 2 NULL Ada Rossi RA@i.it 1 DeptW Ugo Verde UgoV@i. it NULL DeptA 15 Definizione di mapping tra istanze : considerazioni! Così come il processo di integrazione per ottenere lo schema globale integrato, anche la definizione di mapping tra schema globale e locali, viene di norma svolta manualmente dal progettista $ È evidente che la definizione della vista, anche con strumenti grafici, non è semplice e la complessità aumenta con il numero di relazioni # In MOMIS 1. Si usa un approccio GAV 2. È possibile definire manualmente (in SQL) le viste, ma. 3. il sistema costruisce automaticamente una vista di default usando un operatore chiamato full outer join merge che utilizza condizioni di join e funzioni di risoluzione definite dal progettista per risolvere i problemi di integrazione estensionale 16

9 Analisi e riconciliazione delle sorgenti operazionali! Per riassumere e concludere riprendiamo lo schema generale sull integrazione (dispense sulla progettazione di un DW) Sorgente I Schema logico (locale) Schema logico (locale) Sorgente II Ricognizione e normalizzazione Ricognizione e normalizzazione Schema concettuale (locale) trasformato Schema concettuale (globale) riconciliato Integrazione degli schemi Schema concettuale (globale) riconciliato Schema concettuale (locale) trasformato Meta-dati Definizione corrispondenza con le sorgenti Schema logico (globale) riconciliato e corrispondenza 17 Integrazione : Materializzata vs Virtuale! Materializzata : lo schema globale integrato è implementato in un DB ovvero le relazioni dello schema globale corrispondono a tabelle che memorizzano fisicamente le istanze! è la situazione adottata nei Data Warehouse! I dati risiedono sia sulle sorgenti locali che nello schema integrato! Lo schema globale integrato viene periodicamente alimentato coi i dati delle sorgenti locali con strumenti ETL (quale il DTS di SQL-Server)! Virtuale: lo schema globale integrato è virtuale ovvero le sue istanze non sono fisicamente memorizzate in tabelle ma solo definite tramite viste! è la situazione adottata nei cosiddetti Sistemi a Mediatore! I dati risiedono solo sulle sorgenti locali e non nello schema integrato! I dati vengono trasferiti dalle sorgenti locali allo schema integrato on demand, ovvero solo quando viene effettuata una interrogazione sullo schema integrato # MOMIS è un sistema a mediatore (Mediator environment for Multiple Information Sources). # è comunque possibile materializzare i dati in un DB relazionale 18