Dal Data Cleaning alla certificazione di qualità per i dati. PAOLO MISSIER University of Manchester, UK - ricercatore

Transcript

1 Dal Data Cleaning alla certificazione di qualità per i dati PAOLO MISSIER University of Manchester, UK - ricercatore

2 Una definizione classica di qualità dei dati Qualità di un dato: insieme di metriche e caratteristiche che lo rendono consono ad uno specifico utilizzo Le caratteristiche di qualita sono spesso chiamate dimensioni Esempi: Consistenza (di formato, di valore ) di un indirizzo rispetto ad un indirizzario di riferimento Completezza del database dell anagrafe regionale rispetto a ciascun database di anagrafe comunale Tempestività: adeguatezza temporale Es un dato di borsa vecchio di 5 può essere inadeguato per il trading, ma adeguato per analisi storiche La La qualita di di un un dato è sempre relativa al al suo suo uso uso

3 Due contesti concreti per la qualità Householding E il problema di riconoscere che un insieme di persone (o altre entita ) fa capo ad un unico gruppo logico (familiare, aziendale ecc.) Richiede di riconoscere caratteristiche comuni in entità diverse Confronto e integrazione di due o piu database La necessita di consolidare e frequente Merger di piu organizzazioni Aggregazione gerarchica di informazione, es anagrafe comunale regionale Problema delle basi di dati eterogenee che contengono informazioni parzialmente sovrapponibili Richiede la risoluzione di conflitti

4 Conflitti e de-duplicazione Comune X Andrea Rossi Tel Comune Y Andrea Rossitto Tel Integrazione Riconciliazione schemi Risoluzione Conflitti tra istanze Regione Rossi o Rossitto? Problema tecnico comune e fondamentale: De-duplicazione dei dei record Determinare l identità logica di di due due record leggermente diversi

5 Approccio tecnico generale Incapsula conoscenza del dominio dei dati e del loro uso Comune X Andrea Rossi Analisi di similarità Andrea Rossitto Comune Y Stima probabilità di match Score: Rossi = Rossitto? Si, confidenza = 73% 0-70% Classificazione 71-95% >95% Valutazione livello di confidenza rispetto alle soglie Non-Match Incerto Match Rischio falsi negativi Verifica manuale Rischio falsi positivi

6 Incertezza ed errori nella classificazione Name: John Smith SSN: Address: 477 Cedar Street Brendan Hughes Address: 564 Hickory Pl. Name: Jean Smith Phone #: (337) Name: Alice Jones SSN: Name: John Smith SSN: Address: Brenda Hughes Address: 564 Hickory Pl. Name: Phone #: (337) Names: Lois Avon SSN: Dati incompleti Gemelli o errore di battitura? Conflitto sui nomi propri e telefono Stesso SSN, nomi diversi:? Falsi positivi: concludo che Brendan Hughes = Brenda Hughes quando non è vero Falsi negativi: non scopro che Jean Smith = Gene Smith

7 Automazione vs accuratezza Rischio Rischio = probabilità di di errore errore X costo costo dell errore Il rischio è spesso asimmetrico Es. Vaccinazioni infantili vs anagrafe: Falsi negativi vaccinazioni ripetute OK Falsi positivi mancata vaccinazione NO Es. Ispezioni fiscali: Falsi positivi approfondimenti di indagine inutili Il compromesso disponibile: Allargare la zona di incertezza Accettare numerose verifiche manuali Alta automazione basso costo, bassa accuratezza alto rischio Bassa automazione alto costo, alta accuratezza rischio ridotto

8 Analisi di similarità Da funzioni di similarità / distanza semplici Edit distance mitch + s - c = smith dist(mitch, smith) = 2 Regole più interessanti: Basate sulla frequenza relativa dei termini nel database Es Rossi, Rosi sono cognomi comuni l ipotesi Rossi = Rosi ha score basso Es Missier cognome raro Missier = Mizera ha score alto Altri approcci basati su tecniche di apprendimento automatico E E spesso necessario un un investimento significativo per per la la codifica della conoscenza di di dominio -- Sotto forma di di regole semantiche

9 Generazione semi-automatica di regole Studio di caso: Assessment della correttezza e currency degli indirizzi presenti nell Archivio Anagrafico dei contribuenti italiani (1999) Usando come riferimento anagrafi comunali Studio su un campione di 3 comuni di media dimensione Approccio seguito: Analisi di correlazione degli errori riscontrati in un training set di dimensioni significative Generazione di una funzione di distanza ad hoc basata sulle correlazioni trovate Stima della sua performance su un test set Applicazione della funzione all intero database

10 Studio AA: Alcuni risultati Esempi di matching records correttamente evidenziati: BBNLRA45C58I787D U.DELLA RAGGIOLA 3 UGUCCIONE DELLA FAGGIUOLA 3 BBTDNC39M45C129M R VINI 33 RAFFAELE VIVIANI 33 BBRMHL71R04C129F TRAVERSA IOVINE 18 TRAV. IOVINO 18 BBNMSM67E14E730T CARRARA PASETTI I 1 - BELRICET CARR. PASETTI I 1 Analisi dei falsi positivi attesi come funzione di un parametro della distanza

11 Riassumiamo quanto detto finora La prospettiva del data manager Incertezza dell esito: l analisi è soggetta a rischio Necessità di utilizzare la conoscenza di dominio: alti costi di messa a punto delle tecniche L analisi deve essere ripetuta nel tempo Non tiene conto delle cause degli errori Da complementare con un approccio basato sui processi Ricerca nel sistema delle cause dei conflitti I I benefici sono sempre superiori ai ai costi??

12 Uno scenario emergente Il sistema informativo della PA sta evolvendo in senso cooperativo: Definizione di flussi informativi tra sistemi diversi a supporto di workflow complessi e inter-amministrazione Evoluzione tecnica dei SI a supporto della cooperazione (sistemi basati su servizi, accessibili tramite interfacce standard) Scambio sistematico di dati di importanza strategica per le amministrazioni Più Più importante è l informazione ottenuta da da terzi, più più rilevante è il il problema della sua sua qualità Tuttavia: Chi riceve dati, attualmente non ha nessuna informazione sulla loro qualità -- Scenari analoghi si si sviluppano nei nei data data marketplaces -- La La qualità qualità diventa la la discriminante principale

13 Analisi di qualità per la cooperazione Come può un fornitore di servizi informativi offire garanzie di qualità dei propri dati? L intero bagaglio di conoscenze sull analisi della qualità dati si applica a questa problematica Abbiamo illustrato un solo caso particolare (de-duplicazione) Molte altre tecniche e dimensioni di qualità da misurare! Qualche risposta dal dal mondo della ricerca: tecniche e standard per per la la certificazione di di qualità Cos è un certificato di qualità dei dati? Come viene generato? Quanto costa produrlo? Cosa occorre per raggiungere uno standard? Chi garantisce? Alcune unità coinvolte: Polimi / DEI Milano Bicocca / Inf. La Sapienza / Ing. Inf.

14 Verso una certificazione di qualita per i dati Implementazione dei servizi offerti Sistema A Interfaccia dei servizi + Contratto livelli di servizio + Contratto qualità dei dati Flusso dati S.I. utente delle risorse di A + Certificato di qualità Risorse dati Anagrafe Consistenza Tempestività Ci Ci si si attende che che questo scenario fornisca motivazioni forti forti per per nuovi investimenti in in progetti di di qualità dell informazione