Data Meaning Discovery

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Data Meaning Discovery"

Olimpia Biagi
4 anni fa
Visualizzazioni

1 Data Meaning Discovery Individuazione del codice «UNITA ORGANIZZATIVA» nelle basi dati relazionali Res User Meeting 19 ottobre 2018

2 Agenda Scopo ed ambito del progetto Strumenti di analisi Piano delle attività Il percorso progettuale Analisi dei risultati 2

3 Scopo ed ambito del progetto Analisi d impatto orientata al riconoscimento del dato «UNITA ORGANIZZATIVA» (UO in breve), il cui formato prevede valori numerici da 1 a 9999 L analisi è stata condotta primariamente con lo scopo di individuare all interno delle basi dati relazionali le colonne relative al codice UO la cui capienza non permette di utilizzare valori superiori a 4 digit (9999) L ambito dell analisi è stato rappresentato da tutte le tabelle presenti nelle «istanze» relazionali dei seguenti RDBMS DB2 z/os (1 istanza per circa tabelle) Sql Server (30 istanze per circa tabelle) Oracle (20 istanze per circa tabelle) 3

4 Strumenti di analisi Per svolgere questo tipo di analisi SGS BP si è avvalsa di una componente della Suite RES denominata DMD (Data Meaning Discovery) DMD è la soluzione RES IT studiata per il riconoscimento automatico del significato dei dati al fine di supportare DBA, Data Administrator, Sviluppatori applicativi e più in generale chiunque si trovi nella necessità di utilizzare archivi di cui non si detiene la conoscenza, anche solo parziale 4

5 Piano delle attività Il progetto ha avuto uno sviluppo di circa 3 mesi ed è stato strutturato in quattro fasi. 5

6 Il percorso progettuale Fase 0 Attività preliminari Censimento delle informazioni di dettaglio di tutte le istanze di RDBMS in gioco attraverso la predisposizione di file di configurazione mirati: RepositoryDriver=com.microsoft.sqlserver.jdbc.SQLServerDriver RepositoryUrl=jdbc:sqlserver://2003Lab:1433 RepositoryProperty=database,DMDISCDB L ambito di indagine è stato limitato ai campi numerici e carattere con lunghezza pari a 4 byte Installazione / configurazione della componente DMD Realizzazione, in accordo con SGS BP della «LookUp Table» delle UO; si tratta della lista di tutte le UO da considerarsi «valide» Nome Direzione - Titolo Presentazione 6

7 Il percorso progettuale Fase 1 Attivazione di DMD Configurator e raccolta delle informazioni Esecuzione dei «Run Batch» del DMD Configurator per tutte le istanze di RDBMS da ispezionare Il Configurator ha effettuato la Discovery delle colonne candidate analizzando i cataloghi dei singoli RDBMS predisponendo le configurazioni per i successivi passi d analisi Estrazione della lista delle colonne candidate per ogni RDBMS analizzato 7

8 Il percorso progettuale Fase 2 Attivazione del processo di Discovery statistico Basandosi sulla lista di colonne candidate predisposta dal Configurator, DMD ha ricercato l aderenza al dominio delle UO di tutte le colonne candidate Il processo si è svolto sulla base di un campionamento statistico la cui granularità è stata predisposta opportunamente in fase di configurazione del sistema In ultima analisi sono state estratte e formalizzate le colonne ritenute, con una probabilità sufficientemente alta, appartenere al dominio dell indagine 8

9 Il percorso progettuale Fase 3 Affinamento del processo di Discovery e riduzione dei «falsi positivi» A partire dalla numerosità delle colonne individuate dalla fase di Discovery è stata prevista un ulteriore riduzione di probabili «falsi positivi» dal momento che DMD raccoglie una grande mole di dati statistici, in particolare relativi alla loro distribuzione Osservando quindi la distribuzione della presenza delle UO rispetto alla loro distribuzione «tipica» è stato possibile determinare con maggiore certezza le casistiche dei cosiddetti falsi positivi 9

10 Analisi dei risultati I numeri sono riferiti alle colonne estratte a partire dai RDBMS analizzati ( vista > 100 ) 10

Documenti analoghi

RES Suite: novità funzionali e architetturali delle nuove versioni

Res User Meeting 2014 con la partecipazione di Scriviamo insieme il futuro Rino Adamo Research for Enterprise Systems RES Suite: novità funzionali e architetturali delle nuove versioni JCR RES Suite RES