P R O G E T TO. semantic Multi-source Analyzer

Transcript

1 P R O G E T TO semantic Multi-source Analyzer

2 The concept of the Logical DataWarehouse emerged as the first practical architecture for the newly emerging analytic data management requirements. The LDW will continue to grow in popularity during the next five years. (Gartner, 25 February 2016, Magic Quadrant for Data Warehouse and Data Management Solutions for Analytics) 2

3 mama Find data everywhere Motivazioni mama ricerca con la semantica relazioni tra i dati, che fino a prima non sapevi di avere Disponibilità di dati provenienti da Social, IoT Dati eterogenei Sfruttare appieno e rapidamente il patrimonio informativo aziendale Processori più potenti Storage più veloce Grandi capacità di memoria RAM Reti con prestazioni più elevate Disponibilità di nuovi algoritmi semantici 3

4 mama Find data everywhere DWH oggi Limiti I Limiti Necessità di portare i dati in un unico contenitore (warehouse) Modello dati pensato a priori Elevato impatto a fronte di cambiamenti di modello Duplicazione e spostamento dei dati Scarso supporto per le strutture gerarchiche Elevati costi (HW e gestione) Aumento del traffico di rete da e verso il DWH 4

5 mama Find data everywhere Come mama risolve La ricerca delle relazioni con: Unico repository per dati strutturati e non strutturati Separazione del dato dal suo modello (Schemaless DB) Flessibilità nella ristrutturazione dei dati Virtual DB che consentano ricerche cross DB senza spostare dati La conoscenza risiede nel livello semantico Ragionamento Automatico per l arricchimento e la qualità del dato Largo utilizzo di linked OpenData 5

6 mama Find data everywhere Data Integration tradizionale.vs. Data Integration semantica D a t a I n t e g ra t i o n T R A D I Z I O N A L E D a t a I n t e g r a t i o n S E M A N T I C A Analisi preliminare dei dati con raffinamento e ANALISI REQUISITI DATA MODELING Analisi approfondita iniziale rielaborazioni successive. Propenso al cambiamento, agile ed evolutivo STRUTTURA DEI DATI Struttura relazionale: rigida e focalizzata sui dati Modello a grafo: flessibile, espandibile e focalizzato sulle relazioni tra i dati METODOLOGIA DI INTEGRAZIONE ETL: estrazione dei dati dalla fonte di origine, trasformazione e standardizzazione, caricamento in ambiente omogeneo Collegamenti tra le fonti di dati utilizzando definizioni e relazioni sui dati condivise in un ontologia di dominio SCALABILITÀ DEL SISTEMA Ogni fonte di dati aggiuntiva implica una riprogettazione del DWH Nuove fonti di dati integrabili facilmente e con costi contenuti FONTI INFORMATIVE Prevalentemente interne Interne ed esterne, grande facilità nell esporre i dati sul Web e di realizzare servizi 6

7 mama Find data everywhere Architettura 7

8 mama Find data everywhere Components Semantic Engine Le Ontologie sostituiscono lo schema dei dati, è possibile variarle senza modificare i dati e quindi con basso impatto 3 4 RDF Adapter E responsabile della presentazione dei dati sempre in formato RDF Virtual DB Combina una o più sorgenti dati fisiche per fornire una facile integrazione dei dati senza spostarli. 2 1 Sparql Endpoint Processa le query in linguaggio SPARQL (W3C) Consente query federate sulle sorgenti dati sottostanti L integrazione è incapsulata mediante l uso di viste e procedure E amministrato tramite una console applicativa Tecnicamente è un RestFull Web Services Il Resource Description Framework (RDF) è lo strumento base proposto da W3C per la codifica, lo scambio e il riutilizzo di metadati strutturati e consente l'interoperabilità tra applicazioni che condividono le informazioni Interrogazione anche delle tabelle relazionali attraverso viste RDF I dati iniziali, pur essendo strutturati, saranno senza schema e la loro classificazione dipenderà dall Ontologia Risorse identificate da URI Rappresentazione dei dati in triple <Soggetto> <Predicato> <Oggetto> Consente di applicare regole di deduzione per elaborare i dati: Arricchimento dei dati Data Quality Named Entity Recognition Classificazione automatica dei dati 8

9 Caso di studio : Antiriciclaggio 9

10 Caso di studio: Antiriciclaggio Antiriciclaggio Ai fini dell applicazione della normativa antiriciclaggio, ed in particolare dell obbligo di adeguata verifica, è necessario ampliare la base di conoscenza legata ai Clienti Questo ampliamento della conoscenza passa attraverso un interazione più stretta con il Cliente. Ma è altrettanto importante avere la possibilità di accedere in modo standardizzato a basi informative esterne per ricavare ulteriori informazioni in grado di arricchire il profilo del cliente per individuare, anche sulla base delle ulteriori informazioni acquisite, nuove relazioni tra soggetti alla luce delle quali poter inquadrare meglio l operatività del Cliente 10

11 Caso di studio: Antiriciclaggio Sorgenti Dati D W H Tr a d i z i o n a l e D W H S e m a n t i c o Espliciti Interni Espliciti Interni Semanticamente dedotti Esterni (PP.AA.) DBPedia 11

12 Caso di studio: Antiriciclaggio Sorgenti Dati DATABASE ANTIRICICLAGGIO Sorgente dati contenente tutte le informazioni relative ai soggetti coinvolti, alle operazioni e ai rapporti CSV TERRORISTI Liste in formato CSV contenenti tutte le informazioni relative ai terroristi rilasciato dall autorità americana OPEN DATA Amministratori Locali, Provinciali, Regionali, Bandi pubblici DBPedia Dati in formato RDF 12

13 Caso di studio: Antiriciclaggio Ontologia Antiriciclaggio ENTITÀ DELL ONTOLOGIA: Soggetto, Rapporto, Operazione. 13

14 Caso di studio: Antiriciclaggio Dati dedotti e arricchiti Scopriamo nuove Relazioni tra i Soggetti Relazioni Implicite Coinquilini Colleghi Partecipazione Politico Conoscenti Stessa Controparte Diretta/Indiretta Incroci Triangolazioni Relazioni Dati Esterni (Pubbliche Amministrazioni) Stessa Amministrazione Comunale Stessa Amministrazione Provinciale Stessa Amministrazione Regionale Stesso Partito Politico Stesso Bandi pubblici Relazioni Dati Esterni (DBPedia) Le relazioni recuperate da DBPedia possono essere molteplici e dipendono fortemente dal tipo di soggetto considerato. 14

15 Le informazioni contenute in questo documento sono di proprietà di Corvallis SpA. Questo documento è redatto a scopo puramente informativo. Tutti i marchi registrati appartengono ai loro rispettivi proprietari. Nessuna parte di questa pubblicazione può essere riprodotta o trasmessa in qualsiasi forma o per qualsiasi scopo senza la preventiva autorizzazione di Corvallis SpA. Sede Legale e Amministrazione Via Savelli, Padova - Italia T F info@corvallis.it C O N T A T T I : INVESTOR RELATIONS investor.relations@corvallis.it