Metodi per la gestione e l utilizzo efficiente dei dati

Transcript

1 Metodi per la gestione e l utilizzo efficiente dei dati Dr. Gabriele Galatolo, g.galatolo@kode.srl I metodi di controllo - il controllo dei metodi Dalla Tecnica alla Norma: gli oli come sistema modello Torino,

2 Agenda Breve storia dei database Scopo e attori di un database Modello dei dati Database relazionali Database per dati strutturati e concetti avanzati Oltre i database: Hadoop, Spark, Kafka

3 Breve storia dei database

4 Come vengono salvati i dati PDF portabilità, dati non utilizzabili da strumenti sw Fogli di calcolo (es: Excel) potenza, semplicità apparente, operazioni di ricerca difficili CSV semplicità, semplicità Archivi di stampe di PDF I dati li ho su un PDF, facciamo così: lo stampo, lo scannerizzo e ve lo mando per mail

5 Obiettivi di un database Archiviazione Database Ricerca Elaborazione

6 Attori in un database Operatore di macchina Operaio Magazziniere Sensori... Archiviazione Ricerca Elaborazione

7 Attori in un database Responsabile della produzione Addetto al controllo Tecnico di laboratorio... Archiviazione Ricerca Elaborazione

8 Attori in un database Analista dati Sistema di gestione degli ordini Applicazioni downstream Statistici... Archiviazione Elaborazione Ricerca

9 Il modello dei dati Rappresentazione formale di un fenomeno, composta dalla rappresentazione delle caratteristiche rilevanti delle entità di interesse e delle relazioni tra di esse insieme alle operazioni eseguibili sui dati e sulle relazioni identificate.

10 Il modello dei dati Esempio: raccolta delle informazioni e analisi della produzione di un oliveto con annesso frantoio.

11 Progettare il modello Entità Olivo Olive Olio Lotto Relazioni Oliva colte da Olivo Olio prodotto con Olive Lotto composto da Olio

12 Progettare il modello Relazioni Oliva colte da Olivo Operazioni Da quali Olivi vengono le Olive migliori? Olio prodotto con Olive Lotto composto da Olio Come crescono gli Olivi negli anni? Da quali Olive vengono gli Oli con le caratteristiche migliori? Da quali Olivi provengono gli Oli dei Lotti più venduti?

13 Implementare il modello Scegliere un DataBase Management System (DBMS) che implementi il modello dei dati in un formato elettronico. Relazionali Document oriented Graph oriented

14 Database relazionale Traduce le entità e le relazioni tra entità del modello dei dati in tabelle, aka relazioni (per non perdere un po di ambiguità). Nome della relazione Campo 1 : Tipo Campo 2 : Tipo... Campo m : Tipo record 1 valore_r 1 _c 1 valore_r 1 _c 2... valore_r 1 _c m record n valore_r n _c 1 valore_r n _c 2... valore_r n _c m

15 Il modello nel DB relazionale Esempio, l entità Olivo Olivo xy: string desc: string I: string lat=30.11, long=12.49 la=30.12, lo=12.60 lat=30.14, long=12.55 Fusto = 40 cm Chioma = 7 Fusto = 2016/35 cm, 2017/38 cm 1 albero da dx 3 albero da sx albero centrale

16 Il modello nel DB relazionale Esempio, l entità Olivo Olivo xy: string desc: string I: string lat=30.11, long=12.49 la=30.12, lo=12.60 lat=30.14, long=12.55 Fusto = 40 cm Chioma = 7 Fusto = 2016/35 cm, 2017/38 cm 1 albero da dx 3 albero da sx albero centrale errore nella descrizione dei campi nomi dei campi poco descrittivi manca identificatore standard del record

17 Il modello nel DB relazionale Esempio, l entità Olivo Olivo latitude : real longitude : real descrizione : string albero : string Fusto = 40 cm tree Chioma = 7 tree Fusto = 2016/35 cm, 2017/38 cm tree03

18 Il modello nel DB relazionale Esempio, l entità Olivo latitude : real longitude : real Olivo descrizione : string Fusto = 40 cm tree01 albero : string Chioma = 7 tree02 valori troppo verbosi insieme di informazioni eterogenee storico zippato nel campo Fusto = 2016/35 cm, 2017/38 cm tree03

19 Il modello nel DB relazionale latitude : real Olivo longitude : real tree01 albero : string tree tree03 morfo_id : string MorfologiaOlivo albero : string anno : string chioma : real fusto : real morfo01 tree01 40 morfo02 tree02 7 morfo03 tree morfo04 tree

20 Il modello nel DB relazionale latitude : real Olivo longitude : real tree01 albero : string tree tree03 morfo_id : string MorfologiaOlivo albero : string anno : string chioma : real fusto : real morfo01 tree01 40 morfo02 tree02 7 morfo03 tree morfo04 tree

21 Indici Velocizzano le operazioni di ricerca in presenza di grandi quantità di record. MorfologiaOlivo IndiceMorfologiaOlivo morfo_id albero anno chioma fusto anno record morfo01 tree morfo02 tree morfo03 tree morfo morfo morfo02, morfo04 morfo04 tree

22 Indici Velocizzano le operazioni di ricerca in presenza di grandi quantità di record. MorfologiaOlivo IndiceMorfologiaOlivo morfo_id albero anno chioma fusto anno record morfo01 tree morfo02 tree morfo03 tree morfo morfo03, morfo morfo02, morfo04 morfo04 tree morfo05 tree

23 Indici Strutture dati utili ma da utilizzare con cautela. velocità di accesso Impatto degli indici dimensioni degli indici aggiornamento dopo ogni inserimento devono essere scelti in base al tipo di dato che viene indicizzato NUMERO DI INDICI

24 Indici Strutture dati utili ma da utilizzare con cautela. velocità di accesso Modello dei dati Impatto degli indici dimensioni degli indici aggiornamento dopo ogni inserimento devono essere scelti in base al tipo di dato che viene indicizzato NUMERO DI INDICI

25 Tipi di dati strutturati Le versioni recenti dei DBMS mettono a disposizione tipi di dati più strutturati rispetto ai tipi primitivi (stringhe, interi, reali), supportando anche funzioni native e/o indici specifici. Geometrie: punti, poligoni, linee Ricerche Full Text: vettori di lessemi usati nelle ricerche di documenti che restituiscono il best match con la query Documenti JSON

26 Tipi di dati strutturati Esempio, archiviazione di dati geografici AreeDiControllo id :string valore :int area :polygon area01 23 (( , ),, ( , )) area02 12 (( , ),, ( , )) area03 11 (( , ),, ( , )) area04 14 (( , ),, ( , ))

27 Relazionale VS Multimodello MorfologiaOlivo id olivo anno chioma fusto new Problematiche del DB relazionale: morfo01 tree valore? morfo02 tree valore? morfo03 tree valore? morfo04 tree valore? morfo05 tree valore? morfo06 tree valore? morfo07 tree valore? morfo08 tree valore? poco scalabile nei cambi colonna (es, valori nelle righe esistenti?) spreco di spazio in tabelle sparse necessità di gestire join tra tabelle

28 Database multimodello Gli oggetti che sono appartenenti ad una entità vengono rappresentati come documenti semi-strutturati, mentre le relazioni tra entità sono modellate tramite un grafo. { } key 1 : v 1, key 2 : v 2,... key n : v n, ogg 1 : Entità 1 rel 2 : Relazione 2 { } rel 1 : Relazione 1 key 1 : v 1, key 2 : v 2,... key m : v m, ogg 2 : Entità 1 { } key 1 : v 1, key 2 : v 2,... key k : v k, ogg 3 : Entità 2

29 { } Il modello nel DB multimodello Esempio, l entità Olivo id: tree01, posizione: { longitude: 12.49, latitude: } { } struttura 1 : hastruttura chioma: 35, anno: 2016 morfo 2 : MorfologiaOlivo struttura 2 : hastruttura { } id: tree02, posizione: { longitude: 12.55, latitude: } tree 2 : Olivo tree 1 : Olivo { } fusto: 40 morfo 1 : MorfologiaOlivo

30 Il modello nel DB multimodello { } Esempio, l entità Olivo id: tree01, posizione: { longitude: 12.49, latitude: } tree 1 : Olivo { } { } struttura 1 : hastruttura chioma: 35, anno: 2016 morfo 2 : MorfologiaOlivo fusto: 40, anno: 2017 morfo 1 : MorfologiaOlivo struttura 2 : hastruttura struttura 3 : hastruttura { } chioma: 38, anno: 2017 morfo 3 : MorfologiaOlivo { } id: tree02, posizione: { longitude: 12.55, latitude: }, piantato: 2008 tree 2 : Olivo

31 Ricerche nei DB multimodello Lotto :venduto Città Operazioni Da quali Olivi provengono gli Oli dei Lotti più venduti? :vicinaa Olivo :haolivedi

32 Ricerche nei DB multimodello Lotto :venduto Città :vicinaa Operazioni Da quali Olivi provengono gli Oli dei Lotti più venduti? Con DB relazionale avremmo: eseguito il prodotto cartesiano di almeno tre tabelle, calcolato una somma sul risultato precedente e infine cercato in tutte le righe risultanti l olivo corrispondente Olivo :haolivedi

33 Ricerche nei DB multimodello Lotto :venduto Città :vicinaa Operazioni Da quali Olivi provengono gli Oli dei Lotti più venduti? Con DB multimodello: 1. identifica il lotto più venduto sommando le vendite per città Olivo :haolivedi

34 Ricerche nei DB multimodello Lotto :venduto Città :vicinaa Operazioni Da quali Olivi provengono gli Oli dei Lotti più venduti? Con DB multimodello: 1. identifica il lotto più venduto sommando le vendite per città 2. identifica gli olivi da cui provengono le olive del lotto Olivo :haolivedi

35 Oltre i DB: Hadoop, Spark, Kafka La disponibilità di grandi quantità di dati spinge la necessità sempre più crescente di analisi quanto più real-time possibile. I database non hanno la capacità di gestire ed elaborare un flusso continuo di dati Difficoltà nel gestire continue variazioni nei dati in input Sono necessari strumenti che usino i database come sorgenti o come archivi per l analisi dati online

36 Oltre i DB: Hadoop, Spark, Kafka Stream Online processing Data Lake Data sources (db, sensori,...) Offline processing

37 Oltre i DB: Hadoop, Spark, Kafka Stream Online processing Data Lake Data sources (db, sensori,...) Offline processing

38 Take-away messages Sapere chi utilizza il database è fondamentale nella costruzione del sistema Avere un giusto modello dei dati guida automaticamente le corrette scelte implementative del database E importante scegliere con attenzione lo strumento che meglio realizzi il modello dei dati del fenomeno in esame Affidarsi a chi sa progettare il DB (davvero!)

39