"_id": "555ae00a475a9b259281b21a", "name": "Nicola Galgano", "alias": "alikon", "gender": "maschile", "work": consulente software bancario",

Transcript

1 1

2 } { "_id": "555ae00a475a9b259281b21a", "name": "Nicola Galgano", "alias": "alikon", "gender": "maschile", "work": consulente software bancario", "company": sto cercando ", " ": "info@alikonweb.it", "twitter": "@alikon", "address": "Roma, Italy, EU, hobby : fuggire dai dentisti 2

3 3

4 Che cosa è Big Data? Si parla di Big Data quando si ha un dataset grande da richiedere strumenti non convenzionali per estrapolare, gestire e processare informazioni entro un tempo ragionevole. da wikipedia 4

5 Grande quanto? DVD 4.7 GB Human brain 2.5 PB LHC 1 PB/s Net traffic 1 ZB/year 5

6 Internet of Everything IPv6 può indirizzare ogni quark del mondo IPv6 = 2^128 3,4e+38 6

7 7

8 Strutturati / non-strutturati Volume 8

9 Volume Velocità Varietà Veracità 9

10 Availability Downtime/year Downtime/month Downtime/week 90 % (1 nine) 36.5 days 72 hours 16.8 hours 99 % (2 nines) 99,9 % (3 nines) 99,99 % (4 nines) 99,999% (5 nines) 3.65 days 7.20 hours 1.68 hours 8.76 hours 43.8 minutes 10.1 minutes minutes 4.38 minutes 1.01 minutes 5.26 minutes 25.9 seconds 6.05 seconds 10

11 11

12 Next Generation Databases mostly addressing some of the points: non-relational distributed horizontal scalable open-source da 12

13 Key / value Column Document Graph 13

14 Un data model è una rappresentazione che usiamo per percepire e manipolare i dati Modello Logico Normalizzazione 1NF,2NF,3NF,.. E-R Schema (rigido) Teoria degli insiemi Impedance mismatch 14

15 Schemaless (dinamico/implicito) Denormalizzazione Aggregato Aggregati sono l elemento di base per lo storage 15

16 Semplice data model Blob/Opaco Solo 3 funzioni (API) Get(key) Set(key, value) Delete(key) Key e value possono essere complessi 16

17 Più trasparente JSON (JavaScript Object Notation) è un formato adatto all'interscambio di dati tra applicazioni client-server Facile per umani e macchine leggere e scrivere 17

18 Column Sparse semi structured, sorted map. Numero di colonne flessibile Come è memorizzato 18

19 Teoria dei grafi G = ( V, E ) memorizza, mappa and query Relazioni Nodi connessi da archi Relazioni complesse Raccomandazione prodotti ACID Queries = Attraversamento grafo 19

20 Due separati e distinti compiti The map job takes a set of data and converts it into another set of data, where individual elements are broken down into tuples (key/value pairs) The reduce job takes the output from a map as input and combines those data tuples into a smaller set of tuples I Tasks sono eseguiti in parallelo 20

21 21

22 Ci sono molti modi per modellare i dati Come si accede ai dati Read intensive or Write intensive Complessità delle queries Schemaless Modello Normalizzato 22

23 Verticale (up) Più potenza (ram/cpu/disk) Orizzontale (out) Più commodity systems 23

24 1. La rete è affidabile. 2. La latenza è nulla. 3. La banda è infinita. 4. La rete è sicura. 5. La topologia non cambia. 6. C'è un solo amministratore. 7. Il costo di trasporto è nullo. 8. La rete è omogenea. 24

25 Dividere i dati in diversi blocchi Salva ogni blocco in nodi separati e distinti The shard key strategia di partizionamento Multishard ops (Join/aggregate) Bilanciare il carico dei nodi 25

26 Master / Slave Multi / Master Sincrono Asincrono Ridondanza Aumenta availability Failover (automatico) 26

27 Maria Data Nick T 0 T 2 Get(X) Put(X) Get(X) T 1 Put(X) T 3 27

28 Transazione: Una sequenza di operazioni che formano un unità Le Transazioni hanno 4 proprietà Atomicità Consistenza Isolamento Durevolezza 28

29 ACID - Atomicità Trasferire 100 da A a B 1. Read(a) 2. If a > A=A Write(A) 5. Read(b) 6. B=B Write(B) 29

30 ACID - Consistenza Trasferire 100 da A a B 1. Read(a) 2. If A > A=A Write(A) 5. Read(B) 6. B=B Write(B) 30

31 ACID - Isolamento Trasferire 100 da A a B 1. Read(A) 2. If A > A=A Write(A) 5. Read(B) 6. B=B Write(B) 31

32 ACID - Durabilità Trasferire 100 da A a B 1. Read(A) 2. If A > A=A Write(A) 5. Read(b) 6. B=B Write(B) 32

33 Basically Available: Ci sarà una risposta ad ogni richiesta Veloce risposta anche se qualche replica è lenta o down Soft State: Lo stato del sistema può cambiare nel tempo E compito dell applicazione garantire la consistenza Eventual consistent: Il sistema diverrà eventualmente consistente quando non ci saranno più input da elaborare I dati sarrano propogati su ogni replica 33

34 Nick trova una bella foto e la condivide con Maria postandola sulla sua Facebook wall Nick chiede a Maria un parere Maria si logga nel suo account, cerca sul suo Facebook wall ma: - Non c è nulla! (a parte una x rossa) Nick chiede a Maria di riprovare tra un pò Maria aspetta un minuto è riprova: - Finalmente trova la bella foto e la commenta 34

35 E impossibile per un sistema distribuito garantire le 3 proprietà allo stesso tempo: Consistency tutti i nodi vedono gli stessi dati allo stesso tempo Availability tutti possono sempre leggere e scrivere Partition tollerance il sistema funziona sempre* Un sistema distribuito soddisfa solo 2 allo stesso tempo 35

36 Nick Maria EU US Chi prenderà il prossimo volo? 36

37 ATM permettono di prelevare denaro anche se sono disconnessi dal server centrale Maggiore disponibilità significa più guadagni Comunque ci sono dei limiti al prelievo La banca applica commissioni in caso di scoperto 37

38 In assenza di partizioni La scelta è tra: latenza (L) e consistenza (C) 38

39 39

40 ACID RDBMS Forte consistenza Isolamento Transazioni Tecnologia mature SQL Available & consistent Scale up (limitato) Shared something (disk/ram/proc) BASE NOSQL Debole consistenza (stale data) Last write wins Gestite a programma Nuova tecnologia No standard Available & partition tolerant Scale out (non-limitato*) Shared nothing (parallelismo) 40