Subsection 1. MapReduce

Transcript

1 MapReduce Subsection 1 MapReduce

2 MapReduce La programmazione distribuita è molto pesante Soluzione: MapReduce MapReduce viene incontro alle sfide della programmazione distribuita. Le 3 regole Archivia i dati con ridondanza su nodi multipli per garantire la persistenza e la loro disponibilità Effettua il calcolo in prossimità dei dati per minimizzare il costo di trasferimento dei dati Usa un modello semplice di programmazione per nascondere la complessità dell architettura

3 MapReduce Conteggio Parole words(doc.txt) sort uniq -c Map Scandire un termine alla volta Estrarre da ogni record un valore dalla chiave Raggruppare per chiavi Ordinare e Distribuire Ridurre Aggregare, sommare, filtrare o trasformare Scrivere il risultato su file Il principio è sempre lo stesso, Map e Reduce cambiano a seconda del problema

4 MapReduce Map Reduce Dichiarare il numero dei Map e di Reduce, una chiave per un solo Reduce

5 MapReduce Map Reduce map(key, value): //key: document id; value: il testo del documento for each word w in value: emit(w, 1) reduce(key, values): // key:una parola w; value: un intero come contatore result = 0 for each count v in values: result += v emit(w, result)

6 MapReduce Map Reduce In breve

7 MapReduce Scheduling & Data flow Cosa non deve fare il programmatore, ma che fa il sistema Partizione dei dati Scheduling dei task per l esecuzione del programma tra le varie macchine Ordinare per chiave i dati Assegnare i dati (intermedi) ai nodi. Gestire i guasti dei nodi. Gestire la comunicazione delle macchine

8 Section 4 La tecnica di clustering LSH

9 Applicazioni della similarità Molti problemi di data mining possono essere espressi come ricerca di insiemi "simili": Pagine duplicate o quasi duplicate. Pagine simili, ad esempio, per la classificazione secondo argomenti. Suggerimento di termini simili (sinonimi o contrari o acronimi). Suggerimento di argomenti a utenti di Twitter con profili simili (sistemi di raccomandazione). Caso duale: individuare comunità di profili con interessi comuni. Risoluzione entità. Gianni Amati su Facebook e su Twitter sono le stesse persone?

10 Documenti)Reti,Clustering Modello generativo della rete e delle comunità

11 L architettura per LSH Altamente parallelizzabile e distribuibile! Il documento Insiemi di parole di lunghezza k che occorrono nel documento Signatures: vettori ridotti di interi che rappresentano gli insiemi, e riflettono la loro similarità Le coppie di signature su cui verificare la similarità

12 Partizione in bande

13 Partizione in bande Colonne 1 e 6 sono simili Colonne 4 e 5 sono simili Colonne 1 e 5 non sono simili

14 Probabilità S-shaped Probabilità p(t,b,r), soglia di similarità di Jaccard t, numero di bande b, ampiezza r.

15 Probabilità S-shaped

16 Introdurre l effetto banda La tecnica delle "bande" per le matrici di signature si possono estendere con un metodo più generale. Obiettivo: generare una curva di probabilità a S con rapidità a piacere (diminuendo il più possibile i falsi positivi e i falsi negativi) AND di hash come per le righe di una banda OR di hash come per le bande Applicare a cascata una sequenza di AND e OR

17 Implementazione a 4 job, si impenna la curva a S Errori quasi nulli per una soglia compresa tra 45% %

18 LSH con Map Reduce map(key, value): //key: intero identificativo d del documento; //value: il vettore di interi (la Signature di d) per ogni banda i e porzione z della Signature: emit(h(z,i), d) il sistema raggruppa in liste di collisione! reduce(key, values): // key:l hash di una porzione di signature e la banda; //values: la lista C =[d] dei documenti d con la stessa porzione z sulla stessa banda i emit(1, C =[d])

19 Implementazione LSH Dimensione e Tempi 1 Utilizziamo diverse funzioni hash indipendenti (circa 1,200) per creare una signature per ogni documento/profilo/termine. 2 Le signature vengono immagazzinate in un altra matrice (matrice di Signature). Calcolo della Jaccard per il Clustering massivo di 1,900,000 twe File output Impl tempi (h) Invertito 72,000 PB Stand. 2,005,556

20 Section 5 Le tecniche di Affiliation Graph Model (BIG CLAM, Coda)

21 Affiliazione)Rete

22 CODA Scopre comunità (clustering massivo)

23 CODA

24 Section 6 Visualizzazione

25 Visualizzazione delle Reti I software esistenti sono molto lenti I software esistenti gestiscono pochi nodi e pochi archi. Noi siamo arrivati a 500,000 nodi e migrando a una tecnologia SVG a 1ML. Sono difficili da personalizzare Overload visivo e cognitivo Nodi e archi devono essere linkable e searchable(visual search engine) Dato un arco visualizzare la comunicazione tra i due nodi Dato un nodo fornire le informazioni strutturate e testuali sul nodo Data un interrogazione visualizzare i nodi e gli archi rilevanti

26 Visualizzazione comunità di Twitter

27 Visualizzazione comunità di Twitter

28 Visualizzazione comunità di Twitter

29 Visualizzazione comunità di Twitter

30 Visualizzazione comunità di Twitter

31 Visualizzazione comunità di Twitter

32 Visualizzazione comunità di Twitter

33 Il Prossimo futuro Previsione di Gartner (4 febbraio 2016) Entro il 2018, la maggior parte delle aziende e degli analisti delle organizzazioni avranno accesso a strumenti self-service per preparare i dati per l analisi come componenti delle moderne piattaforme di BI. Entro il 2018, la maggior parte delle offerte stand-alone di elaborazione self-service dei dati saranno incluse/integrate in piattaforme analitiche end-to-end. Entro il 2018, la scoperta della conoscenza dai dati sarà basata su Hadoop, search e visualizzazione e convergeranno a un unica forma piattaforma di nuova generazione che comprenderà la preparazione self-service dei dati e la generazione di linguaggio naturale.

34 Section 7 Piattaforma Batch (Simone Angelini)

35 Section 8 Piattaforma Streaming (Marco Bianchi)

36 Section 9 Progetto ISCOM-FUB: SNOOPI (Giuseppe Marcone)