Approssimazione efficiente del diametro in reti sociali di grandi dimensioni.

Transcript

1 Approssimazione efficiente del diametro in reti sociali di grandi dimensioni. Università degli Studi di Roma Tor Vergata Facoltà di Scienze Matematiche Fisiche e Naturali Corso di Laurea in Informatica. Relatore Prof. Giorgio Gambosi Correlatore Prof. Marco Bianchi Candidato Valerio Capozio Anno Accademico 2005/2006

2 Cosa sono Le Reti Sociali Introduzione Proprietà Modelli Una rete sociale è una struttura composta di entità (individui, organizzazioni, oggetti) inserite in un contesto sociale. Tali entità sono legate tra di loro da relazioni che possono rappresentare rapporti di interazione, conoscenza, influenza, vicinanza, ecc. Le reti sociali, come tutti i network, possono essere modellate attraverso un grafo G = (V, E) dove: ogni nodo v V rappresenta un entità distinta. ogni arco (u, v) E rappresenta una relazione che lega il nodo u al nodo v.

3 Introduzione Proprietà Modelli Alcuni esempi: Rapporti di conoscenza in LiveJournal.com

4 Introduzione Proprietà Modelli Alcuni esempi: Catena Alimentare

5 Alcuni esempi: Internet Introduzione Proprietà Modelli

6 Perchè studiarle Le Reti Sociali Introduzione Proprietà Modelli 1 Per comprenderne la struttura: Similitudini di connettività con altre tipologie di reti. Importanza dei vertici. 2 Per comprenderne le loro proprietà. 3 Per aspetti ingegneristici e algoritmici: Data Mining. Progettazione di algoritmi efficienti. 4 Per comprendere la tolleranza ai guasti. 5 Per verificare la robustezza contro gli attacchi.

7 Piccolo Mondo Le Reti Sociali Introduzione Proprietà Modelli Il fenomeno del Piccolo Mondo o Small World è una proprietà scoperta sperimentalmente, dal sociologo Milgram. Secondo questa proprietà la distanza, tra le coppie dei nodi, risulta essere molto bassa rispetto alla dimensione generale della rete. In presenza di Small World si hanno reti: Di grandi dimensioni (n >> 1). Sparse (grado medio k << 1). Prive di nodo centrale (k max << n). Bassa distanza media tra i nodi, tipicamente O(log n).

8 Introduzione Proprietà Modelli L esperimento di Milgram e i sei gradi di separazione L esperimento ideato da Milgram consisteva nel tentare di far pervenire, ad una persona residente a Boston, delle lettere, senza inviarle direttamente a questa persona. Per far ciò il sociologo: Inviò 160 lettere ad altrettante persone. Ogni persona avrebbe dovuto rispedire la propria copia, ad una persona di proprio conoscenza, che avrebbe avuto maggiori possibilità di far arrivare la missiva a destinazione. Giunsero a destinazione circa un terzo delle missive. La media dei passaggi, conteggiata sulle lettere arrivate, si rivelò pari a 6.

9 Introduzione Proprietà Modelli Elevato Coefficiente di clustering In molte reti se il vertice A è connesso al vertice B e quest ultimo è connesso al vertice C, allora con grande probabilità, anche A sarà collegato a C. Nelle reti sociali questo concetto si può riassumere con la seguente affermazione: L amico di un nostro amico è spesso anche nostro amico. Per ogni vertice u V del grafo G il coefficiente di clustering sarà pari a: C u = Numero di triangoli connessi al vertice u Numero di triple centrate sul vertice u Le reti sociali presentano coefficienti di clustering elevati.

10 Distribuzione di grado Introduzione Proprietà Modelli Definiamo p k come il sottoinsieme dei vertici della rete che presentano grado pari a k. Equivalentemente p k può essere definito come la probabilità che un vertice scelto a caso abbia grado esattamente pari a k. All interno delle reti sociali, la distribuzione di grado segue spesso la legge di potenza, quindi per definire la funzione di distribuzione si utilizza la formula: P k = pk k =k che rappresenta la probabilità che il grado dei nodi sia maggiore o uguale a k.

11 Modello di Erdős e Rényi Introduzione Proprietà Modelli Il Modello classico, basato su grafi randomici, è stato proposto da Erdős e Rényi. È un modello probabilistico in cui: Si hanno n nodi. Per ogni coppia u e v di nodi, l arco (u, v) esiste con probabilità p indipendente da tutti gli altri. Per p sufficientemente grande: La maggior parte dei nodi si trova in una componente gigante connessa. Il diametro è logaritmico. Il coefficiente di clustering è basso O(1/n), ma questo non è vero nelle reti sociali.

12 Modello di Watts e Strogatz Introduzione Proprietà Modelli L obiettivo era mostrare che con meccanismi semplici, partendo dai grafi randomici, era possibile ottenere una rete con Small World (quindi con diametro piccolo e coefficiente di clustering elevato). Si inizia con un anello di n nodi. Ogni nodo è connesso ad altri k nodi. Con probabilità p, ogni arco è riconnesso ad una destinazione scelta casualmente in modo uniforme.

13 Modello di Watts e Strogatz (2) Introduzione Proprietà Modelli Per valori di p compresi tra 0 e 1, il modello di Watts e Strogatz permette di raggiungere i seguenti risultati: 1 Componente gigante connessa. 2 Distanza media tra nodi connessi bassa (O(log n)). 3 Coefficiente di clustering Θ(1). In questo modo è possibile ottenere reti con small world. Tale modello non è ancora sufficiente per rappresentare correttamente le reti sociali, poichè non tiene conto della loro distribuzione di grado di tipo power-law.

14 Modello di Barabási e Albert Introduzione Proprietà Modelli Il modello ad invarianza di scala, proposto da Barabáasi ed Albert riesce a rappresentare perfettamente ogni aspetto, fino ad ora scoperto delle reti sociali, compresa la loro distribuzione di grado. Tale modello si basa sull inserimento all interno della rete di particolari nodi, denominati hub, con un numero di archi insolitamente elevato.

15 Introduzione Proprietà Modelli Modello di Barabási e Albert (2) La scoperta dell esistenza degli hub ha portato all abbandono di ogni prospettiva casualista. Nel modello di Barabási ogni nodo crea un arco con un altro nodo con una probabilità proporzionale al grado entrante attuale dei nodi stessi. Secondo questo sistema un nodo con molti archi entranti, continuerà ad attrarre altri archi. Questo è in linea anche con il principio dell 80/20 formulato da Pareto.

16 Il nostro scopo Le Reti Sociali Il nostro scopo I nostri grafi La nostra soluzione Gli studi compiuti, in questo lavoro di tesi, sono incentrati sulla ricerca di metodi efficienti per il calcolo di alcune misurazioni, di tipo statistico, sui network di grandi dimensioni. In particolare si è deciso di trovare un metodo efficiente per il calcolo del diametro nelle reti sociali di grandi dimensioni. La rete che abbiamo scelto di analizzare, per compiere i nostri studi, è quella relativa alle collaborazioni cinematografiche. Di tale rete abbiamo calcolato il diametro, studiandone la variazione, avvenuta negli anni a seguito della crescita dal network stesso.

17 I grafi del cinema Le Reti Sociali Il nostro scopo I nostri grafi La nostra soluzione I grafi utilizzati per questo studio sono stati realizzati estrapolando le informazioni da IMDb. I grafi del cinema sono composti da tutti gli attori, rappresentati dai vertici del grafo, che hanno lavorato in almeno un film nel periodo considerato. Nel grafo esisterà un arco, tra un attore ed un altro, se e solo se questi due avranno lavorato insieme in almeno un film. Per la natura della relazione considerata (collaborazione), è chiaro che gli archi della rete saranno non orientati e privi di peso.

18 Particolarità dei grafi del cinema Il nostro scopo I nostri grafi La nostra soluzione I grafi del cinema presentano le seguenti particolarità: Crescono annualmente, in maniera molto veloce, aggiungendo alla struttura dell anno precedente nuovi vertici e nuovi archi. La crescita non è costante negli anni, ma subisce l effetto dell affermazione del fenomeno cinematografico, quindi, specialmente nei primi anni, si ha un fattore di crescita del grafo anche superiore al doppio dell anno precedente. Film particolari, come i colossal, generano anomalie nel fattore di crescita, poichè tendono ad innalzare la media dei nuovi nodi e soprattutto dei nuovi archi immessi ogni anno.

19 La compressione dei grafi Il nostro scopo I nostri grafi La nostra soluzione I grafi del cinema rappresentano reti di dimensioni estremamente elevate, con centinaia di migliaia di nodi e milioni di archi da gestire. Per memorizzare tali strutture e potervi quindi accedere, in seguito, per studiarle, si è fatto ricorso al package it.unimi.dsi.webgraph che permette la generazione di grafi compressi. Il package WebGraph fornisce, inoltre, una serie di API per la navigazione e la gestione dei grafi generati.

20 La scelta di ANF Le Reti Sociali Il nostro scopo I nostri grafi La nostra soluzione Il problema principale nel calcolo del diametro, specialmente per reti di grandi dimensioni, è costituito dai tempi di calcolo piuttosto elevati che questa grandezza richiede per essere computata. Per ovviare ai problemi, dovuti ad un calcolo diretto del diametro, si è pensato di calcolare una stima, il più accurata possibile, dello stesso. Per ottenere tale stima, si è deciso di ricorrere all utilizzo dell algoritmo ANF, per la sua velocità di calcolo e l accuratezza dei risultati rispetto agli altri algoritmi presenti in letteratura. ANF è un algoritmo in grado di fornire una stima della funzione di vicinanza individuale S(u,h) e totale N(h).

21 La funzione di vicinanza Il nostro scopo I nostri grafi La nostra soluzione La funzione di vicinanza può essere definita informalmente come il numero di coppie di nodi che si trovano a distanza h. Formalmente possiamo definire: Funzione individuale di vicinanza per u V, il numero di nodi a distanza h, o minore, da u. S(u, h) = v : v V, d(u, v) h. Funzione di vicinanza il numero di nodi a distanza h. N(h) = (u, v) : u V, v V, d(u, v) h oppure N(h) = u V S(u, h).

22 Il nostro scopo I nostri grafi La nostra soluzione ANF: Approximate Neighbourhood Function Palmer, Gibbons e Faloutsos idearono ANF partendo dall algoritmo del Probabilistic Counting di Flajolet. L idea alla base di ANF consiste nel raggruppare i nodi raggiungibili da x in h passi trovando, inoltre, i nodi, vicini al nodo di partenza che possono essere raggiungi in h 1 passi. Più formalmente, sia M(x, h) l insieme dei nodi con distanza h da x: M(x, 0) = x M(x, h) h è utile notare come x possa raggiungere, in h passi, i nodi che si trovano anche a distanza h 1, o inferiore. Inoltre, x è anche in grado di raggiungere i nodi posti a M(y, h 1) se esiste un arco che colleghi x ad y.

23 ANF: il codice Le Reti Sociali Il nostro scopo I nostri grafi La nostra soluzione Traducendo in codice quanto appena detto, avremo:

24 La versione ibrida di ANF Il nostro scopo I nostri grafi La nostra soluzione Per meglio adattare ANF al nostro specifico problema, così da massimizzare le prestazioni, si è deciso di creare una versione ibrida, ottenuta dal merge dei punti di forza delle versioni proposte dagli autori dell algoritmo. In particolare si è scelto di: Utilizzare la struttura della versione base, incentrata sul calcolo della funzione individuale (S(u, h)) e totale (N(h)) di vicinanza. Escludere la ricorsività della versione base a favore delle variabili temporanee Mcur ed Mlast introdotte in ANF-0. Non fare ricorso alla scrittura di file, introdotta dalla versione ANF-C, ma sfruttare le potenzialità del package WebGraph utilizzato anche per la compressione dei grafi.

25 Calcolare il diametro con ANF Il nostro scopo I nostri grafi La nostra soluzione Per ottenere da ANF, una stima del diametro si è ragionato su cosa l algoritmo è in grado di fornire, ovvero una stima della funzione S(u, h) che rappresenta il numero di nodi raggiungibili da u con distanza minore o uguale ad h. Sappiamo inoltre che: La distanza è il più piccolo cammino che intercorre tra due vertici. L eccentricità di un vertice è la massima tra tutte le distanze raggiungibili dal vertice. Il diametro equivale alla massima tra tutte le eccentricità. Quindi, è stato sufficiente calcolare, attraverso ANF, il valore massimo raggiungibile da h per tutti i nodi della rete.

26 L applicazione prodotta Il nostro scopo I nostri grafi La nostra soluzione L applicazione sviluppata per implementare quanto finora esposto è stata realizzata con l ausilio della tecnologia Java TM. In particolare sono stati creati due package distinti. tesi.anf.core: Contiene l implementazione dell algoritmo ANF e le classi delle strutture dati utilizzate dall algoritmo per funzionare. tesi.anf.statics: Contiene l implementazione delle classi per effettuare gli studi sulle reti, e grazie ad un oculata fase di progettazione e al polimorfismo è possibile aumentare il set di queste classi in maniera molto semplice.

27 Il nostro scopo I nostri grafi La nostra soluzione Struttura dei package dell applicazione

28 Il nostro scopo I nostri grafi La nostra soluzione Struttura del package tesi.anf.core

29 Il nostro scopo I nostri grafi La nostra soluzione Struttura del package tesi.anf.statics

30 Il nostro scopo I nostri grafi La nostra soluzione Valori del diametro negli anni

31 Per concludere Le Reti Sociali e sviluppi futuri Durante questo lavoro di tesi abbiamo: 1 Effettuato uno studio approfondito sulle reti sociali, le loro problematiche e le loro proprietà fondamentali. 2 Studiato la funzione di vicinanza e gli algoritmi proposti in letteratura per una sua stima, il più accurata possibile. 3 Adattato l algoritmo ANF alle nostre esigenze, senza perdere di generalità. 4 Prodotto un applicativo Java TM per lo studio delle reti sociali attraverso la funzione di vicinanza. 5 Prodotto l unica codifica esistente in Java TM dell algoritmo ANF.

32 Sviluppi futuri Le Reti Sociali e sviluppi futuri Possibili sviluppi potrebbero consistere nel: 1 Incrementare l insieme delle statistiche eseguibili, generando, ad esempio, classi per la stima del coefficiente di clustering. 2 Generare un nuovo set di grafi, relativi ad una rete diversa da quella del cinema, per compiere studi di comparazione strutturale. 3 Fornire la possibilità di disegnare i grafi in esame.

33 e sviluppi futuri Grazie! Quest opera è stata rilasciata sotto la licenza Creative Commons Attribuzione-Non commerciale-condividi allo stesso modo 2.5 Italia. Per leggere una copia della licenza visita il sito web o spedisci una lettera a Creative Commons, 559 Nathan Abbott Way, Stanford, California 94305, USA.