Guido Caldarelli2, Paolo De Los Rios3, Stefano Leonardi1 e Stefano Millozzi1 Giancarlo Casale e Ernesto Ricci

Transcript

1 Il WebGraph Lavoro svolto in collaborazione con Guido Caldarelli 2, Paolo De Los Rios 3, Stefano Leonardi 1 e Stefano Millozzi 1 e con le tesi di Giancarlo Casale e Ernesto Ricci 1: Dipartimento di Informatica e Sistemistica, Universita di Roma La Sapienza, Italy 2: Dipartimento di Fisica, Universita di Roma La Sapienza, Italy 3: Institut de Physique Theorique Universitié de Lausanne, Switzerland

2 Il WebGraph Nodi: pagine HTML (statiche) Archi (diretti): hyperlink tra le pagine

3 Introduzione: PageRank

4 Introduzione: PageRank

5 Introduzione: PageRank

6 Introduzione: PageRank 0, ,5

7 Introduzione: PageRank Abbiamo visto COME funziona PageRank Google funziona bene la domanda naturale è: Perché PageRank funziona???

8 Il WebGraph: proprietà e modelli (1) 1. E un grafo (!) (Classico) Random Graph Model (Erdös and Renyi) 2. La distribuzione di indegree e outdegree segue una powerlaw Pr[deg(v)=i] µ 1/i g ACL model (Aiello, Chung e Lu) Evolving network model (Barabasi et al.)

9 Il WebGraph: proprietà e modelli (2) 3. Forma a papillon Fenomeni di Mondo Piccolo per CORE e WCC 4. Grossa presenza di clique bipartite Modello Small World (Watts e Strogatz) Modello Copying (Kumar et al.)

10 Il WebGraph: proprietà e modelli (3) TUC - Thematically Unified Cluster, for example: 1. By content 2. By location 3. By geographical location and 4. Random collection of websites 5. Hostgraph Dill et al., Self-similarity in the web

11 Il nostro modello: L idea: Tutti gli altri modelli sono PIATTI! Ogni pagina può (potenzialmente) puntare ogni altra pagina!

12 Il modello Multi-Layer (1) Ogni pagina è assegnata a un numero (finito e limitato) di layer a cui appartiene. Ogni pagina può puntare solo pagine dei layer cui appartiene

13 Il modello Multi-Layer (2) Come è generato il singolo layer? Copying + Evolving: O copiamo un link (come nel Copying) OPPURE Puntiamo a una pagina con una probabilità proporzionale al suo indegree (come nell Evolving)

14 Risultati sperimentali Data Set: Evolving ACL Copying Multi-Layer Erdos Reyni NotreDame Grafone Alexa SmallWorld NetworkGrowth Misure: Distribuzioni degree Clique Correlazioni Size: 300k Nodi, 2.1M Archi 100M Nodi, 1B Archi

15 Risultati (1) WebGraph

16 Risultati (2) Evolving Network Model Cliques assenti

17 Risultati (3) Copying Model (α( = 0.8)

18 Risultati (4) Multi-Layer Model (α( = 0.8,, L = 100) Copying + Evolving Cliques assenti

19 Risultati (5) Multi-Layer Model (α( = 0.8, L = 100) Copying Cliques assenti

20 Risultati (6) Multi-Layer Model (L = 100) Evolving Cliques assenti

21 Risultati (7) Multi-Layer Model (α( = 0.3, L = 100) Pennock Cliques assenti

22 La libreria per grafi su SM Generazione di Grafi: Evolving, Copying, Multi-Layer (diverse versioni), Small Worlds, ACL, Network Growth, Erdös and Renyi Misure su Grafi: degree, correlazioni, clique, SCC, pagerank Conversione tra diversi formati: nostri, DIMACS, testo

23 Libreria per Grafi su SM: Prestazioni , ,0 tempo (secondi) 10000,0 1000,0 100,0 barabasi netgrowth modello fisici copy model multi layer(barab+copy) multi layer (COPY) multi layer (NET) pagerank degree scc conversione cliques correlazione 10,0 1, numero di nodi

24 Struttura del Webgraph 200M Crawl Altavista, 1999 Broder et al. 200M Crawl WebBase 2001 Caldarelli et al.2003 Indegree segue una distribuzione power law: Pr[deg(v)=i] µ 1/i g, g=2.1

25 Graph structure of the Web Altavista, 1999 WebBase 2001 Out-degree segue una distribuzione power-law? O è dipendente dalla strategia di crawl?

26 Clique bipartite 200M Crawl Alexa, 1997 Kumar et al. 200M Crawl WebBase 2001 O più Cyber-communities o algoritmi semi-esterni migliori, o entrambi Algoritmo per trovare clique bipartite disgiunte [Laura, Leonardi, Millozzi, 2002]

27 Calcolo delle SCC Il calcolo delle componenti fortemente connesse si basa su visite (algoritmo classico usa 2 DFS) Le visite di grafi in memoria secondaria non hanno località Gli studi precedenti avevano usato un computer con 12 giga di RAM (nel 2000!) Broder: Nessuno sa come calcolare le SCC su memoria secondaria

28 Calcolo delle SCC: il nostro algoritmo 1. Scegli a caso un nodo v 2. Calcola tutti i nodi raggiunti da v: O(v) 3. Calcola tutti i nodi che raggiungono v: I(v) 4. Calcola SCC(v):= intersezione di I(v) e O(v) 5. E la SCC grande? Se si, calcola IN, OUT e TENDRILS. Se no, ripeti.

29 Calcolo delle SCC: risultati In meno di 4 ore calcoliamo la struttura Bowtie del Grafone Differenze con crawl di altavista: 11% IN, 32% SCC, 39% OUT La distribuzione di SCC è simile: 200M Crawl Alexa, 1997 Kumar et al. 200M Crawl WebBase 2001

30 Gnutella e reti P2P Tesi di Tanya Buhnik: Analisi fenomenologica delle reti P2P basate sul protocollo Gnutella : Implementazione di un finto client/server che agiva da crawler e accumulava statistiche: quanti file? quanti utenti? quanti scrocconi? come scaricare meglio? da dove?

31 Gnutella: risultati Circa 300k utenti mediamente connessi (pochi rispetto a KaZaA ) Altre caratteristiche: zoccolo duro Utilizzata sempre meno Free Riders 9% 1%0% 0 file Meno di 800 file Meno di 12,8K file Meno di 1024K file Meno di 65M file 90%

32 Altre idee per la tesi? Prof. d Amore: Problematiche su sicurezza Misure contro il problema dello SPAM