Come Google ordina le pagine web

Transcript

1 Come Google ordina le pagine web Come fa Google a rispondere così velocemente alle nostre richieste? E, soprattutto, come fa a trovare le pagine pertinenti alle parole chiave che abbiamo digitato e ad ordinarle? In base a cosa le ordina? c Paola Gervasio - Calcolo Scientifico /19 1

2 Il PageRank 1 Scansione del web 2 Indicizzazione dei contenuti 3 Ordinamento delle pagine in base al PageRank Il PageRank di una pagina web rappresenta la probabilità che un utente qualsiasi che naviga sul Web arrivi casualmente a visitare proprio quella pagina. c Paola Gervasio - Calcolo Scientifico /19 2

3 Modello 0 del Web Page 1 Page 2 Nodo 1 Nodo 2 Page 3 Page 4 Nodo 3 Nodo 4 Il grafo orientato Una rete di 4 pagine web A = La matrice di connessione, a ij = { 1 se link j i, 0 altrimenti. c Paola Gervasio - Calcolo Scientifico /19 3

4 Modello 1: prima matrice di hyperlink A non è adatta a simulare gli spostamenti di un surfer virtuale A=matrice del grafo A = H = H=matrice di hyperlink 0 0 1/3 0 1/2 0 1/3 0 1/ /3 0 Nodo 1 Nodo 3 L j = numero totale di link che escono dal nodo j (j = 1,..., N) Nodo 2 Nodo 4 { 1/Lj se L h ij = j 0 ed link j i, 0 altrimenti. h ij è la probabilità di muoversi dalla pagina j alla pagina i cliccando sul link j i Problema: se il surfer finisce sul nodo (DANGLING) 4? c Paola Gervasio - Calcolo Scientifico /19 4

5 Modello 2: per uscire da un nodo dangling Nodo 1 Nodo 2 Nodo 3 Nodo 4 H=matrice di hyperlink 0 0 1/3 0 H = 1/2 0 1/3 0 1/ /3 0 S = S=nuova matrice di hyperlink 0 0 1/3 1/4 1/2 0 1/3 1/4 1/ / /3 1/4 1/N se L j = 0 (nodo di tipo dangling), s ij = 1/L j se L j 0 e link dal nodo j al nodo i, 0 se L j 0 e link dal nodo j al nodo i. La matrice S contempla la possibilità di uscire da un nodo dangling c Paola Gervasio - Calcolo Scientifico /19 5

6 Modello 3: la matrice di Google (nel 1998) Si introduce α [0, 1) e si definisce Nodo 1 Nodo 2 Nodo 3 G : g ij = αs ij + 1 α N Il surfer può decidere di passare ad un altra pagina senza seguire i link memorizzati nella matrice S. L elemento g ij esprime la probabilità che un utente, che già si trova sulla pagina j della rete, si sposti dalla pagina j alla pagina i (seguendo o meno un link) Nodo 4 0 g ij 1 i, j = 1,..., N, N g ij = 1 j = 1,..., N. i=1 c Paola Gervasio - Calcolo Scientifico /19 6

7 PageRank è una probabilità Il PageRank di una pagina web rappresenta la probabilità che un utente qualsiasi che naviga sul Web arrivi casualmente a visitare proprio quella pagina. p i =PageRank della pagina i Inoltre imponiamo che 0 p i 1, per i = 1,..., N. N p i = 1 i=1 (è una comodità matematica, avremmo potuto chiedere somma pari a 2 o 3,... Imponendo che la somma valga tot garantiamo che la soluzione del modello matematico sia unica) c Paola Gervasio - Calcolo Scientifico /19 7

8 1 La probabilità che il surfer arrivi sulla pagina i partendo dalla pagina j è una probabilità condizionata al fatto che prima egli si trovi sulla pagina j. Essa è pari al prodotto g ij p j, 2 per il teorema della probabilità totale p 1 = g 11 p 1 + g 12 p 2 + g 13 p 3 + g 14 p 4 cioè la probabilità totale di visitare la pagina 1 è data dalla somma di tutte le probabilità condizionate, 3 idem per tutte le altre pagine, ovvero: p 1 = g 11 p 1 + g 12 p 2 + g 13 p 3 + g 14 p 4 p 2 = g 21 p 1 + g 22 p 2 + g 23 p 3 + g 24 p 4 p 3 = g 31 p 1 + g 32 p 2 + g 33 p 3 + g 34 p 4 p 4 = g 41 p 1 + g 42 p 2 + g 43 p 3 + g 44 p 4, o, in forma matriciale p = Gp. c Paola Gervasio - Calcolo Scientifico /19 8

9 Modello matematico e modello numerico p = Gp Il modello matematico è un equazione di punto fisso o, equivalentemente, è un problema agli autovalori: p è l autovettore di G associato all autovalore di modulo massimo λ = 1 (Gp = λp, provare a calcolare gli autovalori di G). Il modello numerico è un metodo iterativo di punto fisso: p (0) = [1/N,..., 1/N] per k = 0, 1, 2, 3,... calcolare p (k+1) = Gp (k) Calcoliamo p, ordiniamo le componenti in ordine decrescente ed abbiamo l ordinamento delle corrispondenti pagine in funzione dei loro PageRank. c Paola Gervasio - Calcolo Scientifico /19 9

10 Per trovare i PageRank 1 scrivere una function che, data in input la matrice A del grafo e un parametro α (0.7, 0.9), costruisca la matrice G di Google, 2 scrivere una function che implementi il metodo di punto fisso per risolvere p = Gp, 3 ordinare le componenti di p (comando sort). Si trova (ponendo α = 0.85): pagina PageRank posizione in graduatoria c Paola Gervasio - Calcolo Scientifico /19 10