Metodi basati sugli autovettori per il Web Information Retrieval

Transcript

1 Metodi basati sugli autovettori per il Web Information Retrieval HITS, PageRank e il metodo delle potenze LSI e SVD LSI è diventato famoso per la sua abilità nel permettere di manipolare i termini (all interno di una query) che presentano problemi di polisemia o sinonimia. LSI utilizza la SVD della matrice termini-documenti per catturare le associazioni semantiche latenti. La SVD permette di clusterizzare documenti e termini in concetti sinonimia: automobile, veicolo, macchina possono essere raggruppati nello stesso cluster polisemia: banca suddivisa in base ai suoi significati

2 LSI e SVD I metodi di LSI basati sulla SVD presentano però alcuni problemi alti costi computazionali problemi di immagazzinamento se le matrici termini-documenti hanno grandi dimensioni L utilizzo dei metodi LSI-SVD è generalmente limitato a collezioni di documenti di piccole/medie dimensioni L insieme delle pagine web ha dimensioni tali da far preferire altri metodi all uso del LSI Caratteristiche del Web LSI non è adatto al Web a causa delle sue diverse caratteristiche enormi dimensioni la mancanza di un processo di revisione editoriale ridondanza di documenti link interroti documenti di bassa qualità frequenti aggiornamenti e modifiche dei documenti Web la struttura hyperlink del web

3 IR per il Web Un metodo di IR per il recupero di informazioni dal Web dovrebbe sfruttare le sue caratteristiche peculiari privilegiare l accuratezza incorporando gli aggiornamenti frequentemente favorire la semplicità, lavorando su una matrice termini-documenti non aggiornata Un metodo di Web-IR dovrebbe anche essere insensibili ai meccanismi che falsano l importanza dei documenti Web (aumentandone la popolarità di selezionate pagine) IR per il Web Nel costruire un meccanismo di Web-IR si dovrebbero considerare le tendenze degli utenti del Web uso di query molto piccole (pochi termini) scarso uso del feedback per correggere la ricerca raro uso di qualunque caratteristica avanzata di un sistema di IR abitudine a consultare solo le prime / pagine recuperate

4 IR per il Web I metodi di web-ir prediligono velocità e accuratezza rispetto la semplicità La struttura a hyperlink del web fornisce delle infomazioni supplementari per la progettazione di un metodo di web-ir La struttura a hyperlink è utilizzata dai più meccanismi di retrieval HITS (Hypertext Inducer Topic Search, 997) PageRank (998) SALSA () La struttura a Hyperlink del Web Ciascuna pagina/documento del Web è rappresentata come un nodo di un grafo molto grande Gli archi diretti che connettono questi nodi rappresentano gli hyperlink tra i diversi documenti In-link: pagine che puntano uno specifico documento (link entranti) Out-link: pagine collegate a uno specifico documento (link uscenti) 4

5 La struttura a Hyperlink del Web Autority: documento con numerosi in-link Hub: documento con diversi out-link I sistemi HITS e Page-Rank sono entrambi basati sui concetti di authority e hub a ogni pagina viene assegnato un punteggio HITS: buoni hubs puntano a buone authority e buone authority sono puntate da buoni hubs a ogni pagina viene assegnato un punteggio hub e authority HITS L'ipotesi di base adottata dal modello HITS è: buoni hubs puntano a buone authority e buone authority sono puntate da buoni hubs Indicato con E l insieme di tutte le connessioni del grafo associato al web e ij rappresenta le connessioni tra i nodo i e il nodo j Considerata l i-sima pagina indichiamo con x i il punteggio hub della pagina considerata y i il punteggio authority della pagina considerata 5

6 HITS HITS si basa sul raffinamento successivo dei punteggi x i ed y i l importanza di una pagina come authority dipende dall importanza dei suoi in-link x ( k ) i = j: e E ( k ) j l importanza di una pagina come hub dipende dall importanza dei suoi out-link ( k ) ( k ) y = x i ji y j j: e E ij HITS Le precedenti equazioni si possono riscrivere in forma matriciale introducendo la matrice di adiacenza L= [ l ij ] del grafo del Web l ij = se esiste connessione tra i nodi i e j l ij = altrimenti le colonne di L sono i documenti puntati (out-link) dalla generica pagina le righe di L sono i documenti (in-link) che puntano alla generica pagina ( k) T ( k ) x y ( k) = L y = Lx ( k)

7 HITS I precedenti sistemi lineari definiscono il seguente algoritmo Step Inizializzare y () = ( vettore con componenti uguali a ) Step Iterare fino alla convergenza, per ogni k calcolare x (k) =L T y (k-) (step.) calcolare y (k) =L T x (k) (step.) normalizzare i vettori x (k) e y (k) (step.) Sostituendo (step.) in (step.) si ottiene HITS Sostituendo (step.) in (step.) si ottengono le seguenti equazioni semplificate x (k) =L T L x (k-) y (k) =LL T y (k) Tali equazioni definiscono il metodo delle potenze per calcolare l autovettore dominante per le matrici L T L e LL T L T L matrice authority LL T matrice hub 7

8 HITS: implementazione Data una query q, l implementazione di HITS richiede: costruzione del grafo di vicinanza (neighborhood graph) relativo alla query q tutti i documenti che contengono dei riferimenti ai termini della query q calcolo dei punteggi di authority ed hub del grafo (algoritmo precedente applicato alla matrice di adiacenza L associata ad ) L ha dimensioni ridotte rispetto il numero totale dei documenti contenuti nel Web costruzione e presentazione all utente delle liste ordinate dei documenti hub e authority recuperati HITS: costo e convergenza Le matrici LL T ed L T L hanno dimensioni ridotte rispetto al numero di documenti presenti sul web il calcolo dell autovettore dominante richiede quindi un costo inferiore Si calcola solo un autovettore dominante per esempio calcolato x si ottiene poi y effettuando un prodotto matrice-vettore y = L x LL T ed L T L sono matrici, simmetriche, semi-definite positive autovalori reali, non negativi, tali che λ > λ k il metodo delle potenze converge 8

9 HITS: vantaggi e svantaggi Vantaggi doppio ranking (come authority e hub) uso di matrici di dimensione ridotta rispetto al numero totale di documenti nel web Svantaggi dipendenza dalla query (per la costruzione del neighborhood graph) suscettibile allo spamming i punteggi di hub ed authority possono essere alterati introducendo in/out link alla propria web-page possibile indirizzamento a pagine off-topic PageRank Formulato nel 998 da Larry Page e Sergey Brin Algoritmo di ricerca di Google Supera gli svantaggi di HITS L idea di base del PageRank i voti (link) da siti importanti dovrebbero avere un peso maggiore dei voti (link) da siti meno importanti, e l importanza di un voto (link) da una qualunque sorgente dovrebbe essere attenuato dal numero dei siti che la sorgente vota 9

10 PageRank Indicata con P una generica pagina web B P = {insieme delle pagine che puntano a P} Si definisce il punteggio r(p) di P: r( P) = Q B P r( Q) Q PageRank Se abbiamo n pagine P, P,, P n ed assegniamo a ciascuna pagina un (arbitrario) punteggio iniziale r (P i )=/n Il punteggio r(p) può essere calcolato mediante la seguente iterazione: rj ( Pi ) = Q B Pi r j ( Q) Q j=,,,...

11 PageRank Ponendo: π T j = (r j (P ), r j (P ),. r j (P n )) P la matrice di elementi p ij = /P i se P i si connette con la pagina P j p ij = altrimenti P è detta matrice di Google (per righe) La precedente iterazione si può riscrivere come: T T π =π P j j Metodo delle potenze PageRank Se il limite esiste, il vettore PageRank è definito T T π = lim j π j la i-sima componente del vettore PageRank è il punteggio (page-rank) della pagina P i Per assicurare la convergenza del processo iterativo la matrice P deve essere modificata

12 PageRank La matrice di Google per righe P è non-negativa somma degli elementi sulle righe è zero o uno righe con somma zero corrispondono a pagine senza outlink (nodi dangling ) Assumendo che non ci siano nodi dangling, la matrice P ha tutte le righe con somma uguale ad, quindi risulta una matrice stocastica: ha autovalore dominante uguale ad l iterazione PageRank converge all autovettore sinistro normalizzato π T = π T P t.c. π T = Calcolo del PageRank Calcolare il PageRank di una assegnata pagina web richiede la risoluzione del problema agli autovalori π T = π T P t.c. π T = o del sist. lineare omogeneo π T (I-P)= t.c. π T = Difficoltà: dimensione della matrice P the world s largest matrix computation Scelte pratiche: varianti del metodo delle potenze

13 Calcolo del PageRank La struttura ad hyperlink del web genera alcuni problemi nella costruzione della matrice P la matrice di Google per righe P potrebbe non essere una matrice stocastica (a causa della presenza dei nodi dangling) rimedio: sostituire ad ogni riga nulla il vettore T /n la nuova matrice stocastica si indica con P la matrice P necessita ulteriori modifiche per renderla irriducibile rimedio: aggiungere una matrice perturbazione E = T /n P = α P + ( α ) E α [,] Calcolo del PageRank La matrice di Google (stocastica) è ottenuta sommando una matrice di perturbazione E=v T con T P = αp + ( α ) v v T > un vettore di probabilità (vettore di personalizzazione ) v T = T /n e α=.85 scelta originaria di Google v T e le sue modifiche permettono di adattare PageRank e di personalizzarlo

14 Calcolo del PageRank: considerazioni Il vettore PageRank è l autovettore sinistro della matrice di Google Le sue componenti costituiscono i punteggi di importanza (popolarità) per ciascuna pagina web Non si hanno informazioni sulla rilevanza delle pagine web PageRank è uno dei tanti parametri considerati da Google per determinare il ranking (la posizione) di una pagina web Un valore di PageRank alto non garantisce necessariamente una posizione migliore rispetto a una pagina con PageRank più basso. Per ottenere la rilevanza dei documenti rispetto una assegnata query il PageRank deve essere combinato con altri meccanismi di ricerca Implementazione di PageRank Un semplice modello di IR che utilizza PageRank è il seguente. Assegnata una query q: Step : determinare l insieme di rilevanza della query (cioè un sottoinsieme di nodi (pagine web) contenenti i termini della query) Step : applicare PageRank all insieme di rilevanza di q per ottenere i punteggi (ordinati) delle pagine considerate ogni documento ha un punteggio di PageRank indipendente dalla query 4

15 Implementazione di PageRank L algoritmo per il calcolo del vettore di PageRank π T relativo alla matrice di Google è il seguente Step : specificare il valore del parametro α Step : porre π T = T /n Step : iterare fino alla convergenza (prefissata tolleranza) l equazione P π T T k+ = απ k+ + ( α P ) v T PageRank: esempio Consideriamo un Web con nodi la cui struttura a hyperlink è illustrata in figura: 5 4 5

16 PageRank: esempio La matrice di Google per riga è: = P p ij = probabilità che la pagina i sia connessa alla pagina j PageRank: esempio La matrice stocastica associata è = P riducibile

17 PageRank: esempio = Per ottenere una matrice irriducibile scegliamo il parametro α=.9 / / 9 / / / / T P = αp + ( α ) / n 7 / 5 7 / 5 / / / 9 / / / / / / / / / / / / 7 / 5 / / 9 / 7 / 5 / / / / / 7 / 5 7 / 5 / PageRank: esempio Il vettore di PageRank associato alla precedente matrice è: π T = (.7,.59,.45,.75,.,.8) vettore indipendente dalla query Consideriamo una query che contenga i termini e ( q=(t,t)) Supponiamo che il file termini-documenti inverso sia il seguente t doc, doc4, doc t doc, doc... 7

18 PageRank: esempio Calcoliamo l insieme di rilevanza per la query q=(t,t ) insieme di rilevanza {,,4,} I PageRank dei 4 documenti possono essere confrontati per individuare quale dei documenti è il più rilevante ordinare le componenti del vettore pagerank associate ai docuementi selezionati in modo decrescente π 4, π, π, π doc4 documento più rilevante seguono doc, doc, doc 8