UNIVERSITÀ DEGLI STUDI DI SIENA FACOLTÀ DI INGEGNERIA CORSO DI LAUREA SPECIALISTICA IN INGEGNERIA INFORMATICA

Transcript

1 UNIVERSITÀ DEGLI STUDI DI SIENA FACOLTÀ DI INGEGNERIA CORSO DI LAUREA SPECIALISTICA IN INGEGNERIA INFORMATICA Analisi e Sviluppo di Algoritmi per il Suggerimento Automatico di Articoli Scientifici Relatore: Prof. MARCO MAGGINI Correlatore Ing. AUGUSTO PUCCI Tesi di laurea di FILIPPO MARTINELLI Anno Accademico 25/26

2 Indice Introduzione 1 Capitolo 1 Recommender System Introduzione ai Recommender System Esempi di Recommender System reali Paper Recommender System...9 Capitolo 2 Algoritmi di ranking Page Rank Trust Rank PaperRank Implementazione di PaperRank Modelli basati su catene di Markov Matrice Laplaciana di un grafo Pseudoinversa della matrice Laplaciana (L + ) Modello Catena di Markov Average Commute Time (CT) Utilizzo di L + come algoritmo di ranking Implementazione di CT e L Capitolo 3 Dataset Biblioteche digitali ACM Portal WebCraw Costruzione dei dataset Analisi dei dataset...33 Capitolo 4 Risultati sperimentali...41

3 Capitolo 5 Conclusione e sviluppi futuri...56 Bibliografia 58

4 Introduzione Ogni giorno molti ricercatori, alle prese con la scrittura di articoli, report tecnici o presentazioni, devono affrontare il problema del sovraccarico dell informazione ovvero devono filtrare l enorme massa di articoli scientifici esistenti con l obiettivo essenziale di scovare pubblicazioni utili riferite al loro lavoro corrente. Nell era del World Wide Web è diventato, infatti, sempre più facile ottenere documenti, ma una crescita così veloce della disponibilità di risorse potenzialmente utili non è accompagnata da un miglioramento sostanziale dei mezzi per estrarre le informazioni necessarie. Più le persone pubblicano informazione sul WWW e più aumenta la difficoltà di trovare velocemente qualcosa di utile. Nell età dell informazione, sono stati concentrati molti sforzi nello sviluppo di strumenti automatici adatti al filtraggio ed alla gestione del grande quantitativo di informazioni già disponibili. Un servizio molto utile è quello fornito dai sistemi di suggerimento automatico (recommender system), che generano suggerimenti personalizzati per un utente sulla base dell estrazione di conoscenza sulla base delle sue precedenti interazioni con il sistema. In pratica, un sistema di suggerimento costruisce un profilo dell utente basato sulle sue interazioni, implicite o esplicite, con il sistema. Tale profilo è, quindi, utilizzato per trovare prodotti da suggerirgli. L approccio più semplice è quello in cui il profilo è costruito usando solamente caratteristiche che sono relative all utente sotto osservazione ed ai prodotti che lui ha già considerato. Dall altro lato, l approccio più studiato e di maggiore successo al progetto di un sistema di suggerimento automatico è quello basato sul collaborative filtering. In questo caso, ciascun utente collabora con gli altri per stabilire la qualità dei prodotti, fornendo la sua opinione su un insieme di essi. Viene definita, anche, una misura di similarità tra utenti comparando i profili di utenti differenti. I sistemi di suggerimento, per consigliare un prodotto, selezionano gli articoli tra quelli classificati da utenti simili. Concentrando l attenzione sulla produzione di un articolo scientifico, si apre uno scenario applicativo molto interessante, in cui il processo di raffinamento dell informazione e la ricerca bibliografica sono parti chiave fondamentali dell intero lavoro. Un ricercatore ha la necessità di essere quotidianamente aggiornato sulle eventuali innovazioni nell ambito in cui sta studiando e scrivendo; in questo senso, i più moderni sistemi di Information Retrieval, combinati con le biblioteche digitali, costituiscono degli ottimi alleati. D altro canto, il numero degli articoli scientifici pubblicati e resi disponibili sul Web è cresciuto esponenzialmente ed è, tuttora, in espansione, quindi un qualsiasi ricercatore si trova di fronte al problema di scegliere e selezionare articoli dalla smisurata quantità di potenziali candidati. Questo processo di filtraggio è generalmente pesante e richiede molto tempo. Gli strumenti tipici adottati sono le ricerche basate sulle keywords 1

5 Introduzione o sulle citazioni degli articoli; sfortunatamente, entrambe queste tecniche non sono abbastanza accurate ed hanno un basso livello di copertura; infatti, anche gli studiosi più pazienti saranno in grado di esplorare solo i risultati della query basata sulla prima keyword e l analisi delle citazioni sarà molto superficiale. In letteratura sono stati proposti alcuni algoritmi che tentano di superare il problema della ricerca di articoli scientifici significativi. La classe di questi algoritmi viene generalmente definita come Paper Recommender System ed è, semplicemente, un caso speciale dell area di ricerca dei sistemi di suggerimento. Il lavoro ha riguardato l applicazione delle tecniche di suggerimento automatico basate su tre algoritmi: Paper Rank, CT (Commute Time) e L +. Il primo è una evoluzione del PageRank, utilizzato nel motore di ricerca Google per calcolare una misura di rilevanza dei documenti presenti sul Web, il secondo è una tecnica basata sulle catene di Markov, mentre l ultimo si basa su una misura di similarità data dalla pseudo-inversa della matrice Laplaciana del grafo associato alle citazioni fra gli articoli. Sfruttando questi algoritmi, accuratamente adattati al contesto in esame, sono stati compiuti vari esperimenti, collezionando i risultati in modo da poter trarre delle conclusioni sulla validità di queste tecniche nell ambito del suggerimento automatico di articoli scientifici. Il dataset è stato scelto ponendo l attenzione sul mondo delle biblioteche digitali di documenti scientifici, in particolar modo è stato preso in considerazione il portale ACM 1, che risulta uno dei più completi in materia di computer science

6 Capitolo 1 Recommender System 1.1 Introduzione ai Recommender System Nell esperienza quotidiana può capitare, spesso, di trovarsi in situazioni in cui siamo costretti a prendere una decisione senza avere una sufficiente conoscenza delle alternative possibili o esperienza personale. Ciò che viene naturale fare in queste situazioni è basarsi sulle opinioni e sulle esperienze di altre persone, che riteniamo essere esperte nell ambito considerato o di cui, in ogni caso, ci fidiamo. In pratica, si va alla ricerca di suggerimenti (recommendation). Esempi banali sono la scelta di un film o di un libro. Chi, prima di andare al cinema, ad esempio, non legge le recensioni del film o chiede pareri a chi lo ha già visto? Riflettere su questi semplici esempi, aiuta a comprendere meglio il concetto di recommendation: può essere visto come un atto comunicativo [1] che si basa sulle preferenze di chi ce le fornisce (recommender) e può essere diretto ad individui specifici oppure in modo broadcast a chiunque ne sia interessato. In ogni caso, per chiunque riceva il suggerimento, costituisce una risorsa che aiuta a prendere delle decisioni da un universo di possibilità ed, in questo senso, può essere visto come un filtro su tale universo, spesso inaccessibile. Questi concetti sono riassunti in figura 1.1, nella quale sono inseriti in un modello generale. Figura 1.1: Modello di un processo di suggerimento 3

7 Capitolo Introduzione ai Recommender System Questo modello è costruito con l idea di essere il più generale possibile e coprire un ampia gamma di processi di suggerimento; quelli reali possono variare da tale modello non istanziando alcuni aspetti. Ad esempio, quotidianamente, i recensori dei film pubblicano le loro recensioni sulle riviste basandole sulle proprie preferenze, senza alcuna specifica conoscenza di ciò che piace al lettore o dei suoi specifici requisiti. Consideriamo, ora, nel dettaglio i cosiddetti sistemi di suggerimento automatico, automated recommender systems. Lo sviluppo del WWW e la sua crescita di utilizzo hanno portato ad un mondo di infinite possibilità: siti Web interattivi in cui è possibile ascoltare musica, partecipare a conversazioni, leggere esperienze di altre persone, ordinare e comprare qualsiasi articolo o prodotto esistente, ecc. I più grandi e popolari siti di e-commerce offrono, al giorno d oggi, migliaia di prodotti differenti in vendita; quindi, scegliere tra così tante possibilità è difficoltoso per i consumatori. I sistemi di suggerimento sono nati in risposta a questo problema. Un tale sistema in questo ambito suggerisce, o meglio propone, alcuni prodotti che sembrano soddisfare di più i bisogni di un determinato consumatore che vi accede. Più in generale, un tipico sistema di suggerimento genera ed offre proposte attraverso 3 passi [2]: 1. L utente fornisce una qualche forma di input al sistema. Tali input possono essere impliciti ed espliciti. Le quotazioni (ratings) sottoposte dagli utenti, ad esempio, sono degli input espliciti, mentre gli URL visitati o il tempo speso nel leggere un sito web fanno parte della categoria degli input impliciti. 2. Tali input sono uniti per formare una rappresentazione di ciò che piace all utente e di ciò che, invece, non piace; ovvero si provvede a costruire il cosiddetto profilo. Questa rappresentazione potrebbe essere semplice, come una matrice di rating di articoli o prodotti, oppure più complessa come una struttura dati che combina entrambe le informazioni di valutazione e di contenuto. 3. Il sistema calcola i suggerimenti utilizzando questi profili-utente. È possibile suddividere i sistemi di suggerimento in alcune classi sulla base delle politiche adottate per la definizione delle preferenze (come e da chi sono ottenute), dei ruoli e delle comunicazioni (decidere se affidare il ruolo del suggeritore direttamente ad un sistema di calcolo oppure ad una persona con il suo supporto), degli algoritmi (come calcolare i suggerimenti) ed infine dell interazione uomo-computer (come presentare i suggerimenti all utente che li attende). Le categorie che vengono fuori dal tipo di approccio che si sceglie per affrontare queste questioni sono le seguenti: 4

8 Capitolo Introduzione ai Recommender System - Collaborative Filtering Systems: richiedono agli utenti in cerca di un suggerimento, di esprimere delle preferenze attraverso la valutazione di alcuni articoli, fondendo di fatto quel ruolo con quello di fornitore delle preferenze. - Content-Based Systems: utilizzano solo le preferenze dell utente in attesa di suggerimenti, tentando di suggerire articoli o prodotti simili a quelli che piacevano all utente in passato. - Recommendation Support Systems: funzionano come strumenti per supportare le persone nella condivisione di documenti, aiutando sia chi produce il suggerimento, sia chi ne è in attesa. - Social Data Mining Systems: cercano di sfruttare le informazioni implicite delle preferenze degli utenti nei documenti o archivi delle attività già esistenti, estraendo le preferenze implicite dagli archivi elettronici relativi ad attività sociali, come ad esempio messaggi, citazioni o hyperlinks. Concentriamo l attenzione sulle prime due categorie, che negli ultimi tempi sono state oggetto di uno studio e sviluppo maggiore da parte dei ricercatori [2]. I Collaborative Filtering Systems sono un tentativo di simulare una collaborazione tra gli utenti per la condivisione di suggerimenti e recensioni. Essi si basano su tecniche che tentano di associare persone con interessi simili per poi generare suggerimenti su tali basi. Questo approccio si basa su tre principi fondamentali: 1. Devono partecipare molti individui per trovare più facilmente persone con interessi simili. 2. Deve esistere un modo molto semplice e facile per far rappresentare agli utenti le loro preferenze nel sistema. 3. Gli algoritmi utilizzati devono essere in grado di associare persone con gli stessi interessi. Questi sistemi hanno reso il compito dell utente abbastanza semplice; la maggior parte di loro si basa sul modello nearest neighbours: l utente esprime le sue preferenze valutando gli articoli o prodotti (ad esempio libri, CD, ) che gli sono presentati dal sistema. Queste quotazioni funzionano, poi, come una rappresentazione approssimata delle preferenze dell utente in quel particolare dominio. Il sistema, a questo punto, le confronta con quelle espresse dagli altri fruitori del sistema. Il risultato è l insieme dei nearest neighbours (i vicini più prossimi all utente in esame) che formalizza il concetto di persone con le stesse preferenze. Quindi, il sistema propone articoli o prodotti che i nearest neighbour hanno valutato nelle posizioni più alte e che non erano stati valutati in precedenza. E inoltre possibile, per l utente, quotare immediatamente gli articoli proposti dal sistema che non gli interessano; quindi, quotazione dopo quotazione, il sistema acquisisce una rappresentazione sempre più accurata delle preferenze ed, in questo senso, teoricamente, riesce sempre meglio a proporre articoli soddisfacenti. 5

9 Capitolo Introduzione ai Recommender System Un problema legato a questo tipo di approccio è il quello della partenza a freddo (cold start problem) [3], ovvero nel momento del primo utilizzo del sistema non ci sono abbastanza utenti con cui cercare delle similarità. Un'altra difficoltà è quella del primo valutatore (first rater problem) [3], relativa al fatto che quando viene aggiunto un nuovo articolo al sistema, poiché nessuno lo ha ancora valutato, non è possibile che esso possa essere proposto ad alcuno. Passiamo all analisi dei Content-based System. Tali sistemi suggeriscono prodotti basandosi sul contenuto degli stessi piuttosto che sulle valutazioni di altri. Questi sistemi si compongono di 4 passi essenziali: 1. Raccogliere i dati del contenuto dei vari articoli, ad esempio, nel caso dei libri: titolo, autori, descrizione, ecc. 2. Chiedere all utente di fornire alcune valutazioni su articoli o prodotti casuali. 3. Compilare un profilo dell utente utilizzando le informazioni sul contenuto estratte al primo passo e le informazioni di rating fornite dal secondo passo. 4. Confrontare il contenuto dei libri non valutati con i profili compilati nel terzo passo ed assegnare un punteggio agli articoli in base alla qualità del confronto. I prodotti sono ordinati in base al loro punteggio e presentati in ordine. Problemi legati a questo tipo di approccio possono essere che in alcuni ambiti di interesse non ci sono informazioni sul contenuto disponibili, oppure tale contenuto è difficile da analizzare, oppure che esprimere le preferenze e la qualità in forma numerica non è un compito banale. Questo tipo di sistema può suggerire solo articoli il cui contenuto è associabile al profilo dell utente. Se questi ha delle preferenze che non vengono rappresentate nel suo profilo, gli articoli che riguardano tali preferenze non gli saranno mai proposti. Studiando i problemi relativi ai due approcci e notando che uno svantaggio per uno non lo è necessariamente per l altro, molti ricercatori hanno provato a combinare questi due orientamenti, ottenendo una sorta di modello ibrido. Ad esempio in [4] è stata introdotta l idea dei Filterbots, in altre parole dei robots software che valutano automaticamente un nuovo articolo, usando l informazione del contenuto dello stesso, non appena il nuovo articolo è inserito nel database. I Filterbots agiscono nel sistema come gli altri utenti, ad eccezione del fatto che essi devono valutare un numero molto maggiore di articoli rispetto ad un utente tipico ed, ovviamente, non chiedono al sistema nessun suggerimento. I Filterbots, quindi, sono pensati per superare il problema del primo valutatore. In [3] è stato introdotto un sistema chiamato Fab, un sistema di suggerimento automatico per il Web. In questo sistema, i profili degli utenti vengono costruiti usando per prime le informazioni del contenuto; dopodichè, ogni utente viene correlato con tutti gli altri utilizzando questi profili anziché, semplicemente, le quotazioni. Una volta che si sono individuati i neighbours 6

10 Capitolo Introduzione ai Recommender System per l utente attivo, le predizioni vengono calcolate utilizzando i metodi collaborative filtering. Ad ogni modo, per ottenere un buon funzionamento, la costruzione di profili accurati è un passo cruciale. 1.2 Esempi di Recommender System reali In [5] sono descritti alcune compagnie di e-commerce che utilizzano una o più varianti della tecnologia dei sistemi di suggerimento nei loro siti web. Vediamone qualcuno. Il primo in esame è Amazon.com 2, in cui si concentra l attenzione nei sistemi di suggerimento della sezione book. Le caratteristiche principali sono le seguenti: - Customers Who Bought: come molti siti di e-commerce, anche Amazon.com è strutturato con una pagine informativa per ciascun libro, che fornisce dettagli sul testo ed informazioni sull acquisto. Il servizio Customers Who Bought si trova nella pagina informativa di ciascun libro nel catalogo. In realtà, esistono due liste di suggerimento separate. La prima propone i libri più frequentemente acquistati dai clienti che hanno comprato il libro selezionato; la seconda gli autori dei libri più frequentemente comprati dai clienti che hanno acquistato opere dell autore del libro selezionato. - Your Recommendations: Amazon.com incoraggia anche feedback diretti tra clienti che hanno già letto i libri. Essi assegnano un punteggio su una scala da 1 a 5, da hated it a loved it. Dopo aver votato un insieme di libri, un cliente potrebbe richiedere suggerimenti per quelli che potrebbero piacergli. A questo punto, gli viene presentata una mezza dozzina di testi non votati, che sono correlati con i gusti da lui indicati. - Eyes: questa caratteristica permette ai clienti di essere informati via riguardo all aggiunta di nuovi prodotti al catalogo di Amazon.com. È possibile, quindi, inserire richieste sulla base di informazioni sull autore, sul titolo, sul soggetto o sulla data di pubblicazione. Un cliente può usare interrogazioni booleane semplici o più complesse. - Amazon.com Delivers: è una variazione della caratteristica Eye. I clienti selezionano dei checkbox per scegliere da una lista di categorie o generi specifici (bibliografie, libri di cucina, ecc). Periodicamente gli editori presso Amazon.com inviano i loro ultimi suggerimenti per agli iscritti a ciascuna categoria. - Bookstore Gift Ideas: tale caratteristica permette di ricevere suggerimenti dagli editori. I clienti scelgono una categoria di libri per i quali desiderano ricevere qualche suggerimento. Navigando nella sezione Gift Department, possono vedere una lista generale di raccomandazioni create 2 7

11 Capitolo Esempi di Recommender System reali - dagli editori di Amazon.com. In qualche modo, funziona come una versione on-line della caratteristica Amazon.com Delivers. I clienti, inoltre, possono ottenere suggerimenti anonimamente, dal momento che non è necessaria la registrazione al sito come è per Delivers. - Customer Comments: permette ai clienti di ricevere suggerimenti testuali basati sulle opinioni di altri. Localizzata nella pagina informativa, per ciascun libro c è una lista di valutazione da 1 a 5 e commenti scritti dai clienti che hanno già letto il libro in esame; i clienti possono così inglobare questi suggerimenti nella loro decisione di acquisto. - Purchase Circles: permette ai clienti di vedere la lista dei top 1 per una data regione geografica, compagnia, istituto didattico, governativo o altro. Per esempio, un cliente potrebbe richiedere di vedere quali sono i best-seller per i clienti presso Oracle, MIT o residenti a New York City; è possibile vedere il Purchase Circle navigando nel Circle di loro interesse. Il secondo esempio è Drugstore.com 3, le cui caratteristiche sono: - Advisor: tale caratteristica permette ai clienti di indicare le loro preferenze acquistando un prodotto da una categoria tipo scottatura o rimedi per l influenza ; essi indicano i sintomi che desiderano alleviare (naso gocciolante e starnuti), la forma del medicinale (capsule) e l'età del paziente a cui vogliono somministrare il prodotto (adulto). Una volta fornito di queste informazioni, l advisor restituisce una lista di prodotti raccomandati alle condizioni indicate. - Test Driver: in tale caratteristica, ad un gruppo di volontari, composto di clienti del sito, è inviato un nuovo prodotto. Questi clienti tipo forniscono revisioni del prodotto, incluso una valutazione di punteggio e commenti scritti. Un altro esempio riportato in [5] è ebay 4, le cui caratteristiche principali sono: - Feedback Profile: permette che sia i compratori sia i venditori contribuiscano ai profili di altri clienti con i quali hanno effettuato la compravendita. I feedback consistono in una valutazione di soddisfazione (soddisfatto/neutro/insoddisfatto) ed in un commento specifico circa l'altro acquirente. I feedback sono usati per fornire un sistema di suggerimento per gli acquirenti, che possono osservare il profilo dei venditori. Questo profilo consiste in una tabella riferita ad ogni valutazione fatta nei 7 giorni precedenti, durante il mese, e nei 6 mesi trascorsi, così come un sommario generale (per esempio, 867 feedback positivi da 776 clienti unici). Su ulteriore richiesta, i clienti possono passare in rassegna le diverse valutazioni ed osservazioni per i venditori

12 Capitolo Esempi di Recommender System reali - Personal Shopper: permette ai clienti di indicare gli articoli a cui sono interessati per l'acquisto. I clienti immettono un breve termine (3/6/9 giorni) e cercano su un insieme di keyword la loro scelta, compreso il loro limite di prezzo. Su una base periodica (intervalli di uno o di tre giorni) il sito effettua la ricerca su tutte le aste nel sito e trasmette al cliente un con i risultati di questa ricerca. Molti altri sistemi di suggerimento sono stati sviluppati per lavorare con tipi differenti di articoli o prodotti, tipo MovieLens per i film [6], GroupLens per le usenet news [7], Ringo per la musica [8] o Jester per le barzellette [9]. 1.3 Paper Recommender Systems Come detto nell introduzione, lo studio di cui siamo interessati è l applicazione dei sistemi di suggerimento all ambito degli articoli scientifici. In letteratura sono stati proposti vari algoritmi per trattare questo tipo di problema. Questa classe di algoritmi è solitamente indicata come Sistemi di Suggerimento di Articoli (Paper Recommender System) ed è un caso speciale dell area di ricerca dei sistemi di suggerimento. Un semplice esempio basato sul testo e sulle citazioni è stato proposto in [1], ma questo sistema genera delle proposte solamente all interno di un singolo libro digitale. Uno più interessante è quello descritto in [11], dove gli autori propongono un approccio al suggerimento di articoli scientifici basato sui filtri collaborativi ed utilizzano il grafo delle citazioni tra gli articoli per creare le valutazioni. Gli autori testano, inoltre, 6 differenti approcci su un sottoinsieme di 186. articoli scientifici contenuti in Research Index 5. Un altro approccio interessante è stato proposto in [12], l idea è che i ricercatori, che operano nello stesso campo, tendono ad essere interessati agli stessi articoli, quindi è possibile migliorare i risultati della ricerca utilizzando dei suggerimenti basati sulle ricerche effettuate in precedenza da altre persone con interessi simili. Recentemente, in [13] è stato proposto un approccio basato sul grafo; gli autori confrontano differenti algoritmi di ranking per calcolare un ordinamento di preferenza dei prodotti, in questo caso film, da suggerire ad un gruppo di utenti. Prima di analizzare nel dettaglio gli algoritmi di ranking utilizzati in questo lavoro, presentiamo in modo più formale il problema in esame, ovvero quello del suggerimento di articoli scientifici. Si consideri un utente attivo u che stia scrivendo un articolo scientifico o, in generale, un qualsiasi documento che contenga riferimenti e citazioni. Tale documento è indicato con p. Si supponga, 5 9

13 Capitolo Paper Recommender Systems inoltre, che l utente u abbia accesso ad una biblioteca digitale, tipo ACM Portal, CiteSeer o IEEE Xplorer, per consultare libri, riviste, pubblicazioni e qualsiasi materiale riferito all argomento che sta trattando. L insieme di documenti nella biblioteca è indicato con D = { pi : i = 1, L, n}, inoltre, per ogni articolo p i si considera l insieme R = p : p è citato da p }, il quale contiene tutti gli pi { j j i articoli citati da p i, ovvero vale D R pi. Si fa l ipotesi che anche l utente u abbia già citato nella lista dei riferimenti qualche altro elemento appartenente a D, quindi R Ø. p Il compito di un sistema di suggerimento, in questo contesto, è quello di calcolare un punteggio (score) significativo s(p i ) per ogni p i D, tale che più alto è il punteggio di p i e più alta dovrebbe essere la sua rilevanza rispetto all argomento di p.in pratica, significa che, se un articolo p i ha un punteggio s(p i ) alto, esso dovrebbe essere un buon candidato ad essere incluso nella lista dei riferimenti R e dovrebbe essere suggerito dal sistema all utente u come sorgente di informazione p preziosa relativa al nuovo articolo che sta scrivendo. È, poi, possibile avere un interpretazione grafica della struttura delle citazioni di D, introducendo il Grafo delle Citazioni G~. Tale grafo è formato da n nodi, uno per ciascun articolo presente in D, c perciò con pi ci si riferisce indifferentemente sia ad un articolo in D sia ad un nodo in quanto riguarda gli archi, si considera il Grafo delle Citazioni non diretto ed, inoltre, la coppia di nodi (pi,p j ) e (p j,p i ) appartiene all insieme degli archi se e solo se l articolo p i cita p j o viceversa. In modo più formale: p, p ),( p, p ) Archi{ G }) ( p R p R ). (( i j j i ~ c i pj j pi L utilizzo di un grafo non diretto è dovuto al fatto che in questo ambito siamo interessati, solamente, a tenere conto delle relazioni cita / è citato tra due articoli, che implicano una correlazione a livello di argomento tra la particolare coppia di documenti, senza alcuna distinzione tra quello che cita e quello che è citato. Definito il Grafo delle Citazioni, è possibile definire la Matrice di Connettività C ~ corrispondente come: ~ 1 se ( pi, p j ) Archi{ G~ c } C i, j = altrimenti (2.1) ovviamente, per come è costruita, C ~ è una matrice simmetrica e i, ~, =. Tale matrice è, quindi, normalizzata in modo tale da ottenere una matrice stocastica C i j C i, j j G~ c. Per ~ Ci, j =, dove w j è la w somma degli elementi della j-esima colonna dic ~. C è la Matrice di Correlazione del grafo e può essere considerata come una matrice di connettività pesata per il Grafo di Correlazione G c. La matrice di Correlazione, al contrario di quella di Connettività, non è simmetrica. 1

14 Capitolo Paper Recommender Systems Il Grafo di Correlazione è un prezioso modello grafico utile per esplorare la correlazione tra articoli, i pesi associati agli archi forniscono una misura approssimativa della correlazione relativa articolo/articolo, in accordo all informazione estratta dalla struttura di co-citazione all interno della collezione di documenti D. 11

15 Capitolo 2 Algoritmi di Ranking La quantità di informazioni disponibili in formato elettronico negli ultimi anni è cresciuta in maniera esponenziale, basta pensare al World Wide Web, in cui i navigatori di Internet trovano centinaia di milioni di pagine, ma anche alle banche dati disponibili on-line che coprono i campi più disparati: dalla medicina alle leggi, agli articoli scientifici. L aumento della mole di dati consultabili ha, però, avuto come conseguenza da parte degli utenti l accresciuta difficoltà di ricercare le informazioni interessanti per i propri scopi (tale difficoltà viene sovente indicata come information overload: impossibilità di trovare le informazioni rilevanti a causa dell eccessiva quantità di informazioni da controllare) e, con essa, la necessità di avere a disposizione degli strumenti efficaci per il recupero dell informazione. E in questo scenario che si colloca quel settore dell informatica che va sotto il nome di Information Retrieval. Quindi, in breve, l Information Retrieval si occupa dei problemi relativi alla memorizzazione, rappresentazione e reperimento di documenti. In questo ambito diventano molto importanti gli algoritmi di ranking, perché permettono di determinare un ordinamento delle informazioni, ad esempio i risultati di una ricerca, assegnando loro un punteggio, rank. Gli algoritmi di ranking sono utilizzati nei motori di ricerca del web in cui assegnano un punteggio ad ogni pagina ed, in base a questo, ciascuna pagina ottiene una posizione differente nei risultati: più alto il punteggio migliore la posizione. 2.1 PageRank Il PageRank è un metodo per il calcolo di un ranking delle pagine web basato sul grafo del web, proposto in [19] da L.Page, S.Brin, R.Motwani e T.Winograd con l obiettivo di misurare la loro importanza relativa. Tale metodo può essere applicato nella ricerca, nella navigazione e nella stima del traffico. Il noto motore di ricerca Google 6, ad esempio, attraverso l utilizzo del PageRank riesce oggi a fornire risultati altamente pertinenti stabilendo in modo del tutto automatizzato una misurazione oggettiva dell'importanza di ogni singola pagina web presente nel suo database. Per utilizzare tale metodo, così come per quelli derivanti da esso, si deve modellare il web come un grafo G = (V, E), dove V è l insieme dei nodi, connessi tramite archi diretti appartenenti all insieme

16 Capitolo PageRank E. In generale, una pagina web p può avere hyperlinks HTML multipli verso qualche altra pagina q; in questo caso, essi sono collassati in un unico link (p, q), appartenente all insieme E. In figura 2.1 si riporta un esempio molto semplice di grafo web, composto di 4 pagine e 4 link. Figura 2.1: esempio di grafo web Ciascuna pagina è caratterizzata da archi entranti ed uscenti, detti, rispettivamente, inlinks ed outlinks. Il numero di inlinks di una pagina p è il suo in-degree l(p), mentre il numero di outlinks è il suo out-degree w(p). Ad esempio, l in-degree per la pagina 3 di figura 2.1 è pari a 1, mentre il suo out-degree è pari a 2. Le pagine, che non hanno in-links, sono dette unreferenced pages, mentre quelle senza out-links sono note come non-referencing pages. Inoltre, le pagine, che sono sia unreferenced che nonreferencing, sono dette isolated pages. Un siffatto grafo è rappresentato mediante una matrice di Connettività C ~, dove la generica posizione (i, j) è pari ad 1 se (p i, p j ) E, altrimenti. Tale matrice è normalizzata in modo tale da ~ Ci, j ottenere una matrice stocastica Ci, j =, dove w j è la somma degli elementi della j-esima colonna w j dic ~. Indichiamo, quindi, con C la matrice di Correlazione del grafo. L intuizione che sta alla base del PageRank è che una pagina web è di grande interesse se molte altre pagine web importanti puntano ad essa. Di conseguenza, il PageRank si basa sul rafforzamento reciproco: l importanza di certe pagine influenza ed è influenzata dall importanza di altre. L algoritmo di PageRank classico calcola lo score di importanza PR(p) per ciascuna pagina p V in accordo alla connettività del grafo. Lo score PageRank può essere definito come: PR( q) 1 PR( p) = α + (1 α) (2.1) w V q:( q, p) E dove w q è l out-degree della pagina q ed α 7 è un fattore di decadimento. Esistono ulteriori definizioni equivalenti di PageRank [19], che possono differire leggermente nella formulazione matematica e nelle proprietà numeriche, ma che producono lo stesso ordinamento tra due qualsiasi pagine web. L equazione 2.1 può essere scritta in una forma matriciale equivalente: q 7 Una scelta comune per α è.85 13

17 Capitolo PageRank PR C PR 1 = α + ( 1 α) V 1 V (2.2) dove C è la matrice di connettività normalizzata per il grafo G e 1 V è un vettore di 1 lungo V. Analizzando le equazioni 2.1 e 2.2 si evidenzia che lo score di una pagina p è la somma di due componenti: una parte deriva dalle pagine che puntano p, mentre l altra (statica) è uguale per tutte le pagine web. Il PageRank può essere calcolato iterativamente, ad esempio, applicando il metodo di Jacobi [2]; mentre in senso strettamente matematico, le iterazioni dovrebbero portare alla convergenza, nella pratica è più comune usare un numero fissato I di iterazioni. È importante notare che tale algoritmo assegna, nella sua versione classica, lo stesso score statico a ciascuna pagina; per non tener conto di questa regola è stata introdotta una versione pesata, biased PageRank, generalizzando l equazione 2.2: PR = α M PR + ( 1 α ) d (2.3) dove M è una matrice stocastica, i cui elementi sono non-negativi e sommano ad 1 per tutte le colonne, e d è un vettore di distribuzione dello score statico, formato da elementi arbitrari non negativi la cui somma è 1. Nel biased PageRank si sfrutta, dunque, il vettore di distribuzione dello score statico d per assegnare uno score statico diverso da solamente ad un insieme di pagine; tale score è poi diffuso durante le iterazioni alle pagine che essi puntano. In questo modo è possibile differenziare le pagine, dando maggiore o minore importanza ad alcune di esse durante l inizializzazione dell algoritmo, rendendo possibile sia lo sfruttamento di una qualche conoscenza a priori sulle pagine sia l adattamento del PageRank ad ambiti differenti. Ad esempio, versioni pesate dell algoritmo di PageRank sono state sviluppate in [21, 22] e sono stati applicati vettori d, ad esempio, per combattere il web spam [23] o per determinare la reputazione di un nodo una rete peer-to-peer [24]. 2.2 TrustRank Il TrustRank è una particolare versione del biased PageRank, introdotta in [23] da Z.Gyöngyi, H. Garcia-Molina, J. Pedersen, con l obiettivo di sviluppare una tecnica semiautomatica per combattere il web spam. Stabilire se una pagina sia effettivamente spam o meno è un compito soggettivo e richiede la valutazione umana, compito assai costoso visto la vastità di materiale da analizzare. 14

18 Capitolo TrustRank È possibile formalizzare la nozione del controllo umano su una pagina con una funzione oracolo O binaria, valutata su tutte le pagine appartenenti al grafo rappresentante il web, che assume 1 se la pagina è buona (non spam) e in caso contrario (spam). Le invocazioni dell oracolo sono costose e richiedono tempo, perciò per limitare questo problema si può stimare semplicemente la verosimiglianza che una pagina sia buona. Più formalmente, si definisce una trust function T, in modo tale da produrre un range di valori compresi tra (pagine non buone) ed 1 (pagine buone). Idealmente, per ogni pagina p, T(p) dovrebbe dare la probabilità che p sia buona: Ideal Trust Property: T ( p) = Pr[O( p) = 1]. Nella pratica trovare una funzione T con tale proprietà è molto arduo. In ogni caso, anche se T non misura accuratamente tale verosimiglianza, risulta, comunque un valido aiuto nell ordinare le pagine sulla base della loro verosimiglianza. Ovvero, data una coppia di pagine p e q con T(p) < T(q), essa dovrebbe indicare che q è più simile ad essere buona rispetto a p. Più formalmente, quindi, una proprietà desiderabile per la funzione di trust è la seguente: Ordered Trust Property: T ( p) < T ( q) Pr T ( p) = T ( q) Pr [ O( p) = 1] < Pr[ O( q) = 1] [ O( p) = 1] = Pr[ O( q) = 1] Vediamo in che modo è possibile effettuare il calcolo del trust. Data una quantità limitata L di invocazioni di O, è naturale scegliere un sottoinsieme random S di L pagine e invocare l oracolo sui suoi elementi; l insieme S è detto insieme seed. Poiché le pagine restanti non sono state controllate dagli esperti umani, si assegna loro un trust score di 1/2 per sottolineare la mancanza di informazione, quindi, è possibile chiamare questo schema ignorant trust function T, definita per ogni pagina. Definito T, si prosegue sfruttando due importanti proprietà di cui gode il TrustRank: - Trust Propagation: si cerca di trarre vantaggio dall isolamento approssimato delle pagine buone. Aspettandosi che esse puntino solamente altre pagine buone, si assegna uno score pari ad 1 a tutte le pagine buone che sono raggiungibili da un seed in M o meno passi. Tale schema è indicato con M-Step Trust Function T M. Tramite semplici esperimenti, si evidenzia che per M=1 e M=2 T M dà risultati migliori rispetto a T ; mentre all aumentare di M ciò non è più verificato. Il problema è che con M-Step Trust non c è assolutamente la certezza che pagine raggiungibili dai seed siano ancora buone, in aggiunta più ci si allontana da questi ultimi e minore è la certezza che una pagina sia buona. Trust Attenuation: tali osservazioni suggeriscono di ridurre il trust man mano che ci si allontana dai seed. 15

19 Capitolo TrustRank Esistono varie strategie per realizzare tale attenuazione. La figura 2.2(a) illustra la prima idea, detta trust dampening. Poiché la pagina 2 ha un link dal seed 1, si assegna ad esso un trust score dampened di β, dove β < 1. Poiché la pagina 3 è raggiungibile in uno step dalla 2 con score β, esso prende score dampened di β * β. La seconda tecnica, detta trust splitting, si basa sulla seguente osservazione: la cura con cui le persone aggiungono link alle proprie pagine è inversamente proporzionale al numero totale di link presenti. Ovvero, se una pagina buona ha pochi link uscenti allora è verosimile che quelle puntate da essi siano ancora buone. Tale osservazione porta a dividere il trust come esso si propaga: dato una pagina p con score T(p) e con w(p) link uscenti, ciascuno delle w(p) pagine puntate riceve una frazione dello score, T(p) / w(p), da p. In questo caso, lo score attuale di una pagina è la somma delle frazioni di score ricevute attraverso i suoi in-links. Intuitivamente, più credito una pagina accumula da qualche altra, più probabilmente essa è buona. Un esempio è riportato nella figura 2.2(b). Figura 2.2: (a) Trust dampening, (b) Trust splitting Esistono vari modi per implementare il trust dampening e/o splitting. Una possibile implementazione condivide la stessa formulazione matematica con il calcolo del biased PageRank in M step. Questa caratteristica significa che è possibile rifarsi al codice del PageRank, con pochi cambiamenti, per calcolare il trust score. Il vantaggio risultante è molto importante perché sono stati spesi molti sforzi nel rendere efficiente la computazione del PageRank con dataset molto grandi (vedi [25, 26]). L equazione del TrustRank può, quindi, essere facilmente derivabile dall equazione 2.3. Si utilizza il grafo G per calcolare il vettore di TustRank IR, dove l i-esima componente IR i corrisponde al valore di TrustRank della pagina p i ; ovviamente questi valori dipendono anche dall insieme di pagine scelto come seed. Per eseguire il calcolo di IR, si sostituisce la matrice stocastica M dell equazione 2.3 con la matrice di Correlazione C e si può essere modellare la dipendenza tra IR ed insieme seed costruendo semplicemente un vettore di distribuzione dello score statico d dipendente dai seed. L equazione risultante è: 16

20 Capitolo TrustRank IR = α C IR + ( 1 α ) d (2.4) dove d è stato costruito definendo il vettore non normalizzato d ~, rispetto alla i-esima componente, come: ~ 1 se pi seed di = altrimenti ~ d Quindi, il vettore normalizzato d è dato dalla semplice relazione d = ~. d Il TrustRank, come definito dall equazione 2.4, può essere calcolato anche iterativamente nel seguente modo: 1 IR() = 1 seed seed (2.5) IR( t + 1) = α C IR( t) + (1 α) d 2.3 PaperRank L algoritmo di TrustRank, descritto precedentemente, è applicato alle pagine web con l obiettivo di ottenere una loro classificazione sulla base della verosimiglianza ad essere pagine spam o meno. Ciò che si vuole fare è introdurre un nuovo algoritmo, PaperRank, definendolo come una variante del TrustRank applicabile agli articoli scientifici, nell ambito dei recommender system. L idea che sta alla base dell algoritmo di PaperRank è la possibilità di sfruttare il modello fornito dal Grafo di Correlazione G c per ricercare articoli scientifici da suggerire ad un utente, sulla base di quelli già scelti come parte della bibliografia corrente Considerando, infatti, l insieme degli articoli contenuti in R è possibile utilizzare l informazione presente nel grafo G c in modo tale da incrementare le preferenze dell utente attraverso il Grafo di Correlazione; ovviamente si deve controllare correttamente il flusso di preferenza in modo tale da assegnare valori di score alti a quei documenti che sono fortemente relazionati a quelli appartenenti a R e bassi agli altri. P La prima variazione evidente, che si deve introdurre per definire PaperRank è il dataset su cui si lavora. Mentre il TrustRank lavora su pagine web e, quindi, sul grafo G con cui è rappresentato il web, nel caso di PaperRank il dataset è costituito da un insieme di articoli scientifici. Tale dataset, come spiegato nel paragrafo 1.3, è rappresentabile mediante il grafo di Correlazione G c, non introducendo, quindi, nessuna variazione rispetto al caso del TrustRank. R. P P 17