Google, ovvero: come diagonalizzare Internet

Transcript

1 Google, ovvero: come dagoalzzare Iteret Marco A Garut 6 ottobre 6 Le page web preset el database del motore d rcerca Google soo elecate orde d mportaza Quado u utete sersce le parole-chave per ua rcerca, Google selezoa el suo database le page rlevat e le preseta all utete orde d mportaza Avere a dsposzoe ua classfca dpedete da term della rcerca, permette a Google d rspodere quas stataeamete alla rchesta: la rapdtà d rsposta è uo de vatagg sulla cocorreza che ha cosetto a Google d affermars come l motore d rcerca attualmete pù utlzzato La classfca per mportaza delle page web vee effettuata medate l algortmo PageRak, trodotto da fodator d Google Sergey Br e Larry Page el 998 L algortmo s basa buoa parte sulla teora della dagoalzzazoe I prcp su qual s basa PageRak soo seguet: Ua paga mportate rceve lks da page mportat Ua paga mportate ha poch lks verso altre page Quest prcp vegoo formalzzat ella seguete formula: dcado co r(p) l rago della paga web p (coè la sua mportaza relatva) e co p l umero d lks dalla paga p verso altre page, abbamo r(p) = r(q) q () q p I questa formula, la somma è effettuata su tutte le page q che hao u lk verso p Il cotrbuto d ua paga q è qud drettamete proporzoale all mportaza (rago) d q ed versamete proporzoale al umero d lks da q verso altre page S tratta duque d ua defzoe rcorsva: per calcolare l rago d p, dobbamo cooscere l rago d tutte le page q che hao u lk verso p; per calcolare l rago d ua d queste page q, dobbamo cooscere l rago delle page che hao u lk verso q, e così va all fto Ioltre, se p ha u lk verso q e q ha u lk verso p, o potremo calcolare r(p) seza cooscere r(q) che o può essere calcolato seza cooscere r(p) Possamo rformulare l problema term matrcal Sao {p,, p } tutte le page web d Iteret e cosderamo la matrce A M(, R) l cu elemeto d posto (, ) è a, = { p se esste u lk da p a p altrmet () (la matrce A può essere terpretata term probablstc: a, è la probabltà che u terauta che sta vsualzzado la paga p clck sul lk alla paga p ) Coè page che cotegoo le parole-chave o che hao u lk da o verso page che cotegoo tal parole SBr, L Page, R Motwam, T Wograd, The PageRak ctato rakg: brgg order to the Web, Techcal Report 999-, Computer Scece Departmet, Staford Uversty, Staford, CA, 999

2 Esempo Cosderamo u m-web d sole 5 page: p p p p 5 p 4 I questo dagramma, ua frecca p p sta ad dcare che la paga p ha u lk alla paga p (ua doppa frecca p p sta ad dcare che ache p ha u lk a p ) La matrce A assocata al ostro m-web è allora A = () La prma coloa c dce qud che p ha u solo lk (qud p = ) verso p (l solo elemeto o ullo è sulla secoda rga); la terza coloa c dce che p ha tre lk (qud p = ) verso p, p 4 e p 5 (gl elemet o ull soo sulla secoda, quarta e quta rga) Torado alla dscussoe geerale, se dchamo co r = r(p ) l rago della paga p l vettore d PageRak è l vettore coloa Il prodotto rghe per coloe Ar è l vettore coloa la cu compoete -esma è r = r r a, r = = p p r p = r dove l ultma uguaglaza è l equazoe () I altre parole, l equazoe () può essere rscrtta come r = Ar (4) da cu rsulta la Proposzoe Il vettore d PageRak è u autovettore della matrce A d autovalore Qud, affché l algortmo PageRak fuzo, occorrerà che la matrce A ammetta l autovalore Se tale autovalore ha moltepctà algebrca, l autovettore r è determato a meo d u fattore d proporzoaltà D solto s ormalzza r medate la codzoe = r = Osservazoe Sfruttado l fatto che la matrce A è ua matrce probablstca, s può dmostrare che, se λ è u autovalore d A, allora λ Il teorema d Perro-Frobeus dà ua codzoe ecessara e suffcete affché ua matrce d questo tpo ammetta l autovalore co molteplctà La matrce A scuramete o soddsfa le potes del teorema: ua delle codzo fatt è che la somma degl elemet su ua qualuque coloa sa uguale ad 4 Questo s verfca per le coloe corrspodet a page che hao almeo u lk verso u altra paga, ma s stma che crca l 5% d tutte le page preset sul web o abba eache u lk La soluzoe adottata da Google è d perturbare la matrce A modo che soddsf le potes del teorema d Perro-Frobeus; questo trucco ovvamete troduce u elemeto arbtraro el procedmeto S veda ad es O Axelsso, Iteratve soluto methods, Cambrdge Uversty Press, Questa codzoe s esprme dcedo che A è ua matrce stocastca

3 I quest apput, goreremo problem sollevat ella precedete osservazoe, la cu soluzoe esula dalle competeze del corso Supporremo qud per semplfcare che: La matrce A è dagoalzzable A ammette l autovalore co moltepctà algebrca Se λ è u autovalore d A, allora λ < Per calcolare l vettore PageRak r basta qud determare l autospazo della matrce A relatvo all autovalore Nell esempo del m-web cosderato prma, l polomo caratterstco della matrce data () è t 5 t 6 t t + 4 = (t )(t )(t + )(t + )(t + + ) 6 6 La matrce soddsfa duque le ostre potes e, calcolado, trovamo che u autovettore relatvo all autovalore è per esempo v = (, 4,,, ) Qud r è u multplo d v ormalzzato dalla codzoe che la somma delle sue coordate sa, coè r = (, 4,,, ) Vedamo che la paga pù mportate del ostro m-web è p (che è quella che rceve l maggor umero d lks), la secoda classfcata è p (che rceve due lks, come p 4 e p 5, d cu però uo provee da p, che è pù mportate) ed ultme a par merto soo p 4, p 5 e p (che compesa lo svataggo d rcevere u solo lk co l fatto che questo provee da p ) Nel caso d Google, A M(, R) dove = umero d tutte le page d Iteret è u umero spavetoso! Gl strumet d calcolo attual o cosetoo eache d calcolare u autovettore della matrce A Il vettore PageRak vee allora calcolato medate u approcco damco S cosdera l vettore zale r () = r () r () = cu tutte le page del web hao la stessa mportaza (rago) classfca r () r () = r () ṇ S stla po ua secoda teedo coto de lk tra le dverse page, del rago zale r () d cascua paga e del umero d lks p secodo prcp eucat: r () () r p p = p = = a, r () I term matrcal r () = Ar () S rpete po l procedmeto, stlado og volta ua uova classfca r (k+) r (k+) = r (k+)

4 che tega coto della classfca precedete r (k) e del umero d lks d cascua paga secodo prcp eucat: r (k+) = p = a, r (k), coè (k) r p p = r (k+) = Ar (k) (5) Il rago r (k) della paga p ella classfca parzale r (k) tee coto qud solamete delle page dalle qual è possble raggugere p o pù d k clcks Poché c aspettamo che page molto dstat da p cotrbuscao poco all mportaza d p, è ragoevole pesare che Proposzoe Per k abbastaza grade, la classfca parzale r (k) è molto vca alla classfca reale r Possamo dmostrare rgorosamete questa proposzoe Osservamo per comcare che dalle equazo r (k+) = Ar (k), r (k) = Ar (k ),, r () = Ar () rcavamo per sosttuzo successve r (k+) = Ar (k) = A r (k ) = = A k+ r () (6) Abbamo supposto che A sa dagoalzzable: sa v,, v ua base d autovettor d A d autovalor rspettvamete λ,, λ (rpetut co molteplctà) Sao ora D = λ la matrce dagoale ed H la matrce degl autovettor (le coloe d H soo duque vettor v,, v ) Abbamo qud che A = HDH, da cu segue che per og umero tero k λ A k = ( HDH ) ( HDH ) ( HDH ) = HD k H Abbamo duque che Poedo r (k) = A k r () = HD k H r () H r () = b (7) rcavamo che per og umero tero k b r (k) = HD k H r () = (v v ) λ k λ k b = ( λ k v λ k ) v b b (8) b = b λ k v + + b λ k v 4

5 I base alle ostre potes, uo solo degl autovalor λ è uguale ad e tutt gl altr soo valore assoluto mor d Rordadol, possamo pesare che λ = e λ < per =,, Rcordamo po che, per la Proposzoe, l vettore d PageRak r è u multplo d v : sceglamo r = b v No è dffcle dmostrare che, se A è stocastca, l coeffcete b = Per la formula (7), b è l prodotto della prma rga d H per l vettore zale r () = (,, ) Prededo la trasposta del prodotto A = HDH trovamo che A t = (H ) t DH t Qud (H ) t è ua matrce d autovettor per A t ed partcolare la prma coloa w d (H ) t, coè la prma rga d H, è u autovettore d A t d autovalore Rcordamo che dre che A è stocastca vuol dre che la somma degl elemet sulle sue coloe è uguale ad uo, coè (,, )A = (,, ); traspoedo questa espressoe abbamo qud che (,, ) è u autovettore d autovalore per A t Duque w = α(,, ), dove la costate α è determata dalla codzoe che l prodotto della prma rga w d H per la prma coloa r d H deve essere uguale ad Ma abbamo ormalzzato r mpoedo che la somma delle sue coordate sa uguale ad ; qud α = Ne deducamo che Dalla formula (8) rcavamo allora che b = (,, ) ṇ = r (k) = r + b λ k v + + b λ k v Per =,,, sccome λ <, per k molto grade λ k è trascurable Qud r(k) r per k abbastaza grade Osservazoe L potes che A sa dagoalzzabe è superflua: quato precede, s può sostture la matrce dagoale D co ua forma d Jorda d A e predere come H la relatva matrce d autovettor geeralzzat Osservazoe Nella pratca, la classfca delle page web utlzzata da Google è data da r (k) per u opportuo valore d k, azché da r Il calcolo effettvo d r (k) preseta comuque otevol problem computazoal Ua scelta oculata della modfcazoe della matrce A (ved osservazoe ) cosete a Google d determare ua classfca utle dopo u umero d terazo (crca k ) abbastaza pccolo per calcolare A k per moltplcazoe dretta (come gà segalato, essu calcolatore attuale è lotaamete grado d determare le matrc D ed H) I calcolator d Google mpegao comuque alcue settmae per esegure questo calcolo Per teere sempre aggorata la classfca, Google rcalcola l vettore Pagerak a cclo cotuo 5