Tassonomia Web Spam GIUGNO 2005

Transcript

1 Prefazione: Questo documento si basa sull originale Web Spam Taxonomy firmato da alcuni ricercatori del dipartimento di Computer Science della Stanford University e pubblicato ad Aprile Tassonomia del fenomeno Web Spam Il termine web spam si riferisce a tutte quelle azioni che hanno come scopo di elevare pagine web, riguardo alle interrogazioni dei motori di ricerca, allo scopo di attribuirgli un evidenza maggiore rispetto a quella che dovrebbero avere. Introduzione Vista l importanza che riveste la ricerca di informazioni nel web è ovvio che per una società, aumentare la propria esposizione può garantire un alto ritorno in termini economici. Visto che i motori di ricerca, in alcuni casi, sono le porte di ingresso del web, molti soggetti utilizzano tecniche specifiche per fuorviare i risultati dei motori. In questa maniera aumentano la propria rilevanza, ma abbassano la qualità delle ricerche effettuate, inoltre aumentano il costo di ogni ricerca, da parte dei motori, per via delle pagine poco usabili che appesantiscono le query. Definizione L obiettivo di un motore di ricerca è quello di offrire alta qualità nei risultati identificando correttamente quali pagine sono rilevanti per una determinata ricerca. La rilevanza è misurata attraverso la somiglianza testuale della ricerca e i contenuti della pagina. L importanza globale di una pagina, indipendentemente dalla query, è giudicata dalla popolarità della pagina stessa, che nella maggior parte dei casi deriva dalla struttura dei link intorno ad essa. Lo spamming quindi è ogni azione umana mirata a garantire una rilevanza ingiustificata alla pagina. Voci e giudizi importanti provengono dai Search Engine Optimizers (SEO). La loro attività, se da un lato garantisce un buon web, grazie a pagine ben fatte e di alta qualità dall altro invece favorisce il dilagare dello spam. Questo perché i SEO utilizzano molte tecniche particolari per garantire visibilità alle loro pagine, che in alcuni casi possono essere definite web spam. Possiamo definire due macro-categorie per classificare le tecniche di spam: La prima include le tecniche di amplificazione che garantisce e realizza l alta rilevanza di una pagina. La seconda racchiude quelle tecniche segrete che non alterano la query in se stessa, ma nasconde agli occhi umani le tecniche finalizzate a garantire l alta rilevanza per una pagina.

2 Tipo di spam Term spamming Per valutare la rilevanza del testo i motori di ricerca considerano in una pagina web la presenza dei termini della query. I campi di testo per una pagina sono: il corpo del documento, il campo Title e i meta-tag. Questi campi sono utilizzati per determinare la rilevanza della pagina rispetto alla query. Il Term Spamming è quella tecnica che adatta i contesti di questi campi per rendere più rilevante la pagina. Spam degli algoritmi Gli algoritmi usati dai motori di ricerca riguardo ai campi di testo si basano sulla metrica TFIDF. Ovvero data una query specifica si ha la frequenza dei termini nei capi di testo. Detto questo gli spammers hanno due obiettivi: rendere una pagina rilevante per un elevato numero di query rendere la pagina rilevante per alcune query determinanti

3 Tecniche Principalmente le tecniche di spam possono essere raggruppate per i termini e per i campi di testo utilizzati dallo spammer. Body spam Il sistema più semplice e diffuso. Dove i campi di spam sono inclusi nel corpo della pagina Title spam I motori di ricerca attribuiscono un alto peso al campo Title, quindi ha senso includere lo spam in questo campo. Meta tag spam I tag HTML appaiono nell header della pagina e sono quindi obiettivo di spam, anche se i motori di ricerca non attribuiscono un importanza elevata a questo campo. Anchor text spam I motori di ricerca attribuiscono un alto valore alle ancore di testo, perché in teoria dovrebbero offrire un sunto del documento a cui puntano. Gli spammers sono molto attenti alle ancore di testo, che linkano a documenti non pertinenti. URL spam alcuni motori di ricerca determinano al rilevanza della pagina anche dall URL, che diventa oggetto di spam. Un altro metodo di classificazione dello spam è in base al tipo di termini aggiunti ai campi di testo ripetizione di uno o più termini specifici per aumentare la pertinenza di un documento rispetto ad una query inserimento di un elevato numero di termini non collegati. In questo modo gli spammers si assicurano un rilevanza per un alto numero di query. Utile soprattutto per query che offrono poche pagine come risultato. ripetizione dei termini in contesti duplicati. Gli spammers duplicano i contenuti di articoli o siti già esistenti nei quali inseriscono termini di spam cucitura delle frasi che consente agli spammer di creare rapidamente dei contenuti. Questo avviene incollando frasi o periodi da fonti diverse

4 Spam dei link I motori di ricerca nella maggioranza dei casi confidano nei link per determinare l importanza di una pagna web. Gli spammers quindi creano strutture complesse di link per dare rilevanza a determinate pagine. Bisogna chiarire che per gli spammers esistono tre tipologie di pagine, nel web: pagine inaccessibili, ovvero quelle pagine che gli spammers non sono in grado di modificare. pagine accessibili gestite da altri, che possono essere modificate in maniera parziale dagli spammers (ad esempio i commenti non moderati di un blog). pagine proprie, mantenute dallo spammer e modificabili a suo piacimento. Il gruppo di pagine proprie viene definito spam farm. L algoritmo denominato HITS è stato introdotto per attribuire importanza alle pagine per certi termini. Quindi le pagine hub sono quelle pagine che puntano a molte pagine autorevoli, mentre le pagine autorevoli sono puntate da molti hub autorevoli. Le pagine hub possono essere oggetto di spam aggiungendo un elevato numero di link verso pagine autorevoli, di conseguenza le pagine che hanno link da hub autorevoli sono considerate rilevanti. L algoritmo PageRank utilizza i link entranti per determinare l importanza globale di una pagina. Sembra ovvio che una pagina alla quale puntano molte altre pagine deve essere necessariamente rilevante. Una spam farm ha lo scopo di creare una serie di link in grado di rendere autorevoli le pagine dello spammer. Le tecniche di spam dei link possono essere catalogate anche in base ai flussi di direzione dei link: Link uscenti Lo spammer aggiunge manualmente link verso le proprie pagine per aumentare il punteggio come hub. Uno dei metodi più diretti avviene attraverso la clonazione di directory famose (ad esempio DMOZ) Link entranti Per accumulare link entranti nelle propri pagine gli spammer utilizzano i seguenti metodi creare un vaso di miele (honey pot) che offre risorse agli utenti, le cui pagine puntano in qualche maniera verso le pagine delle quali si vuole elevare la reputazione. infiltrarsi come autore in alcune web directory gestite dagli utenti e aggiungere i siti di cui si vuole aumentare l autorevolezza.

5 inserire link o altro in guestbook, commenti dei blog o altri siti che possono essere modificati parzialmente. effettuare scambio di link tra spammers. comprare domini scaduti per riempirli di pagine che puntano ad altri siti. In questa maniera si sfrutta l effetto HUB di chi non ha aggiornato il proprio sito e mantiene il vecchio link. Creare delle spam farm in grado di aumentare la reputazione di pagine determinate, attraverso una fitta ragnatela di link. Tecniche nascoste Visto che per l occhio umano l attività degli spammers è identificabile da diversi fattori, è usuale che questi ultimi nascondano il proprio operato con diverse tecniche, come ad esempio appropriate combinazioni di colori che rendono poco visibili certi contenuti. Altra tecnica consiste nel creare link su gif della dimensione di 1x1 pixel, dello stesso colore del corpo pagina. Se gli spammer riescono ad identificare i client e gli spider dei motori di ricerca che indicizzano le pagine, utilizzano la tecnica del cloacking. Offrono una pagina web normale ai visitatori che visualizzano il sito con un qualsiasi browser, mentre offrono un documento appropriato ai crawler dei motori di ricerca, che così indicizzano quello che l occhio umano non vede. Chiarimenti Questo documento non garantisce nessuna attinenza con la ricerca Web Spam Taxonomy. L autore non è responsabile per eventuali omissioni, rimaneggiamenti o errori. L autore ha omesso una lunga serie di formule e matrici matematiche presenti nel documento originario.