Search Engine Spam. Introduzione ed elementi di base. Gli algoritmi di Google

Transcript

1 UNIVERSITÀ DEGLI STUDI DI NAPOLI FEDERICO II FACOLTÀ DI SOCIOLOGIA - CORSO DI LAUREA IN CULTURE DIGITALI E DELLA COMUNICAZIONE Search Engine Spam Introduzione ed elementi di base. Gli algoritmi di Google Elementi di informatica e web a.a. 2011/2012 di Guido Fusco

2 Licenza Creative Commons Il presente materiale è pubblicato con licenza Creative Commons 3.0 Italia Attribuzione - Non commerciale - Condividi allo stesso modo

3 Le attività di SPAM Gli utenti usano i motori di ricerca per trovare informazioni rilevanti. E i motori di ricerca fanno di tutto per fornire link a contenuti rilevanti. Esistono tuttavia tecniche SEO non etiche, chiamate spam, volte ad aumentare il PageRank delle pagine non basandosi sulla qualità e sulla rilevanza Per affermare il proprio brand o servizio all interno di un sito web, si fa di tutto per raggiungere a tutti i costi la cima delle SERP, tentando a volta di utilizzare tecniche SEO poco corrette. Queste tecniche hanno il solo scopo di ingannare i motori di ricerca sfruttando le imprecisioni degli algoritmi di posizionamento. Lo scopo è sempre lo stesso: cercare di generare più traffico possibile dai motori di ricerca

4 Search Engine Spam (SES) Il Search Engine Spam (SES) anche chiamato web spam o spamdexing riguarda l uso di qualsiasi tecnica che cerca di ingannare i motori di ricerca allo scopo di ottenere un posizionamento migliore. I motori di ricerca si sono evoluti e hanno migliorato notevolmente i loro algoritmi per combattere l ardua lotto contro il web spam. E bene dunque conoscere le tecniche che bisognerebbe evitare per condurre un progetto SEO pulito i principali filtri applicati dai motori di ricerca (alcuni solo teorici senza nessuna conferma matematica) che potrebbero scaturire in una penalizzazione, ovvero in un declassamento di posizione di un sito web nella SERP o addirittura la rimozione dall indice.

5 Le panalizzazioni Per proteggere la qualità del suo indice, Google applica numerose tipologie di filtri per l individuazione di pagine sospette e per il riconoscimento di tentativi di posizionamento non conformi alle linee guida. q esclusione dall indice esclusione permanente: il sito è completamente escluso dall indice con la possibilità di non farvi ritorno. esclusione temporanea: In questo caso Google può notificare ai progettisti del sito la temporanea rimozione e il tipo di non conformità. Il progettista, può quindi procedere alla correzione dei problemi rilevati. Il reinserimento di un sito richiede tempi variabili. La prima esclusione temporanea può avere una durata massimo di 30 giorni. Si ritiene che il timespam delle esclusioni si sviluppi secondo la progressione di 30 giorni, 60 giorni, 90 giorni

6 Le panalizzazioni (II) q Penalità sulla posizione nelle SERP Generalmente questo tipo di penalizzazione è chiamato N penality dove N è la posizione nella SERP sopra la quale il sito (o parte delle sue pagine) non compare. In questi termini, sono stati riconosciuti vari livelli di penality -6, -30, -60, -90, -950 Con una penality di -30, il dominio è escluso dalle prime tre pagine dei risultati per qualsiasi parola chiave, anche quella del dominio stesso q Diminuzione del PageRank Infine questo tipo di penalizzazione comporta una penalizzazione (diminuzione) del PageRank di una o più pagine del sito

7 SES: Duplicazione dei contenuti Per contenuti duplicati, intendiamo al possibilità di avere nel web porzioni di testo molto simili o addirittura identici consultabili da URL o domini differenti. Questo è uno dei problemi principali che affligge i motori di ricerca, in quanto è probabile che un documento indicizzato risulti presente sul web in un altra forma motori di ricerca stanno iniziando ad adottare delle tecniche che consentono d individuare l origine del testo, al sua età e quindi stabilire se si tratta o meno di un contenuto duplicato Esistono diverse risorse per individuare se un testo è duplicato o meno:

8 SEM:Keyword Stuffing Il keyword stuffing, consiste nell eccesivo ricorso alle parole chiave. Tale abuso è attualmente caduto in disuso rispetto al passato, quando le parole chiave venivano ripetute ossessivamente in ogni punto della pagina al fine di aumentare la rilevanza o addirittura venivano create pagine (doorway pages) con contenuto invisibile composto dalle sole keyword. L azienda joy produce camicie di alta qualità. Le nostre camicie rispettano i più alti livelli qualitativi. Camicie uniche. Camicie di qualsiasi colore. Produzioni di camicie. Vendiamo camicie per cerimonia. Camicie in lino. Camicie in tessuto. Le nostre camicie durano nel tempo. Il freno a tale pratica è stato posto dall introduzione negli algoritmi di elementi che calcolano il keyword pattern, ovvero un analisi testuale di valutare ila normale distanza tra che le keyword devono avere l una dall altra per formare un testo coerente e semanticamente corretto.

9 SES: testo nascosto o troppo piccolo Lo scopo del testo nascosto è quello di essere perfettamente visibile agli spider dei motori di ricerca, ma non per i visitatori. I motori di ricerca considerano l uso di dei testi nascosti come una tecnica ingannevole, in modo del tutto analoga al keyword stuffing Lo scrivere il testo caratteri molto piccoli è un altro modo per cercare di migliorare la densità delle parole chiave. Tutti i browser visualizzeranno il testo utilizzando un fonti ad esempio di 1 px, che posizionato in particolare zone della pagina lo renderà pressappoco invisibile all utente

10 SES: Shadow domani e mirror domain La tecnica dello shadow domain consiste nello sfruttamento della rilevanza assegnata da Google alla descrittività del nome dominio. Consiste nel registrare un dominio ombra, creato appositamente per attirare traffico, grazie alle keyword presenti sul nome dominio stesso. Tale traffico viene poi redidiretto su una ltro sito. Talvolta i contenuti dello shadow domain sono interamente replicati da quelli del dominio principale; in questo caso si parla di mirror domain. In entrambi i casi le sanzioni variano da forti penalizzazioni di rankink all esclusione dall indice

11 SES: Cloaking La tecnica dello cloaking consiste nel presentare i contenuti a seconda dell user agent che ne fa richiesta. Ovvero consiste nella presentazione agli spider della versione ottimizzata di un sito, che quando viene invece visualizzata dall utente appare in modo del tutto diversa Per ogni agent (visitatore) che arriva sul sito che utilizza cloaking, si verifica l indirizzo IP proveniente dalla richiesta http, per determinare se si tratta di unno spider o di una persona. A seconda della tipologia di visitatore, vien fornita una pagina specifica. Osservazione: Esistono però dei motivi del tutto legittimi per fornire contenuti differenti a seconda dell indirizzo IP di provenienza della richiesta. Uno può riguardare la targhettizzazione dei contenuti i base all are geografica

12 SES: Doorrway pages La tecnica dello doorway pages consiste nella costruzione di pagine web ottimizzate per i motori di ricerca e non per gli utenti con lo scopo di aumentare il traffico verso un determinato sito. Il meccanismo prevede nella maggior parte dei casi, la creazione, mediante appositi tool, di pagine autogenerate e focalizzate su un unica keyword o frase keyword, prive di senso logico e di alcuna utilità, che se cliccate ridirigono alla pagina del sito sul quale si vuole creare traffico. L uso di questo termine ha assunto ormai un accezione negativa per via dell indentificazione di fare cloaking Osservazione: Anche in questo caso ci sono però delle eccezioni. Ovvero è possibile creare delle doorway page in modo limpido, attraverso delle pagine di reale utilità per l utente, di argomento attinente al sito principale. In questo modo da aumentare la link popularity del sito

13 I filtri di Google Google, come tutti i principali motori di ricerca, penalizza quei siti che implementano azioni scorrette per migliorare il loro posizionamento nella SERP dei risultai. Gli effetti di una penalizzazione dipendono dalla gravità della loro infrazione e tipicamente scaturiscono in un declassamento della ricerca All occorrenza, Google ha creato dei filtri. Ovvero una serie di algoritmi che vanno alla ricerca delle pagine web che fanno uso di tecniche di spamming

14 Il filtro bombing Il filtro bombing è applicato alle pagine con un alto numero di backlinks aventi lo stesso identico testo Anchor. Questo fa alzare una bandierina rossa nel motore di ricerca perché è estremamente innaturale in una struttura di link riferenti (Backlinks) la presenza dello stesso testo anchor su tutti i link.

15 Filtro sui tag Il filtro sui tag viene applicato ai blog e ai CMS che sfruttano il meccanismo dei tag. Essi vegono usati tipicamente in automatico dai blog per categorizzare e creare diverse pagine da indicizzare nei motori di ricerca. Il principale problema sta nel fatto che questo meccanismo genera contenuto duplicato e la regola indica che bisogna evitare di superare il 20 % delle pagine tag rispetto all intero contenuto del sito indicizzato da Google Per vedere il numero di pagine indicizzate da Google Per vedere il numero di pagine tag indicizzate da Google

16 Il filtro sulla navigabilità del sito Nel caso il sito web sia poco navigabile e quindi di facile scansione da parte degli spider del motore di ricerca, potremmo cadere in questo filtro. Tipicamente, si applica quando il menù di navigazione è complesso e non bene organizzato e in esso si ripetono keyword in modo inopportuno. Per evitare di cadere in una eventuale penalizzazione, che potrebbe portare ad un declassamento di posizioni nella SERP è opportuno: 1. Organizzare i menù per una facile consultazione; 2. Collegare con link contestuali le varie pagine web del sito 3. Usare tutte le tecniche di usabilità 4. Organizzare e catalogare le informazioni vecchie del sito

17 Filtro contro le link farm ed eccesso di back link Le link farm sono delle pagine dove sono ammucchiati centinaia di link di ogni tema e specie. L acquisto di link e la partecipazione massima a questo scambio è la maniera migliore per essere penalizzati. Infatti un eccesso di back link da parte di una link farm risulterebbe agli occhi del motore del tutto innaturale. Osservazione Per quanto riguarda la vendita di link, sono state fatte dichiarazioni da parte di Google che afferma che l azienda non vuole imporre le sue regole, ma vuole dare dei consigli in merito alla vendita di link. In merito ad un banner pubblicitario (che viene considerato un link a pagamento) sarebbe utile di fare in modo che il banner non abbia influenza sul motore (ovvero non distribuisca PageRank)

18 Analisi sugli algoritmi dei motori di ricerca Negli anni gli algoritmi con cui i motori di ricerca (Google) hanno avuto numerose metamorfosi. Sostanzialmente li possiamo raggruppare i 4 grosse macro voci (1) q CONTENUTI E SAMANTICA (fattori di contenuto): keywords, codice HTML. Correlazione semantica, duplicazione contenuti q LINK POPULARITY (fattori quantitativi): page rank, quantità di links, percentuali di anchor text q TRUST & AUTORITY (fattori qualitativi): trustrank, qualità dei links, analisi storica del domino q DEFANCE & PENALTY (fattori opposti): contenuti SPAM, Penalizzazioni algoritmiche

19 Esame storico degli algoritmi dei motori di ricerca ( ) Fattore rilevante Dal 1998 al 2000 i contenuti la fano da padrone. Quando si parla di contenuti s intendeva come inserire Keywords all interno delle pagine, dove la tecnica di keywords stuffing la faceva da padrona. La link Populariry prende il volo con il brevetto dell algoritmo del Page Rank nel 2001 da parte di Google. Tutti gli altri motori seguiranno questa scia Gli algoritmi di Trust-Autority e quelli relativi alla Defence- Penalty sono pressoché inesistenti. FATTORE RILEVANTE Passaggio dagli algoritmi basati sui contenuti (non semantici) a quelli basati sulla links populariry

20 Esame storico degli algoritmi dei motori di ricerca ( ) Dal 2003 al 2008 il trend negativo dell importanza dei contenuti continua Dal 2003 al 2008 la link popularity non è più sufficiente a determinare buone posizioni nelle SERP, ne tantomeno contrastare le nuove tecniche di SEO Spamming Per contrastare il fenomeno si implementano nuovi algoritmi di TrustRank Essendo il fattore Trust, un elemento fondamentale, i SEO si catapultano alla caccia di siti scaduti (che avevano una buona autority) per iniziare a fare SPAM ENGINE. Gli algoritmi di Defence e Penalty iniziano a concentrarsi non più sulle keywords ma sulle matrici di links

21 Combating web spam with TrustRank h#p://

22 Esame storico degli algoritmi dei motori di ricerca (2003)-2008 Dal 2003 al 2008 il trend negativo dell importanza dei contenuti continua Fattore rilevante Dal 2003 al 2008 la link popularity non è più sufficiente a determinare buone posizioni nelle SERP, ne tantomeno contrastare le nuove tecniche di SEO Spamming Per contrastare il fenomeno si implementano nuovi algoritmi di TrustRank Essendo il fattore Trust, un elemento fondamentale, i SEO si catapultano alla caccia di siti scaduti (che avevano una buona autority) per iniziare a fare SPAM ENGINE. Gli algoritmi di Defence e Penalty iniziano a concentrarsi non più sulle keywords ma sulle matrici di links FATTORE RILEVANTE Links popularity sempre importante, ma si inizia a concentrarsi sul trust e autority del sito web

23 Esame storico degli algoritmi dei motori di ricerca ( ) Dal 2008 al 2011 il trust e la link populariry r e s t a n o sempre fattori determinanti Gli algoritmi di p e n a l t y aumentano. Le penalizzazioni sono all orine del giorno I contenuti (intesi quelli semantici) iniziano la loro scalata nell importanza del ranking delle SERP

24 Fase di rifasatura Fattore RIFASATURA FATTORE RIFASATURA O EQUILIBRIO contenuti (intesi quelli semantici) importanti. Algoritmi di Penalty severi e recuperare le posizioni precedenti risulta un impresa pressoché impossibile

25 Algoritmi di Google Google Panda Update Google Penguin

26 Google Panda update Google Panda Update è un nuovo algoritmo, una nuova formula, con cui Google ha deciso di cambiare le variabili con le quali stabilisce le classifiche dei siti all'interno dei suoi risultati di ricerca. Questo nuovo algoritmo l'hanno chiamato Google Panda, ma l'hanno chiamato anche Google Farmer Update. L'obiettivo ufficiale dichiarato da Google e dai suoi esperti per l'avvio di questo nuovo cambiamento di algoritmo, è togliere dai risultati di ricerca tutti quei siti che forniscono contenuti "sottili", scarsi, che non danno reale valore ed utilità immediata al lettore. Un primo aspetto che lo differenzia tra gli altri algoritmi è la Tempistica con cui avvengono gli update di questo algoritmo. Google Panda infatti non lavora in tempo reale ma attraverso updates occasionali. 11 febbraio 2011 (Attivazione) sul mercato nordamericano 11 aprile 2011 (Panda 2.0) ha esteso l'efficacia di questo algoritmo a tutti i siti del mondo che parlano l'inglese. 12 agosto: Google Italia annuncia l ingresso di Google Panda per i siti in Italiano h#p:// algorithm- change#2011

27 Elementi Critici dell algoritmo Qualità dei contenuti Usabilità dei contenuti (layout, disposizione di contenuti e dell advertising, etc.) Sovra-ottimizzazione SEO (es. innaturalezza dei backlinks, anchortext, ottimizzazione eccessiva on-page, etc.) Altri fattori SEO minori (es. la velocita del sito, il bounce rate, i tempi di permanenza, la qualita e affidabilita dei links esterni, etc.) Google Panda Update ha rappresentato un cambiamento storico. Un cambiamento che ci segnala la direzione dove si stanno volgendo le nuove strategie dell engine search per il futuro.

28 Fase di rifasatura degli algoritmi di Google Fattore RIFASATURA Importanza dei contenuti Algoritmi di defense

29 I segnale di Panda Update Qualità dei contenuti : S INTENDE PER QUALITA DEI CONTENUTI? Amit Singhal Google Fellow Google non offre (e probabilmente non offrirà mai) dettagli precisi sul Panda Update, ma Singhal invita a fare un ragionamento al contrario, ovvero a partire da queste 23 domande, che sono alla base degli algoritmi che tentano di valutare la qualità dei contenuti di un sito: 1. Ti fideresti delle informazioni incluse in questo articolo? 4. Ti sentiresti a tuo agio nel lasciare il tuo numero di carta di credito a questo sito? 9. Che tipo di controllo qualità viene fatto sui contenuti? 10. L articolo descrive entrambi i lati di una storia? 11. Il sito è riconosciuto come autorevole nel suo ambito? 16. L articolo tratta il tema in modo completo o dettagliato? Più si leggono le domande e più si capisce che l approccio è molto relativo h#p://googlewebmastercentral.blogspot.it/2011/05/more- guidance- on- building- high- quality.html

30 L intervento fattore umano: I quality raters ALLORA?? A parte i noti problemi già noti come: la duplicazione dei contenuti, tag excess, che causavano e causano ancora notevoli penalizzazioni, oggi è molto difficile giudicare la qualità di un sito. Serve qualcosa di più avanzato, che va ben oltre della scansione algoritmica. Il fa#ore umano Quality Raters - Sono persone in carne ed ossa (no spiders, ne bot ) - Navigano nelle pagine del ns. sito per valutarne la bonta - La bonta e decisa seguendo precise regole (dettate dai motori) - Questi quality raters compilano precisi moduli di valutazione, seguendo precisi schemi pre-confezionati La qualità viene valutata mediante una valutazione mixata (algoritmo-uomo)

31 II segnale di Panda Update Tipologia di siti web : QUALI SITI WEB VENGONO COLPITI? Dal Panda Update viene colpita una certa categoria di siti aventi delle caratteristiche comuni: 1. Siti web di grandi dimensioni (migliaia di pagine) 2. Siti web in forte trust 3. Siti che raccolgono un notevole traffico (in particolare su long tail) 4. Siti generalisti e non nicchiati q Il fatto che Panda Update colpisca siti con forte trust, è coerente con quanto detto precedentemente, ovvero che nella fase di ripassatura degli algoritmi, il trust viene ridimensionato. Questo va a favore dei siti con minor trust e più di nicchia

32 II segnale di Panda Update q Il fatto che Panda Update colpisca siti di grande dimensione, ridimensiona l impatto di impego di Panda Update. Risulta difficile pensare che un algoritmo scansioni milioni di pagine web, per valutare semantica e quant altro. Limitando però la scansione a siti di grande dimensione, ne limita notevolmente il numero di siti da scansionare. q Inoltre, la considerazione che Google Update colpisca per ora dei siti di grande dimensione, è suffragata dal fatto che esso è un algoritmo che funziona solo a specifici spazi temporali...il che ne limita l utilizzo. q Ancora l ipotesi dei siti di grande dimensione, è avvalorata dal fatto che i quality raters intervengono solo su siti su cui hanno un buon report storico. E questo è possibile solo sui siti di grande dimensione Conclusioni: Se prima molti siti con le caratteristiche viste in precedenza, se la cavavano bene anche in situazioni ambigue ( tag excess, contenuto duplicato) con Google Panda tutto ciò non è più possibile

33 III segnale di Panda Update Advertising : QUANTO PUO INFLUIRE LA PRESENZA DI ADV NELLA PENALIZZAZIONE? Per molti siti analizzati da Google Panda, in merito alla pubblicità contenuta in essi, si possono notare dei pattern comuni 1. PUBBLICITA QUANTITATIVAMENTE ECCESSIVA rispetto ai contenuti 2. PUBBLICITA POSIZIONATA IN MODO PREDOMINANTE rispetto ai contenuti 3. PUBBLICITA CON LINKS DI AFFILIAZIONE (Thin affiliate) 4. PUBBLICITA A SITI O OFFERTE CHE EFFETTUANO SPAM

34 Una dichiarazione del Team di Google AdWords Una dichiarazione fatta dal team di Adwords, e pubblicata sul sito (1) di un affiliate marketer, alla domanda di quest ultimo per una penalizzazione ricevuta (1) h#p://searchenginewatch.com/argcle/ /the- Panda- Enigma- An- Overview- of- Major- SEO- Factors

35 Un sito considerato non attinente alle policy di Google Conclusioni: Con Google Panda vi è una forte riequilibratura tra contenuti e pubblicità. Ora i siti pubblisher, devono prestare molta attenzione a come, dove e quali annunci pubblicano.

36 Uscire dalle penalizzazioni Uscire da una Penalizzazione Panda NON è facile. NON bisogna aspettare che Google ti dica COSA devi cambiare Pulire le "AREE GRIGIE" del sito in particolare: - pagine con pochi contenuti, duplicati o rindondandi. - pagine tag eccessive (max % del sito - v. penalizzaz. da tag excess) - layout & contenuti eccessivamente Adv-oriented o Affiliateoriented

37 Google Penguin Aprile-Maggio Rilascio di un nuovo algoritmo di Google. Google Penguin Non si tratta di un upgrade dell'algoritmo di PageRank o di Google Panda ma di un nuovo algoritmo che Google ha messo a punto per dare un giro di vite al SEO speculativo ed eccessivo. Google spiega (per bocca di Mat Cuts) che Penguin, punta a colpire il black hat webspam, ovvero tutte quelle tecniche che mirano a posizionare meglio un sito in Google senza che davvero meriti quella posizione sul motore di ricerca, e che non offrono un reale beneficio all utente. Di converso, Cutts afferma che i white hat vedranno premiati i loro sforzi: chi lavora su ottimi contenuti, usabilità e velocità del sito verrà ricompensato, mentre verrà penalizzato chi fa keyword stuffing e link spam.

38 Links Spam Cutts dice che si è in presenza di link spam quando: leggendo ad alta voce il testo dell articolo, si nota che i link in uscita sono completamente estranei al resto del contenuto. Ovvero: se il contenuto è mediocre, se i link puntano a siti di scarsa (se non pessima) qualità, e se i termini utilizzati come ancora puzzano lontano un miglio di essere messi in quel modo col solo fine di posizionarsi per quelle specifiche keyword, la nuova penalizzazione di Google potrebbe colpire

39 Accorgimenti Titolo Il tag Title delle vostre pagine, se troppo farcito di parole e frasi chiave potrebbe venir considerato SEO Spam, come anche la ripetizione delle medesime keyword in tag come h1, h2 e h3. Il testo pagine Evitate assolutamente di creare contenuti con parole chiave ripetute forzatamente, il tipico keyword stuffing. È preferibile la scrittura naturale. Non inserire parole chiave in oggetti nascosti o il cui colore si mimetizza con lo sfondo. Link esterni ed interni Aspetto non trascurabile sono i link, un eccesso di link in uscita verso siti di scarsa qualità o peggio penalizzati da Google porterà a penalizzazioni. Un eccesso di link interni che puntano ad una stessa pagina tutti con gli stessi anchor text possono danneggiare quella pagina. Qualità dei siti legati alla backlinks La qualità dei siti da cui ricevete link con anchor text tematici è fondamentale. Google infatti valuta la qualità dei siti e quindi link tematici provenienti da siti di scarsa qualità, siti già penalizzati provocherà anche la vostra penalizzazion