Web Ranking, rendersi visibili sui motori di ricerca. Roma 15 e 22 Gennaio 2009 Francesco Micali, PhD

Transcript

1 Web Ranking, rendersi visibili sui motori di ricerca Roma 15 e 22 Gennaio 2009 Francesco Micali, PhD

2 Programma delle giornata Alcuni dati Siti di supporto alla ricerca Come si effettua una ricerca Evoluzione della specie Funzionamento e miti dei motori di ricerca Best Practice Parametri On-page Best Practice Parametri Off-page Funzionamento di Google (PageRank, TrustRank, PhraseRank) Esercitazione

3 Alcuni dati Oltre l 80% degli utenti trova i siti che sta cercando attraverso i motori di ricerca (Forrester Research and Georgia Tech's GVU Center User Surveys) Ogni giorno, il 57% degli utenti effettua ricerche su web, facendo della ricerca la seconda attività più popolare su Internet (Statistical Research, Inc.) Il 55% delle transazioni di e-commerce sono originate dai motori (Booz-Allen Hamilton)

4 Alcuni dati Frequenza di utilizzo dei motori di ricerca in Italia

5 Alcuni dati Frequenza di utilizzo dei motori di ricerca in Italia

6 Siti di supporto alla ricerca Motore di ricerca Permette al navigatore di individuare le risorse internet attraverso interrogazioni a database basate su parole chiave Ricerca tramite spider software specifici che navigano, classificano e memorizzano i contenuti in un database

7 Siti di supporto alla ricerca web directory simile ai motori di ricerca in questo caso gli spider sono sostituiti da surfer, veri e propri professionisti

8 Siti di supporto alla ricerca metamotori di ricerca mettono in grado il navigatore di effettuare ricerche su più motori

9 Come si effettua una ricerca? Per parole generali, relative al nostro mercato di prodotti e/o servizi. Sono molto utili per attirare ed accogliere persone che non hanno le idee chiare, precise o fisse su di un marchio o un'azienda. - Consiglio: la pagina home è spesso la pagina più adatta alle parole generali. Per parole specifiche vengono utilizzate da persone che hanno già, o pensano di avere già, le idee chiare su cosa vogliono trovare. Sono persone qualificate per i nostri prodotti e/o servizi, più propense ad un'azione a breve, come un acquisto, a patto di riconoscersi nel sito scelto dal motore di ricerca. - Consiglio: non scegliere parole troppo specifiche Per sinonimi Per varianti regionali

10 Come si effettua una ricerca? Il 42,51% delle ricerche le effettuo con una sola parola, il 24,35% con due parole, il 29,68% con tre parole. Raramente si usano funzioni di ricerca avanzata. Si sfogliano i risultati della prima pagina e a volte della seconda. Raramente si va oltre. Si preferisce eventualmente riformulare la ricerca. Per decidere se visualizzare il risultato proposto, si guarda il titolo, la descrizione ed il link. Fonte (Shinystat, UsabilityNews)

11 Perchè si effettua una ricerca? Frequenza di utilizzo dei motori di ricerca in Italia

12 Perchè si effettua una ricerca? Il 50% degli utenti effettua una ricerca per raccogliere informazioni; Il 30% degli utenti effettua una ricerca per acquistare un prodotto/servizio Fonte Broder, A. (2002). A taxonomy of web search. SIGIR For. 36, 2, 3 10.

13 E come si leggono i risultati? Numero di risultati della ricerca visti: 9 (prima che venga effettuato il primo click); Durata media dell'osservazione: 10 secondi; Durata media dell'osservazione per singolo risultato: 1,1 secondi; Gli utenti che cercano per acquistare osservano più risultati. A study by Market Research Agency De Vos & Jansen in cooperation with full service Search Engine Media Agency Checkit

14 E come si leggono i risultati?

15 E come si leggono i risultati?

16 E come si leggono i risultati? Google Yahoo MSN

17 Glossario Anchor text (testo dell'ancora) Il testo che compone un link testuale, ovvero quello compreso tra il tag HTML <a> (ancora) di apertura e il rispettivo tag di chiusura (</a>). Le parole contenute in un link testuale possono contribuire a tematizzare la pagina verso la quale il link punta. Indicizzazione consiste nell'aggiungere una pagina web all'archivio dei siti (database) del motore. Meta tag Un tag HTML che ospita informazioni di vario genere. Alcuni di questi tag (come il DESCRIPTION e il KEYWORDS) ospitano contenuti dedicati ai motori di ricerca. Link Popularity (popolarità da link) Il numero di link in giro per il web che puntano ad una determinata pagina o sito. La Link Popularity è uno dei fattori che i motori di ricerca prendono in considerazione per attribuire la posizione di una pagina nei risultati delle ricerche. I motori desumono che una pagina sia più importante o conosciuta se la sua Link Popularity è alta. PageRank / PR Valore che Google attribuisce ad ogni pagina web contenuta nel proprio archivio, più il valore di PageRank di una pagina è alto e più la pagina sale di posizione nelle ricerche. Tale valore è attribuito basandosi sulla quantità e la "qualità" dei link ricevuti dalla pagina; la qualità di un link aumenta, a parità di altri elementi, con l'incrementare del valore di PageRank della pagina in cui esso risiede. Prominenza Letteralmente "vicinanza", viene usato per riferirsi alla vicinanza reciproca tra due o più parole-chiave, oppure alla vicinanza di una parola-chiave ad un punto particolare di una pagina web (una intestazione, l'inizio del primo paragrafo di testo, ecc.). La prominenza delle keyword ai "punti chiave" di una pagina è uno dei fattori che molti motori di ricerca prendono in considerazione per assegnare un valore di rilevanza tra la pagina e i termini cercati dall'utente. Spider Software che effettua in automatico l'operazione di visita di un sito e prelievo delle sue pagine web.

18 Evoluzione della specie

19 Evoluzione della specie Nel 1994 David Filo e Jerry Yang, della Stansford University danno vita alla directory Yahoo! per tenere traccia dei siti internet a cui sono più interessati. Ciascun sito viene ripartito in categorie e, quando queste ultime divengono troppo ampie, si realizzano sottocategorie. Nel 2002 Yahoo! acquisisce Inktomi ed Overture divenendo quindi proprietaria delle sue collegate AlltheWeb e Altavista. Fino al 2004 come motore di ricerca utilizza i risultati di Google. In seguito Yahoo!, attraverso lo sviluppo di Inktomi, provvede a dotarsi di un sistema di ricerca autonomo.

20 Evoluzione della specie Nel 1998 nasce Google. Gran parte delle sue fortune nascono dai meccanismi innovativi che questa azienda ha utilizzato per catalogare i siti web. Concetti quali la link popularity ed il PageRank rivoluzionano il mondo del Search Engine. il suo algoritmo, cioè il software che si occupa di indicizzare i siti web, utilizza più di 150 criteri per determinare la rilevanza delle pagine da cui sono composti.

21 Evoluzione della specie Baidu è il motore di ricerca più popolare in Cina. Oltre a recensire siti web si occupa anche di file mp3 e di immagini. Dispone anche di un enciclopedia simile Wikipedia (Baidu Baike). Nell aprile 2007 questo motore si è classificato settimo nella classifica di Alexa, un sito che propone le classifiche dei siti più visitati.

22 Evoluzione della specie Ask.com, conosciuto anche come Ask Jeeves, è un motore di ricerca americano presente da qualche tempo in tutto il mondo. La sua caratteristica principale è stata quella di ammettere quali chiavi di ricerca vere e proprie domande basate sul linguaggio naturale.

23 Evoluzione della specie Il motore di ricerca più recente è MSN Search di Microsoft, attualmente denominato Windows Live Search. Fino alla fine del 2004 MSN Search forniva i risultati di Inktomi (tecnologia proprietaria di Yahoo!). Dal 2005 inizia a mostrare risultati propri. Nel 2006 nasce la nuova piattaforma Windows Live Search, attualmente in uso.

24 Evoluzione della specie Evoluzione dei motori di ricerca (vedi)

25 Evoluzione della specie >10-15 anni fa il must era Keyword, Keyword, Keyword! >2 anni fa Page Rank, Page Rank Page Rank >oggi Trust Rank Trust Rank Trust Rank e domani? Ricerca basata sul comportamento dell'utente; Ricerca basata sulle intenzioni dell'utente;

26 Evoluzione della specie Cosa si indicizza Come si indicizza Chi indicizza Come si ricerca Esempi Search Engine Singole pagine e/o singoli documenti Vengono analizzati i contenuti della pagina Programma automatico (spider) Per parola chiave o frase Google Directory Home page, siti Ogni sito è assegnato a una categoria Surfer umani Per parola chiave o sfogliando le categorie Yahoo!,

27 Come funziona un Motore di ricerca? Un motore di ricerca assolve essenzialmente a tre funzioni: La scansione (crawling) L indicizzazione (indexing) La ricerca (searching) Lo spider legge i contenuti di una pagina web come un browser testuale: Lynx simulator - link Spider simulator link

28 Come funziona un Motore di ricerca? ON-Page raggruppa i parametri che influenzano direttamente il posizionamento della pagina in quanto sono parte del documento indicizzato e ritrovato. Alcuni di questi parametri non si applicano universalmente a tutti i documenti, mentre altri sono standard OFF-Page raggruppa i parametri che dipendono dall organizzazione complessiva del sito ed influenzano tutti i suoi documenti Link-popularity e PageRank TrustRank PhraseRank

29 Alcuni miti da sfatare Una volta realizzato un sito, il motore di ricerca verrà automaticamente a visitarlo I siti dinamici non sono indicizzabili I meta tag DESCRIPTION e KEYWORDS servono a registrare (o posizionare) un sito sui motori Il motore di ricerca non accetta alcuni tipo di sito.

30 Best Practice ON-Page TitleTag l uso opportuno di questo tag e delle parole chiave inserite al suo interno sono molto importanti perché forniscono informazioni sui contenuti del sito sotto forma di collegamento verso la pagina cercata. In questo modo si aiuta il potenziale visitatore a capire che la nostra pagina è quella cercata. Non andare oltre i caratteri. Presenza Keyword interna al Body Il testo presente all interno di questo tag è quello che verrà visualizzato dal visitatore. Generalmente il testo dovrebbe essere di parole con particolare enfasi su due tre parole distribuite sul testo stesso, principalmente sull eventuale Titolo o sotto titolo. Una frequenza maggiore potrebbe essere interpretata come keyword spamming. Collegamenti da risorse interne al sito stesso L importanza di una risorsa o di una pagina interna al sito è influenzata dall importanza e dalla profondità delle pagine che la collegano. Una pagina a cui rimandano molteplici pagine è considerata maggiormente rispetto a pagine poco collegate. Testo presente in una pagina L unicità del testo è discriminante nell assegnazione di una maggiore o minore autorevolezza della pagina rispetto a determinate parole chiave. Testi identici e ripetuti inficiano il posizionamento. Correlazione testo presente con keyword I motori di ricerca esaminano con attenzione eventuali correlazioni o attinenze degli altri termini presenti nel testo con l argomento principale.

31 Best Practice ON-Page Questa struttura viene utilizzata quando alcune pagine, ad es. la home, hanno importanza maggiore delle successive.queste sono collegate da tutte le pagine del sito. Le pagine che si trovano ai livelli più alti sono invece collegate solo da quella al livello immediatamente precedente. Questo garantisce una concentrazione maggiore di PageRank alle pagine più importanti. Nella figura la pagina home è collegata da tutte le altre, ma non la pagina contatti che ha un valore modesto quanto al posizionamento. La pagina prodotti1 ottiene un link da prodotti main di livello superiore, ma non dalla home.

32 Best Practice ON-Page La struttura a maglia viene utilizzata quando le pagine hanno la medesima importanza. In pratica ogni pagina collega tutte le altre, quindi vi è diluizione di PageRank. Nell esempio proposto la pagina contatti riceve più link del necessario, non avendo la medesima importanza delle altre pagine. Raramente, è indispensabile l utilizzo di questa struttura, pertanto quando possibile utilizzate la struttura gerarchica.

33 Best Practice ON-Page Data di pubblicazione del documento Questa data coincide con il momento in cui lo spider entra in contatto per la prima volta con la pagina pubblicata. Più è vecchio il documento maggiore è l autorevolezza attribuita. Meta Tag Description Il testo posto al suo interno potrebbe essere utilizzato per una descrizione dei contenuti del sito nella pagina dei risultati. Elementi di Mark-up strutturale L uso di parole chiave o di testo correlato all interno dei Tag <H1> <Hn>; delle liste puntate o delle ancore testuali è considerato favorevolmente dai sistemi automatici che valutano la qualità di un documento. Organizzazione dei contenuti La disposizione e l ordine con cui le parole chiave sono distribuite all interno del testo è tenuto in considerazione dai motori di ricerca. In particolare la frequenza di comparsa della parola chiave che rappresenta il numero di volte che quest ultima compare sulla pagina analizzata o su una sua area, e la prominenza che indica quanto una parola chiave appare vicina all inizio di una certa area. Testo delle ancore i termini, l ordine e la lunghezza dei testi usati per le ancore influenzano fortemente il posizionamento. Un testo molto specifico aiuta molto per ricerche con parole chiave particolari. Posizionamento collegamenti sulla pagina I collegamenti posti in prossimità della parte iniziale della pagina potrebbero avere attribuito un valore più elevato. Nel complesso è meglio non superare i 100 collegamenti.

34 Best Practice ON-Page ALT - Title Img Tag Il loro uso è significativo soprattutto per le immagini pigiabili che si collegano ad altre risorse. Varietà e percentuale di cambiamenti nei contenuti I motori di ricerca valutano gli aggiornamenti e la frequenza di aggiornamento dei contenuti di un sito. Linguaggio del documento Parole chiave della stessa lingua dei testi presenti sul sito forniscono ovviamente risultati migliori. Presenza parole chiave negli URL l inserimento di parole chiave negli URL che collegano i vari documenti agevola nel migliorare il posizionamento sui motori di ricerca. Keyword Tag Sono usati dai motori di ricerca come riferimento (quasi ignorati da Google). Lunghezza e peso dei documenti html L ammontare di codice delle pagine HTML che viene indicizzato varia da motore a motore. Considerando solo il peso attribuibile al HTML si è notato che il limite, fatte salve alcune eccezioni, è: Motore di ricerca MSN Google Max Page Size 150 K 101 K Yahoo 240 K+ W3C Validation La validazione dei linguaggi di markup secondo gli standard W3C è considerata positivamente per il posizionamento.

35 Best Practice ON-Page In sintesi si suggerisce di porre particolare attenzione a: Title della pagina; Presenza di Keyword all'interno della Body della pagina; Unicità del testo inserito nelle pagine; Alt delle immagini; Collegamenti da risorse interne al sito stesso; Keyword usate dagli utenti e con pochi competitor (indice di efficacia della keyword).

36 Best Practice ON-Page Esistono centinaia di tool per la ricerca di chiavi, ecco i più utili: Google AdWords Keyword Suggestion Tool Yahoo! Search Term Suggestion Tool (Overture) Wordtracker (a pagamento) Google Traffic Estimator Google Trends Digital Point Suggestion Tool SEO Book Keyword Research Tool Purtroppo nessun tool garantisce una buona ricerca di chiavi in Italiano. A volte però si ottengono ottime informazioni da amici, parenti e conoscenti. Non è raro, inoltre, che grosse aziende effettuino la ricerca di chiavi con il telemarketing.

37 Best Practice OFF-page Link-popularity: il numero di collegamenti provenienti da qualsiasi pagina verso la homepage del sito oggetto dell analisi. (link: Link-popularity efficace: il numero di collegamenti provenienti solo da pagine esterne verso la homepage del sito oggetto dell analisi. Domain popularity: il numero di collegamenti provenienti da qualsiasi pagina verso qualsiasi pagina del sito oggetto dell analisi. (linkdomain: Domain popularity efficace: il numero di collegamenti provenienti solo da pagine esterne verso qualsiasi pagina del sito oggetto dell analisi. Site popularity: il numero di pagine indicizzate sul motore di ricerca in riferimento al sito oggetto dell analisi. Deep link ratio: [(Domain popularity efficace - Link-popularity efficace) / Domain popularity efficace ]*100 e monitora quanto le pagine interne influenzano il processo di indicizzazione e posizionamento. Struttura interna dei link I motori di ricerca cosi come i visitatori preferiscono navigazioni persistenti e gerarchie che agevolano il passaggio da livelli ampi con più possibilità di scelta a quelli stretti con poche possibilità. Inoltre, la presenza di link rotti non agevola la navigazione degli spider ed una loro persistenza peggiora il posizionamento. Rate di crescita dei collegamenti verso il sito E un parametro tenuto molto in considerazione. Si deve porre attenzione a non avere forti accelerazione nella crescita del numero di collegamenti in quanto la si potrebbe addebitare alla presenza di una link-farm.

38 Best Practice OFF-page Profondità di un documento in un sito Maggiore è la profondità a cui si trova una pagina, maggiore è il numero di click necessari per raggiungerla. E bene suddividere le risorse in directory poco strutturate ed architetture poco profonde al fine di rendere accessibile una risorsa in non più di tre click. Età del sito I siti presenti in rete da più tempo sono considerati più autorevoli di quelli più nuovi. Lingua usata I motori di ricerca nazionali daranno un peso maggiore ai documenti scritti nella lingua di appartenenza. Presenza Sitemap ( Il sitemap permette, anche per siti con architetture informative complesse, di accedere direttamente alle diverse sezioni. Accessibilità dei documenti Può essere compromessa da redirect, javascript o altri tecnologie che gli spiders non possono seguire. E bene, inoltre, usare file robots.txt per indicare i file che non devono essere considerati dagli spider, al fine di diminuire l occupazione di banda ed impiegare tutto il tempo, dato dallo spider, per la navigazione di contenuti importanti. Hosting uptime molteplici e frequenti down impediscono agli spider di trovare le risorse richieste. In questo modo ne risente il ranking complessivo. Sessioni ID I motori di ricerca penalizzeranno le molteplici pagine indicizzate con diversi ID aventi però gli stessi contenuti. Pagine dinamiche Le pagine statiche sono preferite a quelle dinamiche soprattutto se l URL contiene un numero di parametri superiore a tre.

39 Il Funzionamento di Google

40 Il Funzionamento di Google L importanza della cache La cache di Google, la copia delle pagine indicizzate, è un elemento di primaria importanza per posizionare un sito ma anche per chiunque voglia farsi un idea di come questo motore di ricerca consideri le proprie pagine. Fondamentale è l opzione solo testo.

41 Un video interessante Un video davvero interessente -

42 Bibliografia > WebSiteOptimization, A.King Edizioni O'Really > > > > > > validator.w3.org > Aula, A., Majaranta, P., & Räihä, K.-J. (2005) Eye-tracking Reveals the Personal Styles for Search Result Evaluation. Proceedings of INTERACT 2005, LNCS 3585, September 12-16, > Broder, A. (2002). A taxonomy of web search. SIGIR For. 36, 2, > Granka, L., Joachims, T., and Gay, G. (2004). Eye-Tracking Analysis of User Behavior in WWW Search. Proceedings of the 28th Annual ACM Conference on Research and Development in Information and Retrieval. (SIGIR '04). Sheffield, UK. > Rele R. S., and Duchowski A. T. (2005). Using Eye Tracking to Evaluate Alternative SearchResults Interfaces. Proceedings of the Human Factors and Ergonomics Society,September 26-30, 2005, Orlando, FL, HFES. > A study by Market Research Agency De Vos & Jansenin cooperation with full service Search Engine Media Agency Checkit

43 Il Funzionamento di Google Il Pagerank Come misurare il PageRank Inizialmente la misura del PageRank poteva essere effettuata attraverso la Google Toolbar, un applicazione gratuita fornita dal motore di ricerca. Da diversi anni questo non è più necessario giacché esistono in rete numerosi tool che effettuano questa rilevazione. La scala del PageRank mostrato da questi strumenti è decimale. In realtà il PageRank segue una distribuzione logaritmica e varia da 0 ad infinito. La formula (semplificata) del PageRank PR[A]: è il valore di PageRank della pagina A di cui vogliamo effettuare la misurazione T1...Tn: sono le pagine che contengono almeno un link verso A PR[T1]...PR[Tn]: sono i valori di PageRank delle pagine T1...Tn C[T1]...C[Tn]: sono il numero complessivo di link contenuti nella pagina che offre il link d (damping factor): è un fattore determinato da Google (nella documentazione originale assume valore 0,85) La formula reale del PageRank ovviamente soddisfa criteri molti più ampi ed è gelosamente custodita dai fondatori di Google. È certo che essa sia variata notevolmente nel corso degli anni.

44 Il Funzionamento di Google Definizione Il TrustRank Con TrustRank si individua il nome di un brevetto acquistato da Google nel 2005 allo scopo di migliorare l individuazione di siti web utili rispetto a quelli dotati di spam. Genesi Nel corso degli anni il meccanismo del PageRank ha determinato numerose distorsioni nella presentazione dei risultati nei motori di ricerca. L uguaglianza tra link e voto ha indotto molti presunti Seo ad utilizzare tecniche scorrette allo scopo di migliorare la posizione del proprio sito: link nel testo nascosto, junk pages (migliaia di pagine con testo privo di significato che lincano la medesima pagina), lo spam nei blog e nei forum, nonché la pratica lecita ma non utile per gli utenti di scambio link, hanno caratterizzato il Search Engine degli ultimi anni. Con il TrustRank si è cercato e tuttora si cerca di ridurre questi inconvenienti. Funzionamento Il Trust Rank può migliorare la classificazione di una pagina web, attraverso un processo suddiviso in tre fasi: 1) l algoritmo individua un gruppo di pagine delle quali non è chiaro lo spam status, chiamate seed; 2) un esperto umano le esamina e comunica a quest ultimo quali considerare spam (bad pages) e quali no (good pages); 3) l algoritmo identifica le altre pagine (collegate alle prime mediante un link) sulle basi della precedente classificazione umana.

45 Il Funzionamento di Google Il PhraseRank Definizione Il PhraseRank è un brevetto di Google molto recente (dicembre 2006). Funzionamento Con il PhraseRank la classificazione delle pagine viene realizzata non solo attraverso la quantità di link presenti nella stessa, né dall analisi delle singole keyword che la compongono ma, bensì, dall analisi di intere frasi e quindi dalla qualità dei contenuti che le compongono. In questo modo, anche sulla base della ripetizioni di queste stesse frasi, si potrebbe arginare il fenomeno del keyword stuffing, la pratica scorretta di inserire ripetizioni continue di parole chiave all interno di testi, spesso senza alcuna utilità per l utente. In secondo luogo l algoritmo dovrebbe essere fornito di tecnologia predittiva: mediante l analisi di una frase dovrebbe, cioè, essere in grado di poter individuare altre frasi correlate alla prima. Es.: individuando la frase negozio di articoli sportivi, l algoritmo dovrebbe essere in grado di predire la presenza di frasi quali scarpe da calcio o racchette da tennis. Questo meccanismo dovrebbe poter individuare quei siti dotati di contenuto non utile all utente che, generalmente, usano un numero eccessivo di frasi correlate.

46 Best Practice ON-Page La formula del calcolo del KEI si basa su tre assiomi: il KEI di una parola/frase chiave si incrementa con l incremento della quantità di richieste da parte dell utenza; il KEI decresce in presenza di una grande concorrenza. La concorrenza è data dal numero complessivo di siti web (catalogati dal motore di ricerca per il quale si effettua il calcolo del KEI ad es. Google Yahoo! ecc.) Se la keyword è al tempo stesso molto richiesta dall utenza (popolare) ed esiste una fitta concorrenza (siti competitors catalogati sul motore di ricerca), ma rimane costante e propozionale il rapporto tra richieste e competitors, il KEI si incrementa.

47 Best Practice ON-Page Il valore di KEI deve essere così interpretato: P 2 /C P=popolarità; C=competitor da 0 a 2 bassissimo valore possibilità minime di posizionamento da 2 a 10 basso valore ridotte possibilità di posizionamento da 10 a 100 buon valore buone possibilità di posizionamento da 100 a 400 ottimo valore ottime possibilità di posizionamento oltre 400 massimo valore notevolissime possibilità di posizionamento

48 Best Practice ON-Page Scelta del Title della pagina web (frequenza, words, prominenza 0,8 / 6,5 / 62,0%)* Scelta delle Keyword (1,0 / 14,6 / 69,1%) Scelta della Description (0,6 / 9,8 / 61,6%) Scelta degli Heading (0,4 / 7,8 / 69,9%) Scelta Link Text (2,7 /138,4 / 55,5%) Scelta Hyperlink URL (5,1/ -- / --) Scelta Body Text (7,6 / 743,5 / 57,7% *valori medi per i siti più visibili rispetto alle keyword più usate sui principali motori di ricerca Fonte Webposition Inc