Analisi dei testi non strutturati

Transcript

1 Analisi dei testi non strutturati Seminario sulla cultura e i metodi per la raccolta e per l analisi dei dati a scopo operativo, tattico e strategico Mario Gentili mario.gentili@mariogentili.it

2 La mente Il primo dei motori di ricerca è la nostra mente che usa una rete straordinaria: quella composta dai neuroni connessi tra di loro in maniera dinamica attraverso sinapsi (Neural Network). È proprio questo il principio che è alla base delle Artificial Neural Network oggetto dei prossimi incontri. 2

3 Il processo di ricerca In entrambe le reti esiste un denominatore comune: il processo di ricerca Esigenza di ricerca Ricerca Valutazione dei risultati a p p r e Scarto Memorizzazione Richiamo dell informazione 3

4 Una buona ricerca In verità, quando si effettua una ricerca già ci è nota, in qualche modo, la risposta. Non in termini di contenuti, ma sicuramente dobbiamo sapere cosa ci si aspetta per poterne effettuare una valutazione di qualità. In altre parole dobbiamo sapere già se la risposta che otterremo è coerente a quanto richiesto e se risponde ai nostri obiettivi. Questo principio è alla base della nostra valutazione del risultato e ci consentirà di scartarlo, ovvero di archiviarlo. Solo in rari casi si naviga senza meta : in ogni caso l obiettivo ultimo è di trovarne una. 4

5 Il paradosso di Socrate e di Menone Menone: E che tipo di domanda farete, Socrate, per sapere quello che non conoscete? Che cosa metterete come soggetto della richiesta? E se trovate che cosa volete, come saprete mai che questa è la cosa che non conoscevate? Socrate: so, Meno, cosa vuoi dire; ma lasciami evidenziare la disputa noiosa che state introducendo circa quello che l uomo può richiedere in base alla sua conoscenza; se sa, non ha necessità di domandare; e se non sa, non può domandare. Non ha senso porci delle domande perché per poter riconoscere una risposta dovremmo conoscere quello che vorremmo esserci risposto 5

6 La mente Nell ultimo secolo, gli studi sull uomo riguardanti il processo alla base dell apprendimento, della memorizzazione e del richiamo delle informazioni, ha dato luogo a due discipline: la cibernetica, la teoria matematica delle informazioni. La traduzione informatica dei modelli e la realizzazione di simulatori 6

7 La cibernetica Nasce con Wiener (che non riuscì mai ad imparare il percorso dell autobus che lo portava a casa). Il concetto più importante che maggiormente ha lasciato traccia nello sviluppo dell IA è quello di feedback, secondo il quale la discrepanza tra il modello costruito e quello effettivo, costituisce un importante nuovo segnale per il controllo del modello costruito affinché si modifichi in qualche modo apprenda per correggere i suoi errori. Esempio: il termostato della caldaia: Obiettivo: mantenere costante una temperatura; Sistema di controllo: accensione/spegnimento della caldaia. La presenza di un sistema di controllo fa sì che sia nell uomo, sia nella macchina, di possa parlare di scopo, e di comportamento diretto ad uno scopo. 7

8 La teoria matematica dell informazione Si interessa del contenuto informativo presente in un messaggio (o in un segnale). Un messaggio contiene tanta più informazione quanto più è imprevedibile, tanto meno informazione quanto più è noto, scontato, prevedibile. Problema: Esiste un equivalenza tra mente umana e computer in considerazione che entrambi sono dei sistemi di trasmissione e di ricezione di messaggi? Dimostrazione: test di Turing: se due sistemi danno le stesse risposte nella stessa situazione, allora sono equivalenti. Negazione: Searle:due sistemi possono dare la stessa risposta ma possono usare processi molto diversi per raggiungere quel risultato. In IA l apprendimento è inteso come insieme di conoscenze e non come comportamento. Può essere: di informazioni (di primo ordine), attraverso l aggiunta di nuove conoscenze alla base dati precedente di procedure (di secondo ordine), attraverso l apprendimento di strategie che permettono di ottimizzare le procedure note. 8

9 Mente e computer: il connessionismo Apprendimento del computer = registrazione dati e loro recupero attraverso la lettura. Se non c è lettura, non c è recupero. Se non c è recupero non esiste elaborazione. Apprendimento umano = registrazione dati e loro recupero, NON necessariamente tramite una loro lettura completa. La lettura può essere anche parziale e non necessariamente accurata. Elaborazione parallela delle info con i componenti che interagiscono tra di loro e che lavoro su livelli di soluzione parziali. Capacità di trarre vantaggio dagli errori. Thordike, padre del connessionismo, prendendo spunto dagli empiristi inglesi, parlava di apprendimento per prove ed errori e di risultati ripetibili infunzione della risposta allo stimolo. e il computer? 9 LE RETI NEURALI

10 Le reti neurali La conoscenza non risiede in singole unità o nodi, ma è distribuita su più unità ognuna delle quali contribuisce alla rappresentazione di molte conoscenze diverse ed il processo cognitivo non è seriale, bensì parallelo e cooperativo Apprendere= 1. rinforzare delle connessioni e lasciarne altre, 2. propagare l errore all indietro affinchè possa essere corretto 10 analogamente al nostro cervello

11 www e ricerca Il world wide web, ha portato a profondi mutamenti anche nei modi di scrittura, di ricerca e di lettura dei testi. Se scrivi con la penna d oca devi grattare le sudate carte e intingere ad ogni istante, i pensieri si sovrappongono e il polso non tiendietro, se batti a macchina si accavallano le lettere, non puoi procedere alla velocità delle tue sinapsi, ma solo coi ritmi goffi della meccanica. Con lui (con essa?) invece le dita fantasticano, la mente sfiora la tastiera, via sull ali dorate... (Umberto Eco Il pendolo di Foucault 1998) i testi finalizzati ad essere pubblicati sulla rete hanno una caratteristica unica che nessun altro tipo di scrittura permetterebbe: si svincolano dalla sequenzialità e dalla linearità tradizionale che prevede l organizzazione in capitoli e paragrafi, consentendo niente di meno di intraprendere diversi percorsi di lettura ove la linearità rappresenta la vera eccezione. In altre parole, nello scrivere, ricercare e leggere un il messaggio, si possono costruire vari percorsi attraverso l uso di uno strumento potentissimo: l ipertesto 11

12 Storia: commutazione di pacchetto All'inizio di internet troviamo una tecnica di condivisione delle linee telefoniche chiamata commutazione di pacchetto. La commutazione di pacchetto è un metodo di trasmissione per il quale ogni flusso di dati può essere scomposto in elementi più piccoli come se le singole pagine di un grosso libro venissero imbustate singolarmente per essere più agevolmente spedite e poi ricomposte all'arrivo. I pacchetti di dati ottenuti viaggiano con l'indirizzo del mittente e del destinatario, un numero identificativo per il riassemblaggio finale e tutte le informazioni utili per verificare la corretta spedizione del pacchetto secondo alcune regole chiamate protocolli di rete. 12

13 Storia: il concetto di rete Questo permette che il flusso di dati possa viaggiare in una rete di telecomunicazione scegliendo il punto di smistamento (nodo) in quel momento disponibile o più facilmente raggiungibile (non necessariamente il più vicino). Da questo nasce l'idea di rete costituita da nodi, che permette maggiore flessibiltà rispetto alla tradizionale rete, per esempio telefonica, costituita da successive stazioni via via da raggiungere. Negli anni Sessanta ARPA, agenzia di ricerca legata al Ministero della difesa americano, sviluppò questo progetto, che negli anni della guerra fredda rispondeva al'esigenza di mantenere le comunicazioni tra i comandi anche in caso di attacco nucleare. Il progetto prevedeva di economizzare linee telefoniche a larga banda a lunga distanza e di collegare computer per accesso remoto, scambio file e condivisione risorse (all' ci si arrivò qualche anno dopo). 13

14 Storia: le principali date Settembre 1969: viene creata la rete ARPAnet. Inizialmente furono 4 computer dislocati all'ucla di Los Angeles, a Stanford, all'university of California di Santa Barbara e all'university of Utah. 1983: ARPAnet viene divisa in due reti: una militare non segreta MILnet e l altra per la ricerca. 1 gennaio 1983: un TCP/IP un nuovo protocollo di rete. Il protocollo di rete, la modalità di trasmissione dei flussi di dati nella rete, fino allora utilizzato da ARPAnet si dimostrò insufficiente per gestire reti eterogenee (reti via satellite, reti via onde radio, Arpanet). TCP/IP permette di incapsulare i dati di reti di livello inferiore, come una busta spedita che venga inserita in un'ulteriore busta di servizio dal corriere, e permette quindi di trasmettere dati originati da reti diverse. L'adozione da parte di ARPAnet ne fa uno standard presto diffuso. Da molti questa viene considerata la data di nascita di Internet. 14

15 Storia: le principali date 1989 al CERN di Ginevra, Tim Berners-Lee definisce HTTP (Hyper-Text Transfer Protocol), protocollo di rete per supportare contenuti ipertestuali e HTML (Hyper-text Mark-up Language), il linguaggio di marcatura del testo con il quale descrivere i testi ipertestuali: nasce il World Wide Web, la parte di rete internet che più conosciamo, fatta di link tra pagine web, documenti e immagini. A partire dal 1991 negli Stati Uniti si definisce la nuova figura dei fornitori di servizi di connettività (Internet service provider). Nel 1998 sempre Tim Berners-Lee pensa alla possibilità di aggiungere informazioni semantiche sui contenuti dei dati, e definisce le basi di XML (Extensible Markup Language), un linguaggio di marcatura estensibile, ovvero adattabile alle più disparate esigenze di descrizione dei dati. Si tratta del cosiddetto Web semantico: un nuovo scenario del web,che prevede non solo di avere collezioni di pagine web collegate tra loro, come oggi siamo abituati, ma la possibilità di interpretare, elaborare e inferire relazioni tra i contenuti delle pagine pubblicate. Oggi nasce Web 2.0 l'insieme di tutte quelle applicazioni online che permettono uno spiccato livello di interazione sito-utente (blog, forum, chat, Wikipedia, Youtube, 15 Facebook, Myspace, Gmail, ecc.)

16 Documenti web: le pagine HTML Le pagine web sono scritte in HTML (Hypertext Markup Language): non è un linguaggio di programmazione, ma un linguaggio di descrizione del testo che viene poi interpretato dal browser (Explorer, Mozilla, Firefox, ecc.) che ne predispone la visualizzazione sullo schermo dell'utente opportunamente formattato. Poichè la visualizzazione del testo è demandata al browser, inclusa per esempio la scelta del carattere e della dimensione dello stesso, e poichè l'html talvolta non è sufficiente alle necessità dei designer grafici, si usano i CSS (Cascade Style Sheets), i fogli di stile che descrivono a parte l'aspetto grafico delle pagine. Eventuali azioni sono aggiunte includendo istruzioni realizzate con linguaggi specifici, quali per esempio Javascript o Java. 16

17 Documenti web: i tipi di pagine I siti web possono avere pagine statiche o dinamiche. Le pagine dinamiche sono frutto dell'interrogazione di un database e vengono create in tempo reale per visualizzare i risultati della ricerca (si pensi ai risultati su un motore di ricerca): in genere hanno come estensione di file asp, php, jsp. Le pagine statiche al contrario offrono dei contenuti preconfezionati, come le pagine di una rivista, anche se prevedono elementi "dinamici", come animazioni o filmati: in genere hanno come estensione di file htm, html, shtml. Importante ai fini della ricerca è conoscere e riconoscere i tipi di file e le loro estensioni da cercare o scaricare: negli Approfondimenti si può trovare una breve sintesi. 17

18 Cosa cercare A partire dagli anni novanta del secolo scorso si compie la folgorante espansione delle cosiddette "nuove tecnologie dell'informazione e della comunicazione": la diffusione dello scambio elettronico di informazioni, la convergenza verso le tecnologie digitali, la crescita esponenziale di internet e la liberalizzazione del settore delle telecomunicazioni sono considerate le tappe verso l'avvento di quella che viene chiamata la "società dell'informazione". Sempre più l'informazione, per lo più racchiusa in segni linguistici, si trasforma in bene economicamente trascinante, spesso più importante dei beni materiali. Ecco che gestire le informazioni diventa una delle attività cruciali in qualsiasi settore. Anzi, la gestione delle informazioni costituisce ormai il nucleo, la base di qualsiasi impresa economica, ma non solo. Data mining, web mining, information retrieval, information broking, sono alcuni dei neologismi che alludono a diverse attività che hanno in comune l'obiettivo di scoprire nuova conoscenza estraendo informazione da basi di dati (il cui significato è possibile raggiungere da questo link) 18

19 Conoscere La conoscenza è saper usare e produrre informazioni: saperle selezionare, saperne valutare la qualità e l'utilità, saperle gestire, saperle collegare, saperle manipolare per produrne di nuove allo scopo, per esempio, di progettare una ricerca, scrivere un libro, redigere un articolo, fare una tesi di laurea, decidere una strategia d'azione, tradurre un testo. Conoscere è anche saper ricercare 19

20 Ricercare: alcune semplici regole Per prima cosa è importante definire l'oggetto della ricerca: tutte le informazioni possibili su un certo argomento (per esempio per comporre una sitografia o raccogliere letteratura su un certo argomento) o un'informazione specifica (chi, cosa, come, perché, dove, quando, quanto?). Una volta chiariti questi aspetti, scegliamo lo strumento più adatto. Nel primo caso possiamo iniziare da una risorsa strutturata come una web directory generalista, un portale tematico o un catalogo di settore. Nel secondo caso, invece, è preferibile optare subito per la ricerca libera con un motore di ricerca automatico, possibilmente potente e veloce. Spesso la risposta al nostro quesito è contenuta già nell'elenco dei risultati proposti dal motore di ricerca stesso. 20

21 Ricercare: il motore di ricerca Se decidiamo di utilizzare un motore di ricerca, quali sono le parole chiave che meglio riassumono il concetto o l'oggetto su cui intendiamo condurre la nostra ricerca? Quali parole sono sicuramente presenti in tutte le pagine che trattano quell'argomento? Per ricerche più complesse può essere utile prendere carta e matita e, con il metodo delle libere associazioni, annotare tutti i termini, le parole, i sinonimi, le persone, le date, le abbreviazioni, gli slogan, i modi di dire ecc. che associamo a quell'oggetto. Oppure realizzare una mappa concettuale in cui fissare graficamente le relazioni tra l'oggetto della ricerca e i vari concetti correlati. Ricordarsi che talvolta può essere utile anche un approccio "archivistico" alla ricerca delle informazioni, mirando alla fonte, ovvero all'ente che emana o comunque è interessato ai documenti cercati. Tentare di costruire indirizzi del tipo o può portare direttamente alla meta. 21

22 Ricercare: search engine I motori di ricerca (dall'inglese search engine) sono quei siti web che offrono gratuitamente un servizio di ricerca. Esistono ormai svariate centinaia di motori di ricerca sul web. Quali sono i migliori? Come scegliere quello più adatto alle proprie esigenze? Vediamo quali possono essere le modalità con le quali selezionare un motore di ricerca e non un altro, quali caratteristiche contraddistinguono i search engine attuali e come funzionano e quali possono essere le tipologie nelle quali suddividere questi servizi sul web. I motori di ricerca automatici si avvalgono di agenti software, di programmi robot (detti crawler, spider o indicizzatori) che navigano in internet e archiviano i testi di tutte le pagine che trovano (Le pagine web, a loro volta utilizzano specifiche tecniche per farsi trovare dai motori di ricerca). Esempi di motore di ricerca automatici sono Google, All the web, Altavista 22

23 Ricercare: directory Una web directory (indice, catalogo) è un motore di ricerca in cui una redazione composta da esseri umani cataloga e suddivide i siti web in categorie, raggruppandoli per argomento. A differenza dei motori di ricerca automatici, nel caso delle web directory un sito deve essere segnalato da chi l'ha creato oppure individuato dalla redazione. Attualmente le web directory più famose e più grandi del mondo sono Yahoo! e Dmoz-Open directory project. Le directory, dunque, offrono liste di siti web, suddivisi in categorie a seconda del loro argomento e accompagnati da brevi descrizioni dei contenuti. Dalla categoria generale si passa alla sottocategoria, poi alla sotto-sottocategoria ecc., finché non si arriva al livello dove si trovano i siti che ci interessano. È possibile anche fare ricerche sulla descrizione dei siti contenuti nella categoria. Categorie e descrizioni sono suggerite dai realizzatori dei siti web e poi esaminate dalla redazione della directory. Tuttavia, per combinare le potenzialità del software alle caratteristiche delle web directory la maggior parte dei grandi motori di ricerca è dotata ormai sia di uno strumento di ricerca con indice generato in modo automatico, sia di una directory gestita 23e recensita da una redazione umana.

24 Ricercare: Meta motori I metamotori di ricerca (metacrawler) permettono di consultare contemporaneamente diversi motori eseguendo l'interrogazione da una stessa pagina e riportando in modo chiaro i risultati. I metacrawler riescono infatti a recuperare tutte le informazioni provenienti dagli archivi dei diversi motori presentandoli in un'unica lista e raggruppando i duplicati. L'efficacia dei metamotori è strettamente collegata al numero di motori che sono in grado di interrogare e alla possibilità o meno di recuperare tutte le informazioni in un'unica lista. Un buon esempio di questa tipologia di strumenti sono Ixquick e Clusty. In modo analogo funzionano anche alcuni software di ricerca, scaricabili da internet e da installare sul proprio computer, come l'ottimo Copernic; questi software offrono la possibilità di gestire i risultati delle proprie ricerche anche offline. 24

25 Ricercare: motori o web directory? Mentre le directory raccolgono poche informazioni sui siti (la semplice descrizione), un motore di ricerca raccoglie tutte le informazioni su tutte le pagine web che trova. Le più grandi directory coprono, oggi, tra uno e due milioni di siti, mentre il motore di ricerca Google, per esempio, dichiarava nel marzo del 2005 di avere in archivio oltre 8 miliardi di pagine web. Le directory sono create e gestite da persone secondo gusti e criteri personali che non necessariamente corrispondono alle nostre esigenze. Gli indici dei motori di ricerca sono generati in modo automatico in base alle parole o alle sequenze di parole trovate sulle pagine web senza che le informazioni vengano filtrate o riorganizzate, e applicando i metodi di ricerca si può ottenere direttamente ciò che si vuole. Con l'andare del tempo le directory rischiano di invecchiare, perché per esempio i siti scompaiono oppure cambiano indirizzo e le redazioni, per un motivo o per l'altro, non le aggiornano con sufficiente frequenza, mentre i motori di ricerca non corrono questo pericolo e si arricchiscono nel tempo con l'indicizzazione di nuove pagine web. 25

26 Ricercare: motori o web directory? Poiché i siti spesso comprendono pagine di argomento diverso, a volte è difficile classificare con categorie univoche. Problema che non si pone, invece, con il motore di ricerca automatico, poiché quest'ultimo considera ogni pagina come singola. Complessivamente si può dire che la directory è più adatta per una ricerca sistematica mirata alla raccolta possibilmente esaustiva di documenti validi su un certo argomento, mentre il motore di ricerca è particolarmente adatto per ricerche mirate al reperimento di un'informazione specifica. Alcuni esempi: Ricerca su un determinato poeta? Meglio una web directory Ricerca di un un verso di una poesia? Meglio il motore di ricerca automatico Una lista di siti dei maggiori quotidiani? Meglio utilizzare una web directory Una citazione da un articolo senza sapere da quale giornale è tratta? Meglio il motore di ricerca. 26

27 Google: panoramica A ogni ricerca effettuata, Google è in grado di mostrare sempre i risultati più significativi, oltre che più attinenti alle parole chiave utilizzate dall'utente. Per restituire i risultati più importanti, usa una tecnologia denominata PageRank, attraverso la quale valorizza al massimo la principale caratteristica del Web, ovvero i link. In pratica Google interpreta un link che collega una determinata pagina a un'altra come un voto, e pertanto misura l'importanza di una singola pagina in base ai voti che riceve, ovvero più sono i link che rimandano a una certa pagina più questa pagina è per qualche ragione interessante per la comunità degli internauti. Inoltre Google restituisce solamente pagine che contengono tutti i termini di ricerca inseriti dall'utente, nel testo, nel titolo, nella url della pagina o nei collegamenti ipertestuali che rimandano a quella pagina. Nel mostrare le descrizioni delle pagine risultate da una ricerca, Google estrapola la porzione di testo contenente i termini di una ricerca (evidenziandoli) direttamente nei risultati della stessa ricerca. È questa una caratteristica che rende Google uno strumento particolarmente prezioso. 27

28 La ricerca semplice La ricerca semplice permette di accedere alle risorse del motore usando una sintassi quasi naturale. È sufficiente inserire in maniera intuitiva una o più parole chiave (in genere i motori non fanno distinzione tra maiuscole e minuscole) per ottenere un elenco di documenti - titolo della pagina, un breve estratto con le parole chiave evidenziate in neretto e l'indirizzo o url della pagina stessa - che dovrebbero trattare l'argomento cercato. 28

29 La ricerca di una locuzione Se si cerca una locuzione o una frase esatta, racchiudere la locuzione o la frase tra virgolette alte doppie: "motori di ricerca", "Nel mezzo del cammin di nostra vita". In caso contrario, i vari termini inseriti potrebbero trovarsi sparpagliati nelle pagine proposte come risultato e non avere alcuna attinenza tra loro. In Google, se la locuzione o frase non è seguita da un altro termine sono sufficienti le virgolette iniziali. Perché una parola specifica sia sempre inclusa nei risultati, in molti motori di ricerca è necessario digitare nella maschera di interrogazione un segno più (+) preceduto da uno spazio e immediatamente dopo (senza spazio) la parola chiave. Perché invece una parola specifica sia sempre esclusa, digitare un segno meno (-) preceduto da uno spazio e immediatamente dopo (senza spazio) la parola chiave. Esempio: berlusconi +milan indicherà tutte le pagine in cui si parla di Berlusconi come presidente del Milan, mentre berlusconi milan le escluderà. 29

30 Le stop words Occorre tenere presente che Google, come altri motori di ricerca, non prende in considerazione le cosiddette stop words, ovvero le parole più comuni come articoli, preposizioni semplici o singoli segni o lettere (in inglese, anche vocaboli come when e where). Quando vogliamo che tali parole siano incluse nei risultati della nostra ricerca, dunque, dovremo digitare un più (+) davanti alla parola in questione, oppure racchiudere la stringa (sequenza di parole, spazi e segni) tra virgolette. Esempio: se cerchiamo informazioni su papa Innocenzo I, digitando solamente innocenzo I otterremo molti risultati su altri papi e personaggi con lo stesso nome, perché il motore di ricerca avrà scambiato il numero ordinale per la lettera i. Viceversa, digitando innocenzo +I, oppure "innocenzo I", otterremo pagine riguardanti il solo papa in questione. 30

31 La ricerca di pagine in italiano Selezionare l'opzione «Cerca solo le pagine in italiano» per limitare la ricerca alle pagine web scritte in questa lingua. Non sempre, però, i filtri delle lingue sono sufficienti a limitare i risultati alle sole pagine in italiano; per forzare il motore di ricerca, è possibile inserire accanto alla chiave di ricerca parole tipiche della nostra lingua e solo di questa (articoli, preposizioni o congiunzioni), tanto frequenti da essere presenti in qualsiasi testo. Naturalmente, poiché come abbiamo detto sopra la maggior parte di queste parole molto comuni non viene presa in considerazione dal motore di ricerca, esse andranno racchiuse tra virgolette alte o precedute dal segno più (+):"narrativa contemporanea" +il oppure "narrativa contemporanea" "il". Analogamente, la stessa operazione può essere effettuata per le altre lingue. Riportiamo alcuni esempi per le principali lingue europee: italiano: il, gli, della, sul inglese: but, how, are, and francese: sont, une, parce que tedesco: aber, als, der, ist, von spagnolo: y, esto, aunque portoghese: os, não (basta digitare nao) nederlandese: een, het svedese: och 31

32 32 La ricerca avanzata

33 Operatori di ricerca Gli operatori più comuni, oltre al segno più (+), al segno meno (-) e alle virgolette alte (" "), di cui abbiamo già parlato, sono gli operatori booleani, accettati da quasi tutti i motori di ricerca. Si tratta di quattro parole - AND, OR, NOT e NEAR - in grado di espandere o restringere il campo della ricerca di un'interrogazione. Devono il nome al matematico inglese George Boole ( ), che pose le basi della moderna logica simbolica. È consigliabile inserire questi operatori sempre a lettere maiuscole, sia per meglio distinguerli dalle parole chiave vere e proprie sia perché alcuni motori lo richiedono espressamente. 33

34 Operatori di ricerca Ogni motore di ricerca ha poi i suoi operatori, che possono variare per funzioni e denominazioni. L'operatore che limita la ricerca ai titoli delle pagine web, per esempio, in Altavista è title:, mentre in Google è intitle:. Nelle pagine che seguono ci riferiremo agli operatori utilizzati da Google. Tra i tanti operatori utili per le ricerche in ambito redazionale, linguistico, traduttivo ecc. citiamo in particolare intitle:, site:, inurl:, define:, filetype:, link:. Il primo, per esempio, possiamo utilizzarlo per trovare repertori, raccolte, dizionari e in generale risorse strutturate. Esempio: digitando intitle:proverbi troveremo repertori di proverbi; se invece digitiamo contadino intitle:proverbi, limiteremo la ricerca a quei proverbi che contengono il termine contadino. In modo analogo, se cerchiamo un dizionario contenente la parola distopia potremo digitare distopia intitle:dizionario. 34

35 Operatori di ricerca Un modo di indicare il paese di cui si stanno cercando documenti è quello di utilizzare l'operatore site: seguito dal dominio dei singoli paesi. Esempio: site:it (Italia), site:uk (Regno Unito), site:ar (Argentina), site:au (Australia), ecc. Un operatore di Google molto interessante è define:, che consente di reperire definizioni. È sufficiente digitare define: seguito dal termine in questione (senza spazio) e il motore restituisce pagine contenenti definizioni reperite all'interno di dizionari, glossari, enciclopedie ecc. 35

36 36 Operatori di ricerca

37 37 Operatori di ricerca

38 Servizi Google Directory Si tratta di una webdirectory basata su Dmoz-Open directory project. Google utilizza l'algoritmo che consente di determinare la popolarità di un sito anche per gli elenchi, pertanto i siti più popolari occupano le prime posizioni. Google Gruppi Con questo servizio Google ha archiviato i forum Usenet, una rete mondiale di forum di discussione, arrivando in alcuni casi fino a 20 anni indietro creando un archivio con circa un miliardo di messaggio. Ricerca immagini Froogle Lanciato nel 2002 deve il suo nome alla combinazione delle parole "Google" e "frugal" (frugale). Si tratta di una directory per fare acquisti con funzioni di ricerca simili a Google Directory che indirizza l'utente direttamente al punto vendita online dove è possibile acquistare l'oggetto cercato. Google Labs Si tratta di un sito utilizzato da Google per mostrare al pubblico i progetti in corso e permetterne la sperimentazione. 38

39 Servizi Google Ricerca Libri si tratta di un ambizioso programma con cui Google intende digitalizzare tutto il patrimonio librario del mondo e che permette la ricerca di testi interi o ampi estratti. Google Scholar Si tratta di un interessante servizio che permette la ricerca di studi, saggi e articoli scientifici pubblicati da università, enti e riviste scientifiche. Google Video Si tratta di un servizio che permette la ricerca all'interno di un'ampia selezione di video amatoriali. Google Ricerca Blog Si tratta di un servizio che permette la ricerca all'interno dei blog. Google Maps È una grande raccolta di mappe e foto satellitari, che permette di rintracciare indirizzi in tutto il mondo e vedere con straordinario dettaglio i più sperduti luoghi della Terra. Si può scaricare il software Google Earth che rende più agevole la navigazione e la visualizzazione di percorsi, itinerari, risorse ed anche edifici in 3D, creati dalla comunità degli utenti. 39

40 Dizionari e glossari Esistono numerosi siti, in varie lingue, che rappresentano eccellenti porte d'accesso al mondo dei reference on-line. Alcuni di essi sono molto bene organizzati e offrono vasti repertori di collegamenti a risorse terminologiche, enciclopediche, linguistiche e traduttive. Ecco una selezione dei più interessanti, che a loro volta rimandano a molte altre risorse analoghe. Un indirizzo fondamentale è il sito portale della Rete REI - Rete di eccellenza dell'italiano istituzionale, creato nel 2005 su iniziativa dei traduttori italiani della Commissione europea, e a cui contribuiscono con le loro risorse linguistiche molte delle maggiori istituzioni delle Comunità europee, pubblica amministrazione italiana e svizzera, università e centri di ricerca. Segnaliamo poi Sitoteca di Edigeo, grande biblioteca delle opere di consultazione online e yourdictionary, il più ricco tra i portali di questo genere, con migliaia di dizionari, enciclopedie e numerose altre risorse linguistiche in moltissime lingue. Altro noto e potente metadizionario è l'ormai classico OneLook, che permette di lanciare le proprie ricerche linguistiche e lessicali (definizioni e/o traduzioni) simultaneamente 40 in circa un migliaio di dizionari e glossari on-line.

41 Facilitatori Term-minator è uno strumento di ricerca avanzata per traduttori, redattori e linguisti. Amplia e potenzia le possibilità di ricerca dei motori di ricerca proponendo stringhe di ricerca automatizzate che combinano in modo mirato gli operatori e limitano la ricerca al tipo di siti o al sito in cui le informazioni cercate sono contenute. La homepage del sito propone attualmente il seguente menu con 35 opzioni di ricerca. Per verificare la popolarità di un sito sul web, il motore di ricerca Alexa offre la funzione "Traffic ranking" con la quale si possono ottenere interessati informazioni sul numero di accessi a un sito, sul numero di link che vi ci portano, sul tipo di utenti che lo frequentano. Per vedere precedenti versioni della pagina di un sito verifica su Waybackmachine, una sorta di archivio del web dove sono conservate (molte) pagine web fuori linea. 41

42 W3C W f e i b l t e Evoluzione del web Web Html formattazione del contenuto della pagina e iperlink Web Xml costruzione di template di documenti indipendenti dal contenuto Web semantico (*) RDF integrazione con BD di testi e di informazioni strutturate Web 2 interazione multimediale con l utente (*) Nel contesto del Semantic Web, il termine semantico assume la valenza di elaborabile dalla macchina" e non intende fare riferimento alla semantica del linguaggio naturale e alle tecniche di intelligenza artificiale 42

43 Evoluzione del web filtering 1-All inizio era solo per motivi di sicurezza. 2-Si passa ad un filtraggio delle informazioni per evitare il rumore delle stesse in base a filtri per: categoria, argomenti. Si passa alle prime pagine personalizzate in base ad un profilo dichiarato o richiesto all utente (compare il concetto di la mia home page ) 3-Registrazione delle abitudini dell utente e costruzione automatica del profilo con conseguente costruzione automatica della pagina utente. Primi siti personalized store (ie. Amazon store). L utente non fa più queryper tradurre la sua esigenza in domanda, ma gli si presentano già potenziali risposte alle sue abitudini di navigazione. Ma come produrre un profilo automatico? Bisogna conoscere chi naviga: diventa fondamentale sapere cosa legge nel web. Si fanno strada l analisi semantica dei testi e le ANN ai fini della probabilità che il prossimo argomento che verrà letto sia proprio quello da proporre. 43

44 Text mining Cos è? La capacità di trovare regolarità di rilievo in grandi dataset testuali. Di rilievo significa: non-trivial, nascosti, sconosciuti prima, potenzialmente utili. Ancora una volta si fanno strada l analisi semantica dei testi e le ANN ai fini della scoperta delle regolarità. 44

45 Esempi di context sensitive search