Information Retrieval Cos è l Information Retrieval

Transcript

1 Information Retrieval Cos è l Information Retrieval, Roma 3 novembre 2009

2 Sommario 1 Il Web 2 Cos è l IR 3 Che cosè l Informazione 4 Obiettivi del corso 5 Risorse e sviluppo del corso

3 Cos è l informazione documentale (Information Retrieval) Sono molto efficaci (per alcuni compiti) Molto diffusi e di successo (alcuni di loro) Come funzionano? Cosa c è oltre il Web?

4

5 Classificazione delle interrogazioni nel web Informazionale - attività di apprendimento ( 40%) Navigazionale - cerco una determinata pagina ( 25%) Transazionale - ho bisogno di un servizio ( 35%) Accesso ad un servizio Download Compere Aree grigie Trovare un hub Ricerca esploratrice: Vediamo cosa c è

6 Il Web Il Web è un esempio di ipertesto, nodi e collegamenti. Come sfruttare la meta-informazione del collegamento? HTML è nato per trattare l ipertesto (CERN 1980) Il primo programma di interfaccia grafica per l ipertesto: World Wide Web (1990) Il primo browser è stato MOSAIC per UNIX (1993) L Università di Stanford ha creato la tassonomia di Yahoo! (1994), Lycos (CMU 1994) Il consorzio W3C (CERN+MIT) è nato nel 1995, AltaVista (DEC 1995) Page e Brin (università di Stanford) definiscono l algoritmo PageRank di Google (1996) Google (1997)

7 Aree Crawling Indicizzazione Cataloghi (Topic directories) (tassonomia per aree/interessi) Clustering e Classificazione (organizzazione piatta e dinamica) Analisi ipertestuali (grafi, catene di Markov) Ricerca verticale (su particolari domini: IT, turismo) Data mining (XML, RDF) Profilazione di utente

8 In questo corso sapremo... Cosa rende Google, MSN Search o Yahoo speciale? Come raccolgono e sintetizzano l informazione? Quali algoritmi implementano? Come renderli migliori? Comprensione del linguaggio naturale? Interazione con l utente? Come possiamo renderli veloci ed efficienti? Computer più veloci? Caching? Compressione? Parallellismo? Come possiamo stabilire che sono efficaci? Per tutte o per alcune delle interrogazioni? Su ogni tipo di documento? Cosa può essere trasferito ad altri domini? Altri media? Ad altre applicazioni?

9 Cos è l IR? Una definizione generale Recupero di dati non strutturati. Spesso si tratta di documenti web o di una collezione di articoli Passaggi significativi, sommari ma anche nomi o liste di nomi. Ma anche File di immagini Video File musicali... Desktop Search

10 Indexer Parser & tokenizer list of postings (term, document, term frequency) Stop words removal Stemming Collection Query representation inverted file direct file Searching Retrieval of postings Query for each query-term Retrieval of postings for each relevant/topmost-retrieved (document, term frequency) document (term, term fre- quency) Matching (Term-weighting) Document Ranking Query Expansion User s relevance feedback

11 Modelli Rappresentazione dei dati non strutturati Rappresentazione delle interrogazioni Dati di rilevanza e loro rappresentazione (apprendimento automatico) Sistemi Costruzione degli indici, strutture dei dati Parser, tokenizer, stemmer Funzioni di recupero e presentazione dei risultati Utente (relevance feedback) Funzioni di espansione delle interrogazioni Valutazione L IR è una scienza empirica L IR è tecnologia

12 Che cosa si intende per Informazione In che cosa è differente da un informazione contenuta in un Database? L Informazione è un dato che ha significato in un contesto. L Informazione si può misurare. Un database contiene dei dati ma produce informazione. Un sistema IR contiene e produce informazione. In cosa differisce dalla Conoscenza? La conoscenza è alla base del processo di decisione. Molti sistemi basati sulla conoscenza contengono regole di decisione

13 La piramide del sapere

14 Comparazione di un sistema di IR con un database Database Dati Strutturati Non strutturati Campi Semantica (età, nome) No/markup language Interrogazioni Definite (algebra relazionale, Testo libero, booleano SQL) IR Recupero (recoverability), concorrenza, Critico Meno importante atomicità Matching Esatto Parziale/impreciso

15 Cosa si intende per Retrieval? Trovare qualcosa che si sta cercando relativamente ad alcune categorie di interrogazione: Un oggetto (nome) conosciuto Known item search: come una home-page Trovare una risposta (Four W: where, when, who, what) Chi sono i vincitori dei premi Nobel? (lista) Quale è la capitale della Francia? (fatto) Cos è l IR?(definizione) Esplorazione diretta Quali sono i produttori di sistemi di videoconferenza? Prendere delle decisioni Migliori alberghi per soggiornare a Parigi?

16 Oltre il WEB search Agenti (filtering, routing) Sistemi di raccomandazioni (Recommendation systems, Amazon) Classificazione automatica, (Automatic organisation, clustering) IR multilingue (Cross-Language Information Retrieval) Data Mining Uso del Web & Topic tracking (... prossima trasparenza) Gestione della Conoscenza (Knowledge Management) Meta-search (multi-database searching, cfr. Summarisation Question Answering...

17 Il caso AOL: tecnologia, ricerca e sviluppo Il centro ricerca di AOL nell agosto 2006 ha rilasciato un insieme di dati (logs) che contiene circa 20 milioni di ricerche fatte in 3 mesi da circa utenti. AOL ha deciso di eliminare il gruppo di ricerca e di non collaborare più con il mondo accademico. Perchè? Privacy. Mercato delle parole chiave. Sperimentazione sui dati crea innovazione e favorisce i competitori. UserID Search Keywords Date Website wife kill :26: how to kill your wife :09:00

18 Perchè Recuperare? Articoli di giornali Pagine Web Documenti scolastici, aziendali, legali, tecnici ecc. Documenti XML Bioinformatica, medicina. Esplosione della crescita del contenuto informativo Finding Out About è scoprire, l informazione è un bene, e quindi occorre fornirlo in modo coerente, preciso e esaustivo.

19 Obiettivi Alla fine del corso sarete in grado di... Spiegare come avviene il processo di recupero. Costruire un sistema di IR e realizzarlo per applicazioni pratiche. Spiegare come valutare i sistemi di IR. Capire il processo di ricerca nel web Spiegare le tecnologie IR più avanzate & le Applicazioni

20 Risorse Il materiale delle Lezioni si troveranno sulla homepage Metodo Lezioni Tutorials (Terrier) Valutazione Valutazione del lavoro durante il corso mediante lo sviluppo di un applicazione Esami finali Wiki

21 Terrier Progetto di ricerca (dal Primo rilascio nel Novembre 2004) Stato dell arte dei modelli di estrazione dell informazione Hanno lavorato 3 ricercatori, 9 PhD, più di una dozzina di sviluppatori. Applicazioni Web/intranet search engine Desktop search Expert search engine search engine XML search engine RSS feeds and blogs search engine Multilingual search engine Interesse attuale: Blogs, Question-answering engine

22 La piattaforma di Terrier Esiste una versione open source sotto licenza MPL Fornisce lo stato dell arte dei modelli di IR. Multi-piattaforma, sviluppato in Java. Gira su Windows, Unix/Linux, MacOS X API per l indicizzazione e l interrogazione Facile da iniziare Facile da estendere/adattare a nuove applicazioni Architettura modulare Altamente configurabile con molte opzioni Facilmente integrabile con un database relazionale Incoraggiare la ricerca e la valutazione trasparente di modelli di IR.

23 Valutazione di Terrier Partecipazione alla TREC dal 2001: Sempre tra le migliori prestazioni nelle sessioni Ad-hoc, Robust, Web, Terabyte e Enterprise Migliore prestazione TREC 2001 Web Track Migliore prestazione TREC 2004 Terabyte track Migliore prestazione TREC 2004 Web track Migliore prestazione TREC 2005 Enterprise track Partecipazione a CLEF 2004 and 2005 Migliori prestazioni in 5 lingue CLEF 2005 Web track 11 linguaggi europei (Russo, Olandese, Greco, etc.) Prestazioni migliori anche di molti prodotti commerciali (e.g. Hummingbird, Microsoft Research, Sabir, Etymon)

24 Libri di testo/ libri consigliati Introduction to Information Retrieval, di C. D. Manning, P. Raghavan e H. Schütze, Mining the Web: Discovering knowledge from Mining the Web, di Soumen Chakrabarti, Morgan Kaufmann Publishers, 2003 (per il web, essenziale, conciso e di facile lettura). Altre letture: Information Retrieval, di C.J. van Rijsbergen (di importanza storica, ma ancora rilevante dal punto di vista teorico, consultabile in rete). Managing Gigabytes, di Ian Witten, Alistair Moffat, Timothy Bell, Morgan Kaufmann Publishers, 1999 (ottimo per l implementazione di algoritmi di compressione e ricerca).