Corso di Modelli per la Gestione e la Ricerca di Informazione

Transcript

1 Corso di Modelli per la Gestione e la Ricerca di Informazione (a.a ) Roberto Basili 1

2 Organizzazione del Corso: Sezione I: Information Retrieval Tasks, Modelli e Tecnologie Applicazioni Sezione II: Informazione Distribuita Infrastrutture (par and Distr BDMS) multimedia Models of Data vs. Models of Content Web Sezione III: ML for Information Retrieval Classificazione Automatica Induttiva Teoria Statistica dell Apprendimento (SLT) Applicazioni 2

3 Aspetti fondazionali Obbiettivi (2): Modelli di IR, Statistical Learning Theory Esercitazioni dedicate Teoria Progetto Finale IR: Applicazioni IR Avanzato ML for IR 3

4 Propedeuticità Laurea Triennale in Informatica o Lauree affini (ad es. Automatica, Telecomunicazioni, Gestionale) Prerequisiti Tecnici: Elementi di geometria Elementi di Calcolo delle Probabilità e Statistica SO, BdD, IS1, SBC 4

5 Orari LUN h. 14:00-15:45 Aula 6 Nuovi Edifici MAR h. 16:00-17:45 Aula 4 Nuovi Edifici GIO h. 14:00-15:45 Aula 6 Nuovi Edifici 5

6 Testi Consigliati Testi di Riferimento IR "Modern Information Retrieval", Ricardo Baeza-Yates, Berthier Ribeiro-Neto. Addison Wesley, ISBN: X MLxIR. Statistical Machine Learning for Text Categorization, R. Basili, A. Moschitti. ARACNE Ed., 2005 Materiale complementare DBMS. Database Management Systems, 3rd Edition, di Raghu Ramakrishnan e Johannes Gehrke, McGraw Hill, 2000 (ISBN ). Articoli e Dispense Dispense e Lucidi delle lezioni Pagina Web: 6

7 Esame 1 Test in itinere - fine Ottobre 1 Test Finale di ammissione 1 Progetto Finale \ Prova Orale 7

8 8

9 Parte II: Information Retrieval Introduzione 9

10 Informazione Automatizzata Interne Esterne Pubbliche Sw libraries Lettere Basi di Dati Basi di Conoscenza Thesaura, Ontologie Videotex Grafici Immagini Video Campioni Video Clips Chioschi Elettronici Pubblicazioni Multimediali Web pages Internet Portals DATI TESTI IMMAGINI SUONI MULTIMEDIALI 10

11 Applicazioni Midware Professionali Gestionali Tecniche Sistemi di Pagamento Elettronico Sistemi di Supporto Individuale Decisionali Controllo Operative Robotica Commutazione Misure Posta Elettronica Gestione Documentazione Telerilevamento Biblioteche CRM Digitali E-Government Commercio Elettronico Sound Editing Hard Disk Recording KM Controllo Ambientale DATI TESTI IMMAGINI SUONI MULTIMEDIALI 11

12 Alcune Statistiche (2003) 12

13 Alcune Statistiche 13

14 Alcune Statistiche 14

15 Reperimento della Informazione Se la memorizzazione (mediante dispositivi di memoria di massa) e massiva (testi, immagini, suoni, ) si pone il problema di ricercare tale informazione Il livello di astrazione consentito dai Sistemi Operativi (File System) e solo un primo livello: e insufficiente in molti casi (ad es. anagrafica) non e ottimale (riguardo alla velocità della ricerca) 15

16 Reperimento della Informazione Ricercare in generale significa definire i propri bisogni informativi memorizzare i risultati raffinare la propria selezione ridefinire i requisiti informativi navigare attraverso i dati trovati elaborare, cioe combinare i dati di diverse ricerche 16

17 Reperimento della Informazione (IR): Strumenti determinano (a priori) una strutturazione dell informazione da ricercare che rifletta il linguaggio di interrogazione rifletta la natura (cioe il contenuto) dei dati da ricercare (vd. JPEG, BMP, WAV!!) faciliti le operazioni interne di ricerca forniscono un linguaggio per la definizione dei bisogni informativi, detto linguaggio di interrogazione (Query language) 17

18 Dati: Tipico processo di IR Una collezione di documenti in linguaggio naturale. Una interrogazione utente (in genere una stringa di testo) Trovare: Un elenco ordinato di documenti rilevanti per la interrogazione (l ordinamento e decrescente) 18

19 Sistema di IR Documenti Query IR System Docs ordinati 1. Doc1 2. Doc2 3. Doc3.. 19

20 Rilevanza (Attinenza) La attinenza di un documento ad una interrogazione (query) e soggettiva e dipende da: appartenenza ad un campo semantico (soggetto) puntualità (essere recente ed al momento giusto) autorità (provenienza sicura) vicinanza agli obbiettivi dell utente ed al suo utilizzo dell informazione 20

21 Keyword (Parole chiave) Una keyword e costituita di una o piu parole rugby, Scozia, Italia 6 Nazioni, Istituto di Fisica Matematica Costituiscono la nozione piu semplice di attinenza, i.e. Occorrenza letterale nel testo Unico compromesso: Le parole definite come keyword debbono apparire frequentemente nel documento, indipendentemente del loro ordine (bag of words). 21

22 Limitazioni delle keywords (Silenzio) non vengono trovati documenti che includano (solo) termini sinonimi imposta vs. tassa, basket vs. pallacanestro Stati Uniti vs. USA (Rumore) vengono ritrovati documenti che includono termini ambigui imposta (finestra vs. tassa) Apple (company vs. frutta) operare (in mercato vs. chirurgia) Jaguar (macchina vs. software) 22

23 IR intelligente Rendere sensibile il sistema al significato delle parole Considerare l ordinamento delle parole della interrogazione Considerare l utente sulla base di un feedback esplicito o implicito Considerare informazioni sulla sorgente (ad es. autorità/affidabilità delle fonti) 24

24 Architettura di un sistema di IR User Need INTERFACCIA Utente OPERAZIONI sul testo Testo User Feedback OPERAZIONI sulla Query INDICIZZAZIONE Database Manager Query Docs Ordinati RICERCA ORDINAMENTO INDICI Documenti Trovati Inverted file Database Testi 25

25 Sistemi di IR: Componenti Operazioni sui Testi Selezione degli indici. Rimozione delle Stopword Stemming/Lemmatizzazione 26

26 Operazioni sui Testi. 27

27 Sistemi di IR: Componenti (2) INDICIZZAZIONE Costruisce l indice inverso: parole riferimenti ai documenti RICERCA: trova i documenti che includono un elemento della interrogazione (usando l indice inverso) ORDINAMENTO dei documenti trovati secondo i valori di attinenza. 28

28 Sistemi di IR: Componenti (3) Interfacce utente: gesticono le interazioni Inserimento interrogazione e visualizzazione dei documenti. Relevance feedback. Visualizazione dei risultati. Operazioni sulla Query: trasformano la query per migliorare le prestazioni: Espansione (Query expansion) mediante un thesaurus. Trasformazione (pesatura) mediante relevance feedback. 29

29 IR: Ulteriori task Categorizzazione Automatica di Documenti Information filtering (spam filtering) Information routing Document clustering Recommending information or products Information extraction Information integration Question answering 32

30 IR: Storia s: Esplorazione iniziale per piccole collezioni (abstract scientifici, leggi e documenti commerciali). Sviluppo del modello booleano di base e del Vector-Space Model Salton et Cornell University 33

31 1980 s: IR: Storia (2) Database documentali di enormi dimensioni Alcuni gestiti da imprese: Lexis-Nexis MEDLINE 34

32 1990 s: IR: Storia Ricerca di documenti attraverso Internet (FTP) Archie WAIS Ricerca nel World Wide Web Lycos Yahoo Altavista 35

33 1990 s continued: Competizioni NIST TREC IR: Storia Sistemi di raccomandazione Amazon NetPerceptions (collaborative filering) Categorizzazione automatica di documenti e & document clustering 36

34 2000 s Link analysis Google Storia Recente Information Extraction MUC conferences (80 s-90 s) Portali (WonderPort, Radiocor) Content Management (NetOWL, TREVI, NAMIC) Question Answering TREC Q/A track 37

35 NetOWL 38

36 RADIOCOR 39

37 TREVI 40

38 TREVI (2) 41

39 TREVI (3) 42

40 News streams English MS English EM The NAMIC architecture NAMIC NAMIC XML Objective Representation Italian MS Italian EM Hyperlinking Engine Spanish MS Spanish EM Language processors World Model Multilingual Hypernews Engine NAMIC monitor 43

41 44

42 Redbus Interhouse 45

43 IR : Storia recente 2000 s: Multimedia IR Immagini Video Audio e music Cross-Language IR DARPA Tides Sommarizzazione di Documenti 46

44 IR: Contiguita Disciplinare Database Management Library and Information Science Artificial Intelligence Natural Language Processing Machine Learning 47

45 Database Management Focus su dati strutturati memorizzati in tabelle relazionali non in testo libero. Focus su elaborazione efficiente di interrogazioni in linguaggi formali non ambigui (SQL). Semantica chiara di dati ed interrogazioni. Trend verso dati semi-strutturati (XML) cioe verso problemi simili a quelli di IR/AI. 48

46 Library and Information Science Focus sugli aspetti di utilizzabilità dell IR (interazione uomo-macchina, interfacce e visualizzazione). Centralità della conoscenza umana (categorizzazione e accessibilità) Focus su bibliometria (e.g. citation analysis) Trend relativo alle digital libraries avvicina a CS e IR. 49

47 Artificial Intelligence Focus sulla rappresentazione, gestione ed uso della conoscenza e sul ragionamento. Formalismi per rappresentare conoscenze ed interrogazioni : Logica dei predicati del primo ordine Reti bayesiane Semantic Web: ontologie e acceso all informazione intelligente (interoperabilita semantica). 50

48 Natural Language Processing Focus sul trattamento automatico della lingua (analisi sintattica, semantica e pragmatica nei testi e nel dialogo). Sintassi (cioè struttura sintagmatica dei testi) e semantica come strumenti di approssimazione del significato di un testo 51

49 NLP: verso l IR Word Sense Disambiguation Information Extraction Question Answering. NL Learning vs. Learning for IR 52

50 Machine Learning Focus sullo sviluppo di sistemi software che migliorano le proprie prestazioni tramite l esperienza. Classificazioen Automatica mediante apprendimento supervisionato da esempi (supervised learning). Metodi automatici di clustering di documenti in classi significative (unsupervised learning for KM). 53

51 Machine Learning: direzioni verso l IR Categorizzazione dei Testi Classificazione Automatica Gerarchica (Yahoo). Filtering/Routing/Reccomendation Adattivi Automated spam filtering. Clustering dei Testi Clustering dei risultatio di IR queries. Sviluppo automatico di gerarchie di classi (Yahoo). Appprendimento Automatico per l Information Extraction Text Mining 54