CORSO DI SISTEMI INFORMATIVI III

Transcript

1 CORSO DI SISTEMI INFORMATIVI III Componenti Principali di un Sistema di IR e i documenti gestiti Gloria Bordogna CNR IDPA Via Pasubio 5, c/o POINT, Dalmine (BG) gloria.bordogna@idpa.cnr.it

2 Storia dell Information Retrieval P. Luhn s statistical indexing/abstracting (1959), G. Salton (60s) MEDLINE (1964), Dialogue (1967) Modelli di ranking: ordinamento dei documenti sulla base di una stima della loro rilevanza (relevance ranking, tardi anni 80) Multimedia, Internet, Digital Libraries (tardi anni 90) Semantic Web: indicizzazione concettuale, disambiguazione (dal 2000)

3 Evoluzione dell Information Retrieval In origine i sistemi di IR erano sistemi di retrieval di riferimenti utilizzati in modalità batch; Attualmente i sistemi di IR sono usati in modalità interattiva real time: per reperire e visualizzare l intero documento; possono essere usati da utenti inesperti; gestiscono collezioni di documenti multimediali (ad esempio il Web) in vari formati Evoluzione dell IR è influenzata da: supporti di memorizzazione sempre piu capaci ed economici; software per la creazione di documenti in formato digitale (wordprocessors, GIS, ecc.); strumenti e SW per la digitalizzazione di documenti cartacei (OCR). strumenti di acquisizioni di dati digitali (immagini, video) Web

4 Struttura base di un IRS ARCHIVIO DI DOCUMENTI INDICIZZAZIONE Tipicamente testi non strutturati o semistrutturati RAPPRESENTAZIONE FORMALE DEI DOCUMENTI Off line DOCUMENTI STIMATI RILEVANTI MECCANISMO DI MATCHING On line FORMULAZIONE DELLA QUERY RAPPRESENTAZIONE DELLA QUERY Un IRS è basato su un modello matematico

5 Il processo di indicizzazione Problema: come descrivere il contenuto semantico di un documento in un modo automaticamente gestibile? Il processo di indicizzazione è basato sull estrazione di elementi (feature) che costituiscono la base della descrizione (rappresentazione) del documento. Per i testi tali elementi (detti indici) sono generalmente parole. I documenti sono rappresentati come insiemi (pesati) di parole. (!! Idea concepita alla fine degli anni 50 e ancora di punta!!!!) {Information, retrieval, computer, science, discipline, keywords } The experimental evidence accumulated over the past 20 years indicates that text indexing systems based on the assignment of appropriately weighted single terms produce retrieval results that are superior than those obtainable with other more elaborate text representations. These results depend crucially on the choice of effective term-weighting systems. (Salton, 1988)

6 Formulazione di richieste (linguaggi di interrogazione) Query semplici Generalmente composte di due o tre, fino a un massimo di 10-12, parole (keywords) es., ricerche su web Query Booleane Es. analisi AND immagini Query con contesto operatori di prossimità, frasi di ricerca Es. neural networks AND immagini Query sul contenuto e sulla struttura Es. Immagini IN titolo Query in Linguaggio Naturale L utente sintetizza le sue necessità informative mediante parole chiave

7 IR: Confronto tra rappresentazione dei documenti e query SCOPO: Reperire i documenti rilevanti per l utente, ossia pertinenti rispetto alle necessità informative espresse in una query (la rilevanza di un documento e relativa alla query formulata). Confronto esatto: Rilevante/ Non Rilevante Confronto parziale: Basato sul calcolo di un punteggio (RSV) risultato di un confronto rispetto alla query (ad. es. misura della vicinanza della query al documento) I documenti sufficientemente vicini o simili alla query vengono reperiti. E necessario definire un metodo per valutare la rilevanza (RSV) (dipende dal modello di Informazion Retrieval)

8 Misure di Similarità utilizzate nell IR similarità tra singoli termini (stringhe) 1) per correggere errori di battitura 2) Per tener conto della correlazione semantica (sinonimia) similarità tra rappresentazione della query e del documento (definita nell ambito di un modello) similarità tra documenti 1) Per tener conto della correlazione semantica 2) Per ottimizzare la struttura dati similarità tra query (profili) di utenti diversi 1) Per applicare tecniche di tipo collaborativo 2) Per ottimizzare l IR in sistemi di IR distribuiti

9 Processo di reperimento delle informazioni Feedback dell utente Interfaccia utente Necessità informative Testo Testo Operazioni di analisi del testo Operazioni sulle query Query Vista Logica Vista Logica Indicizzazione Sistema di gestione dell archivio di Documenti Documenti ordinati Calcolo della Similarità Documenti Reperiti Ordinamento Indici Archivio di Testi

10 Information Retrieval moderno Un sistema moderno di IR opera sia off-line sia on-line (2 cicli distinti) off-line line: costruisce le rappresentazioni dei documenti mediante indicizzazione e organizza tali rappresentazioni in una struttura dati interna; on-line line: legge la query di un utente (parsing), la interpreta e restituisce all utente i documenti stimati rilevanti rispetto ad essa, in una delle forme seguenti: un insieme di documenti stimati rilevanti ( retrieval binario ); una lista ordinata di documenti. Ordine decrescente di {grado probabilità} di rilevanza ( ranked retrieval). Gruppi di documenti omogenei per argomento (ordinati) (talvolta) relevance-feedback: il sistema prende in input il feedback dell utente sui documenti appena trovati e lo usa per costruire una nuova query che porti ad un retrieval più efficace.

11 Difficoltà dell Information Retrieval L Information retrieval è caratterizzato da: Incompletezza della rappresentazione dei documenti soggettività del concetto di rilevanza Ambiguità del significato dei termini Vaghezza delle richieste utente Incertezza della correttezza del risultato Approssimazione del meccanismo di confronto E un attività che necessita di essere modellata con strumenti formali adatti a trattare imprecisione e incertezza IR deve cercare di soddisfare necessità di informazione espresse in modo vago, impreciso mediante le ambiguità del linguaggio naturale, e deve confrontarle, in un modo approssimativo con le informazioni contenute in un documento, ed espresse mediante lo stesso linguaggio naturale. (Smeaton, 1997)

12 Caratteristica dell IR Un algoritmo è scorretto se produce un risultato errato. Un approccio euristico alla soluzione di problemi cerca di produrre risultati il più possibile vicini a quelli che ci si aspetta come corretti. La bontà di un approccio euristico viene misurata valutando quanto dista il risultato prodotto da quello corretto. Le tecniche di IR sono essenzialmente di natura euristica. La bontà di un modello di IR si misura in termini di vicinanza dei risultati prodotti a quelli corretti.

13 Misure di Efficacia del Retrieval Precisione = Rilevanti e Reperiti Reperiti Richiamo = Rilevanti e Reperiti Rilevanti

14 Livelli di Recall (esempio) Num documenti totali reperiti = ci sono solo 5 documenti rilevanti in totale. Posizione nella lista DocId Recall Precision 10 A (1 solo ril rep) 20 B (2 ril rep) 50 C (3 ril rep) 100 D (4 ril rep) 1500 E (5 ril rep)

15 GRAFICO di Recall-Precisione precisione recall Calcola la precisione a.1,.2,.3,, 1.0 livelli di recall. Il grafico ottimale è una retta orizzontale Y=1 precisione sempre a 1 per qualunque valore di recall. Tipicamente all aumentare del recall diminuisce la precisione

16 Documenti : caso + semplice Unità reperibili di Dimensione arbitraria testoin formatolibero codifica EBCDIC, ASCII (8 bit), UNICODE (16 bit) ecc. lingua composto da stringhe di caratteri di un alfabeto ecc; Es. sequenze del genoma (appl. bioinformatica), formule di composti chimici, Parole in linguaggio naturale Esempi articoli di quotidiani, di riviste, messaggi, lettere, referti medici, pagine web, ecc..

17 Caratteristiche dei Documenti documento stile sintassi Testo + struttura + altri media (immagini, suoni,..) + semantica metadati

18 Metadati Tratto da Metadata is information about information - labeling, cataloging and descriptive information structured in such a way that allows pages to be properly searched and processed in particular by computer. In other words, what is now very much needed on the Web is metadata. W3C's Metadata Activity is concerned with ways to model and encode metadata. A particular priority of W3C is to use the Web to document the meaning of the metadata. Our strong interest in metadata has prompted development of the Resource Description Framework (RDF) and Ontology Web Language (OWL) as W3C Recommendations

19 Metadati I metadati associati a un documento sono dati esterni al documento: metadati descrittivi (Dublin Core Metadata Set): relativi alla creazione del documento e non al suo contenuto, ad esempio: titolo, autori, data, lunghezza (in pagine, parole, bytes, ecc.), genere (libro, articolo, memo, mail, ecc), ISBN

20 Metadati metadati semantici relativi all argomento trattato dal documento: Abstract Keywords Subject Codes Library of Congress LCSC Dewey Decimal UMLS (Unified Medical Language System) Subject Codes possono essere estratti da un ontologia

21 Web Metadata POWDER (Protocol for Web Description Resources ) è un gruppo di lavoro del W3C che definisce il protocollo per pubblicare descrizione di risorse Web (es metadati di pagine Web, di siti Web, di servizi Web) usando RDF, OWL, e HTTP. Descrizione del contenuto Descrizione di una collezione di pagine Informazioni sulla privacy (accessi, crawling, indexing) Diritti di proprietà intellettuale (es. copyright) Content ratings (per filtri di censura) PICS (Platform for Internet Content Selection) Firme digitali per valutazione autorevolezza pagine Es: <meta http-equiv="content-type" content="text/html; charset=utf-8">

22 Linguaggi per la compilazione di Metadati MARC Machine Readable Cataloging Record: formato più diffuso per le digital libraries RDF Resource Description Framework Permette la descrizione delle risorse Web per facilitare l elaborazione automatica delle informazioni. RDF è un istanza di XML (RDF/XML) RDF è parte dell attività del gruppo sul semantic web del W3C RDF è raccomandato dal W3C (dal 2004) Esempi di utilizzo: Descrizione di proprietà di prodotti in vendita (prezzi, disponibilità) Descrizione della temporizzazione di eventi su WEB Descrizione di informazioni sulle pagine web (autori, titoli, contenuti, copyright ecc., ) Descrizione del contenuto e del rating delle immagini su web Descrizione del contenuto dei motori di ricerca

23 Metadati espressi in RDF RDF identifica le risorse Web con un URI (Uniform Resource Identifier) e le descrive con proprietà e valori di proprietà La struttura di una espressione RDF è una tripla (RDF Statement): (risorsa, proprietà, valore) Risorsa (soggetto) una qualunque RDF URI, blank node Es.: proprietà (predicato) è una risorsa che ha un nome Es.: autore, homepage valore della proprietà (oggetto) RDF URI reference, a literal or a blank node Es.: Pippo,

24 Formati per documenti testuali Nei sistemi di IR classici i documenti dovevano venire rappresentati in un formato interno per poter essere indicizzati e gestiti 1 OPERAZIONE: (file sorgente FILE DI INPUT O di GENERAZIONE) Documenti scritti con word-processor comuni: MsWord, Wordperfect, (formato parzialmente binario) TeX, RTF, HTML, XML ( Rich Text Format) (formato ASCII) Formati per la visualizzazione e la stampa: PDF (Portable Document Format) Postscript (linguaggio potente per disegni e testo) MIME (Multipurpose Internet Mail Exchange) per le supporta varie codifiche di caratteri Formati compressi: ARJ, ZIP (Winzip, Gzip)

25 Compressione dei documenti testuali Necessaria per: ottimizzare occupazione di spazio; ridurre i tempi di trasmissione nell IR distribuito; Problemi critici: tempi di compressione e decompressione. Alcuni tipi di compressione permettono il matching compresso Formati compressi senza perdita di informazione Compressione di caratteri o di parole riduzione n bit utili per rappresentare il carattere o la parola Compression rate (riduzione al 25% -da 8 bit a 2- bit molto buona, riduzione al 45% buona)

26 Formati per immagini Formati per rappresentazioni raster (pixels): XBM, BMP, PCX Costosi in termini di spazio Formati compressi: es. GIF Graphic Interchange Format (buono per immagine B/N) JPEG Joint Photographic Experts Group (la perdita è parametrizzata) TIFF Tagged Image File Format (permette di memorizzare metadati) TGA Targa Image File (per video games)

27 Documenti [semi]-strutturati Definizioni Un documento strutturato è composto da sezioni distinte, testuali o multimediali, di lunghezza variabile. Le sezioni sono sequenze di caratteri omogenee rispetto all argomento che trattano. Gli archivi di documenti strutturati, sono collezioni di documenti che hanno una struttura rigidamente fissata, archivi semi-strutturati sono caratterizzati da irregolarità nella struttura, ad esempio i documenti su web. Si assume che ciascun documento contenga un numero prefissato di sezioni comuni a tutti (es: URL, Titolo, Testo). Documenti non strutturati Documenti semi strutturati Documenti strutturati

28 Documenti con struttura omogenea Documento: è una sequenza di sezioni (campi) fissi non sovrapposti Es: una mail ha i seguenti campi: sender, receiver, date, subject e un corpo. data text campi text text I campi sono delimitati dai tag (per l individuazione)

29 Linguaggi per la codifica di Documenti semi-strutturati I documenti [semi]-strutturati di una collezione sono conformi a un modello di dati semistrutturati (Abiteboul et al. 2000) Un modello di dati semistrutturati è definito mediante un metalinguaggio. Ad es. un documento scritto in HTML è un istanza di un modello di dati semistrutturati I documenti [semi]-strutturati possono essere rappresentati da grafi diretti in cui i nodi sono le sezioni (sottoparti del documento) e le connessioni tra nodi le relazioni tra le sottoparti.

30 Linguaggi per la codifica di documenti semi-strutturati I linguaggi di markup sono stati definiti per permettere di descrivere mediante comandi testuali inseriti nel testo di un documento istruzioni di formattazione, di strutturazione, e attributi del testo. SGML (Standard Generalized Markup Language ISO 8879) è il metalinguaggio standard per la definizione di linguaggi di markup.

31 Linguaggi di Markup Usati per annotare documenti con tags che indicano un layout o un informazione semantica. La maggior parte dei linguaggi per la compilazione di documenti (RTF, Latex, HTML) definiscono primariamente il layout. Standard GML(1969) SGML (1985) HTML (1993) HyperText extensible XML (1998)

32 Come creare una collezione omogenea di Documenti XML Specifiche di XML in Italiano tradotte dal sito W3C 1) Si definiscono dei vincoli sulla possibile struttura dei documenti XML di una collezione. A tale scopo si crea il DTD (Document Type Definition) (*.dtd) (La specifica del DTD è opzionale in XML) XML schema (*.xsd) 2) Si creano i documenti della collezione. File.XML. Ogni documento è un istanza del DTD e può essere rappresentato da un grafo 3) Si creano i file di stile per specificare l aspetto tipografico dei documenti. File XSL (extensible Stylesheet Language)

33 Document Type Definition DTD Standard MathML: per le formule matematiche. SMIL (Synchronized Multimedia Integration Language): per lo scheduling di presentazioni multimediali RDF (Resource Description Framework): per i metadati di risorse web TEI (Text Encoding Initiative): For literary works. NewsML: per le notizie. GML (Geographic markup language): per I dati georeferenziati. AIML: per la strumentazione astronomica

34 Parsing di Documenti XML Processamento di un documento XML al fine di creare una struttura dati interna per ulteriori processamenti. SAX (Simple API per XML): legge un testo XML, individua gli eventi (delimitatori di tag) che vengono mandati all applicazione per ulteriori processamenti (es. Analisi lessicale o di contenuto). DOM (Document Object Model): scandisce un testo XML e costruisce una struttura dati ad albero object-oriented. Fornisce delle funzioni che possono essere richiamate da programma per manipolare i nodi dell'albero: introduce un livello di astrazione tra il documento XML e l'applicazione che lo deve utilizzare/elaborare

35 Documenti XML nella collezione INEX articoli di riviste IEEE article fm bdy ti atl sec Ieee trans on Syst. Image analysis st introduction p This paper

36 Definizione dello stile dei documenti (Extensible Style-sheet Language) Per specificare l aspetto tipografico di un documento istanza di un dato DTD, è necessario definire un file di stile, ad es. in XSL (extensible Stylesheet Language) = istanza di XML Permette di definire layout per documenti XML. Permette di definire come mappare XML in XHTML. Alternativamente per definire uno style sheet di documenti HTML si può associare un file in CSS (Cascading Style Sheet) Mantenendo separata la definizione strutturale del documento dalla definizione di stile è possibile produrre layout diversi dello stesso documento senza dover duplicare il contenuto del documento stesso, ma semplicemente associando un file di stile diverso. Ciò garantisce la consistenza delle informazioni in caso di aggiornamento dei dati.

37 Gestione di una collezione di Documenti semistrutturati in XML schema.dtd Doc1.XML Doc2.XML. Docn.XML Istanze del DTD Layout1.XSL Layout1-doc1.XSL Layout1-doc2.XSL Layout1-docn.XSL Layoutm.XSL Layoutm-doc1.XSL Layoutm-doc2.XSL Layoutm-docn.XSL