Librerie digitali. Strumenti di ricerca. Ricerca di informazioni nelle Digital library

Transcript

1 Librerie digitali Strumenti di ricerca Ricerca di informazioni nelle Digital library Data un interrogazione da parte di un utente gli strumenti di ricerca permetto di identificare i dati che soddisfano le condizioni presenti nell interrogazione dell utente Le ricerche/interrogazioni Identificano i dati di interesse presenti nella libreria digitale Possono basarsi sul contenuto dei dati o sui metadati 2 1

2 Ricerca di informazioni nelle Digital library Le ricerche possono essere divise in due macrocategorie Ricerche basate su vincoli relativi al contenuto dei dati o dei loro metadati Trovare tutti i testi che contengono la parola informatica Trovare i brani musicali scritti da Sting Trovare le immagini che contengono il sole Ricerche basate sulla somiglianza dei dati ad un dato d esempio Trovare le immagini che assomigliano all immagine d esempio immaginesole.jpg 3 Ricerca di informazioni nelle Digital library Ricerche basate su vincoli relativi al contenuto dei dati o dei loro metadati Richiedono tecniche per verificare quali dati hanno specifiche caratteristiche Ricerca dei testi che contengono le parole presenti nell interrogazione Immagini che hanno una particolare dimensione Immagini che contengono specifici oggetti Operazioni relativamente facili É necessario definire i metadati appropriati per effettuare le ricerche semantiche 4 2

3 Ricerca di informazioni nelle Digital library Ricerche basate sulla somiglianza dei dati ad un dato d esempio Richiedono tecniche per misurare la distanza tra dati Operazione difficile É difficile misurare la distanza tra testi, immagini, brani audio I dati selezionati dallo strumento di ricerca potrebbero contenere dei dati non rilevanti (dati errati) o un sottoinsieme dei dati desiderati dall utente 5 Valutazione degli strumenti di ricerca La qualità di uno strumento di ricerca dipende dalla sua capacità di selezionare i dati di interesse per l utente Non tutti gli strumenti di ricerca restistuisco tutti e soli i dati di interesse In molti casi il problema è dato dall interrogazione Esempio: Trovare le immagini che assomigliano all immagine d esempio immaginesole.jpg Vista la presenza della parola assomigliano nell interrogazione non è chiaro quali dati debbano essere restituiti Il risultato è legato anche all utente che esegue l interrogazione 6 3

4 Valutazione degli strumenti di ricerca Per valutare la qualità di uno strumento di ricerca è necessario confrontare i risultati dello strumento di ricerca con quelli desiderati dall utente Quindi per effettuare la valutazione dello strumento di ricerca è indispensabile che qualcuno, manualmente, verifichi quali sono i dati di interesse per l utente Ossia serve creare un insieme di dati di test su cui è noto il risultato che si vuole ottenere in funzione dell interrogazione effettuata 7 Valutazione degli strumenti di ricerca La qualità di uno strumento di ricerca è comunemente calcolato tramite le misure richiamo e precisione Data un interrogazione le definizioni di richiamo e precisione sono legate a: D=insieme totale di dati presenti nella libreria digitale R_Strumento=dati selezionati dallo strumento di ricerca per l interrogazione effettuata dall utente R_Utente=dati desiderati dall utente per l interrogazione effettuata dall utente 8 4

5 Valutazione degli strumenti di ricerca Nel caso ideale R_Strumento e R_Utente sono identici Nella realtà R_Strumento e R_Utente non sono identici D R_Strumento R_Utente 9 Richiamo e precisione Richiamo Richiamo= R_ Utente R_ Strumento R_ Utente Precisione Precisione = R_ Utente R_ Strumento R_ Strumento D R_Strumento R_Utente 10 5

6 Richiamo e precisione Richiamo Ci dice quanti dei dati di interesse sono stati restituiti dallo strumento di ricerca Precisione Ci dice quanti dei dati restituiti dallo strumento di ricerca sono di interesse per l utente 11 Richiamo e precisione Solitamente gli utenti sono interessati ad ottenere una precisione pari al 100% Tutti i dati selezionati dal sistema sono di interesse per l utente a discapito di un richiamo medio basso Non sono restituiti tutti i dati di interesse presenti nella libreria digitale ma solo un sottoinsieme di essi Possibilmente solo quelli più interessanti 12 6

7 Micromedia e macromedia Per ogni interrogazione è possibile calcolare richiamo e precisione dell interrogazione in esame Per valutare la bontà di un sistema di solito si considerano più interrogazioni e poi si calcolano delle medie sui risultati ottenuti sulle singole interrogazioni Micromedia Macromedia 13 Micromedia e macromedia Micromedia Calcolo effettuato considerando le interrogazione eseguite come un unica grande interrogazione Macromedia Media aritmetica dei valori ottenuti per le N interrogazioni effettuate 14 7

8 Micromedia e macromedia Le definizioni di micromedia e macromedia del richiamo e della precisione sono legate a: N=numero di interrogazioni effettuate Richiamo(Q i )=richiamo della i-esima interrogazione Precisione(Q i )=precisione della i-esima interrogazione R_Strumento(Q i )=dati selezionati dallo strumento di ricerca per l interrogazione i-esima R_Utente(Q i )=dati desiderati dall utente per l interrogazione i-esima 15 Micromedia Micromedia del richiamo N R MicromediaRichiamo = 1 ( _ ( ) Utente Qi Micromedia della precisione R_ Strumento( Qi)) N R_ Utente( Qi) 1 N ( R_ Utente( Qi) R_ Strumento( Qi)) MicromediaPrecisione = 1 N R_ Strumento( Qi)

9 Macromedia Macromedia del richiamo N Richiamo( Qi) MacromediaRichiamo = 1 N Macromedia della precisione N Precisione( Qi) MacromediaPrecisione = 1 N 17 Tecniche di ricerca per dati testuali Le ricerche effettuate sui testi richiedono solitamente di Trovare tutti i testi che contengono determinate parole Trovare tutti i testi che assomigliano ad un testo d esempio In entrambi i casi si effettuano solitamente delle operazioni di trasformazione sui dati iniziali e sull interrogazione Stopword, stemming, tesauri,

10 Stopword Stopword Processo di trasformazione che elimina dai dati e dall interrogazione le parole che non hanno un contenuto semantico utile per l operazione di ricerca Solitamente sono eliminate le congiunzioni, gli articoli e le parole molto frequenti Le parole da eliminare sono scelte a priori da un esperto Le parole da eliminare dipendono dalla lingua utilizzata 19 Stopword L eliminazione delle stopword serve ad evitare che due frasi o documenti risultino simili perché contengono le stesse congiunzioni e gli stessi articoli Eliminando le stopword si da maggior peso alle altre parole che, solitamente, hanno un maggiore significato semantico 20 10

11 Stopword Stopword: esempio La frase La pratica di attività fisiche e mentali è importante in seguito all eliminazione delle stopword diventa pratica attività fisiche e mentali è importante Sono state eliminate le congiunzioni e gli articoli 21 Stemming Stemming Processo di trasformazione che consiste nella riduzione di ogni parola alla sua radice morfologica I plurali diventano singolari I verbi vengono sostituiti con la loro coniugazione.. all infinito 22 11

12 Stemming Grazie al processo di stemming due parole che sono inizialmente diverse (ad esempio lo stesso verbo coniugato in due modi diversi) diventano uguali Ciò permette solitamente di migliorare i risultati delle ricerche in quanto di solito la cosa più importante è la parola usata e non la sua coniugazione Aumenta il richiamo delle interrogazioni Può far diminuire la precisione (ma non sempre) 23 Stemming Stemming: esempio La frase La pratica di attività fisiche e mentali è importante in seguito al processo di stemming diventa La pratica attività fisica e mentale essere importante I verbi sono stati coniugati tutti all infinito I plurali sono stati trasformati in singolari 24 12

13 Tesauri Tesauri Processo di trasformazione che sostituisce ogni parola con il suo o i soui sinonimi Parole che sembrao diverse diventano la stessa parola Attenzione. Il fatto che due parole siano effettivamente sinonime può dipendere dal contesto in cui ci si trova Quindi l uso di tesauri può avere effetti negativi sulla precisione dei risultati 25 Ricerca di tutti i testi che contengono specifiche parole L obiettivo consiste nel trovare tutti i testi che contengono tutte le parole presenti nell interrogazione La tecnica più semplice consiste nello scorrere tutti i testi e verificare quali testi contengono tutte le parole presenti nell interrogazione Poco efficiente dal punto di vista dei tempi di risposta Richiede poca memoria e poco spazio su disco 26 13

14 Ricerca di tutti i testi che contengono specifiche parole Solitamente si costruiscono degli indici (strutture dati d appoggio) che, data una parola, permettono di recuperare rapidamente l identificativo di tutti i testi che contengono tale parola Efficiente dal punto di vista dei tempi di risposta Richiede più memoria e più spazio su disco per la memorizzazione della struttura dati 27 Ricerca di tutti i testi che contengono specifiche parole Spesso gli strumenti di ricerca restituiscono anche i testi che contengono un sottoinsieme delle parole presenti nell interrogazione Ciò permette di aumentare il richiamo A discapito della precisione 28 14

15 Ricerca di tutti i testi che assomigliano ad un altro testo Trovare tutti i testi che assomigliano ad un testo d esempio richiede di saper calcolare la distanza tra due testi Una volta calcolate le distanze tra testi si restituiscono tutti i testi che distano al massimo soglia_massima dal testo d esempio Difficile calcolare le distanze Difficile decidere il valore appropriato per soglia_massima 29 Distanza tra testi Serve una tecnica per rappresentare i testi in uno spazio multidimensionale nel quale Ogni testo è un punto La distanza tra testi è calcolata come distanza tra punti usando le misure di distanza classifiche Ad esempio la distanza euclidea 30 15

16 Rappresentazione dei testi in uno spazio multidimensionale Per rappresentare i testi solitamente si usa uno spazio multidimensionale in cui ogni dimensione corrisponde ad una possibile parola del dizionario Se il testo contiene la parola p allora sull asse associato alla parola p il testo sarà in posizione 1 Altrimenti se il testo non contiene la parola p allora sull asse associato alla parola p il testo sarà in posizione 0 Non si considera l ordine delle parole nel testo 31 Rappresentazione dei testi in uno spazio multidimensionale Esempio: Testo1: Economia Finanza Testo2: Economia Finanza 1 Testo1 Testo2 0 1 Economia 32 16

17 Rappresentazione dei testi in uno spazio multidimensionale Spesso ad ogni parola si associa un peso in funzione della sua importanza Le parole presenti in tutti i documenti di solito sono di scarso interesse Non permettono di capire se due testi sono veramente simili oppure no Le parole presenti in pochi documenti sono invece di grande interesse Permettono di identificare testi molto simili tra loro o molto diversi tra loro 33 Rappresentazione dei testi in uno spazio multidimensionale Il peso di una parola p in un testo t solitamente è legato Al numero di volte che la parola p si presenta nel testo t In modo inverso al numero di documenti che contengono la parola p Quindi il peso della stessa parola può essere diverso in testi diversi 34 17

18 TF-IDF Una delle tecniche di pesatura più utilizzata è il TF- IDF Term frequency - Inverse document frequency Dato un insieme di testi D, il peso TF-IDF di una generica parola p all interno di un generico testo t della collezione è calcolato come segue: TFIDF ( p, t) = freq( p, t) *log D dim( t) freq( p) 35 TF-IDF Dove freq(p,t) è pari al numero di volte che si presenta la parola p nel testo t freq(p) è pari al numero di testi che contengono la parola p (si considerano tutti i testi presenti in D, ossia nella libreria digitale) dim(t) è pari numero di parole presenti nel testo t D è pari al numero di testi presenti nella collezione di testi D (ossia nella libreria digitale) 36 18

19 TF-IDF e rappresentazione dei testi I testi sono solitamente rappresentati nello spazio multidimensionale tenendo conto anche del loro peso (se disponibile) Ogni asse continua a rappresentare una parola Se la parola p è presente nel testo t allora il dato t sull asse associato alla parola p assumerà come valore il peso della parola p in t ( TFIDF(p,t) ) Altrimenti assumerà il valore 0 37 TF-IDF e rappresentazione dei testi Esempio: Testo1: Economia(TFIDF=0.50) Finanza(TFIDF=0.70) Testo2: Economia(TFIDF=0.25) Finanza 1 Testo1 Testo2 0 1 Economia 38 19

20 Tecniche di ricerca per immagini Le ricerche effettuate sulle immagini solitamente di basano Sui metadati testuali Si usano le tecniche appena descritte Sulle caratteristiche delle immagini Similarità degli istogrammi Presenza di forme simili 39 Tecniche di ricerca per immagini Le interrogazioni basate sui metadati sono formulate tramite parole L utente specifica le parole che devono essere presenti nei metadati Ad esempio: trovare tutte le immagini che contengono la parola sole nel metadato descrizione Le ricerche basate sulle caratteristiche delle immagini sono formulare tramite immagini d esempio Ad esempio: trovare tutte le immagini che assomigliano all immagine sole1.jpg 40 20

21 Ricerca basata su immagini d esempio Le ricerche basate su immagini d esempio si basano sulla distanza tra immagini Se un immagine dista meno di distanza_massima dall immagine d esempio allora le immagini sono simili, e quindi l immagine farà parte del risultato dell interrogazione Altrimenti l immagine non è inclusa nel risultato 41 Distanza tra immagini La distanza tra immagini è solitamente calcolata tramite l uso degli istogrammi La distanza tra due immagini è pari alla distanza tra gli istogrammi delle due immagini Si lavora in modo analogo a quanto fatto nel contesto della segmentazione dei video 42 21

22 Distanza tra immagini Un altra tecnica per il calcolo della distanza tra immagini è basata sull identificazione degli oggetti presenti nelle immagini e sulle loro forme Se le immagini contengono gli stessi oggetti (stessa forma e stessa dimesione) allora sono simili, altrimenti no 43 Distanza tra immagini Le tecniche basate sull uso degli istogrammi sono molto più facili da implementare e più efficienti delle tecniche basate sulle forme Le tecniche basate sulle forme possono essere più precise, ma sono molto più difficili da implementare Richiedono tecniche per l identificazione degli oggetti 44 22

23 Distanza tra immagini Per migliorare la precisione del calcolo delle distanze tra immagini si può lavorare su sottoparti dell immagine anzichè sull intera immagine Ciò permette di evitare ad esempio i problemi legati ad immagini che globalmente hanno lo stesso istogramma anche se le due immagini sono molto diverse tra loro Non funziona però bene se ci sono gli stessi oggetti posizionati in posizioni diverse 45 Tecniche di ricerca per brani musicali Le ricerche effettuate sui brani musicali solitamente di basano Sui metadati testuali Si usano le tecniche descritte per i testi Oppure sulle caratteristiche del brano musicalie Si confrontano gli andamenti del brano musicale Si calcola la distanza tra due brani come la distanza tra le due curve che rappresentano i due brani 46 23

24 Tecniche di ricerca per video Le ricerche effettuate sui video solitamente di basano Sui metadati testuali Si usano le tecniche appena descritte Sulle caratteristiche del suono Si usano le tecniche descritte per la ricerca di brani musicali Sulle caratteristiche delle immagini presenti nei frame del video Si usano le tecniche descritte per la ricerca di immagini 47 24