Basi di Dati Multimediali Fabio Strocco September 19, 2011
1
Contents 2
Introduzione Le basi di dati (o database) hanno applicazioni in molti campi, in cui è necessario memorizzare, analizzare e gestire grosse quantità di dati. Non succede raramente di aver bisogno di database che contengano, oltre a dati numerici e testuali, anche immagini, filmati, file musicali o di altra natura. La caratteristica di questo tipo di dati è che vengono trasferiti mediante particolari tipi di mezzi di comunicazione, ossia sono dei media. In particolare un media è un mezzo di comunicazione di dell informazione che permette di trasferirla in maniera compatta e immediata. Ad esempio un immagine è un media, essendo un mezzo di comunicazione di informazione (può ad esempio comunicare la situazione metereologica in una determinata città, le caratteristiche di un determinato luogo, ecc.) e la comunica in maniera compatta ed immediata (è sufficiente guardare l immagine per ottenere un informazione). I principali tipi di media sono: immagini, audio, filmati (che combinano in realtà i due precedenti media) e testo non strutturato (come ad esempio libri, articoli, ecc.). Il termine multimediale denota invece il fatto che in un determinato contesto si gestiscono più media. Un database multimediale è quindi un database che gestisce più media, e quindi dati di natura differente. La differenza principle tra i database relazionali e quelli multimediali è che i nei primi vi sono principalmente stringhe e numeri mentre i database multimediali contengono dati di svariati tipi e soprattutto con caratteristiche molto diverse tra loro e quindi necessitano di trattamenti differenti (mentre stringhe e numeri dal punto di vista dei database relazionali posso essere trattati allo sostanzialmente stesso modo). I database multimediali hanno un vasto impiego in molte aree (basti pensare a google). Uno dei maggiori impieghi è nella polizia, dove vi sono database che contengono filmati di sorveglianza, intercettazioni telefoniche, immagini di sorveglianza e dei ricercati, report della polizia (e quindi testo non strutturato) e dati geografici (quindi mappe). Le operazioni principali dei database multimediali sono, come nel caso dei database relazionali, inserimento, modifica, cancellazione e interrogazione (query). Il caso delle query è quello più interessante dato che presenta numerose differenze rispetto al modello relazionale. Esistono infatti numerosi tipi di query Query con matching esatto: sono analoghe a quelle relazionali, ossia 3
CONTENTS 4 si richiede che un attributo di un oggetto del database (tupla nel caso relazionale) sia uguale ad un determinato valore (o eventualmente minore, maggiore, ecc.) Query con matching parziale: si richiede che un attributo sia il più possibile simile (ma si noti, non necessariamente uguale) ad un valore dato. Generalmente si tratta di query di somiglianza, ossia si cercano gli oggetti più simili ad uno dato. Si noti che il matching parziale è implementato da google nelle ricerche testuali (si cercano i risultati più vicini all argomento che si desidera) e in quelle di immagini. Nel caso di immagini si ha somiglianza visuale: si ha quando due immagini hanno un aspetto simile, ad esempio perché hanno colori simili, oppure perché hanno le stesse forme (come due immagini di due pianeti). somiglianza semantica: si ha quando due immagini hanno lo stesso significato. Ad esempio l immagine di una persona sorridente e quella di un icona di smile, osssia il simbolo :) sono semanticamente simili. Si noti che somiglianza semantica e visuale non coincidono necessariamente, come si nota nell esempio appena fatto (tali immagini sono visualmente completamente differenti, sia per colore che per forma, ecc., ma semanticamente identiche), per cui occorre disporre di un meccanismo per stabilire quale tipo di somiglianza ha maggiore priorità. somiglianza spaziale: si ha quando un immagine soddisfa parzialmente o completamente dei requisiti di posizionamento reciproco di oggetti. Ad esempio si può richiedere un immagine che contenga un lago sotto il mare, oppure una sfera sotto un quadrato (anche non completamente sotto). In entrambi i casi appena esemplificati, è possibile identificare tramite tag le aree in cui sono localizzati gli oggetti oppure si possono riconoscere le forme e gli oggetti (o almeno l area occupata da essi) e classificarle automaticamente. Vi sono inoltre query sui filmati, che coinvolgono sia aspetti spaziali che temporali. Ad esempio si può ricercare l intervallo di tempo di un video che contiene il pallone vicino alla porta. Le query di matching esatto coinvolgono principalmente i metadati che vengono associati ai dati multimediali. Ad esempio ad un database di filmati si possono associare ad ciascuno di essi informazioni relative all autore del filmato, alla data di produzione ecc. Quando si effettua una query per somiglianza, a livello concettuale può essere restituito come risultato l intero database su cui si effettua la query, perché ogni oggetto è simile ad un altro (magari è molto poco simile - ossia con un basso grado di somiglianza - ma lo è in ogni caso). Quindi occorre domandarsi: cosa significa che una query deve restituire gli oggetti più simili ad uno dato? Esistono due tipi di query per somiglianza
CONTENTS 5 query top-k: si cercano i k-oggetti più simili ad un determinato oggetto query di range: si cercano tutti gli oggetti che non distano più di un determinato valore prefissato (detto range), fissata una misura di somiglianza. Segue un esempio di query multimediale in linguaggio naturale dove si evidenziano in rosso gli aspetti relazionali. Selezionare tutte le immagini che sono visivamente simili a lago.jpg, semanticamente rappresentano un lago di montagna dove il lago è sotto la montagna e l anno in cui è stata scattata la foto è 2000. Siccome queste query sono ancora pià costose computazionalmente, a maggior ragione occorrono delle strutture di indicizzazione come per i database relazionale. Infatti anche in questo caso vengono utilizzati indici e tavole hash per l ottimizzazione. Inoltre, in questo tipo di basi di dati, viene tipicamente implementato un sistema noto come relevance feedback, in cui l utente dopo aver effettuato una query segnala al sistema quali sono i risultati non attinenti alla sua ricerca ed il sistema rielabora la query tenendo conto di questa segnalazione. Ad esempio se l utente sta cercando immagini simili alla foto di una moto (e vuole solo foto di moto) e riceve tra i risultati anche disegni di moto, l utente segnalerà tali immagini come inappropriate e ci si aspetta che non vengano restituite nella nuova query e che al loro posto vi siano immagini più vicine a quelle segnalate dall utente come rilevanti. Questo sistema è implementato da Google (come la maggior parte di quanto detto fin ora) nella ricerca delle immagini per somiglianza. Le problematiche principali che si hanno nei database multimediali e non in quelli relazionali, alla luce di quanto detto, sono le seguenti eterogeneità fisica: i dati da memorizzare sono di natura diversa e occupano anche quantità di risorse differenti e quindi occorre gestire i vari tipi di dati multimediale in maniera differente, riservando loro ad esempio una quantità di risorse differente. Ad esempio se un database contiene un filmato con i sottotitoli è necessario riservare molto meno spazio e banda di trasmissione ai sottotitoli, che occupano una quantità minore di memoria. semantica: le query sono di natura molto differente e quindi vanno gestite separatamente e poi combinate. Ad esempio le query sui video sono di tipo spazio-temporale e vanno gestite con tecniche differenti e poi ricombinate. soggettività: il buon esito di alcune query dipendono molto dall utente. Ad esempio questo avviene se si ricerca un immagine in cui vi è una persona con un espressione serena.
CONTENTS 6 dipendenza dal contesto: in base al contesto in cui si ricercano i dati, questi possono avere più o meno importanza. Ad esempio se il contenuto semantico di un immagine è bambino su un automobile e si cerca l immagine di un bambino allora tale immagine è in effetti rilevante ai fini della ricerca, ma se si ricercano immagini di autovetture (ad esempio per incertezza: le query multimediali (soprattutto quelle con matching parziale) sono caratterizzate dal fatto di richiedere che alcuni attributi di un oggetto non sono definibili in maniera esatta. Ad esempio il fatto che una persona è bionda in una foto può essere un fatto incerto, perché può essere tanto bionda ma anche esserlo molto poco, perché ad esempio tendente quasi al castano. ranking: a causa del matching parziale, un oggetto non soddisfa necessariamente a pieno i requisiti richiesti. In ogni caso questo tipo di query viene fatto per cercare gli oggetti che più soddisfano i requisiti richiesti, per cui l utente vorrebbe visualizzare prima gli oggetti più attinenti, per cui occorre ordinare gli oggetti restituiti da una query in base al ranking (ossia il loro grado di attinenza). Nei database relazionali invece, questo problema non si pone dato che ogni oggetto soddisfa al 100% tutti i requisiti richiesti e quindi ogni oggetto ha lo stesso grado di rilevanza (che è il massimo) per cui non è necessario effettuare un ordinamento dei risultati (a meno che non venga esplicitamente richiesto tramite operatori come ORDER BY). >ci foc. su imm e testo >feature >modello multimediale