Corso di Basi di Dati Multimediali

Corso di Basi di Dati Multimediali Lezione su: MMDBMS (Multimedia Data Base Manage System) Studente; Enrico Leone Matr. 961/142

Basi di Dati Multimediali Multimedia Database Manage System Deve supportare vari dati multimediali; Deve supportare le normali funzioni che si trovano in un DB come: creazione, ricerca dei dati accesso, organizzazione ecc... Usare indici per la ricerca di informazioni Ottimizzare le query

Componenti MMDBMS

Multimedia: Indici Lo scopo degli indici in un database multimediali è riferirsi al contenuto dei dati. Per riferirsi al contenuto dei dati vengono forniti 2 tipi di approcci: Low level features: (livello1) propietà primitive dei dati che contengono informazioni quali colore, forma High level features: propietà dei dati che possono essere divise in due classi: Il livello 2 individua zone di interesse che rappresentano un determinato oggetto Il livello 3 specifica la semantica degli oggetti o della scena rappresentata.

High Level Features Livello 2 Una zebra una moto e una leonessa (oggetti presenti nell immagine) Il livello 3 Una zebra che fugge da una leonessa su una moto (significato semantico dell immagine)

Multimedia Segmentation Tecnica usata per i dati di tipo video. I video sono prima divisi in singole scene individuando i tagli di scena e metodi di cambio di rilevamento. Vengono individuati i fotogrammi chiave.

Object Segmentation Informazioni sul contesto vengono rese più precise se regioni di interesse sono estratte ed indicizzate. Per le immagini identificare un gruppo di pixel che hanno low level features in comune Per i video identificano un gruppo di pixel che si muovono in comune e tracciano il movimento di un oggetto. Ricerca di immagini divise per blob, ogni immagine è segmentata in blob. Nella prima immagine la divisione tra i rilievi è evidente. Nella seconda invece si perdono particolari.

Indexing Pyramid Estrarre contenuto semantico dalle immagini problemi: Il contenuto può essere diverso per ogni utente; Gli utenti hanno diversi bisogni di informazione; Per distinguere i vari livelli di indice. La piramide distingue tra relazioni sintattiche e semantiche. Il livello sintattico attribuisce significato di come è organizzato il contenuto ma non il significato. Mentre il livello semantico si occupa del significato degli elementi.

Multimedia: Struttura degli indici Scopo degli indici misurare la similarità tra i dati. Per avere questa misura ci sono vari indici: Indici vettoriali, G Alberi, R Alberi, X Alberi Algoritmo knn

Indici vettoriali y L'immagine i 1 è resa come vettore attraverso l'analisi dei suoi dettagli di lowlevel, così i 2 θ i 2 i 1 x Pensando alle immagini i 1 e i 2 quanto più sono vicine più sono simili tra loro. La verosimiglianza è calcolata come prodotto vettoriale tra i 1 e i 2

KNN (k nearest neighbour) Esempio di knn con K = 1 i documenti appartengono ad una sola classe; con k > 1 un documento diventa vicino di più classi (più stabile) Per classificare un'immagine in una classe c Si definiscono i k vicini (neighborhood) N come Ie k immagini più vicine all'immagine considerata

Multimedia Data Models MMDBMS data model è il modo di rappresentare il contenuto di tutti gli oggetti multimediali di un DB considerando: Low e high level Facilitare le varie operazioni sul DB (select, insert, indexing ) Tra i Data Model: Algebraic video LHVDM (Logical HyperVideo Data Model) Videx

Algebraic Video Questo modello usa combinazione di segmenti video (nodi) per creare nuove presentazioni video. L idea di base è di creare una precategorizzazione delle entità (persone, eventi ) e l uso di quattro operazioni algebriche: Creazione, composizione, Output; Descrizione Svantaggio: difficoltà di usare un metodo per una segmentazione automatica.

LHVDM Questo modello è composto da un astrazione video multilivello chiamata hot objects. Gli hot objects sono cosi chiamati per la loro associazione semantica con altre astrazioni logiche video o altri hot objects. Questo modello è pensato per navigare in un MMDB come un documento hyperlink

Videx Descrive il MMDB come un insieme di classi. Le classi descritte rappresentan o i livelli di astrazione high e low

SQL/MM Estensione di SQL per il multimedia. Proposti tipi per rappresentare low level features (SI_StillImage, SI_AverageColor, SI_ColorHistogram ) Estrae informazioni da ogni immagine Differenza con MPEG7 : Entrambi operano su low level features In SQL/MM non si effettua una scomposizione dell immagine In SQL/MM non si effettua una descrizione semantica dell immagine

Esempio MPEG7 Vs SQL/MM SQL/MM CREATE TYPE SI_StillImage AS ( SI_content BINARY LARGE OBJECT(SI_MaxContentLength), SI_contentLength INTEGER,... SI_format CHARACTER VARYING(SI_MaxFormatLength), SI_height INTEGER, SI_width INTEGER ) INSTANTIABLE NOT FINAL CREATE TYPE SI_ColorHistogram AS ( SI_ColorsList SI_Color ARRAY[SI_MaxHistogramLength], SI_FrequenciesList DOUBLE PRECISION ARRAY[SI_MaxHistogramLength] ) INSTANTIABLE NOT FINAL MPEG7 <element name="textannotation" minoccurs="0" maxoccurs="unbounded">... </element> <choice minoccurs="0" maxoccurs="unbounded"> <element name="semantic" type="mpeg7:semantictype"/> <element name="semanticref" type="mpeg7:referencetype"/> </choice>... <element name="spatialdecomposition" type="mpeg7:stillregionspatialdecompositiontype " minoccurs="0 maxoccurs="unbounded"/>... Sono aggiunte più informazioni di tipo semantico e sulla decomposizione

SQL+D SQL+D un estensione di SQL che permette agli utenti di mostrare risposte a query in un MMDB L'interpreste ottiene una connessione al DB attraverso una SQL+D query. La query è divisa in 2 parti: la parte SQL e la parte DISPLAY. La parte SQL è madata al DB che scrive il risultato in un file. La parte DISPLAY è in un altro file. I 2 file vengono mandati al Display Controller, che analizzerà il contenuto e lo mostrerà.

CBR (Content Based Retrivial) Per la ricerca di materiale multimediale si possono fornire query ad un CBR del tipo QBE (query by example), QBS (query by sketch), QBH (query by humming per applicazioni audio) Esempio di un CBR: http://www.cs.washington.edu/research/imagedatabase/demo/fids/

Multimedia prodotti: Smooth Un prototipo di MMDBMS è SMOOTH Un modello per indici video Low and High Level (come Videx) Integra un interfaccia querier, annotator and navigator. L indice del DB contiene l insieme base di high level features quali (event, object, persons e locations sottoclassi di ContentObject) Un esempio di applicazione sul calcio: Sottoclassi di Event goal, calci di rigore, tiri, calci d angolo, passaggi, punizioni, falli Sottoclassi di Person: giocatori Sottoclassi di Object: Partite, squadre

SMOOTH Annotator: permette la struttura del video in segmenti e oggetti di contenuto di high level Querier: specifica le condizioni sul contenuto degli oggetti. Il layout di una query è fatto secondo la precategorizzazione del contenuto nelle classi base events, objects, persons e locations. Una volta selezionata una classe (ad esempio giocatore) l utente piuò poi specificare i suoi attributi (esempio: nome, ruolo, numero).