Content based Video Indexing and Retreival Di Stephen W. Smoliar e Hong Jiang Zhang National University of Singapore

Transcript

1 Content based Video Indexing and Retreival Di Stephen W. Smoliar e Hong Jiang Zhang National University of Singapore Il video diverra una parte quotidiana dell ambiente dei computer solo quando potremmo utilizzarlo con la stessa semplicità con cui attualmente usiamo i testi. Il motivo per cui il video non e ancora parte integrante della vita informatica, come il testo e per il fatto che la tecnologia video si e sviluppata fino ad ora come tecnologia delle immagini, ed e stato fatto qualcosa per aiutarci ad usare queste immagini efficientemente. Il problema e che noi non usiamo le immagini solo perché sono belle o ben messe a fuoco, ma le usiamo per il loro contenuto. Se vogliamo comporre con le immagini nello stesso modo in cui componiamo con le parole, dobbiamo focalizzare la nostra attenzione sul contenuto La composizione del video non richiede di pensare ai bit dell immagine, ma pensare in termini di oggetti contenuti nell immagine ( il video contiene palloni da basket, atleti ecc ). Sfortunatamente lo stato dell arte dei software per manipolare video non conosce questi oggetti, al massimo si riescono a riconoscere time codes, frames individuali e clips di video e suono. La morale del tutto questo è che l'uso efficace del video è ancora oltre la nostra portata perché l'uso efficace del relativo contenuto è ancora oltre la nostra portata. Come possiamo rimediare a questa situazione? Con la classificazione del video, studiata all università di Singapore,che divide il problema in quattro aree Definire un architettura che caratterizzi il task di gestire il contenuto dei video Sviluppare tools e tecniche software che identifichino e rappresentino il contenuto del video Applicare la conoscenza sulle tecniche di rappresentazione per lo sviluppo della costruzione di indici e tools per il retrieval Sviluppare un ambiente per interagire con gli oggetti video In questo articolo si discuterà ognuna di queste aree in dettaglio, e concluderemo con una discussione sui nostri piani per estendere il nostro lavoro in un dominio audio. Architettura per video management L architettura si basa sull assunzione che l informazione video sia mantenuta in un DB, e richiede di definire tools per la costruzione del db e per l inserimento di nuovi materiali nel db. Possiamo caratterizzare questi tools in termini di una sequenza di task specifici. Parsing: che segmenta il video in clips generici. Questi clips sono le unità indice elementari nel data base. Idealmente il sistema decompone immagini individuali nelle sue primitive semantiche. Sulle basi di queste primitive un video clip può essere indicizzato con una descrizione semantica usando le tecniche di rappresentazione della conoscenza esistenti Indexing: che etichetta i clips del video quando il sistema gli inserisce nel database. L etichetta include informazioni basate su un modello conosciuto che guida la classificazione in accordo con le primitive semantiche delle immagini. L indexing e quindi guidato dalle immagini e ogni descrittore semantico e fornito dal modello Retrieval and browsing: gli utenti possono accedere al DB con query testuali e visive, o navigarci dentro attraverso l iterazione con icone. Inoltre possono navigare nei risultati delle query. La figura 1 mostra l analisi in un diagramma architetturale. Il cuore del sistema e il database managment system che contiene dati video e audio proveniente dal materiale video sorgente che e stato compresso dove e possibile. Il DBMS definisce attributi e relazioni su queste entità in termini di un approccio basato sui frames per la rappresentazione delle conoscenza. Questo approccio di rappresentazione, a sua volta, guida l indexing delle entità mentre sono aggiunte alla base di dati. Queste entità sono inizialmente ricavate dai tools che supportano la fase di parsing. In direzione opposta il contenuto del database e reso disponibile dai tools che supportano il processing sia della domanda specifica che del bisogno più generale di lettura rapida casuale.

2 Video Content Parsine Tre insiemi di tools supportano la fase di parsine, Segmentazione del video sorgente in singoli camera shots che servono da unità di base per l indexing Identificare diverse manifestazioni di tecniche di camera in questi clips Applicare il modello dei contenuti per l identificazione of context dependent semantic primitives Locating camera shot boundaries Abbiamo deciso che il criterio di segmentazione più figo e quello che individua i contorni fra camera shots. Camera shot consiste di uno o più frames generati e registrati contigui che rappresentano un azione continua nel tempo, e diventano la più piccola unità for indexing video. La più semplice shot transition e camera cut, dove i contorni stanno fra due frames successivi, ma ne esistono di più complicate come: dissolvenze, wipes, fade outs, tutti che avvengono sopra una sequenza di frames. In ogni caso camera shots possono sempre essere distinti da differenze qualitative significative. Se possiamo esprimer queste differenze con una misura quantitativa adatta possiamo dichiarare un contorno di segmento ogni volta che la misura eccede una soglia data. Il punto chiave nel trovare i limiti dei shot e selezionare una misura di differenza e una soglia, e applicarle al confronto dei video frames. La misura piu adatta e il confronto degli istogrammi dei pixel di due frames. Il principio e che due frames con piccolo cambiamenti nel background e nel contenuto degli oggetti differiscono poco nella distribuzione dell intensita. Inoltre rinforzando questo metodo, è facile definire un istogramma che rappresenta efficacemente le informazioni di colore. E stato sviluppato un approccio automatico per trovare la soglia di segmentazione sulla base statistica delle differenze fra i valori dei frame e una tecnica multipass per aumentare la velocita del processo La figura 2 mostra una tipica sequenza di valori di differenza. Il grafico mostra due impulsi piu alti corrispondenti a dui interruzioni di camera. Inoltre mostra una transizione graduale sulla sequenza dei frames. In questo caso lo scopo e identificare i punti di inizio e di fine della sequenza. Lo zoom in figura 2 mostra i valori di differenza durante ogni transizione e sono minori rispetto a quelli di un camera brakes. Thus a single threshold lacks the power to detect gradual transitions.

3 Un confronto chiamato twin-comparison risolve questo problema. Il nome si riferisce all uso di due soglie. Prima una soglia ridotta individua il potenziale inizio di una sequenza di transizione. Quando il frame viene identificato, e confrontato con i frames succesivi, così si misura una differenza accumulata anziché differenze frame-to-frame. Questa differenza accumulata deve essere monotonica. Nel caso sia monotonica, e confrontata con una seconda soglia piu alta, e se viene superata, concludiamo che la sequenza di differenze accumulate corrisponde ad una transizione graduale. e tutto cio funzione. Shot Classification Un sistema deve identificare e account for artifacts casued by camera movments.i Questi movimenti includono: Panning (rotazione orrizzontale della camera) Tilling (rotazione verticale della camera) Zooming (cambiamento della lunghezza focale) In cui la posizione della camera non cambia Tracking (movimento orrizzontale trasversale della camera) Booming (movimento verticale trasversale della camera) Dollying (movimento orrizzontale laterale della camera in cui la posizione della camera cambia Queste operazioni possono avvenire anche in combinazione, e sono individuati dall analisi dei motion vector, dato che ogni movimento ha un suo caratteristico cambiamento dei vettori di movimento. Peri i formati compressi (mpeg e H.261) i motion vector sono codificati nella compressione, mentre per altri si possono calcolare in real time che fanno questa compressione in hardware Content Models L analisi del contenuto e piu efficace con un modello a priori della struttura video. Cosi un modello puo rappresentare un ordine spaziale forte fra i singoli frames degli shots e/o un ordine temporale attraverso le sequenze di shots.(vedi notiziari). Il nostro approccio all analisi dei contenuti inizia con l identificare le caratteristiche chiave of image data, che sono cosi confrontate con il modello di dominio per identificare oggetti arguiti per fare parte del dominio. Identifichiamo gli eventi del dominio come segmenti che includono oggetti del dominio specifici. Il nostro esperimento coinvolge modelli per cut boundarues, typed shots, e episodi. Cut boundary model guida la segmentazione per trovare camera shot boundaries, e quando uno viene isolato, puo essere confrontato con i type models basati sia sulle carattersitcghe che possono essere trovate, sia su misure che determinano una somiglianza accettabile. Sequenze di typed shots possono essere confrontae allo stesso mopdo con i modelli di episodio

4 Index construction and retrieval tools La funzione fondamentale di ogni database e di supportare il recupero, cosi dobbiamo considerare come costruire gli indici che faciliteranno il retrieval per il video. Vogliamo vasare l indice sulle proprieta semantiche, piuttosto che sulle caratteristiche di basso livello. Un modello di conoscenza puo supportare queste proprieta semantiche. Il modello per il nostro sistema e a frame based knowledge base. In seguito la parola frame si riferisce a un oggetto del modello piuttosto che ad un immagine video. A frame based knowledge base Un indicizzazione basata sulle proprieta semantiche richiede un orgnaizzazione che rappresenti esplicitamente le diverse categorie delle materie trattate dal materiale che sara indicizzato. La rappresentazione e realizzata spesso come una rete semantica, ma anche come un albero ed e quella che sceglieremo. La figura sopra da un esempio di quest albero. Rappresenta una selezione di categorie di argomentiprese da un documentario su un universita. La struttura rappresenta relazioni di specializzazione e generalizzazione fra queste categorie. Gli utenti tenfono a classificare materiale sulla base dell informazione che loro sperano di estrarre. Questo particolare insieme di categorie riflette gli interessi sia della facolta che della produzione del documentario. Lo scopo di questa classificazione non e di classificare ogni oggetto nel video definitivamente, ma aiutare l utente a formulare domande piu specifiche e sapere quale tipo di risposte si deve aspettare. The frame based knowledge based e una tecnologia piu appropriata per costruire such a structure. Il frame e un data object che gioca un ruolo simile ad un record in un db tradizionale. Tuttavia i framse sono raggruppati nelle classi, ognuna delle quali rappresenta a topic category. Come mostra la figura sopra, queste classi possono essere organizzate in una gerarchia, che permette la rappresentazione dei contenuti in termini di uno o piu sistemi di categorie che possono essere usati oer incentrare l attenzione per una varieta di tasks. Il piu semplice di questi task e la navigazione casuale di una collezione di items. Inoltre l organizzazione gerarchica facilita il recupero di items specifiche che soddisfino le specie di vincoli normalmente associati con una query di un db Come i records di un db i frames sono strutturati in un insieme di campi (slots). Gli slots forniscono diversi elementi per l informazione descrittiva, e gli elementi distinguono topical characteristichs per ogni oggetto rappresentato da un frame. E importante sottolineare che usiamo i frames sia per rappresentare le classi (le categorie) sia per rappresentare le istanza (gli elementi catalogati). Un esempio di class frame, consideriamo la categoria Laboratorio nella figura sopra. Possiamo definire un frame per essa nella forma espressa sotto:. In alternativa possiamo definire un istanza della sua sottoclasse in un modo simile alla parte b della figura sotto.

5 Si noti che non tutti gli slot hanno bisogno di essere parte di una definizione di classe (void indica un unfilled slot), mentre tutti tendono ad essere parte delle istanze. Inoltre si noti che uno slot può essere riempito da un singolo valore o da una collezione di valori. Per gli scopi di ricerca e importante inoltre notare che alcuni slots, come Name,SuperClass,SubClasse,Instances e Class esistono rigorosamente per lo scopo di mantenimento di un sistema di frames. Gli slots rimanenti, come Descrizione,Video,Corso e Equipment, sono responsabili per la rappresentazione attuale del contenuto. Questi ultimi slots sono l obiettivo del task di ricerca. Molti frame-based knowledge bases non impongono restrizioni sul contenuto degli slots, ogni slot può contenere qualsiasi valore o un insieme di valori, comunque l obiettivo di ricerca è facilitato se ci sono slots fortemente tipati. Il data typing può determinare quanto è potenziale un valore di slot in un frame, e può essere anche in grado di distinguere class freames da instance frames, Comunqu possiamo rendere più potente la tipizzazione se la estendiamo to deal con le classi as if they were data types. In questo caso, il type checking, verifichera non solo se ogni potenital video slot value è un instance frame, ma anche che sia anche un istanza dell Shot class. Cosa è importante per lo scopo di recupero, in modo che possiamo tradurre la conoscenza del tipo di uno slot in conoscenza di cosa dobbiamo cercare. Dobbiamo applicare diverse tecniche per ispezionare il contenuto dei diversi slots, e possimo combinare queste tecniche, per ottenere tecniche molot più sofisticate che non una combinazione associata normalmente alle query di un database normale. Retrieval tools Come possiamo cercare i frames data una conoscenza a priori del tipo dei loro slots? Un database deve supportare una varietà di tool s basati sia su interfacce testuali e grafiche. Il nostro sistema include una suite di tools che comprendono: free text query engine and interface tree display della gerarchia delle classiùimage feature-based retrieval toolsm e Clipmap. Ogni frame in knowledge base include un slot di descrizione con una stringa di testo come contenuto. L utente può cosi avere una descrizione testuale per tutti i video shots nel data base.. Il tool di retrieval con testo si basa su queste descrizioni. A concept-based retrieval engine analizza le query dell utente, estraendo prima i termini rilevanti, rimuovendo le parole non funzionali, e convertendo quelle rimanente in stemmed form.

6 Il sistema poi controlla la query sul thesaurus specifico per il dominio, dopo di che usa misure di somiglianza per comparare le descrizioni del testo con i termini delle query. I frames per cui la misura di somigliaza eccede una data soglia vengono recuperati, ordinati per grado di somiglianza. In aggiunta all uso delle query testuali possimo formulare query direttamente silla base dell albero delle categoriw. Questo albero è particolarmente utilie per identificare tutti gli shot che sono istanze di una categoria comune ad ogni livello di generalizzazione. Possiamo allora usare l albero per esploare le istanze di categorie collegate. La gerarchia permette questo anche per slot-based retrieval. Free text retrievali fornisce l accesso ai Description Slots, ma possiamo cercare sulla base anche di altri slots, per esempio possiamo recuperare gli slots il cui contenuto sono altri frames attraverso query basate sulla loro situazione nella gerarchia delle classi.. Possiamo confrontare gli slots avendo valori numerici appartenenti ad intervalli numerici. Ciononostante se vogliamo se vogliamo restringere una ricerca alle istanze di una particolare classe, allora la gerarchia delle classi può dirci quali slots possono essere cercati e quali tipi di data contengono. Il retrieval basato sul contenuto dei Video slots richiede un colcolo delle caratteristiche visuali caratteristiche. Per esempio un utente esamina un video di una performance dance e deve essere capace di recuperare tutti gli shots di un particolare ballerino sulla base del colore del costume. Il recupero richiede la costruzione di un modello per trovare tttue le regioni del colore con le proprietà spaziali specificate. Le primitive dalle quali alcuni modelli sono costruiti servono come base pr la struttura degli indici. In un database, ogni clip di un video potrebbe essere rappresentata sa uno o più frames, e l indexing e il retrieval potrebbero vasarsi sulle caratteristiche delle immagini di questi frames. Alcuni sistemi db, come Query By Image Content (QBIC) hanno sviluppato tecniche che supportano questo approccio. Queste tecniche includono, la selezione e il calcolo di image features che servono per dare la possibilità di costruire query funzionali, metodi di retrieval basati sulla somiglianza, e interfacce che permettono all utente di raffinare le query in modo grafico, e navigare nel database graficamente. Scegliamo colore, texture, e forma come caratteristiche base dell immagine, e sviluppiamo un prototipo di sistema con capacità di indexing veloci. Questo sistema calcola automaticamente per ogni immagine le chiavi numeriche degli indici basandosi su distribuzione dei colori colore prevalente divisione delle regioni, istogrammi dei colori (come modelli delle texture) Ogni immagine viene indicizzata da: dimensione colore location forma delle regioni istogramma di colore dell intera immagine e di 9 sottoregioni. Per permettere fast retrieval, il sistema codifica queste caratteristiche dell immagine in chiavi numeriche negli indici in base al peso di ogni feature nel processo di query-matching. Indicizzare immagini rappresentative ignora essenzialmente la natura temporale del video. Il retrieval dovrebbe essere basto sugli eventi come sulle caratteristiche statiche dell immagine. Questo richiede una comprensione migliore di quali caratteristiche temporali-visuali sono importanti sia per il retrievali and feasible to compute. Per esempio, possiamo recuperare sequenze di zoom attraverso un esame dei motion vector, ma dato che spesso sono difficili da calcolare, un alternativa potrebbe essere dare l analisi delle caratteristiche delle immagini spazio-temporali (che discuteremo dopo) Una Clipmap è semplicemente una finestra che contiene un insieme di icone, ognuna delle quali rappresenta un camera shot. Possiamo usare Clipmaps per fornire un indice non strutturato per un insieme di shots. Inoltre può essere usata per mostrare i risultati della ricerca. ( utile quando la ricerca ritorna una lunga lista di frame)

7 INTERACTIVE VIDEO OBJECTS Ora passiamo al problema delle interfacce. Il video è ricco di media, che comprendono immagini in movimento, testo, misica e suono. Così interfacce basate su parole chiave o su latri tipi di rappresentazione testuale non fornisocono all utente una visuale fatta bene sul contenuto del video. Solo una rappresentazione grafica può fornire una vista intuitiva su questi contenuti. Un utente deve essere capace di interagire con l interfaccia, come con gli indici di testo, più per l iterazione che non per l esaminazione. In questo paragrafo discuteremo tre approcci all iterattività Micons: icons for video contentù Una comune rappresentazione visuale usata dei video shots o sequenza è il video o movie icon, detto anche micon. la figura sopra mostra l ambiente usato per eseminare e manipolare micons. Ogni video clip ha un frame rappresentativo che fornisce a visual cue sul suo contenuto. L immagine statica è mostrata in the upper index strip. Selezionare un immegine da questa striscia causa la visualizzazione l intero micon nella parte sinistra della finestra. Inoltre mostra il contenuto dello slot Description e carica il clip nel soft video player visualizzato sulla parte destra della finestra. La profondità del micon corrisponde alla durata della sequenza video rappresentata, e possiamo usare questa misura di profondità come una scroll bar. I pannelli top e side dell icona sono le immagini spazio-temporali composte dai pixels lungo il lato verticale e orrizontale di ogni frame nel video clip.

8 Questa rappresentazione rivela che a livello bit, un video clip è un volume di pixels, di cui diverse viste di questo possono dare un contenuto valutabile dell informazione. Possiamo esaminare questo volume prendendo tagli verticali e orizzontali, ed è possibile esaminare i movimenti di un oggetto dalle tracce create dal colore. Scegliere un frame rappresentativo per ogni camera shot in the index strip è una caratteristica importante.. adesso,abbiamo bisogno di tool s che sono troppo onerosi in termini di calcoli. Due approcci coinvolgono proprietà semplici dei pixels. Un frame medio viene definito dove ogni pixel ha la media dei valori,nello stesso punto della griglia in tutti i frames dello shot Un altro approccio coinvolge averaging gli istogrammi di tutti i frames in una clip e selezionando il fram il cui istogramma è più vicino all istogramma medio del frame rappresentativo. Nessuno di questi due approcci coinvolge proprietà semantiche. Inoltre prevediamo di icorporare movimenti di camera e di oggetti either per selezionare un frame rappresentativo o per costruire un saline still dentro un frame rappresentativo. Hierarchical video magnifier Qualche volta la possibilità di navigare un video nella sua interezza è più importante che esaminare camera shot individuali in dettaglio. Basiamo il nostro approccio su Hierical Video Magnifier. Presenta una vista di tutti cambiamenti (changing steps) del video. Il nastro originale è di 36 minuti. Come mostra la figura le dimensioni permettono di mostrare 5 frames da lato a lato. L intero filmato è diviso in 5 segmenti di lunghezza uguale, ognuno dei quali rappresentato dal frame di mezzo del pezzo di filmato. Ogni segmento può essere espanso dividendo in 5 porzioji di lunghezza uguale, ognuno rappresentato dal frame nel mezzo del pezzo di filmato. L utente può scendere nella gerarchia finchè lo scrolling lo permette. L utente può inoltre selezionare ogni frame sul display per memorizzarlo. Il sistema memorizzerà l intero segmento rappresentato dal frame come un file separato in cui l utente potrà esaminare con un micon viewer. Questo approccio di browsing è valido per sorgenti come changing steps che non hanno una struttura narrativa ben definita ma va molto bene anche per quelli in cui la struttura narrative è ben definita. Hierical video magnifier è un esempio eccellente di content-free content analysis. La tecnica non richide informazioni riguardanti il contenuto del video se non la sua durata. Lo abbiamo sviluppato per illustrare i risultati della

9 segmentazione automatica. I limiti della segmentazione determinati da semplici divisioni aritmetiche sono molto vicini ai limiti di camera shot. Cosi al top level delle gerarchia i segmenti corrispondono alle sequenze di camera sht, piuttosto che a intervalli di lunghezza fissata. Clipmaps In aggiunta per fornire un interfaccia utile per i risultati delle query, Clipmaps possono servire come tool iterattivo per la costruzione di indici. Con questa capacita clipmaps giocano un ruolo nell esaminare camera shots, simile a quello di una lampada da tavolo per esaminare diepositive fotografiche. E inoltre utile per classificare manualmente i segmenti video in diverse categorie, questo perché l utente può mantenere diverse Clipmap windows aperte. È possibile cominciare con una Clipmap window che contiene una collezione totalmente non strutturata e raggruppare i segmenti di una categoria comune in una Clipmap separata. Questa caratteristica può essere usata per scomporre un largo gruppo di icone video in piccoli gruppi e formare categorie con la tecnica divide et impera. I gruppi creati da questo processo definiscono la topologia di una gerarchia di classi, come mostrato in figura 3 (l albero). Mentre nessun sistema è ancora cosi sofisticatoper generare labels o descrizioni di queste classi automaticamte, l utente può fornire queste informazioni mentre visiona una Clipmap della classe che deve etichettare.

10