Librerie digitali. Video. Gestione di video. Caratteristiche dei video. Video. Metadati associati ai video. Metadati associati ai video

Transcript

1 Video Librerie digitali Gestione di video Ogni filmato è composto da più parti Video Audio Gestito come visto in precedenza Trascrizione del testo, identificazione di informazioni di interesse Testo Utile per capire cosa è rappresentato nel video o cosa stanno dicendo le persone presenti Ad esempio le informazioni in sovraimpressione relative ad un servizio giornalistico o i sottotitoli di un 2 film Video Ogni video può essere diviso in Frame Riprese Episodi... Caratteristiche dei video Ogni video è caratterizzato da un insieme di caratteristiche (possibili metadati) Esse si dividono in Caratteristiche di basso livello Colori, texture,.. Caratteristiche di medio livello (semantiche) Oggetti, luogo, tempo, movimenti di oggetti,.. Caratteristiche di alto livello (semantiche) Storia, concetti, Metadati associati ai video Ad ogni video possono essere associati i seguenti metadati: Metadati generali sul video Chi l ha fatto, quando, chi è presente nel video, ecc. Metadati relativi all audio Trascrizione del discorso presente nel video In generale tutti i metadati solitamente presenti per un dato di tipo audio Metadati associati ai video Metadati relativi al testo Ogni scritta che compare in sovraimpressione è un testo I sottotitoli sono un testo Per ogni testo si memorizzano tutti i metadati solitamente presenti per un dato di tipo testuale più il momento temporale in cui si presentano nel video Metadati relativi alla suddivisione in frame, riprese, episodi del video Ogni frame, ripresa, episodio ha ad esso associati i propri metadati 5 6 1

2 Segmentazione dei video Oltre al video intero è utile caricare nella libreria digitale anche le informazioni (metadati) relative alla sua divisione (segmentazione) in riprese, episodi,.. Informazioni utili per identificare le parti di interesse del video Accesso diretto alla parte di interesse del video Download della sola parte di interesse del video 7 Segmentazione dei video Segmentazione dei video Processo di divisione del video nelle sue componenti base Riprese E successiva aggregazione delle riprese in componenti di alto livello Scene Episodi La segmentazione dei video è un operazione complessa 8 Segmentazione dei video La segmentazione manuale di un video richiede circa 10 ore di lavoro per 1 ora di video Servono quindi strumenti automatici o semiautomatici per l identificazione dei segmenti 9 Identificazione di riprese Definizione comune di ripresa Sequenza di frame che è stata ottenuta tramite una cattura continua effettuata da una sola telecamera Solitamente un cambio di ripresa corrisponde a Un cambio netto di immagine Taglio netto Oppure ad una dissolvenza Applicazione di un effetto video 10 Identificazione di riprese Esempi di cambio netto di immagine Taglio Identificazione di riprese Esempi di dissolvenza Applicazione di un effetto video

3 Identificazione di riprese Le tecniche di identificazione automatica delle riprese si basano sulle differenze tra frame successivi per identificare i momenti di cambi di ripresa Tagli Caratteristiche molto differenti tra frame successivi Dissolvenza Passaggio da un frame di partenza ad uno finale tramite usa sequenza di frame ottenibili come la combinazione del frame di partenza e di quello finale Identificazione dei tagli In presenza di tagli ci sono due frame successivi nettamente diversi tra di loro Transazione netta tra l ultimo frame della prima ripresa e il primo frame della ripresa successiva Basandosi sugli istogrammi dei colori e della luminosità, o similari, è possibile identificare facilmente i tagli Identificazione dei tagli Possibili tecniche Identificazione di contorni e bordi 15 La tecnica si basa semplicemente sulla differenza di colore tra pixel che si trovano nella stessa posizione La tecnica base lavora su immagini rappresentate tramite scala di grigi Ogni pixel è caratterizzato da un valore nella scala di grigi Dati due frame successivi maggiore è il numero di pixel diversi, maggiore è la diversità tra i due frame 16 Quando la differenza tra due frame successivi supera una soglia predefinita allora si è in presenza di un taglio (cambio di ripresa) I xy (F)=valore assunto dal pixel in posizione (x,y) nel frame F, secondo la scala di grigi utilizzata Dati due frame F 1 e F 2 di dimensione MxN pixel, la differenza tra tali frame è definita come: M N x=1 y=1 Diff(F 1, F 2 )= I xy (F 1 ) - I xy (F 2 ) MxN Si ha un taglio al momento temporale t se Diff(F t, F t+1 )>soglia

4 La scelta del valore della soglia non è sempre un operazione facile Solitamente la soglia da utilizzare è calcolata nel seguente modo Si calcola la differenza media tra frame considerando tutte le possibili coppie di frame consecutivi del video La soglia utilizzata è pari ad un valore molto maggiore della differenza media appena calcolata (ad esempio 10 o 15 volte la media) 19 La soglia può essere fissa per tutto il video oppure variabile La versione fissa è calcolata considerando tutti i frame del video Non adatto se ho tagli più netti in alcuni punti e meno netti in altri. Si rischia di non identificare alcuni tagli La versione variabile è calcolata considernado l insieme di frame che si trovano attorno al frame che sto analizzando 20 La versione variabile è calcolata considernado l insieme di frame che si trovano attorno al frame che sto analizzando Richiede di effettuare più calcoli ma in generale è più precisa in presenza di tagli netti in alcuni punti e meno netti in altri Solitamente, per evitare problemi legati ad un repentino cambio di luce (ad esempio un flash) tra frame successivi si effettuano per ogni frame Operazioni di normalizzazione Sottrazione del valore medio dei pixel Se ho degli oggetti che si muovono rapidamente rischio che la differenza tra frame successivi sia molto elevata anche quando in realtà i frame sono relativi alla stessa ripresa Allora ottengo dei tagli che in realtà non sono dei veri tagli, ossia non sono veri cambi di ripresa ( falsi positivi ) 23 Per ogni frame si calcola un instrogramma che rappresenta per ogni possibile tonalità di grigio quanti pixel del frame sono caratterizzati da tale tonalità La differenza tra due frame F 1 e F 2 è calcolata confrontando gli istogrammi dei due frame Se la differenza tra due frame consecutivi supera una soglia prefissata allora c è un taglio (cambio di ripresa) 24 4

5 La differenza tra due frame F 1 e F 2 può essere calcolata come Differenza tra le aree degli istogrammi di F 1 e F 2 Oppure come l inverso dell intersezione tra le aree Vantaggi Le tecniche basate sugli istogrammi gestiscono bene anche riprese in cui sono presenti oggetti che si muovono velocemente degli istogrammi di F 1 e F 2 Per la scelta della soglia si usa un approccio analogo a quello utilizzato per la tecnica pairwise pixel comparison Immagine diverse ma caratterizzate dagli stessi istogrammi sembrano uguali Esempio F1 I frame F1 e F2 hanno lo stesso istogramma anche se sono completamente diversi F2 27 Per risolvere il problema di istogrammi simili per frame diversi si possono dividere i frame in sottoframe e calcolare la differenza tra gli istogrammi dei vari sottoframe Così facendo i due frame presentati nel lucido precedente risultano essere effettivamente diversi anche usando gli istogrammi 28 Identificazione di contorni e bordi Identificazione di contorni e bordi Per ogni frame si identificano i bordi e i contorni degli oggetti presenti nel frame Per calcolare la differenza tra due frame F 1 e F 2 si verifica quanti pixel diversi ci sono considerando solo i pixel associati ai bordi e ai contorni degli oggetti Vantaggi Insensibile ai cambi di luce Difficile e complesso identificare bordi e contorni Sensibile agli oggetti che si muovo velocemente nella ripresa

6 In presenza dell uso di tecniche di dissolvenza per passare da una ripresa e la successiva non ci sono cambi netti tra frame successivi La presenza della dissolvenza comporta comunque una differenza tra frame successivi maggiore alla media per un certo numero di frame consecutivi Possibili tecniche Analisi degli istogrammi di sequenze di frame Modellizzazione matematica del processo di dissolvenza Analisi degli istogrammi di sequenze di frame considero più frame consecutivi e non solo due Il frame presente subito prima della dissolvenza e quello presente subito dopo il processo di dissolvenza sono molto diversi tra loro I frame intermedi sono caratterizzati da una differenza superiore, anche se di poco, alla differenza media tra frame L uso degli istogrammi per la ricerca di dissolvenze richiede la definizione di due soglie Difficile trovare facilmente valori appropriati per entrambe le soglie Modellizzazione matematica del processo di dissolvenza Uso delle formule matematiche che descrivono come avviene l uscita dell ultimo frame della prima ripresa e l ingresso del primo frame della seconda ripresa L uso delle tecniche basate su modelli matematici richiedono di conoscere bene il tipo di effetto che si sta cercando Serve conoscere almeno il tipo di effetto applicato e la sua durata in frame

7 Identificazione di effetti Usando le stesse tecniche usate per identificare le dissolvenze si possono identificare anche altri tipi di effetti La difficoltà di identificare i vari passaggi di ripresa sono fortemente legati al tipo di effetto da identificare Alcuni effetti sono difficili da rappresentare Identificazione degli episodi Una volta identificate le riprese tali riprese sono accorpate in episodi Solitamente il processo di accorpamento è semiautomatico Le tecniche proposte si basano su Regole definite manualmente Descrizione del tipo di oggetti o effetti presenti all inizio o alla fine di un episodio Lunghezza media degli episodi ecc Identificazione degli episodi Analisi automatiche della differenza tra le riprese Cambio del sottofondo musicale o dell audio di sottofondo Ad esempio prima molto rumore e poi silenzio Cambio delle persone o degli oggetti presenti La definizione delle regole manuali è indispensabile per ottenere dei buoni risultati Le regole variano in funzione del tipo di video da analizzare Esempio Idenficazione dei servizi televisivi di un telegiornale Ogni servizio è un episodio Per identificare i vari servizi si può Identificare la presenza della scritta in sovraimpressione che indica il nome del giornalista che ha fatto il servizio. Tale scritta si presenta solo all inizio del servizio Esempio Oppure identificare i momenti in cui parla il giornalista presente in studio e quelli in cui parla un altra persona Tra un servizio e l altro parla solo il giornalista presente in studio per alcuni minuti. Quando comincia a parlare un altra persona per alcuni minuti allora è sicuramente cominciato un servizio 41 7