Modelli Flusso ottico (Optical Flow) Metodi a blocchi (Block Based) Metodi basati su pixel (Pel-Recursive) Stima del moto 3-D (3D-ME) )[cenni]

Transcript

1 Elaborazione e Trasmissione Video Parte II Stima del moto A.A Modelli Indice Flusso ottico (Optical Flow) Metodi a blocchi (Block Based) Metodi basati su piel (Pel-Recursive) Stima del moto 3-D (3D-ME) )[cenni] A.A Elaborazione e Trasmissione Video - Parte II 2 Perché usare dei modelli Modelli della telecamera Buona approssimazione del mondo reale Il modello più usato è il modello pinhole Descrivere i vari eventi in un sistema per l elaborazione video in forma parametrica Consentire la stima di tali parametri X F Y C X Z F = lunghezza focale della telecamera C = centro focale (camera center) = proiezione del punto 3D X è l intersezione della retta che unisce X e C con il piano immagine Il centro del piano coordinato è in C Spesso si usa mettere il piano immagine dalla stessa parte della scena ripresa, per evitare l inversione dell immagine A.A Elaborazione e Trasmissione Video - Parte II 3 A.A Elaborazione e Trasmissione Video - Parte II 4

2 Modelli della telecamera: pinhole E un modello astratto (una scatola con un buco) Modelli della telecamera Tale rappresentazione e chiamata proiezione prospettica Valgono le relazioni: = X (F/Z) e = Y (F/Z) Se la camera è lontana dall oggetto ripreso si può usare una semplice proiezione ortografica In pratica i raggi diventano paralleli Sia ha quindi: =X, =Y Esistono ovviamente modelli più sofisticati (CAHV) A.A Elaborazione e Trasmissione Video - Parte II 5 A.A Elaborazione e Trasmissione Video - Parte II 6 Modelli della telecamera: caratteristiche del modello pinhole Se l oggetto è più lontano appare più piccolo Modelli della telecamera: caratteristiche del modello pinhole Le linee parallele si incontrano in un punto: vanishing point A.A Elaborazione e Trasmissione Video - Parte II 7 A.A Elaborazione e Trasmissione Video - Parte II 8

3 Modelli della telecamera Per quanto riguarda il moto della telecamera, ci sono 6 tipi di movimento: Movimenti i di traslazione: Destra-sinistra Alto-basso Avanti-indietro Movimenti di rotazione Tilt (verso l alto e verso il basso) Pan (verso sinistra e verso destra) Roll (verso sinistra e verso destra) Modelli della telecamera A.A Elaborazione e Trasmissione Video - Parte II 9 A.A Elaborazione e Trasmissione Video - Parte II 10 Modelli di illuminazione L illuminazione interagisce notevolmente con la visione del movimento nelle immagini E un fenomeno fisico complesso: esistono vari modelli per descriverlo Noi percepiamo p gli oggetti grazie al fatto che riflettono luce (a certe frequenza/colori) La riflessione può essere: Diffusa (uguale energia in tutte tt le direzioni) i i) Speculare (maggiore energia verso raggio incidente) A.A Elaborazione e Trasmissione Video - Parte II 11 Modelli di illuminazione Anche la sorgente luminosa può essere descritta in vario modo, 2 modelli tipici sono: Luce ambiente: irradia la stessa quantità di energia in ogni direzione (non crea ombre) Es: la luce del sole quando è coperto dalle nuvole Sorgente puntiforme: è pensata come una sorgente a grande distanza dalla scena ed è caratterizzata da una direzione Es: una luce spot cinematografica A.A Elaborazione e Trasmissione Video - Parte II 12

4 Modelli di illuminazione Ancora, si può distinguere tra modelli: Locali: non si guarda l interazione tra oggetti nella scena e la loro posizione reciproca, ma solo la riflessione diretta di ogni oggetto Globali: si considerano anche le interazioni (riflessioni multiple) Tali modelli sono molto complessi, e vanno al di là degli obiettivi di questo corso Vedi: grafica computerizzata, Ra-tracing Modelli di oggetti Gli oggetti sono gli elementi che costituiscono la scena ripresa Sono descritti da tre caratteristiche, a loro volta modellabili: Forma: è lo spazio 3D che l oggetto occupa Moto: può essere descritto in termini i di traslazione, rotazione ed eventuale deformazione Tessitura: colore, L.D.G., teture A.A Elaborazione e Trasmissione Video - Parte II 13 A.A Elaborazione e Trasmissione Video - Parte II 14 Modelli di oggetti Modelli di scena In genere si suppone (ipotesi semplificata) una intensità di illuminazione costante la luminanza di un punto non cambia col moto In questo caso la tessitura è indipendente dal tempo (è il segnale immagine 2D) Per quanto riguarda la forma, può essere descritta mediante un modello discreto si divide lo spazio in cubetti (voel) e si determina quali stanno dentro/fuori dall oggetto alternativamente si descrive tramite la superficie esterna (di tipo poligonale rettangolo di ingombro) A.A Elaborazione e Trasmissione Video - Parte II 15 Descrivono le interazioni tra gli oggetti in movimento e la telecamera, tenendo conto dei modelli di oggetti, illuminazione, camera, Modelli 2D: gli oggetti si muovono su un piano parallelo al piano immagine Modelli 2.5D: gestiscono l occlusione ma non la profondità (proiezione ortografica + laering) Modelli 3D: descrizioni reali del mondo (usano proiezioni prospettiche) A.A Elaborazione e Trasmissione Video - Parte II 16

5 Moto nel 2D Nella elaborazione e codifica video si usa largamente un modello di moto collegato a modelli di scena 2D moto 2D Si tratta di descrivere il moto relativo 3D degli oggetti nella scena e della telecamera, ed il modo in cui si riflettono nei cambiamenti dell immagine proiettata sul piano Con riferimento alla figura seguente, si parla di: Spostamento p 3D: D(X;t1;t2) ( ; ; ) = X X = [D,D,Dz] Spostamento 2D: d(;t1;t2) = = [d,d] Moto 2-D di un oggetto 3-D Y X D X Z d X d: 2-D Motion Vector D: 3-D Motion Vector C Proiezione del moto di un punto nello spazio 3-D sul piano 2-D A.A Elaborazione e Trasmissione Video - Parte II 17 A.A Elaborazione e Trasmissione Video - Parte II 18 Esempio: Motion Field Frame 1 Frame 2 Motion Field A.A Elaborazione e Trasmissione Video - Parte II 19 Moto 2-D: Proiezioni I sistemi di cattura registrano proiezioni 2-D di una scena tempo-variante 3-D: f : R R 4 3 ( X, Y, Z, t ) (,, t ) dove le coordinate nello spazio 3-D, (X, Y, Z), le coordinate nel piano 2-D, (, ), e t, il tempo, sono variabili continue. Considereremo due tipi di proiezioni: Proiezione prospettica (centrale) Proiezione ortografica (parallela) A.A Elaborazione e Trasmissione Video - Parte II 20

6 Proiezione prospettica (o centrale) Usando il modello visto di telecamera pinhole tutti i raggi che partono dall oggetto passano dal centro della proiezione, che corrisponde al centro delle lenti della telecamera. Nel disegno, il centro della proiezione è posto tra l oggetto ed il piano immagine, ed il piano immagine corrisponde con il piano (X, Y) dello spazio 3-D. Y (, ) f X (X, Y, Z) centro della proiezione Z Proiezione prospettica: formulazione Considerando le due coppie di triangoli simili: (,0,0),( 0,0, f ), ( 0,0,0) ; e ( X,0, Z ), ( 0,0, f ), ( 0,0, Z ) (,0,0),( 0,0, f ), ( 0,0,0) ; e ( Y,0, Z ), ( 0,0, f ), ( 0,0, Z ) si ottengono le seguenti relazioni: X = f Z f fx = Z f Y e = f Z f e fy = Z f A.A Elaborazione e Trasmissione Video - Parte II 21 A.A Elaborazione e Trasmissione Video - Parte II 22 Proiezione prospettica semplificata Si ha quando il centro di proiezione coincide con l origine dello spazio 3-D. Si può approssimare la proiezione prospettica con quella semplificata quando Z >> f. Y X (, ) (X, Y, Z) Proiezione ortografica (o parallela) l E una approssimazione che assume che tutti i raggi che partono dall oggetto 3-D (e dalla scena in generale) viaggino paralleli tra loro. Nel disegno, il piano immagine è parallelo a (X, Y) Y centro della proiezione f Z fx = e = Z fy Z X Z A.A Elaborazione e Trasmissione Video - Parte II 23 A.A Elaborazione e Trasmissione Video - Parte II 24

7 Proiezione ortografica : formulazione Supponendo che il piano immagine sia parallelo al piano X Y, la proiezione ortografica può essere descritta, in coordinate cartesiane, come: = X e = Y o in notazione matriciale: X = Y Z Osservazioni: La distanza dell oggetto dalla telecamera non influenza l intensità dell immagine proiettata sul piano 2-D. E una buona approssimazione quando la distanza dell oggetto dalla telecamera è molto maggiore della profondità dell oggetto stesso A.A Elaborazione e Trasmissione Video - Parte II 25 Esempi di modelli di moto 2D (camera motion: traslazione su X,Y) Traslazione della telecamera sul piano img: X ' X T Y ' Y T = + ; Z ' Z 0 T, T traslazion e della telecamera Usando il modello prospettico semplificato, abbiamo: ' TF / Z = + ' T F / Z Questo a sua volta può essere semplificato usando al posto della coordinata Z di ogni punto dell oggetto, la distanza media Z A A.A Elaborazione e Trasmissione Video - Parte II 26 Esempi di modelli di moto 2D (camera motion: Zoom) Lo zoom modifica la distanza focale F F Sempre tramite modello prospettico, otteniamo: ' ρ = ' ρ ; ρ = F ' / F = fattore di zoom Il vettore di spostamento relativo sarà quindi:: d (, ) (1 ρ) = d (, ) (1 ρ) A.A Elaborazione e Trasmissione Video - Parte II 27 Esempi di modelli di moto 2D (camera motion: Pan e Tilt) La rotazione della telecamera s-d, alto-basso: X ' = [ R ][ R ] X ; 1 0 ϑ [ R ][ R ] = 0 1 ϑ ϑ 1 ϑ Usando il modello prospettico, otteniamo semplificando: ' + ϑf = ' ϑf ovvero d d (, ) ϑf = (, ) ϑf In realtà questo risultato t deriva da semplificazioni i i notevoli, che derivano da ipotesi sul modo (angoli piccoli) e sulle dimensioni dell oggetto (piccole rispetto alla distanza dalla telecamera) A.A Elaborazione e Trasmissione Video - Parte II 28

8 Esempi di modelli di moto 2D (camera motion: Roll) Moto 2-D corrispondente al movimento della telecamera Il rollio è la rotazione della telecamera attorno l asse Z: genera una rotazione delle coordinate del piano immagine: ' cosϑz sinϑz 1 ϑz = ' sinϑz cosϑz ϑ z 1 I vettori di moto corrispondenti saranno: d d (, ) ϑz = (, ) ϑz (a) Zoom (b) Rotazione attorno all asseasse Z A.A Elaborazione e Trasmissione Video - Parte II 29 A.A Elaborazione e Trasmissione Video - Parte II 30 Moto 2-D corrispondente a un oggetto rigido In questo caso si suppone la telecamera fissa e gli oggetti in movimento 3D Il moto in generale deriva da una combinazione complessa di movimenti arbitrari (telecamera e oggetti) La proiezione 2D che si ottiene non è univoca (combinazioni di moti reciproci che danno la stessa immagine) E molto difficile a posteriori individuare i vari tipi di moto che influenzano la scena A.A Elaborazione e Trasmissione Video - Parte II 31 Moto 2-D corrispondente a un oggetto rigido Caso generale (roto-traslazione rigida di un oggetto): ( r1 + r2 + r3 F )Z Z + T F X ' r1 r2 r3 X T ' = F ( r7 + r8 + r9 F ) Z + TzF Y ' = r4 r5 r6 Y + T ( r4 + r5 + r6 F ) Z + T F Z ' r r r Z T ' = F z ( r7 + r8 + r9 F ) Z + TzF In totale di hanno 6 parametri (nella matrice ci sono 9 valori, ma ricavabili da 3 soli angoli di rotazione) Da notare che nell espressione sopra, la traslazione e la distanza focale sono collegate: Cambiando proporzionalmente il vettore di traslazione e la distanza, l effetto sullo spostamento è lo stesso, quindi posso determinare la direzione ma non la lunghezza della traslazione. A.A Elaborazione e Trasmissione Video - Parte II 32

9 Moto 2-D corrispondente a un oggetto rigido Nel caso che l oggetto sia planare o che non ci sia moto nella direzione Z, l espressione precedente si semplifica in: a0 + a1 + a2 b0 + b1 + b2 ' =, ' = 1+ c1 + c2 1+ c1 + c2 che è detta mappatura prospettica p La mappatura prospettica ha 8 parametri, e consente di modellare in modo esatto la relazione tra due immagini in presenza di moto rigido o moto della telecamera A.A Elaborazione e Trasmissione Video - Parte II 33 Moto 2-D corrispondente a un oggetto rigido: semplificazioni Se la geometria del sistema di acquisizione può essere modellata come ortografica, l espressione precedente si approssima polinomialmente come: d (, ) a0 + a1 + a2 = d (, ) b0 + b1 + b2 Questo modello è chiamato moto affine Il moto affine è caratterizzato da 6 parametri Funziona bene per rappresentare la proiezione 2D del moto causato da movimenti della telecamera o da superfici planari in moto rigido 3D A.A Elaborazione e Trasmissione Video - Parte II 34 Trasformazione affine T = maketform('affine',[.5 0 0;.5 2 0; 0 0 1]); tformfwd([10 20],T) I = imread('cameraman.tif'); I2 = imtransform(i,t); imshow(i), figure, imshow(i2) Modelli affine e bilineare Affine (6 parametri): Utile l per mappare triangoli in triangoli Bilineare (8 parametri) Utile per mappare blocchi in quadrilateri A.A Elaborazione e Trasmissione Video - Parte II 36

10 Modelli di moto 2-D Campi di moto corrispondenti ai diversi modelli di moto 2-D Proprietà delle proiezioni: La frequenza spaziale percepita aumenta per gli oggetti lontani (chirping) Convergenza: le linee parallele convergono con l aumentare della profondità. Traslazione Affine Bilineare Prospettica A.A Elaborazione e Trasmissione Video - Parte II 37 A.A Elaborazione e Trasmissione Video - Parte II 38 Modelli di moto 3-D Vengono utilizzati per modellare il moto relativo tra la telecamera e gli oggetti presenti nella scena Includono due tipi di moto Moto 3-D degli oggetti presenti nella scena, p.e.: rotazione e traslazione Moto t 3-D della telecamera, p.e.: zoom e panning. Useremo e emo il sistema di riferimento imento Cartesiano: X = [X, Y, Z] Modelli del moto 3-D Il moto può essere: Rigido: l oggetto mantiene la forma inalterata mentre si muove Flessibile: l oggetto si può deformare Il moto rigido è caratterizzato atte ato da: Traslazione (vettore di traslazione T) Rotazione (matrice di rotazione R) ) Il moto flessibile può essere rappresentato: come combinazione di moti rigidi (sottoparti dell oggetto) come somma di un moto rigido e di un moto interno A.A Elaborazione e Trasmissione Video - Parte II 39 A.A Elaborazione e Trasmissione Video - Parte II 40

11 Modelli di moto 3-D: Moto rigido Nel moto rigido le distanze relative tra i punti dello stesso oggetto in movimento rimangono costanti, la sua forma può essere modellata da una superficie non deformabile Vedremo che il moto rigido si può modellare con una trasformata affine nelle coordinate cartesiane (X1,X2,X3) istante t k istante t k+1 Modelli di moto 3-D Per quanto riguarda il moto rigido, abbiamo: Vettore di traslazione T = (T, T, Tz) per cui X = X + T Matrice di rotazione R = [R][R][Rz] ] (R ortonormale) Il moto totale sarà dunque: X = [R] X + T A.A Elaborazione e Trasmissione Video - Parte II 41 A.A Elaborazione e Trasmissione Video - Parte II 42 Modelli di moto 3-D: Rotazione La rotazione dell oggetto può essere espressa da: I tre angoli di rotazione di Eulero θ, θ e θ z, rispettivamente attorno ai tre assi X, Y e Z Un asse di rotazione (n 1,n 2,n 3 ) e l angolo di rotazione α attorno ad esso θz Y (0,1,0) 0) θ=90 (0,0,1) θ θ=90 θz=90 (1,0,0) NOTA: la rotazione è sempre espressa in senso orario Z Z (b) (a) X θ Y (n 1,n 2,n 3 ) A.A Elaborazione e Trasmissione Video - Parte II 43 α X Modelli di moto 3-D: Rotazione Matrici di rotazione su,,z: R 1 = cos ϑ sinϑ R z 0 sin ϑ cosϑ R cosϑz sinϑz 0 = sinϑ z cosϑ z cosϑ 0 sinϑ = sinϑ 0 cosϑ A.A Elaborazione e Trasmissione Video - Parte II 44

12 Modelli di moto 3-D: esempio Rotazione del punto (0,1,0) di 90 attorno all asse X: θ=90 Z (0,1,0), X = R [ X ] + T (1,0,0) 0) (0,0,1) Y X X ' π π Y ' = 0 cos sin 1 = Z' 0 1 π π 0 sin cos 2 2 Modelli di moto 3-D: Semplificazioni Possibili semplificazioni Se il moto è piccolo, cosθ=1 1 sinθ=θθ 1 ϑ In questo caso: z ϑ R = ϑz 1 ϑ ϑ ϑ 1 Inoltre, se l oggetto è lontano, conviene centrarsi sull oggetto C anziché sul centro della camera, per cui si ottiene: X = [R] (X - C) + C + T A.A Elaborazione e Trasmissione Video - Parte II 45 A.A Elaborazione e Trasmissione Video - Parte II 46 Modelli di moto 3-D: Moto Flessibile Il modello del moto 3-D rigido può essere esteso al moto flessibile introducendo una matrice D di deformazione: ( D + R ) X T X = + Non ci sono vincoli sulla matrice di deformazione E possibile inserire due vincoli intriseci nel disegnare il modello di moto: Imporre la coerenza della superficie Tener conto di simmetrie presenti nell oggetto Modelli Wireframe: oggetto = parti rigide connesse tra loro in modo flessibile Stima del moto bidimensionale i (2-D Motion Estimation -ME) Applicazioni: Compressione Video (trasmissione e storage) Filtraggio (deblurring, noise suppression) Interpolazione (de-interlacing, ricostruzione frame per alta risoluzione) Computer Vision (segmentazione, riconoscimento ) A seconda dell applicazione, può essere più o meno precisa (dal punto di vista fisico) Tutti gli algoritmi di ME sono basati sull analisi dei cambiamenti temporali delle intensità delle componenti dell immagine. A.A Elaborazione e Trasmissione Video - Parte II 47 A.A Elaborazione e Trasmissione Video - Parte II 48

13 Il problema della stima del moto Il problema della stima del moto è in genere un problema di ottimizzazione, che coinvolge tre componenti chiave: 1. Parametrizzazione i del campo del moto 2. Formulazione del criterio di ottimizzazione i i 3. Ricerca ottima dei parametri La stima del moto non viene eseguita sul moto reale ma sul cosiddetto optical flow A.A Elaborazione e Trasmissione Video - Parte II 49 Moto 2D e Optical Flow E la velocità, apparente o osservata, dei vettori di moto bidimensionali (2-D Motion Vectors - MV). La stima dell OF viene fatta determinando la velocità v( 1, 2, t) dei piel di due frame consecutivi. Non rispecchia necessariamente il moto 2- D reale (cambi dell illuminazione esterna, regioni omogenee, occlusioni, ecc.) Può essere causato: dal moto degli oggetti presenti nella scena dai movimenti della telecamera da cambiamenti di illuminazione della scena A.A Elaborazione e Trasmissione Video - Parte II 50 Moto bidimensionale vs. Optical Flow Moto 2-D: è la proiezione del moto 3-D sul piano Optical Flow: è il moto 2-D percepito in base ai cambiamenti di intensità nell immagine; può essere nullo anche quando c è del movimento reale. Equazione dell Optical Flow Quando non sono note le condizioni di illuminazione, l Optical Flow è la migliore stima del moto che si possa avere Ipotesi: le immagini dello stesso punto di un oggetto in istanti diversi hanno lo stesso valore di luminanza: ( + d, + d, t + d ) ψ (, t) ψ = t, Per d, d,, d t piccoli, l espansione di Talor diventa: ψ ψ ψ ( + d, + d, t + dt ) = ψ (, t) + d + d + dt ψ, ψ ψ ψ Comparando le due equazioni si ottiene: d + d + dt = 0 t t (a) Illuminazione ambiente costante: la sfera ruota ma l immagine osservata non cambia (b) Una sorgente luminosa puntuale ruota attorno alla sfera ferma: il moto del riflesso della luce sulla sfera dà l illusione che questa stia ruotando Dividendo da entrambe le parti per d t si ottiene l equazione dell Optical ψ ψ ψ T ψ Flow (OFE): v + v + = 0 oppure ψ v + = 0 t t A.A Elaborazione e Trasmissione Video - Parte II 51 A.A Elaborazione e Trasmissione Video - Parte II 52

14 OFE: v v e t v n n t v e n Considerazioni ψ ψ ψ + = 0 t Tangente Decomposizione del vettore v nelle sue componenti ortogonali: v = vnen + vtet La componente tangente v t è indeterminata: ogni suo valore soddisfa l equazione dell Optical Flow (aperture problem) Come vincolo addizionale si considerano variazioni lente dell intensità: per determinare il moto di si considerano le variazioni in un suo intorno Per le aree con intensità costante, il vettore di flusso è indeterminato. ψ = 0 A.A Elaborazione e Trasmissione Video - Parte II 53 Considerazioni La stima dell Optical Flow (o del campo di moto 2-D) dati due frame e senza altri vincoli, è di per sé un problema mal posto: Esistenza di una soluzione. Non esistono soluzioni per i punti di occlusione (sfondo nascosto/visibile) Soluzione unica. Se le coordinate d e d dello spostamento di ogni piel sono trattate come variabili indipendenti, il numero di incognite è pari al doppio del numero di osservazioni. In teoria, è possibile determinare per ogni piel solamente il moto ortogonale al gradiente (normal flow) Aperture Problem A.A Elaborazione e Trasmissione Video - Parte II 54 Occlusione La superficie viene coperta/scoperta dal movimento di un oggetto Occlusione Il moto nelle regioni occluse è indefinito Frame k Frame k+1 Regione di sfondo che verrà Regione e di sfondo so lasciata ascaa coperta dal movimento scoperta dal movimento dell oggetto (nel frame dell oggetto (nessun vettore di successivo non ci sarà una moto punta a questa regione) regione corrispondente) A.A Elaborazione e Trasmissione Video - Parte II 55 A.A Elaborazione e Trasmissione Video - Parte II 56

15 Apertura E solamente possibile osservare e determinare lo spostamento ortogonale ai bordi (nella direzione del gradiente dell intensità) Flusso normale Apertura 2 Apertura 1 Metodologie per la stima del moto Esistono due categorie di approcci: Feature based (object tracking, ricostruzioni 3D da dati 2D) Intensit based, basati sull ipotesi di intensità costante (predizione dei frame nella codifica video, interpolazione di frame) Problemi Rappresentazione del campo di moto Criterio i per la stima dei parametri ti Ricerca dei parametri di moto A.A Elaborazione e Trasmissione Video - Parte II 57 A.A Elaborazione e Trasmissione Video - Parte II 58 Stima del Moto: Forward e Backward tempo Backward motion estimation t-δt d(,t,t-δt) Target Frame t+δt d(,t,t+δt) t Target Frame Anchor Frame Forward motion estimation A.A Elaborazione e Trasmissione Video - Parte II 59 Stima del Moto: Bidirectional Talvolta si parla della stima di moto bidirezionale o interpolativa In particolare è usata nella codifica di sequenze video (es. MPEG, H.26) In questo caso il moto è predetto sulla base delle informazioni provenienti sia dai frame precedenti che da quelli seguenti Si tratta di sfruttare al meglio le due informazioni Vedremo il dettaglio nell ambito della codifica A.A Elaborazione e Trasmissione Video - Parte II 60

16 Notazione Anchor frame ψ 1 (): frame al tempo t 1 Target frame ψ 2 (): frame al tempo t 2 detto anche frame di riferimento (Reference). Se t 1 > t 2 : backward motion estimation (stima del moto in base ad un frame passato) Se t 1 < t 2 : forward motion estimation (stima del moto in base ad un frame futuro) d(;a): campo di moto (motion field) a=[a 1, a 2,, a L ] T : parametri di moto in ψ 1 si sposta in w(;a)=+d(;a) in ψ 2 Rappresentazione del moto (a) Globale: il moto è rappresentato da alcuni parametri ideterminati iglobalmente l (b) Piel-based: un vettore di moto (Motion Vector MV) per ogni piel () (c) (d) Block-based: il frame è diviso in blocchi ed il moto in ogni blocco è definito da alcuni parametri Region-based: il frame è diviso in regioni, ognuna corrispondente ad un oggetto (o parte di esso) con moto consistente. A.A Elaborazione e Trasmissione Video - Parte II 61 A.A Elaborazione e Trasmissione Video - Parte II 62 Criteri per la stima del moto: DFD Minimizzazione del Displaced Frame Difference e (DFD): EDFD a : p ( a) ψ ( w( a) ) ψ ( ) min = Λ Λ : insieme di p > 0 2 ; 1 piel appartenenti al frame corrente vettore dei parametri di moto p = 1: mean absolute difference (MAD) p = 2 : mean square error (MSE) Condizione i necessaria per minimizzare i i E DFD : E DFD Il gradiente di E DFD rispetto ad a deve essere nullo = 0 a A.A Elaborazione e Trasmissione Video - Parte II 63 Criteri per la stima del moto: OF Soddisfare l equazione dell Optical Flow (OF), con l ipotesi di avere d t piccolo: d ψ t piccolo T + = T ( ψ ( ) ) d d ( ψ ( ) ) d + ( ψ ψ ) 0 t Si minimizza la seguente funzione di costo: E OF t = T ( a ) = ( ψ ( ) ) ( ; ) ( ) ( ) p 1 d a + ψ 2 ψ 1 Λ Λ : insieme di piel appartenenti al frame corrente min a : vettore dei parametri di moto d( ; a) : vettore di moto [ d,d ] Facile da risolvere se i parametri di moto sono linearmente legati ai MV ed ha un unico minimo globale Criterio valido solo per moto lento, altrimenti conviene DFD A.A Elaborazione e Trasmissione Video - Parte II 64

17 Criteri per la stima del moto: regolarizzazione Regolarizzazione, si introduce nella funzione di costo un fattore dipendente dai valori dei piel vicini (motion smoothness criterion): 2 E a d ; a d ; a p t s ( ) = ( ) ( ) DFD Λ ℵ ( a ) + E ( a ) min E DFD E s t+δt a b Nell immagine di fianco si ha una situazione di ambiguità: la OFE è soddisfatta sia dal vettore punta ad a che a b. Introducendo E s l ambiguità viene risolta favorendo il vettore che punta a. A.A Elaborazione e Trasmissione Video - Parte II 65 Criteri per la stima del moto: criterio baesiano Criterio Baesiano (MAP) Si basa sulla formulazione statistica del problema del moto In pratica, si considera l immagine target come una realizzazione di un campo aleatorio, così come il campo di spostamento. Secondo la teoria Baesiana, si tenterà quindi di minimizzare la distribuzione di probabilità a posteriori del campo di moto data l immagine anchor (deterministica) e quella target (nota) P( D = d ψ = ψ 1; ψ 2) ma il criterio baesiano può essere ricondotto sotto opportune ipotesi al DFD (o a sue modificazioni) A.A Elaborazione e Trasmissione Video - Parte II 66 Metodi di ricerca Ricerca esaustiva In genere usato con DFD con p=1 (MAD) Garantisce una soluzione ottima globale Problemi computazionali (solo con pochi parametri) Esistono algoritmi per la ricerca rapida di soluzioni subottime Ricerca ca basata sulla discesa del gradiente Usato con OF e DFD con p=2 (MSE) La soluzione trovata può essere un minimo locale Può essere utile fare delle assunzioni in base alle conoscenze a priori possedute Ricerca multi-risoluzione Ricerca gerarchica, da una risoluzione più bassa ad una più alta Più veloce della ricerca esaustiva Evita i minimi locali A.A Elaborazione e Trasmissione Video - Parte II 67 Piel-Based Motion Estimation Metodo Horn-Schunck: Minimizza una funzione di costo che abbina l equazione dell Optical Flow a un criterio di regolarizzazione (motion smoothness criterion). Multipoint neighborhood Si considera una piccola regione R( n ) vicina al piel considerato e si suppone che tutti i piel di questa regione abbiano lo stesso MV. Si minimizza l errore di predizione su R( n ) oppure si risolve l equazione dell OF. Pel-Recursive Si utilizzano per la predizione di frame basata sulla stima del moto (la quantità di dati che definiscono i MV possono diventare un problema se si utilizzano metodi piel-based) Ogni MV viene ottenuto dal MV del piel precedente Semplice ma poco preciso. Sviluppato per la prima generazione di codificatori i video. A.A Elaborazione e Trasmissione Video - Parte II 68

18 Block-Based Based Motion Estimation (BBME) Il frame viene suddiviso in blocchi distinti, il MV viene scelto per l intero blocco. Si assume che il moto all interno del blocco sia caratterizzato da un modello parametrico semplice (p.e. costante, t t. affine o bilineare) Se i blocchi sono sufficientemente piccoli, questo modello può essere piuttosto accurato. Criterio di ricerca: il blocco corrispondente viene scelto: Massimizzando la funzione di cross-correlazione oppure Minimizzando una misura dell errore(mad o l MSE) Procedura di ricerca: Ricerca esaustiva Algoritmi di ricerca rapida Integer-pel vs. fractional-pel accurac Può essere implementato in HW in modo semplice e modulare, eventualmente utilizzando una architettura parallela. A.A Elaborazione e Trasmissione Video - Parte II 69 Block-Matching Algorithm (BMA) Si modella il moto all interno del blocco con MV costante per tutti i piel della regione (modello traslazionale): l ( ; a) = + dm p p ( dm ) = ψ 2( + dm ) ψ1( ) min ψ 2( + dm ) ψ1( ) min w E DFD m M Bm Bm M : numero di blocchi B m : insieme di piel appartenen ti al blocco m d m : vettore di moto (MV) associato al blocco m p > 0 p = 1 : mean absolute difference (MAD) p = 2 : mean square error (MSE) Per ridurre il carico computazionale in genere si adotta come criterio il MAD (p=1) La ricerca viene fatta in una finestra limitata attorno al blocco considerato. A.A Elaborazione e Trasmissione Video - Parte II 70 Block-Matching: Ricerca Esaustiva Anche detta Eaustive Block-Marching Algorithm - EBMA Ricerca Esaustiva: Complessità Definiamo: i Dim. blocco: NN; Dim. Immagine: MM Search step size=1 piel (precisione intera) Finestra di ricerca (-R,R) (sia verticale che orizzontale) Complessità # blocchi possibili=(2r+1) 2 # operazioni per calcolare il MAD per un blocco ~ O(N 2 ) # operazione per stimare il MV per un blocco ~ O((2R+1) 2 N 2 ) # blocchi = M 2 /N 2 # totale di operazioni per un frame ~ O((2R+1) 2 M 2 ) indipendente dalla dimensione del singolo blocco! Es. M=512, N=16, R=16, 30fps nell ordine di operazioni per frame operazioni i al secondo Adatto per soluzioni HW (VLSI), pesante per soluzioni SW A.A Elaborazione e Trasmissione Video - Parte II 71 A.A Elaborazione e Trasmissione Video - Parte II 72

19 Esempio di implementazione in Matlab Ricerca Esaustiva con precisione sub-piel Ammetto che i MV siano frazionari: step-size =1/K, K> 1 Precisione half-pel EBMA (meta piel) Step-size = ½ in entrambe le direzioni E necessario interpolare il frame di un fattore K prima di iniziare la procedura di ricerca (in genere si usa una interpolazione bilineare) Complessità per K=2: 4 volte superiore + operazioni necessarie per l interpolazione Algoritmi veloci: 1. Ricerca a precisione intera su tutto il frame 2. Ricerca a precisione sub-piel in una regione limitata A.A Elaborazione e Trasmissione Video - Parte II 73 A.A Elaborazione e Trasmissione Video - Parte II 74 Ricerca Esaustiva con precisione metà-piel Interpolazione bilineare L immagine viene interpolata per un fattore K=2, e successivamente viene fatta la ricerca dei MV. A.A Elaborazione e Trasmissione Video - Parte II 75 A.A Elaborazione e Trasmissione Video - Parte II 76

20 Esempio Pro e Contro o dell EBMA Blocchettatura dell immagine predetta: il blocco viene translato nella nuova posizione, non è un modello accurato Esistono alternative: Deformable EBMA Il motion field può non essere coerente perché i MV vengono calcolati l in modo indipendente d blocco per blocco Alternative: mesh-based ME, smoothness constraint Trova MV errati nelle zone omogenee (lo spostamento è indeterminato quando il gradiente è zero) Nonostante t ciò è molto usato per la compensazione del moto nella codifica video perché è un metodo semplice in grado di ottimizzare l errore di predizione A.A Elaborazione e Trasmissione Video - Parte II 77 A.A Elaborazione e Trasmissione Video - Parte II 78 Algoritmi veloci di Block-Matching Per ridurre la complessità computazionale dell EBMA si può agire: Riducendo il numero di candidati Considero solo quelli per cui è più probabile avere errori piccoli Predizione dei candidati rimanenti, basata sui risultati precedenti Semplificazione i della misura dell errore(dfd) Algoritmi: Three-Step 2D-log Conjugate direction 2-D log search (cross search) I MV migliori trovati nei passi da 1 a 5 sono (0,2), (0,4), (2,4), (2,6) e (2,6). Il MV finale è (2,6). Con questo metodo non è possibile calcolare a priori in quanti passi si raggiunge la soluzione. A.A Elaborazione e Trasmissione Video - Parte II 79 A.A Elaborazione e Trasmissione Video - Parte II 80

21 3-step search algorithm I MV migliori trovati nei passi da 1 a 3 sono (3,3), ),(3,5) e (2,6). Il MV finale è (2,6). Complessità computazionale per gli algoritmi di ricerca veloci Per R=7 (finestra di ricerca). Lo step size viene dimezzato ad ogni passo dell algoritmo. Al contrario del metodo 2-D log, in questo metodo la soluzione viene raggiunta tramite un numero fisso di passi, dipendente dallo step size iniziale (nell esempio =3) A.A Elaborazione e Trasmissione Video - Parte II 81 A.A Elaborazione e Trasmissione Video - Parte II 82 Stima del moto gerarchica (Multi-Resolution ME) Problemi legati agli algoritmi Block-Matching: Se non si utilizza una ricerca esaustiva (maggior carico computazionale) il risultato può non essere ottimo Il modello, basato sulla traslazione dei blocchi, non è sempre adatto alle caratteristiche del moto (p.e. in caso di rotazioni, zoom ecc.). Soluzione : Approccio gerarchico: Effettua una prima stima del moto su una coppia di frame a bassa risoluzione ( filtrati con un passa-basso e sottocampionati): in genere questo passo porta ad una soluzione vicina a quella ottima. Migliora la prima soluzione progressivamente effettuando la ricerca su immagini a risoluzione più alta, ma su una regione imitata. Può essere applicato anche con altri metodi oltre il Block- Matching Ricerca gerarchica A.A Elaborazione e Trasmissione Video - Parte II 83 A.A Elaborazione e Trasmissione Video - Parte II 84

22 Ricerca gerarchica (II) Livello 1 Blocco = 44 piel blocco (0,0) d 1 = (3,3) Livello 2 d 2 = 2 d 1 = ( 6,6 ) blocco (0,1) q = ( 1, 1) Livello 3 ~ 2 2 ~ d = d2 + q = 2 ( 7,5) ( ) blocco (1,2) d3 = 2d 2 = 14,10 q = ( 1,1 ) ~ d 2 ~ 2 = d2 + q2 = ( 13,11) Ricerca gerarchica (III) Esempio di ricerca su 3 livelli: Blocchi 1616 Search range 4 Precisione intera Il risultato finale è stato raffinato con una ricerca a precisione sub-piel nel range ±1 A.A Elaborazione e Trasmissione Video - Parte II 85 A.A Elaborazione e Trasmissione Video - Parte II 86 Complessità computazionale Definiamo: Dim. Immagine: MM; Dim. blocco: NN in ogni livello; L livelli Finestra di ricerca: R/2 (L-1) (dopo il primo livello può essere minore) EBMA # operazioni: M 2 (2R+1) 2 l-esimo livello (dimensione immagine M/2 (L-1) ) # operazioni (M/2 (L-1) ) 2 (2R /2 (L-1) +1) 2 Frame # operazioni l (M/2 (L-1) ) 2 (2R /2 (L-1) +1) 2 (4 (L-1) 4 M 2 R 2 )/3 Saving factor: 3 4 (L-2) ; L=2 3; L=3 12; A.A Elaborazione e Trasmissione Video - Parte II 87 Algoritmi Block-Matching Deformabile (DBMA) Viene usato un modello parametrico amet di tipo affine o bilineare e per modellare il moto all interno della regione B(n). n,3 n,2 B( n ) 4 n,4 n,1 Anchor Frame B( n ) Target Frame Il blocco nel frame di riferimento viene mappato in un quadrilatero (non necessariamente quadrato) nel target frame (da qui il nome del metodo) A.A Elaborazione e Trasmissione Video - Parte II 88

23 Algoritmi Block-Matching Deformabile (DBMA) I diversi i tipi i di mappature possono essere descritti da un modello di moto basato su nodi. Il modello prevede che un numero predefinito di punti di controllo (detti noti) che possono muoversi liberamente Il moto di ogni punto interno al blocco può essere calcolato dall interpolazione degli spostamenti dei singoli nodi. Il caso traslazionale l può essere ricondotto a questo modello con un unico nodo. Analogamente, la trasformazione affine corrisponde ad un modello a 3 nodi ed quella bilineare ad un modello a 4 nodi. Per modelli complessi la ricerca esaustiva è onerosa, e si preferiscono metodi basati sulla ricerca del gradiente. Problemi aperti: movimenti multipli di oggetti, variazioni di illuminazione A.A Elaborazione e Trasmissione Video - Parte II 89 Algoritmi i Mesh-Based (a) Mesh triangolarii (b) Mesh quadrilateri Ogni nodo ha un singolo MV, che influenza il moto dei quattro elementi che lo circondano (nel caso precedente ogni nodo poteva avere 4 diversi MV, a seconda dell elemento considerato) A.A Elaborazione e Trasmissione Video - Parte II 90 Mesh-Based vs. Block-BasedBased Esempio Block-Based backward ME Mesh-Based backward ME Mesh-Based forward ME A.A Elaborazione e Trasmissione Video - Parte II 91 A.A Elaborazione e Trasmissione Video - Parte II 92

24 Global ME Moto globale: movimenti della telecamera Movimento della scena (raro) Due tipi di stima: Stima del moto diretta Stima del moto indiretta A.A Elaborazione e Trasmissione Video - Parte II 93