L intelligenza visiva L optical flow Il flusso ottico. Sommario

Transcript

1 L intelligenza visiva L otical flow l flusso ottico Alberto Borghese Università degli Studi di Milano Laboratorio di Motion Analsis and Virtual Realit (MAVR) Diartimento di Scienze dell nformazione borghese@dsi.unimi.it /53 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. /53

2 Esemio di feature: gli sigoli 3/53 l flusso ottico Origina dalla sicologia serimentale della visione ( ). PROBLEMA: nut al sistema visivo: una matrice bidimensionale di unti luminosi. Oerazioni localizzate. Outut sono unità: oggetti, ersone nello sazio tridimensionale. SOLUZON: Gestalt (Koffa, 935) raggruamento in una ercezione unitaria di elementi che hanno caratteristiche simili. Flusso ottico (Gibson, 950). RCADUTE TECNOLOGCHE OGGGORNO: Comressori MPEG. Sistemi di Visione Artificiale. 4/53 -

3 Da cosa deriva il flusso ottico? Variazioni di luminosità in immagini statiche => bordi => oggetti + osizione 3D (stereo). Variazioni di luminosità si ossono ottenere anche se ci sostiamo noi davanti ad uno scenario fermo (variazioni temorali di luminosità). n questo caso lo sostamento dell immagine di un alo sulla retina è inversamente roorzionale alla distanza del alo dall immagine. 5/53 Che cos è il flusso ottico? L intuizione di Gibson è stata che er ciascun unto degli oggetti nello sazio 3D si uò ottenere questa misura => camo di movimento. FLUSSO OTTCO: il movimento aarente del attern di luminanza dell immagine. Movimenti omogenei sono generati dallo stesso oggetto => segmentazione, struttura e osizione 3D. Nessuna conoscenza 3D. Aroccio bottom-u. 6/53

4 Come raresentiamo il flusso ottico 7/53 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. 8/53

5 Come calcoliamo il flusso ottico? Problema della corrisondenza in due istanti temorali successivi. Camionamento temorale fitto => iccoli sostamenti. Problema: stima del flusso ottico a artire dalle variazioni di luminosità. = ((t),(t),t). Luminosità è funzione dello sazio e del temo. Sazio. unti 3D ossono sostarsi nel temo, e, quindi, anche la loro roiezione. Temo. La luminositàdel unto varia se varia la sorgente di illuminazione. Derivata totale di (.) Deriviamo l equazione della costanza della luminosità. 9/53 otesi : Suerfici Lambertiane Un unto della suerficie aare avere la stessa luminosità da qualsiasi direzione lo si guardi. La quantità di luce riflessa L(P,d) = ρ T n, diende: dall albedo in P e dall angolo tra la normale alla suerficie in P (n) ed il raggio incidente. 0/53

6 otesi : Proiezione quasi-frontale Dobbiamo legare la radianza della suerficie all irradianza dell immagine. Luminosità della roiezione: () = L(P)*π/4*(d/f) *cos 4 (α). /53 Variazione locale di luminosità = ((,),t). Luminosità è funzione della osizione sul iano immagine e del temo ==> d/dt = 0 - Equazione della costanza della luminosità dell immagine. Calcoliamo la derivata totale risetto al temo: d d d = + + = 0 dt dt dt t Variazioni di luminosità si ossono registrare se cambia il unto 3D che si roietta in un iel. n articolare: v = t Traduce variazioni temorali di luminosità in informazioni sul gradiente saziale,, e sul camo di velocità sul iano immagine, v (flusso ottico). /53

7 Problema dell aertura d = v + v + =0 dt t v = t 3/53 otesi: conosciamo i bordi dell immagine. E una equazione in incognite: v e v. Solo la comonente normale si uò determinare. Problema dell aertura =0 t =0 v + v = t t Suoniamo il bordo orientato come l asse o l asse Se il bordo è orientato come l asse, = 0 v non uò essere osservato. = 0 Se il bordo è orientato come l asse, 4/53 v non uò essere osservato. v + v + 7

8 Come determinare il flusso ottico? v = t => v n = t La comonente normale della velocità in un unto diende dal gradiente saziale (bordo) e dalla variazione di luminosità. Soluzioni (Barron et al., 994): Risolvere le equazioni differenziali er ogni unto dell immagine. Calcolare le derivate seconde dell equazione di costanza della luminosità e risolvere er ogni unto dell immagine. Arossimazione lineare e stima locale ai minimi quadrati (soluzione semlice ed efficace). Estrazione di features significative e calcolo del loro sostamento. 5/53 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. 6/53

9 Dal flusso ottico al camo di moto Per suerfici Lambertiane e visione frontale dell oggetto, la quantità di luce incidente il sensore, risulta in rima arossimazione: (P,d) = ρ T n. v = t => v n = t La comonente normale della velocità in un unto diende dal gradiente saziale (bordo) e dalla variazione di luminosità. Quale altra condizione ossiamo derivare dall equazione di costanza della luminosità? 7/53 Come viene influenzata l irradianza dal moto Partiamo dal modello Lambertiano della riflessione: E = ρ n. Deriviamo risetto al temo entrambi i membri. Per sorgenti all infinito, solo n è funzione del temo. Suoniamo di dare un generico movimento (roto-traslatorio) alla suerficie: P(t+) = P(t) + T + w Λ (P O). Dato che T non diende da P, otteniamo che dn(t)/dt = w Λ n E E E v = ==>E v + = 0 t t E E v + = ρ ( ) (w Λ n). t 8/53

10 3. Moto rotatorio con asse arallelo alla normale o moto traslatorio Cosa ci dice? Altrimenti: de( ) dt T dn = = T (w Λ n) dt La quantità è nulla se: w // n. E v + E t = T ( w Λ n) L errore su v, suonendo () = cost. è: v = che decresce con il crescere del bordo. T ( wλn) 9/53 Validità flusso ottico = camo di moto otesi sul rocesso di formazione dell immagine: Suerfici Lambertiane Sorgenti luminose all infinito (raggi aralleli a sé stessi). Visione quasi-frontale. otesi sul tio di movimento della suerficie: Movimento traslatorio oure Movimento rotatorio con asse di rotazione orientato nella direzione della sorgente luminosa. L errore sul camo di moto è inversamente roorzionale al gradiente saziale di luminosità. 0/53

11 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. /53 Algoritmo di Lucas e Kanade, 99 otesi: L equazione di costanza della luminosità, dà una buona stima di v n. l camo di moto uò essere arossimato localmente (nello sazio e nel temo) come costante. Consideriamo una finestra N N dell immagine, W, in due istanti di temo consecutivi. Tutti i calcoli saranno oerati sui iel di W. Finestra N N di un immagine in istanti successivi. /53

12 3/53 Scrittura di sistema lineare in v t v v = + Fitting di un camo di velocità costante suregioni dell immagine. Sfruttiamo l elevata correlazione sazio-temorale di due immagini v, v uguali in tutti i iel di W. a v + b v = c Abbiamo N N equazioni in incognite. W 4/53 Soluzione sistema lineare in v A = N N c = N t t t = v v A = c ==> = (A T A) - A T c = [v, v ], v calcolata al centro della finestra W.

13 Riassunto nut: una sequenza di immagini, (,,t) con 0 X ma e 0 Y ma. 0 t T. Dove con [X ma, Y ma ]. Filtriamo sazialmente l immagine ad esemio utilizzando un filtro Gaussiano (σ saziale =.5 iels) er lasciare vivi solamente i contorni veri (la scala è legata alla scala dei bordi). Filtriamo temoralmente le immagini er eliminare iccole variazioni di illuminazione dovute e quantizzazione o variazioni di luminosità (σ temorale =.5 frames; la scala è legata alla velocità del movimento). dentifichiamo le regioni W er ogni unto,. Per ogni regione: Calcoliamo le matrici A ed il vettore c. Risolviamo il sistema er determinare v(v, v ). 5/53 Osservazioni Oerazioni locali (oche oerazioni sui iel adiacenti). Nessuna iterazione. Come mai se dall equazione di costanza della luminosità derivo solamente la comonente normale, con l algoritmo di Lucas- Kanade, derivo la comonente di velocità in direzione arbitraria? Perché considero gradienti orientati in modo diverso all interno della finestra W. Come migliorare le restazioni: Si uò oi calcolare la somma vettoriale di v su iù frame. Si uò aumentare l amiezza della finestra (ma c è un comromesso tra amiezza della finestra di osservazione e validità dell arossimazione velocità costante. 6/53

14 7/53 Come irrobustire l algoritmo Cosa succede se v n non è uguale in tutti i di W? Ci sarà un errore di stima: vn non raresenta il movimento di tutti i iel in W. Come sarà distribuito questo errore? Sarà massimo ai bordi della regione. t v v = + W Pesiamo ciascuna delle N N equazioni con un eso s: s = - c 8/53 Stima esata A = N N c = N t t t = v v A = c ==> AS = c S = diag[ - c ; - c ;.. NN - c ] = (A T S A) - A T S c

15 9/53 Osservazione Quando il sistema analizzato non è risolubile? = N N A A T A = 30/53 Condizione di risolubilità gradienti sono nulli (non ci sono bordi: rango 0. gradienti sono orientati in una sola direzione (bordi aralleli): rango. Nel secondo caso cosa riesco a vedere? Solamente la direzione normale della velocità, è il roblema dell aertura. Occorre quindi che i bordi non siano aralleli tra loro. A T A = ) ( ) ( Diende solamente da informazioni saziali (gradiente). La matrice A T A è singolare, quando:

16 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. 3/53 Features mediante analisi dei gradienti Le stesse features vengono identificate in una sequenza di immagini. ( ) A T A = ( ) Come ossiamo identificare una feature, analizzando i gradienti saziali? Possiamo ad esemio trovare gli sigoli in un immagine. Utilizzando la svd: A T A = U W V W = λ 0 0. λ λ 0. λ 3/53

17 Analisi dei valori singolari λ λ 0. λ è il unto critico. Gli autovettori codificano le direzioni revalenti dei contorni. Gli autovalori codificano la forza dei contorni lunga le due direzioni rinciali (l energia). Su 4 iel: 33/53 Features dal gradiente saziale Partiamo da: (a) un immagine (,); (b) una soglia sull intensità minima del gradiente, λ min ; (c) la dimensione della finestra di analisi, W. Per ogni finestra W, calcoliamo i gradienti saziali. Per ciascuna finestra: Calcoliamo λ. Se λ > λ min, salviamo il centro della finestra nella lista delle features candidate. Ordiniamo la lista delle feature er valori di λ decrescenti. Esaminiamo la lista. Per ogni feature, vengono eliminate tutte quelle altre feature che cadono all interno di W. 34/53

18 Tracing di feature Problemi su suerfici non strutturate 35/53 E er le suerfici non strutturate? Marers, Shae from Shading... 36/53

19 Riassunto Determinazione del camo di moto D mediante tecniche differenziali o matching di feature. Flusso ottico: sostamento del attern di luminosità di un immagine indotto dal movimento risetto alla scena. Sotto alcune iotesi, il flusso ottico si uò ricavare da un analisi delle variazioni temorali di luminosità. Esistono algoritmi semlici (locali e non iterativi) er determinare una buona arossimazione del flusso ottico. Gli stessi algoritmi ossono essere utilizzati er determinare feature (sigoli) nelle immagini. 37/53 Sommario Che cos è il flusso ottico? otesi sulla determinazione del flusso ottico. Dal flusso ottico al camo di moto. Determinazione del camo di moto. dentificazione di features dall analisi del gradiente. Movimento da matched features. 38/53

20 l roblema della corrisondenza Problema di ricerca: elementi uguali nelle due immagini. 39/53 Matching features over time La filosofia è: determino le features in due quadri consecutivi e oi calcolo il moto. ) Eseguo la funzione di riconoscimento delle features sulla coia di immagini consecutive. a) Determino le features al temo t, b) Stimo il loro sostamento delle features da un frame all altro, dal temo t al temo t+, c) Correggo la stima con il calcolo della osizione delle feature al temo t+, nell intorno della redizione 40/53

21 Tecniche di matching Cross-correlazione Bloc matching Least squares matching 4/53 Matching features over time ) Eseguo la funzione di riconoscimento delle features sulla coia di immagini consecutive. Problemi relativi al matching di feature: a) Quali elementi considerare feature? b) Quale misura di similarità considerare? Come effettuare il matching delle feature? a) Finestre, W. b) Misura di matching tra le due immagini. c) Massimo della misura di matching. 4/53

22 C(,) = ) Matching mediante correlazione R C r= c= ( + r, + c ) ( r, c) 0 < < N-R 0 < < M-C mmagine N M Finestra R C Centriamo la finestra di correlazione in w ( w, w ) (vertice in basso, a s). R C C(d,d ) = r= c= ( d + w + r, d + w + c ) ( r + w, c + w) d, d osizione della correlazione in funzione della finestra. La feature corrisondente a ( w, w ) nell immagine sarà nella osizione: d ( d, d ) = arg ma ( C ( d, d )) f f f d, d 43/53 ) Bloc Matching Analisi della misura di correlazione. Qual è il roblema? C(d,d ) = R C r= c= ( d + w + r, d + w + c ) ( r + w, c + w) Variazioni di luminosità globali. Si introduce il bloc matching. D(u,v) = -(u-v) = uv -u - v Regioni molto luminose o oco luminose esano ugualmente => equalizzazione. 44/53

23 3) Least-squares matching Nel matching si tiene conto della trasformazione geometrica del attern dovuta al movimento. (,) Geometric transformation (, ) r r a a a5 = + a3 a4 a6 Minimiz. diff. intensita : ( r r ) (, ) = r ( ) + r, Min Result: Stima dei 6 arametri geometrici(adative LSM) Precisione con least square matching: < /5 Piel risetto a r e r (sostamento) 45/53 Determinazione del moto mediante correlazione Parametri alication deendent : Amiezza della finestra della feature. Amiezza della regione di ricerca (teoricamente tutta l immagine). Riassunto assi dell algoritmo sono: solare le features (individuare le finestre). Per ogni finestra (unto al centro della finestra), calcolare la funzione similitudine (correlazione o bloc matching) con l immagine successiva (o una sottoarte). La feature verrà localizzata sulla seconda immagine nella osizione che massimizza la funzione di similitudine. 46/53

24 Determinazione del moto mediante bloc matching + otical flow ) Determino le features nel rimo frame () con una finestra W( w ). ) Per ciascuna feature, stimo il vettore sostamento mediante otical flow: d o, d = d o. 3) Considero il secondo frame, (). 4) Nel secondo frame analizzo una finestra nell intorno di w +d. 5) Calcolo l errore di Bloc matching. d( d, d ) = argma( B(, )) f f 6) Se l errore è sora soglia, considero l errore come correzione dello sostamento. 7) tero i assi 4-6 dove ad ogni iterazione considero la finestra in () nell intorno di w +d con d = d + d b. 47/53 d, d Matching feature (Riassunto) Tecniche di correlazione. Lavorano sull immagine intera. Possibilità di restringere la finestra di ricerca. La correlazione mediante bloc matching consente di comensare variazioni di luminosità globali. Tecniche basate su camo di moto. Lavorano su una finestra. Algoritmi ricorsivi con risoluzione crescente dello sostamento. 48/53

25 Matching di feature er la ricostruzione Determinazione di Corrisondenze su immagini multile unti individuati servono er inizializzare il rocesso. 49/53 Matching di feature er la ricostruzione Determinazione di Corrisondenze su immagini multile 50/53

26 Least-squares matching temlate image f(,) search image g(,) - MN. funzione (L norm dei residui della stima ai min.quadrati) che misura la diff. tra i valori di grigio di f e g - La osizione di g e descritta da 6 arametri ( traslazioni, rotazioni, shae, correzione radiometrica) f(,)=g(,) f(,) - e(,)=g(,) - result chec: σ 0 (analisideiresidui) 5/53 Ricostruzione di ersone ferme A) Matching trilette di immagini D corrisondenze B) 3D Reconstruction forward intersection filtering oint cloud con iel gra value htt:// 5/53

27 Ricostruzione da immagini htt:// 53/53