Appunti di CV - A.A

Transcript

1 Appunti di CV - A.A Eugenio Rustico Ultima modifica: 7 aprile

2 Nota di lettura Questo testo copre la parte su calibrazione e ricostruzione del corso di Computer Vision. E da considerarsi più un riassunto che un testo su cui studiare: non sostituisce i libri di testo né le lezioni. L appendice finale, che descrive in modo informale alcuni strumenti matematici molto usati in Computer Vision, è da considerarsi solo un ausilio alla memoria; è raccomandabile riferirsi a testi specializzati per una trattazione formale. La segnalazione di errori e imprecisioni è gradita, e aiuta a migliorare la qualità di questi appunti sempre in evoluzione. 2

3 INDICE INDICE Indice Indice 3 1 Introduzione 5 2 Formazione delle immagini La camera pinhole Lenti sottili La camera prospettica Modello prosp. debole Parametri estrinseci Parametri intrinseci Modello generale Altri modelli Calibrazione Calibrazione diretta dei parametri Metodo dell ortocentro Calibrazione indiretta Ricostruzione Sistemi stereo Parametri di un sistema stereo Disparità Matching Matching tramite correlazione Matching tramite features Geometria epipolare Algoritmo degli otto punti Rettifica delle proiezioni Ricostruzione Ricostruzione tramite triangolazione A Algebra 39 A.1 Matrici di rotazione A.2 SVD A.2.1 SVD e sistemi omogenei A.2.2 Significato geometrico

4 INDICE INDICE B Geometria proiettiva 42 B.1 Coordinate omogenee B.2 Trasformazioni nello spazio proiettivo C Statistica 45 C.1 Correlazione Riferimenti bibliografici 47 Elenco delle figure 48 4

5 1 INTRODUZIONE 1 Introduzione La Computer Vision si occupa dell analisi di immagini e video al fine di riconoscere cosa è presente nella scena e dove. In altre parole, il fine della CV è quello di interpretare immagini numeriche al fine di inferire informazioni di vario genere sulla scena. La Computer Vision ha due ambiti principali, che sono il riconoscimento e la ricostruzione. Esistono diverse tecniche di ricostruzione, basate su principi differenti e ognuna con precisi pregi, difetti e ambiti di applicazione: Shape from stereo Shape from silhouette Shape from texture Shape from focus Shape from still image Shape from shading (photometric stereo) Structure from motion... Ci occuperemo solo della prima (shape from stereo), dopo aver visto brevemente come si forma una immagine in un sistema visivo. 5

6 2 FORMAZIONE DELLE IMMAGINI 2 Formazione delle immagini Il processo di formazione di una immagine, nei sistemi visivi naturali come in quelli artificiali, è dovuto a dei raggi di luce che entrano in un sistema ottico e colpiscono un sensore (piano di immagine). Nell occhio umano il sistema ottico è il cristallino e il piano di immagine la retina; in una fotocamera il sistema ottico è la lente, mentre il piano di immagine è il la pellicola o il sensore digitale. Inferire informazioni sulla geometria tridimensionale di una scena a partire da una o piu immagini raster è in qualche modo il processo inverso alla formazione dell immagine; per questo motivo le tecniche di ricostruzione basate su considerazioni geometriche sono anche chiamate grafica inversa. Vediamo dunque brevemente come si formano le immagini sul piano visivo di un sistema ottico elementare. 2.1 La camera pinhole La camera pinhole è forse il sistema visivo più semplice. Il sistema ottico consiste semplicemente in un foro molto piccolo su una delle pareti di una scatola opaca; sul lato opposto, all interno della scatola, vi è il piano di immagine. Ogni punto della scena fisica è colpito da più raggi luminosi provenienti da direzioni diverse, e riflette a sua volta parte dei raggi in molteplici direzioni; i raggi proiettati verso la direzione del foro entreranno nella scatola e andranno ad illuminare un punto sul piano di immagine. Figura 1: Camera pinhole In una situazione ideale, il foro della camera è estremamente piccolo (immaginiamolo largo circa quanto un raggio di luce) e questo fa sì che ogni punto della scena possa influire su di un solo punto del piano di immagine; in questo caso, l immagine sarà perfettamente a fuoco in ogni sua parte, a 6

7 2.2 Lenti sottili 2 FORMAZIONE DELLE IMMAGINI prescindere dalla distanza della scena e della profondità della scatola. Per memorizzare l immagine così formata occorre qualcosa che sia sensibile alla luce, come una pellicola fotografica; a tale pellicola è richiesto di avere, però, un range di sensibilità molto ampio, che nessuna pellicola reale possiede. Una prima soluzione a questo problema è quella di aumentare il tempo di esposizione della scena; utilizzare un tempo di esposizione abbastanza lungo, tuttavia, è scomodo e talvolta impraticabile. Potremmo allora allargare il foro in modo inversamente proporzionale alla luminosità della scena, regolando la quantità di luce in ingresso; tuttavia, man mano che allarghiamo il foro l immagine che si viene a formare sarà sempre più sfocata, in quanto ogni punto della scena non influirà solo su di un punto del piano di immagine ma su di un intorno di esso. Possiamo però ricorrere ad un sistema ottico più versatile, come ad esempio una lente in abbinamento ad un otturatore. 2.2 Lenti sottili Desideriamo permettere l ingresso nel sistema visivo di più luce di quella che entrerebbe con solo un minuscolo forellino, mantenendo tuttavia il vincolo secondo cui ogni punto della scena deve influire solo su di un punto del piano di immagine; in altre parole, tutti i raggi luminosi emessi da un punto P della scena devono essere convogliati sullo stesso punto p del piano di immagine (cosicché l immagine risulti a fuoco). Le lenti sottili sono forse il più semplice sistema ottico in grado di garantire questa condizione. Immaginiamo una lente come un oggetto rotondo, di materiale trasparente, sottile e lievemente convesso da ambo i lati; O è il centro della lente e l asse ottico sarà la retta passante per O e perpendicolare alla superficie della stessa. Una lente è inoltre caratterizzata da due fuochi, ovvero da due punti esterni al corpo della lente che giacciono sull asse ottico ad una certa distanza dal centro O. Chiamiamo tali punti F l ed F r ; benché in genere i fuochi siano asimmetrici rispetto al centro, assumiamo per semplicità che che assi abbiano la stessa distanza da O. Indicheremo tale distanza, detta lunghezza focale, con f. Le lenti sottili godono di due interessanti proprietà: 1. Ogni raggio di luce che entra da un lato della lente parallelamente all asse ottico viene deviato verso il fuoco che si trova dall altro lato; 2. Ogni raggio di luce che entra da un lato della lente passando per il fuoco esce dall altro lato parallelamente all asse ottico. Prendiamo ora in considerazione, nella figura 2, le coppie di triangoli simili PQF l, SOF l e ROF r, TpF r ; è QF l : F l O = OF r : F r T. Se chiamiamo 7

8 2.2 Lenti sottili 2 FORMAZIONE DELLE IMMAGINI Figura 2: Schema semplificato di una lente sottile Z la distanza tra la proiezione di P sull asse ottico ed F l (QF l ) e z la distanza tra F r ed il piano di immagine (F r T), la proporzione diventa Z : f = f : z, ovvero Zz = f 2. Ponendo Ẑ = Z + f e ẑ = z + f otteniamo: ovvero (Ẑ f)(ẑ f) = f2 1 Ẑ + 1 ẑ = 1 (2.1) f che è l equazione fondamentale delle lenti sottili. L equazione (2.1) ha una importante conseguenza: affinché l immagine sia a fuoco, a parità di lunghezza focale (i.e. distanza del fuoco dal centro) i punti devono trovarsi alla stessa distanza dalla lente. Le ottiche delle camere reali sono in grado di mettere a fuoco punti appartenenti ad un range di profondità più ampio di un singolo piano 1. 1 In teoria un immagine perfettamente a fuoco è quella in cui la granularità minima è il diametro del raggio di luce, ma in pratica basta una granularità molto meno fine: in una fotocamera digitale, ad esempio, l immagine è perfettamente a fuoco finchè il fascio di luce proveniente da un punto della scena non è più largo di un singolo fotodiodo. 8

9 2.3 La camera prospettica 2 FORMAZIONE DELLE IMMAGINI 2.3 La camera prospettica Che il sistema di acquisizione sia una camera pinhole, una fotocamera con lente sottile o un occhio biologico, la formazione dell immagine finale avviene tramite la proiezione geometrica della scena tridimensionale su di un piano bidimensionale. Un modello di proiezione particolarmente semplice è quello della camera prospettica, in cui il sistema di riferimento della camera coincide con quello del mondo 3D. In particolare, il centro di proiezione o fuoco della camera coincide con l origine O degli assi, il piano di immagine o piano di proiezione π è perpendicolare all asse Z e la distanza tra O e π è la lunghezza focale f. Ci chiediamo quale relazione leghi le coordinate 3D di un punto P = (X, Y, Z) nello spazio alle coordinate della proiezione p = (x, y) dello stesso punto sul piano di immagine. Figura 3: Modello della camera prospettica in sezione laterale. In figura 3 è mostrata la sezione del modello della camera prospettica lungo il piano Y Z; il segmento PQ è il valore che cerchiamo, ovvero la coordinata y del punto proiettato p. Notiamo subito che i triangoli pqo e PRO sono simili; dunque ovvero pq : PR = OQ : OR x : X = f : Z da cui, procedendo analogamente anche per la coordinata x, otteniamo le equazioni fondamentali della camera prospettica: 9

10 2.4 Modello prosp. debole 2 FORMAZIONE DELLE IMMAGINI x = f X Z (2.2) y = f Y Z 2.4 Il modello di prospettiva debole Le equazioni (2.2) non sono equazioni lineari. Possiamo renderle lineari al prezzo di una piccola approssimazione: se i punti della scena sono abbastanza distanti dalla camera e le differenze di coordinata Z tra punti differenti sono trascurabili, possiamo approssimare i valori delle Z con una costante Z. La (2.2) in questo caso diventa x = f X Z (2.3) y = f Ỹ Z Indicativamente, tale approssimazione è fattibile quando le differenze δz tra i punti della scena sono inferiori ad 1/20 della distanza media da O. 2.5 Parametri estrinseci I modelli visti finora assumono che il sistema di riferimento della camera sia lo stesso del mondo 3D. Nella maggior parte delle applicazioni pratiche, tuttavia, questo non avviene e dobbiamo di volta in volta tradurre le coordinate del mondo nel riferimento della camera, e viceversa. Per di più, molte volte la relazione tra i due sistemi di riferimento (ovvero, la posizione e l orientamento della camera nel mondo 3D) è inizialmente sconosciuta, e dovremo ricostruirla sulla base delle immagini disponibili. Possiamo passare da un sistema di riferimento nello spazio ad un altro tramite una rototraslazione, ovvero una combinazione di rotazione e traslazione; è conveniente, a questo fine, utilizzare la notazione matriciale. Se T è il vettore ternario che indica la posizione della camera nel sistema di riferimento del mondo 3D ed R è la matrice di rotazione che indica l orientamento tridimensionale della camera, la relazione tra un puno espresso nel sistema di riferimento del mondo (P w ) e l equivalente nel sistema di riferimento della camera (P c ) è P c = R(P w T) (2.4) 10

11 2.6 Parametri intrinseci 2 FORMAZIONE DELLE IMMAGINI Prima di applicare le equazioni (2.2) dovremo quindi passare nel sistema di riferimento della camera tramite l equazione (2.3). R ha tre gradi di libertà, che corrispondono intuitivamente agli angoli con cui ruotare il sistema di riferimento attorno a ciascuno dei tre assi. Poiché anche T ha tre gradi di libertà, il totale del parametri che permettono di passare dal sistema di riferimento del mondo a quello della camera è sei. Questi sei valori, tre coordinate e tre angoli di rotazione, sono detti parametri estrinseci della camera. 2.6 Parametri intrinseci In presenza di una camera ideale, i parametri estrinseci potrebbero essere sufficienti per determinare esattamente la trasformazione prospettica cui sono sottoposti i punti della scena. Con le camere reali, tuttavia, la situazione è un po più complessa, e richiede la formalizzazione di alcuni parametri aggiuntivi, specifici della camera, chiamati parametri intrinseci: A partire dalle lenti sottili abbiamo introdotto la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico 2. Per motivi di costruzione delle camere, o perché l immagine finale viene croppata, non è detto che il centro del piano di immagine risieda sull asse ottico; dobbiamo dunque introdurre gli offset o x e o y (le coordinate in pixel del centro ottico). Per calcolare le coordinate finali di un punto della scena proiettato sul sensore occorre conoscere la relazione tra la dimensione degli elementi che compongono il sensore e l unità di misura del mondo 3D; in altre parole, quando è grande un pixel? Definiamo allora s x ed s y come le dimensioni orizzontale e verticale di un pixel del sensore 3. Questi due parametri, insieme ad o x e o y, ci permettono di descrivere direttamente la relazione il sistema di riferimento della camera e quello del piano di immagine, ovvero la relazione tra le coordinate sul medesimo piano di immagine in pixel e in unità di misura reali ; se indichiamo con (x im, y im ) le coordinate in pixel del punto (x, y), la relazione è x = (x im o x )s x y = (y im o y )s y (2.5) 2 Mentre lo zoom digitale non è altro che l ingrandimento di una parte dell immagine già digitalizzata, lo zoom ottico coinvolge il movimento fisico delle lenti della camera cambiando realmente la distanza focale. 3 Talvolta invece di s x ed s y può bastare avere solo il loro rapporto α = s y /s x. 11

12 2.7 Modello generale 2 FORMAZIONE DELLE IMMAGINI Le lenti reali introducono nell immagine una distorsione radiale, talvolta detta distorsione lenticolare; se (x d, y d ) sono le coordinate distorte del punto (x, y), tale distorsione può essere modellata con le relazioni: x = x d (1 + k 1 r 2 + k 2 r 4 ) y = y d (1 + k 1 r 2 + k 2 r 4 ) (2.6) dove r 2 = x d 2 + y d 2. L unità di misura della lunghezza focale, così come delle dimensioni s x ed s y, è solitamente il millimetro 4 ; o x e o y sono pixel, mentre i parametri della distorsione lenticolare sono numeri puri. I parametri intrinseci visti fin qui, in totale, sono sette: f, o x, o y, s x, s y, k 1, k 2. Tuttavia, k 1 e k 2 di solito non sono entrambi necessari: nella maggior parte dei casi pratici possiamo porre per semplicità k 2 = 0, continuando a mantenere precisione più che accettabile. 2.7 Modello generale Adesso abbiamo tutti gli strumenti per determinare con precisione il processo di formazione dell immagine proiettata, estendendo il caso banale visto nella sezione 2.3 con l utilizzo dei parametri intrinseci ed estrinseci della camera. L obiettivo che ci prefiggiamo è quello di trovare, conoscendo i parametri intrinseci ed estrinseci della camera, una relazione diretta tra le coordinate di un punto P nel sistema di riferimento del mondo 3D e le coordinate dello stesso punto, proiettato sul piano di immagine, nel sistema di riferimento del sensore (in pixel); trascuriamo per il momendo la distorsione radiale indotta dalla lente. Riprendiamo in considerazione le equazioni fondamentali della camera prospettica (2.2): x = f X Z y = f Y Z La x e la y a sinistra delle uguaglianze sono i valori del punto P, proiettato sul piano di immagine, nel sistema di coordinate del mondo. Abbiamo visto nella (2.5) quale sia la relazione tra queste coordinate e quelle dello stesso punto nel sistema di riferimento del sensore. Sostituendo: 4 Quando si parla di una camera 35mm si intende proprio la lunghezza focale. 12

13 2.7 Modello generale 2 FORMAZIONE DELLE IMMAGINI (x im o x )s x = f X Z (2.7) (y im o y )s y = f Y Z Le coordinate alla destra dell uguaglianza sono quelle del punto non proiettato nel sistema di riferimento della camera; abbiamo visto, nell equazione (2.4), come è possibile ottenere queste coordinate a partire da quelle nel sistema di riferimento del mondo. Scomponiamo la matrice di rotazione R in tre righe 5 R 1, R 2 ed R 3 per ottenere direttamente gli scalari che ci servono: (x im o x )s x = f R 1(P w T) T R 3 (P w T) T (2.8) (y im o y )s y = f R 2(P w T) T R 3 (P w T) T Abbiamo così unito, in un unica relazione, le equazioni (2.2), (2.4) e (2.5); chiameremo questa nuova relazione versione lineare delle equazioni fondamentali di proiezione prospettica. Esistono, tuttavia, modi più compatti di scrivere la stessa relazione. In particolare, può essere interessante riscrivere la (2.8) sotto forma di prodotto matriciale; definiamo allora le matrici M int ed M ext, che rappresentano le trasformazioni dovute ai parametri intrinseci ed estrinseci rispettivamente: M int = f/s x 0 o x 0 f/s y o y M ext = Adesso possiamo scrivere la (2.8) nella forma: X x w 1 x 2 = M int M ext Y w Z x w 3 1 r 11 r 12 r 13 R 1 T T r 21 r 22 r 23 R 2 T T r 31 r 32 r 33 R 3 T T (2.9) (2.10) che possiamo chiamare versione matriciale delle equazioni fondamentali di proiezione prospettica. Si noti che il punto proiettato è in coordinate omogenee; le corrispondenti coordiante cartesiane saranno x c = x 1 /x 3 e y c = x 3 /x 3. 5 Il Trucco-Verri[TV98] utilizza la notazione R T i (P w T), ovvero traspone le righe della matrice invece delle coordinate del punto; tale notazione è algebricamente meno corretta, in quanto il risultato della moltiplicazione di un vettore 3 1 per uno 1 3 sarebbe una matrice 3 3, e non uno scalare. 13

14 2.8 Altri modelli 2 FORMAZIONE DELLE IMMAGINI 2.8 Altri modelli Talvolta, per motivi numerici, la relazione (2.10) può essere scritta in modi lievemente differenti da quanto visto; in particolare, è comune unificare le matrici in una sola M = M int M ext e porre dei vincoli più generici di quelli visti sopra. Ad esempio, se poniamo o x = o y = 0 e s x = s y = 0 la matrice unica M diventa: M = fr 11 fr 12 fr 13 fr 1 T T fr 21 fr 22 fr 23 fr 2 T T r 31 r 32 r 33 R 3 T T (2.11) In assenza di ulteriori vincoli, M è chiamata genericamente matrice di proiezione. Un modello di proiezione ancora più generico prevede una matrice delle stesse dimensioni della (2.11), ponendo solo i primi tre valori della terza riga a zero, senza aggiungere alcun altro vincolo sugli altri elementi (modello affine). Per ricostruire la matrice, si usano solo considerazioni algebriche, senza un collegamento diretto con i parametri impliciti ed espliciti che abbiamo visto. 14

15 3 CALIBRAZIONE 3 Calibrazione La calibrazione è la determinazione dei parametri estrinseci ed intrinseci di una camera, basandosi in genere sulla conoscenza delle coordinate di alcuni punti della scena prima e dopo la proiezione sul piano di immagine. Possiamo calibrare una camera tramite sole considerazioni algebriche: prendiamo in considerazione le equazioni di proiezione in una delle forme viste (lineare, matriciale, affine, etc.) e poniamo come incognite i parametri della camera; se disponiamo di un numero sufficiente di corrispondenze tra punti della scena e punti dell immagine, possiamo risalire sia ai parametri estrinseci che a quelli intrinseci. Conoscere a priori un certo numero di corrispondenze non è sempre possibile; il più delle volte ci serviamo di un pattern, ovvero di un oggetto tridimensionale di aspetto noto su cui sia facile, una volta scattata una foto, individuare facilmente alcuni punti particolari su di esso 6. Per rilevare questi punti si fa uso di alcuni strumenti quali filtri convolutivi, rilevatori di bordi e di spigoli, tecniche di segmentazione, trasformate (spec. di Hough) etc. Alcune fonti di errore sistematico non possono essere eliminate, per cui l individuazione non è mai esatta; consiste invece in una stima da effettuare con la massima precisione possibile. Assumeremo di seguito che la rilevazione sia già avvenuta, e che siamo già a conoscenza di un certo numero di tali corrispondenze con un errore trascurabile. Assumeremo inoltre che la distorsione lenticolare sia trascurabile per i nostri scopi. 3.1 Calibrazione diretta dei parametri Il primo approccio che possiamo seguire consiste nel calcolo diretto dei singoli parametri della camera. C è però una coppia di parametri intrinseci, o x e o y, che non necessita di essere calcolato insieme agli altri: si può dimostrare che, se fingiamo di conoscere i veri valori del centro ottico dell immagine, non inficiamo il calcolo degli altri parametri, qualunque sia il valore che attribuiamo a o x e o y. Possiamo sfruttare questa proprietà a nostro vantaggio: immaginando di conoscere già o x e o y, possiamo assumere che le coordinate dei punti proiettati siano già traslate. È equivalente assumere temporaneamente che o x = o y = 0; in ambo i casi, questi due parametri spariscono dalle equazioni e questo semplifica il calcolo degli altri parametri della camera. In particolare, riprendiamo le equazioni lineari di proiezione prospettica: 6 Un pattern molto utilizzato è stato proposto da Lenz e Tsai nel 1988[LT88]. 15

16 3.1 Calibrazione diretta dei parametri 3 CALIBRAZIONE (x im o x )s x = f R 1(P w T) T R 3 (P w T) T (y im o y )s y = f R 2(P w T) T R 3 (P w T) T Data la premessa di cui sopra, possiamo assorbire o x e o y in x e y, senza perdere di generalità. Inoltre, assumiamo che la traslazione venga effettuata dopo la rotazione, e non prima 7. Le equazioni diventano: x im s x = f R 1P T w + T x R 3 P T w + T z y im s y = f R 2P T w + T y R 3 P T w + T z Da ora in poi assumeremo che x e y siano le coordinate del piano immagine; chiamiamo x im e y im semplicemente x e y. Sviluppiamo le operazioni vettoriali, invertiamo il segno in ambo i membri e portiamo i parametri di scala s x ed s y a destra dell uguaglianza: x = f s x (r 11 X w + r 12 Y w + r 13 Z w + T x ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) y = f s y (r 21 X w + r 22 Y w + r 23 Z w + T x ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) (3.1) Per semplificare, definiamo f x = f/s x e f y = f/s y ; notiamo che f x ed f y rappresentano la lunghezza focale espressa in pixel, considerando la dimensione effettiva orizzontale e verticale di un singolo pixel. Avevamo citato nella sezione 2.6 il rapporto α = s y /s x ; consideriamo adesso, tra i parametri intrinseci da calibrare, non più f, s x ed s y, che nella (2.8) non erano completamente indipendenti, ma f x ed α. Abbiamo un parametro in meno e questi due paramentri, da cui comunque possiamo ricavare facilmente gli altri, sono del tutto indipendenti l uno dall altro. Sembra che le equazioni ottenute finora siano non lineari; tuttavia, il denominatore di entrambe è uguale. Abbiamo uno schema del tipo: x = A/D, y = B/D D = A/x, D = B/y A/x = B/y ya = xb 7 E evidente che in questo caso la nuova T, oltre ad essere di segno opposo, non coincide con la precedente; si veda in proposito l appendice B.2. 16

17 3.1 Calibrazione diretta dei parametri 3 CALIBRAZIONE Quindi possiamo riscrivere la (3.1) come segue: xf y (r 21 X w + r 22 Y w + r 23 Z w + T y ) = yf x (r 11 X w + r 12 Y w + r 13 Z w + T x ) Poiché f x /f y = (f/s x )/(f/s y ) = (f/s x )(s y /f) = s y /s x = α, se dividiamo tutto per f y otteniamo: xx w r 21 + xy w r 22 + xz w r 23 + xt y = yx w αr 11 + yy w αr 12 + yz w αr 13 + yt x α Scriviamo un equazione di questa forma per ogni corrispondenza nota tra (Xi w, Y i w, Zi w) e (x i, y i ); possiamo pensarla come un equazione lineare nelle incognite v = (v 1, v 2...v 8 ), dove v 1 = r 21 v 2 = r 22 v 3 = r 23 v 4 = T y v 5 = αr 11 v 6 = αr 12 v 7 = αr 13 v 8 = αt x (3.2) Se scriviamo ogni equazione nella forma x i X w i v 1 + x i Y w i v 2 + x i Z w i v 3 + x i v 4 y i X w i v 5 y i Y w i v 6 y i Z w i v 7 y i v 8 = 0 otteniamo un sistema lineare omogeneo Av = 0 con otto incognite e rango 7 8. Per risolvere il sistema fattorizziamo A tramite SVD: se A = UΣV, i valori singolari non nulli di Σ dovrebbero essere 7; la riga di V corrispondente al valore nullo sulla diagonale di Σ sarà un vettore soluzione per il sistema (vedi appendice A.2.1). In realtà, a meno di lavorare con dati ideali, il numero di valori diagonali non-nulli di Σ (e quindi il rango della matrice) sarà probabilmente 8; questo è dovuto agli errori introdotti naturalmente dal campionamento digitale e da altri fattori. Ci sarà però, presumibilmente, un valore singolare molto più piccolo degli altri: fingeremo che sia nullo e prenderemo come vettore soluzione quello corrispondente al valore singolare più basso. Abbiamo parlato di un vettore soluzione perché, essendo la matrice di ordine 7, le soluzioni del sistema sono infinite, e tutte correlate tra loro da un fattore di proporzionalità γ. Il vettore soluzione che troviamo tramite SVD, v, sarà dunque proporzionale al vettore cercato v; sarà in particolare v = γv. Per calcolare γ ricorriamo a delle informazioni indirette che possediamo sui dati: poiché la matrice di rotazione R è ortonormale, abbiamo 8 Lenz e Tsai nel 1988 hanno dimostrato che con dati ideali il rango del sistema è 7. D altro canto se il rango fosse 8 avremmo la sola soluzione banale (v nullo), da cui seguirebbe che almeno una riga di R sarebbe nulla (assurdo). 17

18 3.1 Calibrazione diretta dei parametri 3 CALIBRAZIONE r r r2 13 = 1 r r r2 23 = 1 Quindi, ricordando come abbiamo definito gli elementi di v nella (3.2), deve essere: v 21 + v22 + v23 = γ 2 (r r r 2 23) = γ Dalle prime tre componenti di v siamo riusciti a ricavare, a meno del segno, il fattore di proporzionalità che cercavamo. Procediamo analogamente con le componenti 5,6 e 7: v 25 + v26 + v27 = γ 2 α 2 (r r r2 13 ) = α γ Da cui, conoscendo γ e il segno di α (positivo per definizione), otteniamo α. Adesso che conosciamo α e γ possiamo ottenere dal vettore soluzione i valori delle altre incognite che cercavamo; tuttavia, poiché non sappiamo ancora se γ sia positivo o no, siamo certi dei moduli ma non del segno di tutti i parametri (fatta eccezione per α). Curiosamente, conosciamo il segno di tre parametri che non erano nel sistema: r 32,r 32 e r 33. Infatti, per via dell ortonormalità della matrice di rotazione R, la terza riga può essere ottenuta come prodotto vettoriale delle altre due, delle quali invece non sappiamo ancora se dobbiamo invertire il segno. Per chiarire i dubbi sul segno riguardo T x, T y e le prime due righe di R, riprendiamo in considerazione l equazione (3.1) ed analizziamone la concordanza: x = f s x (r 11 X w + r 12 Y w + r 13 Z w + T x ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) y = f s y (r 21 X w + r 22 Y w + r 23 Z w + T y ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) I due membri di ogni uguaglianza sono discordi. Sappiamo che f, s x ed s y sono positivi; inoltre, la coordinata Z c di ogni punto (ovvero, il denominatore di ognuna delle due uguaglianze) deve essere positiva, perché siamo nel sistema di riferimento della camera e se il punto si trovasse dietro la camera non sarebbe visibile. Dunque devono essere discordi il primo membro e il numeratore del secondo membro; in altre parole, deve valere: x(r 11 X w + r 12 Y w + r 13 Z w + T x ) < 0 y(r 11 X w + r 12 Y w + r 13 Z w + T y ) < 0 (3.3) 18

19 3.1 Calibrazione diretta dei parametri 3 CALIBRAZIONE Prendiamo le coordinate di punto prima e dopo la proiezione (possiamo utilizzare una coppia già usata nel sistema) e verifichiamo che questa condizione sia vera. Se non lo è, significa che il segno delle prime due righe di R e le prime due componenti del vettore di traslazione deve essere invertito. Adesso siamo riusciti a determinare R, α, T x e T y ; rimangono da calcolare T z ed f x. Per farlo, utilizziamo una delle due equazioni (3.1) (supponiamo la prima) riscritta come segue: x = f s x (r 11 X w + r 12 Y w + r 13 Z w + T x ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) x = f x (r 11 X w + r 12 Y w + r 13 Z w + T x ) (r 31 X w + r 32 Y w + r 33 Z w + T z ) x(r 31 X w + r 32 Y w + r 33 Z w + T z ) = f x (r 11 X w + r 12 Y w + r 13 Z w + T x ) x(r 31 X w + r 32 Y w + r 33 Z w ) + xt z = f x (r 11 X w + r 12 Y w + r 13 Z w + T x ) xt z + (r 11 X w + r 12 Y w + r 13 Z w + T x )f x = x(r 31 X w + r 32 Y w + r 33 Z w ) E facile, da un insieme di suddette equazioni, ricavare un sistema lineare: ( ) Tz A = b f x la cui soluzione ottimale (nel senso dei minimi quadrati) è data da ( ) Tz = (A f T A) 1 A T b x Metodo dell ortocentro per il calcolo del centro ottico Come già accennato, possiamo calcolare il centro ottico dell immagine indifferentemente prima o dopo la calibrazione degli altri parametri. Un metodo visuale molto semplice per effettuare il calcolo si basa sulla proprietà geometrica secondo cui, in presenza di una immagine con tre punti di fuga, il centro ottico del piano immagine coincide con l ortocentro 9 del triangolo i cui vertici sono proprio i punti di fuga dell immagine. Questa tecnica è stata proposta da Caprile e Torre nel 1990 [CT90]. 9 In un triangolo qualsiasi, le altezze relative ad ognuno dei lati si intersecano in un punto che può essere interno o estero al triangolo stesso. Questo punto di intersezione è detto ortocentro. 19

20 3.1 Calibrazione diretta dei parametri 3 CALIBRAZIONE Figura 4: Esempio di applicazione del metodo dell ortocentro a partire dall immagine di un cubo a 3 punti di fuga. Uno dei punti di fuga ricade al di fuori dell immagine. Il centro ottico, O, in questo caso, si discosta dal centro dell immagine C. Per applicare il metodo dell ortocentro occorre che l immagine sia a tre punti di fuga 10. Poiché trattiamo con immagini digitalizzate, ottenere una stima precisa delle linee di fuga non è banale, anche lavorando su immagini che sembrano ideali (es. un cubo in wireframe realizzato digitalmente): per trovare le linee di fuga dovremo interpolare molti punti di ogni linea, in quanto l aliasing tende a deviare le stime effettuate con pochi punti. Occorre inoltre che i tre punti di fuga, tipicamente esterni all immagine visibile, siano abbastanza vicini all immagine stessa; se un punto di fuga risulta molto lontano (ovvero, se le rette che convergono in quel punto sono quasi parallele ), l errore che commettiamo nella stima del punto di fuga e dell ortocentro può essere non trascurabile. 10 Condizione sufficiente perché un immagine sia a tre punti di fuga è che siano visibili almeno tre coppie di linee parallele della scena tali che ogni coppia sia perpendicolare alle altre due e non perpendicolare all asse ottico della camera. 20

21 3.2 Calibrazione indiretta 3 CALIBRAZIONE 3.2 Calibrazione indiretta Un approccio alternativo alla calibrazione diretta dei parametri consiste nello stimare la matrice di proiezione che traduce i punti della scena in punti dell immagine; è poi possibile risalire ai parametri della camera tramite formule dirette da applicare agli elementi della matrice. In alcune applicazioni, tuttavia, non è necessario risalire ai singoli parametri e calcolare la sola matrice di proiezione è sufficiente agli scopi; in tal caso, questo approccio ha il vantaggio di essere più snello e veloce del precedente. Trovare la matrice di proiezione significa stimare la matrice 3 4 M tale che u i v i w i = M X w i Y w i Z w i 1 (3.4) Possiamo scrivere M in funzione dei parametri, in modo che sia più intuitivo, una volta ricostruita la matrice, capire quali operazioni fare per evincere i singoli parametri: M = f x r 11 + o x r 31 f x r 12 + o x r 32 f x r 13 + o x r 33 f x T x + o x T z f y r 21 + o y r 31 f y r 22 + o y r 32 f y r 23 + o y r 33 f y T y + o y T z r 31 r 32 r 33 T z (3.5) Possiamo ricostruire la matrice con sei coppie di relazioni tra punti proiettati e non proiettati del tipo: u i x = = m 11Xi w + m 12 Yi w + m 13 Zi w + m 14 w i m 31 Xi w + m 32 Yi w + m 33 Zi w + m 34 y = v i = m 21Xi w + m 22 Yi w + m 23 Z w (3.6) i + m 24 w i m 31 Xi w + m 32 Yi w + m 33 Zi w + m 34 Analogamente al metodo di calibrazione visto prima, costruiamo un sistema omogeneo del tipo Am = 0, dove il vettore incognito m non è altro che la lista degli elementi di M: m = [m 11, m 12...m 33, m 34 ] T M ha 12 elementi ma ha 11 gradi di libertà perché è definita a meno di un fattore di scala γ; il rango di A è 11 e, dunque, il sistema può essere risolto nuovamente tramite SVD. Sia m = γm il vettore soluzione di cui sconosciamo il fattore di scala γ; definiamo per comodità i vettori 21

22 3.2 Calibrazione indiretta 3 CALIBRAZIONE q 1 = [ m 11, m 12, m 13 ] T q 2 = [ m 21, m 22, m 23 ] T q 3 = [ m 31, m 32, m 33 ] T q 4 = [ m 14, m 24, m 34 ] T (3.7) Notiamo che i primi tre vettori rappresentano le prime tre righe (meno l ultimo elemento) di M, mentre q 4 rappresenta l ultima colonna di M. Possiamo calcolare γ analogamente a come abbiamo fatto per il metodo di calibrazione diretto, notando nella (3.5) che gli elementi di q 3 non sono altro che l ultima riga della matrice di rotazione R: m m m 2 33 = γ 2 (r r r 2 23) = γ Dividendo il vettore soluzione m per γ otteniamo tutti gli elementi di M a meno del segno. Ridefiniamo M in modo che sia normalizzata (ovvero, abbiamo diviso per γ ma ancora non sappiamo se dobbiamo invertire i segni); definiamo σ = ±1 e calcoliamo tramite semplici formule tutti i parametri che ci servono a partire dalla (3.5) e dai valori m ij : T z = σ m 34 r 3i = σ m 3i, i = 1, 2, 3 o x = q 1 q T 3 o y = q 2 q3 T f x = q 1 q1 T o2 x f y = q 2 q2 T o2 y r 1i = σ(o x m 3i m 1i )/f x, i = 1, 2, 3 r 2i = σ(o y m 3i m 2i )/f y, i = 1, 2, 3 T x T y = σ(o x T z m 14 )/f x = σ(o y T z m 24 )/f y Rimane da stabilire solo il segno di σ. Per farlo, consideriamo l uguaglianza T z = σ m 34 ; se l origine del sistema di riferimento del mondo 3D si trova davanti la camera, T z deve essere positivo, dunque σ deve essere concorde con m 34 ; altrimenti, deve essere negativo, da cui segue che σ deve essere di segno opposto rispetto a m 34. Stabilito il segno di σ, abbiamo determinato con esattezza tutti i parametri della camera. 22

23 4 RICOSTRUZIONE 4 Ricostruzione Obiettivo della ricostruzione è quello di inferire informazioni sulla scena 3D a partire da immagini di essa. La principale tecnica usata per la stima della profondità prevede l analisi di due (o più) immagini della stessa scena riprese nello stesso istante da punti di vista differenti; questo è il più importante tra i meccanismi di percezione della profondità adottati dal nostro cervello, ed è detto stereovisione (dal greco Ø Ö, solido ).La stereovisione è dunque la capacità di inferire informazioni su di una scena tridimensionale (struttura e posizione assoluta e/o reciproca di oggetti nella scena) a partire da una o più immagini bidimensionali della stessa. Figura 5: Esempio di sistema stereo; ogni camere vede la scena in modo lievemente diverso dall altra I due problemi principali che un sistema stereo deve affrontare ai fini della ricostruzione sono il matching e la depth estimation (ricostruzione). Vediamo allora cos è un sistema stereo e in cosa consistono questi problemi. 4.1 Sistemi stereo Chiameremo sistema stereo un sistema di visione consistende in (almeno) due camere che osservano la medesima scena; solitamente ci si riferisce alle due camere come camera sinistra e camera destra. Gli assi focali delle camere possono essere tra loro paralleli o incidenti. Nel primo caso il centro di fissazione, ovvero il punto di intersezione tra i due assi focali, è all infinito; nel secondo caso, il più comune, è un punto nello spazio ad una distanza finita dai fuochi. La distanza tra i fuochi delle due camere è detta baseline o distanza inter-ottica. Nel sistema visivo umano gli occhi hanno assi focali incidenti e sono in grado di ruotare, potendo così variare nel tempo la posizione del centro di 23

24 4.2 Parametri di un sistema stereo 4 RICOSTRUZIONE (a) Fissazione finita (b) Fissazione infinita Figura 6: Due semplici sistemi stereo con centro di fissazione finito e infinito. fissazione; nei sistemi stereoscopici artificiali, invece, le camere solitamente non possono ruotare, e il centro di fissazione è dunque fisso. 4.2 Parametri di un sistema stereo Come abbiamo visto nelle sezioni 2.5 e 2.6, una camera ha molti parametri che influenzano la proiezione di un punto dello spazio sul piano di immagine; abbiamo catalogato questi parametri in due insiemi, i parametri estrinseci (posizione e orientazione della camera) e intrinseci (mapping tra punti del piano di immagine e pixels). Per un sistema stereo, le cose sono lievemente differenti. Mentre i parametri intriseci che ci interessano ai fini della ricostruzione sono l unione dei parametri intrinseci delle due camere, quelli estrinseci sono differenti: ci basta conoscere la posizione e l orientazione relativa delle camere, ovvero non le coordinate e gli assi di rotazione assoluti ma la differenza tra le coordinate e gli assi di rotazione delle camere. E possibile vedere i parametri estrinseci di un sistema stereo come una trasformazione rigida tra il sistema di riferimento di una camera nel sistema dell altra, ovvero una rototraslazione tra i due sistemi; è questo che indicheremo, da ora in poi, come parametri estrinseci di un sistema stereo. Non ci serve conoscere esplicitamente i parametri estrinseci delle singole camere, ma da essi è facile ottenere i parametri estrinseci del sistema stereo. Siano O l e O r le coordinate dei fuochi della camera sinistra e di quella destra, e siano R l ed R r le matrici di rotazione che ruotano il sistema di riferimento del mondo in quello 24

25 4.2 Parametri di un sistema stereo 4 RICOSTRUZIONE delle rispettive camere (ricordiamo che le coopie R l, T l e R r,t r costituiscono i parametri estrinseci delle rispettive camere): P r = R r (P w T r ) (4.1) P l = R l (P w T l ) (4.2) Cerchiamo i vettori T ed R del sistema stereo tali che la relazione tra le coordinate di un punto dello spazio nel sistema di riferimento della camera sinistra (P l ) e le coordinate dello stesso punto nel sistema di riferimento della camera destra (P r ) sia: P r = R(P l T) (4.3) Il vettore di traslazione che sposta un sistema di riferimento all altro è banalmente T = O r O l ; dato che la (4.3) è scritta in funzione di P l, per trovare R a partire dai parametri estrinseci delle camere possiamo riscrivere la (4.2) in funzione di P w e inglobarla nella (4.1). Riscriviamo allora la (4.2): Quindi, inglobiamola nella (4.1): R 1 l P l = P w T l ; P w = R 1 l P l + T l (4.4) P r = R r (P w T r ) = R r (R 1 l P l + T l T r ) = R r R 1 l P l + R r T l R r T r = R r R 1 l P l R r (T r T l ) (4.5) Intuitivamente, quello che abbiamo fatto è stato trasformare il punto P l, invertendo la (4.2), dal sistema di riferimendo della camera sinistra nel sistema di riferimento del mondo, quindi usare la(4.1) per passare dalle coordinate nel riferimento del mondo a quelle nel riferimento della camera destra. Abbiamo già trovato quello che cercavamo: espandiamo la (4.3) e compariamola con la (4.5): P r = RP l RT = R r R 1 l P l R r (T r T l ) } {{ } } {{ } RT R 25

26 4.3 Disparità 4 RICOSTRUZIONE da cui ricaviamo R = R r R 1 l 11. Avevamo già calcolato T come differenza dei centri ottici, ed ora abbiamo trovato anche un altra relazione: T = R 1 R r (T r T l ); i due vettori T (diciamo, il precedente T o e l attuale T) sono uguali in modulo ma orientati in modo differente, in quanto il primo è espresso nel sistema di riferimento del mondo e il secondo in quello di C r ; è T o = T r T l = Rl TT. Come è facile immaginare, la conoscenza dei parametri intrinseci ed estrinseci di un sistema stereo è fondamentale ai fini della ricostruzione; vedremo che, senza la conoscenza a priori (o tramite precedente calibrazione) dei parametri, non sarà possibile ricostruire l intera scena se non a meno di un fattore di scala o di una trasformazione proiettiva. 4.3 Disparità Immaginiamo un sistema stereo essenziale. Siano C l e C r le camere sinistra e destra, con fuochi O l, O r e assi ottici α l e α r paralleli; sia T la baseline e f la lunghezza focale, comune a entrambe. Siano c l e c r i punti principali delle camere, ovvero i punti di intersezione tra un piano immagine e l asse ottico della stessa camera, che useremo come origini del sistema di coordinate dei piani immagine. Sia P un punto nello spazio, distante Z dalla baseline, che proietta sui piani immagini delle camere i punti P l e P r ; poniamo per semplicità che la corrispondenza tra punti del mondo 3D e punti dei piani immagine sia 1:1 (dunque s x = s y = 1. Per conformità con la notazione di alcuni testi di Computer Vision (incluso il Trucco-Verri) assumeremo che il semiasse positivo delle x sia rivolto verso sinistra; dunque nell esempio in figura 7, dove il sistema è visto dall alto sul piano XZ, la coordinata x dei punti proiettati sarà negativa per la camera sinistra e positiva per quella destra. Il problema che ci poniamo è come calcolare la profondità di P a partire da quello che vedono le camere; in altre parole, ci interessa la relazione tra P l, P r e Z. Poiché i triangoli P l PP r e O l PO r sono simili, il rapporto base/altezza sarà uguale; dunque, abbiamo T Z = T + x l x r Z f (4.6) Chiamiamo disparità la differenza tra le coordinate dei punti proiettati d = x r x l e risolviamo la (4.6) per Z: 11 Ricordiamo che R, in quanto matrice di rotazione, è ortonormale; nelle formule si può dunque usare indifferentemente R 1 o R T (ad esempio, R = R r R T l ). 26

27 4.3 Disparità 4 RICOSTRUZIONE Figura 7: P viene proiettato in posizioni differenti sui due piani immagine; chiamiamo questa differenza disparità. Nell esempio, un sistema stereo composto di due camere con centro di fissazione all infinito. T Z = T d Z f (Z f)t = Z(T d) TZ Tf = TZ Zd Z = TF d (4.7) L equazione (4.7) ha delle importanti conseguenze: La profondità di un punto P è inversamente proporzionale alla disparità; La relazione tra Z e d non è lineare; Fissate la lunghezza focale e la baseline, la profondità di un punto dipende solo dalla disparità; Errori nella stima della disparità, in particolare quando essa è molto piccola, si riflettono in grandi errori di stima della profondità. 27

28 4.4 Matching 4 RICOSTRUZIONE Tale relazione è stata calcolata considerando un sistema con punto di fissazione all infinito; nel caso di un sistema con punto di fissazione vicino, la disparità è inversamente proporzionale alla distanza dal punto di fissazione. La relazione (4.7) è anche legata al cosiddetto effetto parallasse: oggetti che si muovono con la stessa velocità appaiono tanto più lenti quanto più sono lontani, proprio perché la disparità tra punti (in questo caso, tra le proiezioni di uno stesso punto in due istanti di tempo separati) è inversamente proporzionale alla distanza. 4.4 Matching Abbiamo visto come i sistemi di visione stereoscopica inferiscano informazioni sulla profondità della scena analizzando le differenze tra le due proiezioni; questo significa essere in grado di associare tra le due immagini le proiezioni dello stesso oggetto, ovvero localizzare un punto P della scena in ambedue le proiezioni. Associare due proiezioni è particolarmente difficile per scene con molti oggetti complessi e spesso somiglianti tra loro. Immaginiamo, ad esempio, due foto di un albero riprese da angolazioni differenti; come fare ad associare ogni foglia alla corrispondente dell altra proiezione? Il rumore, le ombre, fenomeni di occlusione e/o clipping 12, le superfici non lambertiane 13 sono tutti fattori che rendono più difficile (talvolta impossibile) il riconoscimento. Un matching corretto è necessario per una stima di profondità sensata. Consideriamo il semplice esempio in fig. 8. I due punti nello spazio P e Q proiettano quattro punti sui piani immagine delle camere C l e C r. Se il matching tra le proiezioni è corretto (ovvero p l viene associato con p r e q l con q r ), la ricostruzione riporterà i valori di profondità di P e Q; se però il matching è errato (p l viene associato con q r e q l con p r ) la ricostruzione riporterà la profondità dei due punti virtuali P e Q, del tutto errati rispetto ai valori reali. L idea alla base del matching è quella di associare tra le due immagini aree che risultano simili in un determinato dominio di informazione; dobbiamo però stabilire in quale dominio operare. Possiamo suddividere le tecniche di matching in base al dominio: le più frequenti sono quelle nel dominio dei pixel e quelle nel dominio di una data feature. Nel dominio dei pixel la metrica più 12 Si parla di occlusione quando un punto visibile da una camera non è visibile dall altra perché coperto da un oggetto più vicino; il clipping si riferisce invece alla non visibilità di un punto che si trova all infuori del campo visivo di una delle due camere. 13 Una superficie è lambertiana se riflette l energia incidente in modo uguale in tutte le direzioni. Una superficie lambertiana appare dello stesso colore da ogni direzione di osservazione e non presenta alcuna riflessione. 28

29 4.4 Matching 4 RICOSTRUZIONE Figura 8: Se le proiezioni di P e Q non vengono associate correttamente, le stime di profondità risultano inutilizzabili comune per misurare la somiglianza tra due aree è la correlazione statistica; nel dominio delle features, la metrica dipende dal tipo di feature utilizzata (si può scegliere di confrontare semplicemente i parametri di ogni occorrenza) Matching tramite correlazione Un possibile algoritmo per trovare aree simili tra due immagini è quello di scegliere un area dell immagine di una camera (finestra) e confrontarla, pixel per pixel, con tutte le possibili sottoaree della stessa dimensione nell altra immagine; una volta individuata la finestra che più somiglia a quella data, assumeremo di aver trovato una corrispondenza tra proiezioni. Un ottima metrica per misurare la somiglianza tra due aree di pixel è la correlazione (vedi sezione C.1). La correlazione permette di effettuare un calcolo continuo : per ogni pixel dell immagine di una camera possiamo cercare una corrispondenza nell altra camera, motivo per cui l output che otteniamo dopo aver dato in pasto al nostro algoritmo due immagini è una mappa di disparità (disparity map) densa di valori; se interpretiamo tale immagine come un immagine in scala di grigi in base alla disparità, vedremo le zone più vicine alla camera colorate di bianco e gli oggetti lontani di un colore sempre più scuro. Effettuare il confronto tra tutte le possibili coppie di finestre è estremamente oneroso; anche assumendo che aree corrispondenti si trovino in coordinate simili nelle due immagini, il numero di confronti da effettuare 29

30 4.4 Matching 4 RICOSTRUZIONE (a) Immagine sinistra (b) Immagine destra (c) Disparity map Figura 9: Due immagini stereo e disparity map di output. è proibitivo per un sistema real-time. Per avere maggiori prestazioni dobbiamo cambiare dominio di analisi oppure utilizzare uno stratagemma per restringere le aree di ricerca (come la geometria epipolare) Matching tramite features Una feature è una caratteristica di una immagine la cui natura dipende dall applicazione; esistono algoritmi specifici per rilevare diversi tipi di features (bordi, contorni, spigoli, figure geometriche, SIFT, etc.). Un esempio semplice di feature che potremmo andare a rilevare in una immagine è la presenza di segmenti. Potremmo parametrizzare un segmento con i seguenti valori: Lunghezza l; Angolo di orientazione θ; Coordinate del punto medio M = (m x, m y ); Stima del contrasto medio C lungo il segmento. Daremo le immagini delle camere destra e sinistra in pasto ad un feature detector, ovvero un algoritmo in grado di rilevare la presenza di features (in questo caso, segmenti) e tutti i relativi parametri. Confronteremo le features nello spazio dei parametri per determinare le corrispondenze tra le immagini, ovvero quali features dell una sono associate a quelle dell altra. La funzione di similarità che ci servirà per il confronto tra due features è inversamente proporzionale ai valori assoluti delle differenze tra i parametri, e spesso ad ogni parametro è associato un peso sperimentalmente calcolato. Nell esempio dei segmenti, una funzione di similarità potrebbe essere: S = 1 w 0 (l l l r ) 2 + w 1 (θ l θ r ) 2 + w 2 (M l M r ) 2 + w 3 (c l c r ) 2 30

31 4.5 Geometria epipolare 4 RICOSTRUZIONE dove la lettera in pedice si riferisce all immagine dove la feature è stata rilevata (camera sinistra o destra). 4.5 Geometria epipolare La geometria epipolare ci aiuta a semplificare il problema del matching: dato un punto proiettato nell immagine di una camera, grazie alla geometria epipolare possiamo limitare la ricerca del punto associato nell altra camera ad una sola linea. Guardiamo il sistema stereo in figura 10 : abbiamo, al solito, due camere (C l, C r ) con i rispettivi fuochi (O l,o r ) e un punto nello spazio P che proietta p l e p r sui rispettivi piani immagine. Supponiamo che le camere siano orientate in modo da guardarsi a vicenda, ovvero supponiamo che la proiezione del fuoco dell una ricade all interno del piano visivo dell altra; chiamiamo questi punti e l ed e r epipoli. Consideriamo il piano che passa per i fuochi delle camere e per P; esso taglierà i piani di immagine in corrispondenza di due rette, dette rette epipolari, su cui giacciono gli epipoli e le proiezioni di p. L intuizione alla base della geometria epipolare è che, se conosciamo i parametri estrinseci del sistema stereo e la posizione sul piano immagine di C l di p l, possiamo cercare p r solo sulla corrispondente retta epipolare sul piano immagine di C r. Figura 10: Rappresentazione grafica della retta epipolare (in rosso) associata al punto p l. p r dev essere uno dei punti P i di questa retta. Per comprendere meglio il principio possiamo immaginare la retta epipolare associata a p l come il percorso attraverso cui, nella visuale di C r, un raggio di luce riflesso da P arriva nel fuoco di C l ; tale percorso è una linea 31