Modello Generale della Telecamera

Transcript

1 A.a. 2009/2010 Modello Generale della Telecamera

2 Proiezione prospettica Consideriamo un punto dello spazio 3D, M=[x,,z] T, le cui coordinate sono espresse nel sistema di riferimento (sdr) solidale con la telecamera (sdr standard ). La sua proiezione sul piano immagine I, indicata con m=[u,v] T Le equazioni, non lineari, che esprimono le coordinate immagine in funzione delle coordinate 3D sono date da: C f x I m=[u,v] T u c v M=[x,,z] T z u = v = f z f z x

3 Spazio Proiettivo Lo spazio fisico è uno spazio euclideo 3D (R 3 ) in cui i punti, una volta fissato un sistema di riferimento, si possono rappresentare con vettori tridimensionali. In questo spazio si dice che le rette parallele non si intersecano, o si intersecano all infinito La rappresentazione di questi punti all infinito non è possibile in questo spazio vettoriale. Immaginiamo di aggiungere una coordinata alle nostre terne, per es. ( x z ) diventa ( x z 1) e consideriamo entrambe le ennuple rappresentazioni valide dello stesso punto. In aggiunta, non vincoliamo la quarta coordinata ad essere 1, ma definiamo ( ) ( ) ( ) x z 1 2x 2 2z 2 kx k kz k k 0 In questa rappresentazione, un punto dello spazio è quindi identificato da una classe di equivalenza di quadruple, dove quadruple equivalenti differiscono solo per un fattore moltiplicativo. Questa è la cosiddetta rappresentazione in coordinate omogenee del punto (x,, z). Lo spazio ottenuto rappresentando i punti in coordinate omogenee è detto spazio proiettivo, P 3. È immediata l estensione a spazi euclidei di qualunque dimensione (R n P n )

4 Punti all infinito Gli unici punti che non hanno un corrispondente nello spazio euclideo, sono i punti per cui la nuova coordinata vale 0, es (x,, z, 0). L ipotetico corrispondente (inesistente nello spazio euclideo) sarebbe rappresentato dalle coordinate (x/0, /0, z/0), ovvero coordinate infinite. Usando le coordinate omogenee è quindi possibile rappresentare analiticamente i punti all infinito come tutti i punti la cui ultima coordinata vale 0. Il punto di coordinate (0, 0, 0, 0) non è definito. Questo punto NON è l origine del sistema di riferimento scelto per lo spazio euclideo (0, 0, 0), il quale ha coordinate omogenee (0, 0, 0, k), k 0. Si può dimostrare che tutti i punti all infinito di P 3 giacciono su un piano, che prende il nome di piano all infinito.

5 Un esempio in R 2 Considerando il sistema che definisce l intersezione di due rette ax + b + c = 0 ax + b + c = 0 questo ha soluzioni (Teorema di Cramer) x = c b c b a b a b = a c a c a b a b Se le rette sono parallele, il denominatore si annulla, e quindi non c è soluzione (o impropriamente, la soluzione è un punto all infinito ). Se le rette sono distinte, almeno uno dei tre valori presenti nella formula è comunque non nullo.

6 c b a c c b a c x=, = a b a b a b a b Un esempio in R 2 c b a c a b,, c b a c a b R 2 P 2 Mantenendo le tre coordinate separate, e usando la rappresentazione in coordinate omogenee, si passa nello spazio proiettivo P 2. In questo spazio proiettivo il sistema precedente ha sempre una soluzione, quella indicata dalla formula in alto. Si può facilmente verificare che il punto all infinito di un fascio di rette si rappresenta in coordinate omogenee aggiungendo uno zero ad un qualsiasi vettore euclideo diretto come il fascio: bc ' b ' c b a b ' a ' ac ' ac' a b a' b'

7 Riassumendo Ogni spazio euclideo R n può essere esteso in una nuova struttura geometrica, il cosiddetto spazio proiettivo P n, rappresentandone i punti in coordinate omogenee. La rappresentazione in coordinate omogenee prevede l aggiunta di una nuova coordinata k allo spazio vettoriale k 0 rappresenta punti effettivi di R n le cui coordinate sono x i /k, i = 1 n k = 0 rappresenta punti ideali di R n, i cosiddetti punti all infinito. Questa nuova struttura permette quindi di rappresentare e trattare analiticamente in maniera omogenea (senza introdurre eccezioni o casi speciali) anche i punti all infinito.

8 Proiezione prospettica in coord. omogenee (1) Abbiamo visto che sussiste una relazione non lineare tra le coordinate della scena e quelle del punto immagine: f f u = x v= z z Torniamo al nostro punto M e alla sua proiezione prospettica m, le cui coordinate euclidee nel S.d.R. Standard e in quello immagine avevamo definito rispettivamente come M = [x,,z ] T e m = [u,v ] T. Espresse in coordinate omogenee (che indicheremo sempre con una tilde sovrastante il vettore) le loro rappresentazioni diventano: m u = v 1 M x = z 1

9 Proiezione prospettica in coord. omogene (2) In coordinate omogenee (e quindi considerando la trasformazione come tra spazi proiettivi), la proiezione prospettica diviene una trasformazione lineare. Usando la notazione matriciale o anche, dove indica uguale a meno di un fattore di scala arbitrario x f u z fx v f f = = z 1 z 1 k m = PM m PM x f = 0 f 0 0 z

10 La matrice di proiezione prospettica P La matrice rappresenta il modello geometrico della telecamera, e viene detta matrice di proiezione prospettica (PPM). Nel caso in cui le distanze sono misurate in unità di distanze focali ( f = 1) la PPM diviene P = = I [ ] Questa forma estrema della PPM rappresenta l essenza della proiezione prospettica. Ad essa si fa sovente riferimento come matrice di proiezione prospettica standard o canonica.

11 Un modello più realistico Per rendere più realistico il nostro modello ad un sistema di acquisizione reale è necessario tenere conto: della digitalizzazione dell immagine; della trasformazione rigida tra la telecamera e la scena (roto-traslazione). X Z O Y x u R,T C f v c=[u o, v o ] T z I

12 Digitalizzazione Δu Δv Δu=dimensione orizzontale del pixel Δv=dimensione verticale del pixel c (u 0,,v 0 ) u = v= f z f z x 1 f u = Δ uz 1 f v= Δ vz x = k = k u v f z f z x +u 0 +v 0 La digitalizzazione viene considerata inserendo nelle formule di proiezione lo scaling lungo i due assi dovuto alla quantizzazione del piano immagine nonché la traslazione del piercing point (punto principale) dovuta alla scelta del sistema di riferimento dell immagine (angolo in alto a sinistra).

13 La matrice degli intrinseci Tenendo conto delle nuove relazioni, la PPM può essere riscritta come: fk 0 u 0 fk 0 u = = u 0 P u 0 0 fkv v0 0 fkv v0 = AI0 [ ] La matrice A, che modella le caratteristiche del sensore, è detta matrice dei parametri intrinseci. I parametri intrinseci possono essere ridotti al minimo necessario ponendo α u =fk u, α v =fk v : si tratta della lunghezza focale espressa in pixel orizzontali e verticali. I parametri intrinseci minimi sono quindi 4. Il modello più generale prevede un quinto parametro nella matrice degli intrinseci, detto skew, che rappresenta l angolo tra gli assi del sistema di riferimento del sensore. La sua cotangente occuperebbe la posizione A[1,2], ma in pratica è sempre 0 ( = ctg(π/2) ).

14 Trasformazione rigida fra i S.d.R. (1) Quanto visto finora si basava sull assunzione di un S.d.R. per la scena molto particolare, coincidente con quello standard della telecamera. Più in generale il S.d.R. della scena sarà legato a quello standard da una rotazione intorno al centro ottico (modellabile da una matrice ortogonale R) uno spostamento (modellabile da un vettore di traslazione t) La relazione tra le coordinate di uno stesso punto nei due S.d.R. è dunque X x W= Y, M = M = RW+ T Z z che, passando in coordinate omogenee, può essere riscritta come: X x Y, R T W = M = M = = Z z 1 W GW 0 1 1

15 Trasformazione rigida fra i S.d.R. (2) Fino ad adesso abbiamo visto che k m = [ ] A I 0 M Considerando anche trasformazione fra i S.d.R. : R T M = = 1 W GW 0 R T km = A[ I 0] 1 W = AI0GW [ ] 0 La forma generale di una PPM è quindi [ ] ovvero [ ] P = A I 0 G P= A R T

16 Parametri estrinseci La matrice G, che modella la posizione della telecamera rispetto alla scena, è detta matrice dei parametri estrinseci. Una generica matrice di rotazione (che ha 9 elementi) è definita da 3 parametri indipendenti, che corrispondono ai valori degli angoli di rotazione rispetto agli assi del S.d.R. I parametri estrinseci sono quindi 3+3 = 6. La PPM più generale tiene quindi conto degli effetti del sensore, tramite A, della posizione del S.d.R. mondo grazie a G e della proiezione prospettica incarnata da [ I 0 ]. Esistono anche effetti dovuti alle distorsioni introdotta dalle lenti, che non considereremo, ma che possono essere modellati tramite un vettore di parametri, detti di distorsione radiale e tangenziale. Questo vettore comunque non modifica la forma della PPM, che si basa solo sul modello pin-hole puro.

17 Calibrazione (1) Abbiamo definito un modello analitico del processo di formazione dell immagine. Questo modello è rappresentato dalla PPM, che a sua volta può essere decomposta in tre elementi indipendenti, i parametri intrinseci (la matrice A), la rotazione R e la traslazione T. La calibrazione di un sistema di visione consiste nella stima il più possibile accurata dei parametri che definiscono questo modello per ogni telecamera che compone il sistema. A seconda della applicazione è sufficiente stimare solo la PPM oppure è necessario stimare separatamente le matrici A, R e T. Idea alla base di ogni algoritmo di calibrazione: conoscendo la corrispondenza tra proiezioni 2D e punti 3D di coordinate note, è possibile riscrivere l equazione della proiezione prospettica come un sistema lineare con i parametri come incognite e quindi risolverlo. Per ottenere queste corrispondenze, si usano oggetti di forma nota (scacchiere, pattern ripetitivi, )

18 Calibrazione (2) I metodi per la calibrazio possono essere classificati in due categorie: Quelli che usano un immagine di molti (almeno 2) piani contenenti un pattern noto. Quelli che usano molte (almeno 3) immagini diverse di uno stesso pattern piano. Nella pratica è molto più difficile procurarsi oggetti 3D adatti, con piani perfettamente ortogonali piuttosto che un pattern planare che può invece essere costruito con buona precisione. Sono disponibili tools standard per la calibrazione (OpenCV, Matlab Camera Calibration Toolbox..)