GEOMETRIA 3D MODELLO PINHOLE

http://imagelab.ing.unimo.it Dispense del coso di Elaboazione di Immagini e Audio Digitali GEOMETRIA 3D MODELLO PINHOLE Pof. Robeto Vezzani

Calibazione della telecamea: a cosa seve? Obiettivo: pote calcolae misue o elazioni spaziali a patie dalle immagini acquisite da una macchina fotogafica o da una telecamea.?

Applicazioni (con una telecamea): Misuae le dimensioni eali (lunghezza, laghezza, ) di oggetto o di paticolai meccanici mediante una telecamea installata su una catena di montaggio Diameto 0mm Misuae con una telecamea installata nei pessi si una autostada la velocità delle automobili che vi tansitano 34 Km/h Ricostuie la taiettoia seguita da una pesona che si sta muovendo all inteno di una stanza

Alte applicazioni Tasfomazioni omogafiche Mosaici

RICHIAMI DI GEOMETRIA

Coodinate 3D Taslazione Sia dato un sistema di ifeimento tidimensionale ed un punto P di un oggetto, le cui coodinate ispetto al sistema di ifeimento sono (X,Y,Z ). Una taslazione d,dy,dz pota il punto P in un punto P di coodinate X = X+ d Y = Y+ dy Z = Z+ dz Putoppo non esiste una matice T tale pe cui P =T P Coodinate Omogenee: P = [ X Y Z ] T P = [ X Y Z ] T In coodinate omogenee esiste una matice di tasfomazione T che appesenta la taslazione: X 0 0 d X X Y 0 0 dy Y Y = = T Z 0 0 dz Z Z 0 0 0

Scala Analogamente possiamo definie la matice che appesenta una vaiazione di scala di un oggetto X S 0 0 0 X X Y 0 Sy 0 0 Y Y = = S Z 0 0 Sz 0 Z Z 0 0 0 Matici di tasfomazione invese: pe ogni tasfomazione definita mediante una matice T è possibile ottenee la tasfomazione invesa invetendo la matice stessa: T - Taslazione: Scala: 0 0 d 0 0 dy T = 0 0 dz 0 0 0 S 0 0 0 0 0 0 Sy S = 0 0 S 0 z 0 0 0

Rotazione Consideiamo oa una otazione di un punto attono all asse Z. Il punto P = (X,Y,Z ) viene potato in P : X = Xcosϑ Ysin ϑ Y = Xsinϑ+ Ycosϑ Z = Z La matice di tasfomazione coispondente è: R Z cosα sinα 0 0 sinα cosα 0 0 ( α) = 0 0 0 0 0 0 Analogamente si possono ottenee le matici di otazione lungo gli alti due assi R X 0 0 0 0 cosα sinα 0 ( α) = 0 sinα cosα 0 0 0 0 R Y cosα 0 sinα 0 0 0 0 ( α) = sinα 0 cosα 0 0 0 0

Tasfomazioni composte E possibile ottenee tasfomazioni composte mediante il podotto di tasfomazioni elementai T c = T 4 T 3 T T ATTENZIONE all odine delle tasfomazioni Vengono applicate a patie da quella più a desta P = T c P = T 4 T 3 T T P = T 4 ( T 3 ( T ( T P ))) Matematicamente, infatti, si può dimostae facilmente in quanto il podotto ta matici, non è commutativo. In genee A B B A

Visione monoculae (Singola telecamea)

Modello Pinhole della telecamea Il concetto si basa sulla iflessione/emissione di luce da pate dell oggetto che passa attaveso un foellino di un ipotetica camea oscua e si poietta sul piano immagine.

Angolo di Acquisizione e Zoom A paità di sensoe di acquisizione (ad es. CCD), diminuendo la lunghezza focale sul sensoe viene poiettato un angolo più ampio della scena ossevata

Modello Pinhole della telecamea E il modello di telecamea più diffuso Costituito da piano immagine (o etina) π punto O detto cento ottico (o cento di poiezione) Punto o detto cento immagine Oo: distanza focale Asse Z: detto anche asse ottico Tasfoma pospetticamente un punto P=(X,Y,Z) nello spazio 3-D in un punto p=(,y) sul piano in cui si foma l immagine y p o f O Y X Z P

Vaianti del modello Piano immagine eale Piano immagine vituale

Poiezione Pospettica Planae Le equazioni che definiscono la tasfomazione pospettica si ottengono sfuttando la similitudine di tiangoli: y = f Y Z C C = f X Z C C L equazione è non lineae e non mantiene né le distanze fa i punti né gli angoli ta le linee

Poblema: posso calcolae l altezza della baa? Dall immagine Da specifiche tecniche della telecamea Da infomazioni note a pioi Non posso calcolae l altezza eale della baa. Devo misuae la distanza focale in piel mediante la CALIBRAZIONE della telecamea.

Calibazione: metodo manuale Posso calcolae la distanza focale in piel. Tale distanza è anche data dalla distanza focale in mm divisa pe la dimensione in mm di un piel. Poblema: visto che i piel non sono quadati le distanze focali calcolate lungo l asse e lungo l asse y possono essee diffeenti. Data la discetizzazione dell immagine, è meglio calcolae più misue di distanze focali e valutae la distanza effettiva con metodi statistici (es. media). La scacchiea è paticolamente comoda nelle tecniche automatiche di calibazione.

Matice di poiezione pospettica Note la/e distanza/e focale/i della telecamea, peso un punto P C nello spazio di cui conosco le coodinate (X C,Y C,Z C ) ispetto al sistema di ifeimento della telecamea, posso deteminae in quale piel p dell immagine mi veà visualizzato. Pe comodità voei tovae una matice M tale che p= M P C Pe fae ciò devo utilizzae le coodinate omogenee. Che in foma compatta diventa: X f 0 0 0 Y y 0 fy 0 0 Z 0 0 0 ~ p M ~ P C M è detta matice di poiezione pospettica o MPP.

Sistema di ifeimento del mondo L obiettivo finale è stabilie un legame ta le coodinate di P W nel sistema di ifeimento (O, X, Y, Z ), chiamato ifeimento del mondo, e quelle di p in un sistema definito sul piano immagine. Come passaggio intemedio sfuttiamo il sistema di ifeimento della telecamea (Oc, Xc, Yc, Zc). P c = R( P T ) R = 3 3 3 33 T R T = R T R3 O O 3 ( c ) T = R e T sono chiamati paameti estinseci della telecamea. Una volta ottenuti i punti nel sistema di ifeimento della telecamea bisogna tasfomae le coodinate in coodinate immagine, utilizzando il modello pinhole.

Coodinate immagine Pe passae più agevolmente dalle coodinate nel sistema di ifeimento della telecamea alle coodinate immagini, sciviamo: ) y = ( y o ) s = ( im o s im y y dove (o, o y ) sono le coodinate del punto pincipale o in piel e (s, s y ) sono le dim. del piel lungo e lungo y. Le nuove coodinate ( im, y im ) sono dette coodinate nomalizzate o coodinate immagine. Pe passae dalle coodinate della telecamea alle coodinate immagine bisogna conoscee i paameti intinseci della telecamea: f,o, o y, s e s y. Pe sostituzione si ottengono le equazioni: ( im o ) s = f R R T T 3 ( P ( P T ) T ) ( y im o y ) s y = f R R T T 3 ( P ( P T ) T )

Foma maticiale Definendo: = 0 0 0 int y y o s f o c s f M = T R T R T R M T T T et 3 33 3 3 3 3 Possiamo espimee P in coodinate omogenee: = int 3 et Z Y X M M Pe passae dalle coodinate omogenee alle coodinate immagine: 3 im = 3 y im =

Metodo di calibazione geneale Un metodo patico pe la calibazione è quello di usae un patten noto e misuabile, come una scacchiea. X Y Z c c c = = = 3 X X X + + + 3 Y Y Y + + 3 + 3 33 Z Z Z + T + T y + T z X Y Z c c c = X R Y Z + T = f X f Y s Z + = s Z + f, s e s non sono y indipendenti c c o y o im im y c y c Dalla calibazione possiamo deteminae: R (matice 33 di otazione, 3 gadi di libetà), T (vettoe 3 di taslazione) f =f/s (focale espessa in n. di piel oizzontale) α=s /s y (aspect atio) (o,o y ) (coodinate del cento immagine)

Autocalibazione Nel caso più geneale si possono vole calcolae paameti, 5 intinseci e 6 estinseci Posso utilizzae il toolbo Matlab di Zhengyou Zhang, che necessita in ingesso di 3 o più viste diffeenti di una scacchiea a celle quadate di dimensione nota. http://.vision.caltech.edu/bouguetj/calib_doc/htmls/links.html

Deviazioni dal modello pin-hole

Modello a lenti sottili Ipotesi del modello:. i aggi paalleli all'asse ottico incidenti sulla lente vengono ifatti in modo da passae pe un punto dell'asse ottico chiamato fuoco F.. i aggi che passano pe il cento C della lente sono inalteati. Pe mettee a fuoco oggetti a distanze divese, le lenti dell'occhio cambiano foma (focale), mente le lenti delle telecamee taslano nella diezione Z. A. Fusiello. Visione Computazionale: appunti delle lezioni, 005. http://pofs.sci.univ.it/~fusiello/teaching/visione/appunti.pdf

Distosioni delle lenti Immagine oiginale distota Distosione imossa

Esempi di distosioni Distosione adiale Distosione tangenziale asse Distosione tangenziale asse y

Coezione distosione - Modello plumb-bob Distosioni adiali Distosioni tangenziali Modello plumb-bob [D.C.Bon, 97] k,k p, p + + + + + = + + + + + = )) ( ( ) ( )) ( ( ) ( 0 0 0 4 0 0 0 0 0 4 0 0 y p y p k k y y y p y p k k

Rimozione pospettica e omogafie

Rimozione pospettica e omogafia Un punto dello spazio 3D viene sempe poiettato su uno ed un solo punto del piano immagine. Ovveo, dato un punto nello spazio e conoscendo i paameti intinseci ed estinseci della telecamea, posso deteminae se il punto è inquadato e dove compae nell immagine y C A ( A,y A ) I O Z Y X A (X,Y,Z ) A A A I Un punto dell immagine, invece, può coispondee ad uno qualunque dei punti della etta che passa dal cento ottico e dal punto stesso. y C A ( A,y A ) O Z X A (X,Y,Z ) A A A Y

Rimozione pospettica Se ho almeno un vincolo sulle coodinate del mondo eale di un punto P, posso deteminae con esattezza la sua posizione a patie dalle coodinate immagine. I I y C O P(X,Y,Z =c) P P P (paete; Z=c) y C O P(X P,Y P=0,Z P) Omogafia oizzontale (pavimento; Y=0)

Omogafia oizzontale Rettificazione dell immagine Ipotesi: i punti dell immagine fanno tutti pate del piano Y=0 (pavimento / stada)

Matice di tasfomazione omogafica L omogafia (o collineazione) è fomalmente definita come una tasfomazione lineae non singolae del piano poiettivo in se stesso Paticamente: peso un piano e due diffeenti poiezioni bidimensionali dello stesso, la tasfomazione omogafica lega le coodinate dei punti nei due sistemi di ifeimento. ' 33 λ ' = H h h h3 33 H = h4 h5 h 6 h7 h8 La matice di omogafia è definita a meno di un fattoe di scala (8 gadi di libetà) Può essee deteminata dalla coispondenza di 4 punti

Tasfomazioni D - Tasfomazione Euclidea Tasfomazioni euclidee: vengono algebicamente appesentate mediante una matice spasa non singolae 33 avente te gadi di libetà (una otazione e due taslazioni). Pesevano le lunghezze e le aee, gli angoli.,, t E t =,, y 0 0 R cosα sinα = sinα cosα

Tasfomazioni D - Tasfomazione di Similitudine Tasfomazioni di similitudine: vengono algebicamente appesentate mediante una matice spasa non singolae 33 avente 4 gadi di libetà (una otazione, una scala e due taslazioni). Pesevano i appoti ta le lunghezze e le aee, gli angoli. s, s, t S s s t =,, y 0 0

Tasfomazioni D - Tasfomazione Affine Tasfomazioni affini: vengono algebicamente appesentate mediante una matice spasa non singolae 33 avente 6 gadi di libetà. Pesevano il paallelismo, i appoti ta lunghezze di linee paallele, le combinazioni lineai di vettoi e le linee all infinito. a, a, t A a a t =,, y 0 0

Tasfomazioni D - Tasfomazione Poiettiva Tasfomazioni poiettive o omogafiche: vengono algebicamente appesentate mediante una matice spasa non singolae 33 avente 8 gadi di libetà. Pesevano la collineaità e la coss-atio. h, h, h,3 H = h, h, h,3 h3, h3,

Ripendiamo le applicazioni iniziali: Tasfomazioni omogafiche Mosaici