Acquisizione e parametri della tl telecamera mr

Transcript

1 Acquszone Acquszone e parametr della tl telecamera mr f.prr Parametr fsc d un sstema d vsone: Parametr ottc (lent, lunghezza focale, campo vsvo, apertura angolare Parametr fotometrc (ntenstà, drezone dell llumnazone.. Parametr geometrc (proezone, poszone e orentamento della camera, dstorson Rngrazament: le slde sono tratte dal lbro d Hardley e Zsserman e dal testo d rucco e Verr Sstema d acquszone Una camera tpcamente CCD (charged coupled devce Un frame grabber, dspostvo elettronco, dgtalzza l vdeo segnale n una matrce d pel Un sstema d elaborazone, l computer G Grgla df fotosensor segnale vdeo analogco generato e analzzando a a fotosensor ose so luce fotosensore voltaggo Immagne dgtale Un mmagne dgtale è una matrce E, d dmensone N M. E(,j denota l valore d lumnostà del pel (,j e codfca l ntenstà acqusta da fotosensor del CCD, è un ntero compreso fra 0 e 255 I numer rappresentano ntenstà, dstanza, quanttà fsche.

2 Dgtalzzazone Nel caso d mmagn n banco e nero la scala de ton è composta da lvell d grgo che la compongono mentre n quelle a color è data dalle vare sfumature d colore. Per poter elaborare lb e gestre un mmagne dgtale d è necessaro che l nformazone n essa contenuta sa espressa n bt. A seconda dll della complesstà àdll della scala d ton prescelta, un byte conterrà da uno a pù pel o parte d un pel. Nel caso d mmagn a lvello d grgo, s usa rservare un byte ad un pel; n questo modo s possono rappresentare fno a 2 8 scale d grgo. Dgtalzzazone Le rappresentazon delle mmagn a colore varano a seconda de camp d colore utlzzat e nell uso comune ogn campo d colore relatvo ad un pel vene rappresentato da un byte: ad esempo una mmagne RGB utlzza 3 byte per ogn pel. Il numero d bt rservat ad ogn pel vene detto profondtà d colore (pdc che msura la capactà d rappresentare o dstnguere vare sfumature d colore: aumentando la profondtà d colore aumenta l lvello d dettaglo dell mmagne. Un ulterore parametro è l occupazone defnto come l prodotto tra la profondtà e l numero d pel. Dgtalzzazone Coordnate Omogenee pdc4 bt (6 color pdc8 bt (256 color pdc24 24bt ( 6 mlon d color Rappresentazone omogenea d lnee a + by + c 0 ( a,b,c ka ( a,b,c ~ k ( a,b,c ( + ( kb y + kc 0, k 0 Ottenamo una classe d lnee, ogn vettore e rappresentatvo della classe L nseme Lnseme delle class d equvalenzas n R 3 (000 (0,0,0 forma P 2 Rappresentazone omogenea d punt (, y su l ( a,b,c (,y, ( a,b,c (,y, l 0 sse a + by + c 0, y, ~ k, y,, k y ( (, 0 l punto gace sulla lnea sse l l 0 Coordnate Omogenee (, 2, 3 Coordnate nomogenee ( Ma solo 2DOF, y

3 Prodotto nterno e prodotto vettorale Prodotto nterno fra due vettor: Da punt a lnee e rtorno Intersezone d lnee Prodotto vettorale fra due vettor: L ntersezone d due lnee l e l' e l l' La lnea che congunge due punt e e ' l ' Esempo y Punt deal e lnee all nfnto Pano proettvo Intersezone d lnee parallele ( abc e ( abc l,, l',, ' Esempo l l' ( b, a,0 ( b, a ( a,b vettore tangente t drezone normale punto deale 2 punto deale (,,0 2 l 0,0, Lnea all nfnto ( P 2 2 R l Nota che n P 2 non c e alcuna dstnzone tra punt deal e altr punt Modello del pano proettvo. Punt e lnee d P 2 sono rappresentat da lnee e pan rspettvamente attraverso l orgne n R 3 rappresentat da lnee e pan, rspettvamente, attraverso lorgne n R. Lnee sul pano 2 sono punt deal e l pano - 2 rappresenta la lnea l

4 Spazo Eucldeo- Coordnate cartesane Coordnate d un punto nello spazo Bas: Isometre Le sometre sono sono trasformazon del pano R 2 che preservano la dstanza eucldea: ' ε cosϑ snϑ t y' εsnϑ cosϑ t y y 0 0 ε ±, se ε allora l sometra preserva la drezone ed e una trasformazone Eucldea (composzone d rotazone e traslazone. Se e- allora l sometra nverte la drezone Una trasformazone planare puo essere scrtta: R t ' HE y 0 Dove R e una matrce d rotazone 2X2 (ortogonale coe R RRR I t e un vettore d traslazone e 0 un vettore nullo. H E e la matrce d corrspondenza. Cas specal, traslazone 0, rotazonei Smlarta Una smlarta e una sometra composta con una scalatura nel pano R 2 che preservano la dstanza eucldea: ' scosϑ snϑ t y' ssnϑ cosϑ t y y 0 0 s scalatura sotropca,

5 Una trasformazone d smlarta puo essere scrtta: rasformazon proettve n 2D sr t ' HS 0 Dove R e una matrce d rotazone 2X2 (ortogonale coe R RRR I t e un vettore d traslazone e 0 un vettore nullo. H s e la matrce d corrspondenza. S rappresenta una scalatura sotropca, poche conserva la forma. Ha 4 DOF, S, 2t e R Omografe 2D. Dato un nseme d punt nel pano P2 e un nseme corrspondente (ad esempo calcolato con RANSAC calcolamo la trasformazone proettva che porta n Proezon da 3D a 2D. Dato un nseme d punt X nello spazo 3D e un nseme d punt, ad ess corrspondent nell mmagne, trovamo una funzone d mappatua da 3D a 2D che porta X n. Calcolo della matrce fondamentale. Dato un nseme d punt n un mmagne e un nseme d punt corrspondent n un altra mmagne trovamo la matrce fondamentale F consstente con le corrspondenze: Coe, dato (,, compute H ( H. DL: algortmo d trasformazone lneare dretta ' H Dobbamo trovare H tale che h h2 h3 y h2 h22 h y h 3 h32 h33 λ 23 Numero d punt rchest H e composta d 9 element (defnta a meno d scalatura, qund 8 DOF. Ogn corrspondenza ha 2 DOF Qund sono necessar 4 punt I dat hanno rumore Cerchamo ula soluzone ottma n accordo ad una funzone d costo Il costo puo essere defnto algebrcamente o statstcamente t t t

6 Algortmo Gold Standard Funzone d costo ottmale, nel senso che la matrce H che mnmzza l costo e la stma mglore. L algortmo che mnmzza la funzone d costo e chamato l GSa Serve e per paragonare gl algortm rasformazone lneare dretta (DL dove e sono vettor omogene ' H. eprmamo come prodotto vettore 2. La j-ma rga d H s puo scrvere ponamo H h h h 2 3 (, y, w, H 0 Il prodotto vettore possamo rscrverlo come y h w h w h h 2 h y h H Poche h j h j, possamo rscrve l prodotto vettore, usando la matrce skew symmetrca 0 w y w 0 y 0 Queste equazon hanno forma A h h 2 h 0 3 h 0 (* ( Dove H possamo scrverlo h h h h h h, h 4 h5 h H 6 3 h h 7 h8 h9 Se consderamo (* ( solo due vettor sono lnearmente ndpendent,,poche la terza rga puo essere ottenuta a meno d scala. Possamo rdurre la matrce come segue w y w 0 A h 0 Dove A e ora una matrce 2X h h 0 3 h (elmnamo solo se w 0

7 rasformazone lneare dretta (DL Per ogn corrspondenza abbamo un sstema d equazon Ah 0 A e 89 or 29, ma rango 8 A A 2 h 0 A 3 A 4 Soluzone banale h0 9 non e nteressante Lo spazo nullo -D fornsce la soluzone d nteresse Algortmo DL Objectve Gven n 4 2D to 2D pont correspondences { }, determne the 2D homography matr H such that H Algorthm ( For each correspondence compute A. Usually only two frst rows needed. ( ( (v Assemble n 29 matrces A nto a sngle 2n9 matr A Obtan SVD of A. Soluton for h s last column of V Determne H from h h Non consderamo l caso d soluzon non-omogenee o degenerate. Algortmo DL normalzzato Vettor nello spazo Eucldeo Defnamo un vettore tramte una coppa d punt : Objectve Gven n 4 2D to 2D pont correspondences { }, determne the 2D homography matr H such that H Algorthm ( Normalze ponts ~ norm, ~ norm ~ ~ ( Apply DL algorthm to ~ ~, ( Denormalze soluton - H normh ~ norm Coordnate del vettore : e una trasformazone d smlarta norm w + h 0 w / 2 0 / 2 w + h h 0 0

8 Rotazon Rotazone e raslazone Matrce d Rotazone: preserva orent. Le coordnate sono n relazone tramte: Relazone fra le coordnate: Coordnate Omogenee n 3D Modello della Camera Oscura Relazone n 3D: Dove: Coordnate omogenee d un vettore: La camera Lent Parametr della Camera e calbrazone La prma fotografa la table serve, ottenuta da Ncéphore Nepce nel 822. Collezone Harlng Vollet

9 La camera oscura Proezone prospettca p Proezone prospettca Due lnee parallele sul pano Π s ncontrano sulla lnea d orzzonte H, ntersezone del pano parallelo a Π, e che passa per l foro (pnhole, con l pano Immagne. Il pano mmagne (vrtuale è d fronte al pano focale Proezone Prospettca Proezone Ortografca Proezone sferca

10 Proezone Prospettca L orgne del sstema d coordnate concde con l foro, e j formano la base per l pano focale parallelo al pano mmagne Il modello Pnhole Pano mmagne z z y z' ' y' Asse ottco OP λop Centro dell mmagne λ y y λy λ y f { f λz y z Spostamo l pano mmagne Proezone prospettca p Muovamo l pano mmagne d fronte al centro d proezone.

11 Modello Pnhole Pnhole Nel modello Pnhole frontale un punto nello spazo con coordnate X(X,Y,Z e mappato su un punto del pano mmagne dove la lnea che congunge l punto e l centro d proezone.passa p per l mmagne pnhole frontale Profondtà d campo Se f aumenta allora la telecamera dventa come un telescopo Se f dmnusce allora la scena catturata è pù ampa rasformazon Il centro mmagne sa l orgne lorgne del sstema d coordnate. Le coordnate mondo sono ndpendent dalla lunghezza focale. Sa β/f Se β0 allora abbamo la proezone ortografca. L orgne s è spostata sull mmagne

12 modello Pnhole ( X, Y, Z ( fx / Z, fy / Z Il punto (X,Y,Z e mappato sul punto (fx/z, fy/z,f Abbamo una trasformazone dallo spazo Eucldeo 3D allo spazo Eucldeo 2D. X X fx f 0 Y Y fy f 0 Z Z Z 0 modello Pnhole Possamo scrvere dag(f,f,[i 0] dove dag(f,f, e la matrce dagonale e [I 0] rappresenta la matrce dvsa n un blocco 3X3 (la matrce dentta pu una colonna d zer X e l vettore omogeneo (X,Y,Z,,,, (,y, e l punto nell mmagne e P e la matrce d proezone della camera 3X4 X X fx f 0 Y Y fy f 0 Z Z Z 0 PX P dag( f, f, [ I 0 ] Parametr della telecamera I parametr ntrnsec sono parametr necessar a collegare le coordnate d un pel dell mmagne con le coordnate corrspondent nel sstema d rfermento della camera. I parametr estrnsec sono parametr che defnscono la poszone ed orentazone del sstema d rfermento della camera, rspetto al rfermento mondo, che è supposto noto.

13 Parametr ntrnsec Inseme d parametr necessar a specfcare le caratterstche ottche, geometrche e dgtal della camera, come sensore. La lunghezza focale, per la proezone prospettcap Le coordnate, n pel, del centro dell mmagne La dstorsone geometrca causata dall ottca ottca. La dmensone de pel (n mllmetr (f, p, p y, m, m y, γ Parametr ntrnsec I parametr ntrnsec c permettono d collegare le coordnate, y, espresse n pel, d un punto dell mmagne, con le coordnate dello stesso punto nel sstema d rfermento della telecamera ( - p m 0 2 m { y ( - p y my { y n Dove (p, py sono le coordnate n pel del centro dell'mmagne e ( m, my ndcano la dmensone effettva de pel (n mllmetr nella drezone orzzontale e vertcale. l segno - e' dovuto al fatto che l'orentazone degl ass del sstema d rfermento dell'mmagne e quell della camera sono oppost Parametr della telecamera: coordnate pel m f p K m f p m y y y rasformazone lneare m e l numero d pel per dstanza untara Offset del punto prncpalep ( p, p y coordnate del punto prncpale ( + X, Y, Z ( fx / Z + p, fy / Z py Coordnate pel m m y X X fx + Zp f p 0 Y Y fy + Zp f py 0 Z Z Z 0

14 offset del punto prncpalep scrvamo Possamo rscrvere fx + Zp f fy + Zp Z Nella forma sntetca f K f K[ I 0]XX K[ ] cam p p y f p p y X 0 Y 0 Z 0 matrce d calbrazone camera coordnate frame Dove X cam e (X,Y,Z, per enfatzzare che e la camera all orgne del sstema d coordnate e l asse prncpale della camera punta nella drezone Z Parametr estrnsec Un nseme d parametr geometrc che dentfca unvocamente le trasformazon tra l sstema d rfermento della camera, non noto, e quell del mondo, not. Un vettore d traslazone [t[ t t 2 3 ]. Una matrce d rotazone 3 3, ortogonale (R RRR RR I I. P c R ( P w X R ( X C cam Sstem d coordnate camera e mondo M et opera le trasformazon fra l sstema d rfermento mondo e l sstema d rfermento camera. Yw Yc Parametr estrnsec Data una matrce ortogonale d rotazone ed un vettore d traslazone, la matrce de parametr estrnsec è: Xw Pw P Zc Pc Xc r r2 r3 R Met r2 r22 r23 R 2 r 3 r32 r 33 R 3 Zw

15 fotosensor M nt Rotazone e traslazone della camera I punt nello spazo della scena sono espress n termn d coordnate Eucldee dfferent not come world coordnate frame. camera CCD array mmagne M et coordnate camera calbrazone coordnate mondo C X cam Rotazone e traslazone R 0 X ~ ( - C ~ cam R X ~ ~ X RC Y R Z 0 RC X rappresenta le coordnate del centro della camera nel sstema d rfermento mondo e R e la matrce d rotazone che rappresenta l orentazone del sstema d rfermento camera K[ I 0]XX Mettendo nseme la defnzone della matrce d calbrazone [ ] cam X e R RC Y R RC Xcam X 0 Z 0 Ottenamo KR [ I C ~ ]X ] Dove X ora e defnto nel sstema d rfermento mondo e qund P KR I -C se ponamo t RC ~ 9 grad d lberta : 3 per K (f,p, py,3 per R, 3 per Ĉ PX P K[ R t]

16 m K CCD camera m f p p y f α fm, α fm α p y y K α p y rappresentano la lunghezza focale della camera n termn della dmensone de 0 ( 0, y0 pel lungo la e la y e l punto prncpale n termn delle dmenson de pel con coordnate m m una camera CCD ha 0 grad d 0 p, y0 yp y lberta Camera proettva fnta α p K α py P KR I C ~ dof (5+3+3 [ ] non-sngolare skew parameter α s p K α p y decomponamo la matrce P n K,R,C. MKR C ~ P M [ IM p ] KRI [ C ] M p p 4 4 e' l'ultma colonna d P Se rango P3ma rango M<3, la camera s dce ad nfnto 4 Anatoma Anatoma Centro della camera C rappresentato da un vettore X4 (null-space d P Consderamo la lnea che contene C e un qualunque altro punto A nello spazo 3D. I punt su questa lnea sono rappresentat da X λa + ( λc Data la proezone PX punt su questa lnea sono proettat su PX λpa + ( λpc PC 0 Coe tutt punt sulla lnea sono proettat sullo stesso punto mmagne PA Coe tutt punt sulla lnea sono proettat sullo stesso punto mmagne PA perche PC0. Qund C e l centro della telecamera perche per qualunque scelta d A la lnea X(λ e un raggo che passa dal centro..

17 La camera proettva P L mmagne del centro della camera e (000 (0,0,0, coe e ndefnto Camera fnta: C M p 4 d Camera nfnta: C,Md 0 00 p p2 p3 R C P p2 p22 p23 R2 C p3 p32 p33 R3C p p2 p3 p4 P 2 P p 2 p 22 p 23 p 24 P p3 p32 p33 p 3 34 P Le colonne d P [ ] [ p p p p ] p Punt mmagne che corrspondono alle drezon X,Y e Z e all orgne Vettor rga Il pano prncpale passa attraverso l centro della camera ed e parallelo al pano mmagne. E formato dall nseme d punt X che sono sulla lnea all nfnto dell mmagne. PX (,y,0 Un punto s trova sul pano prncpale della camera se e solo se P 3 X 0 P 3 e l vettore che rappresenta l pano prncpale della camera. Se C e l centro della camera PC0 e qund se P 3 C0 X p X 0 p 2 Y 2 Y y p 3 Z y p 3 Z 0 p w p

18 Il punto prncpalep Ppˆ punto prncpale Mm m 3 e la terza rga dm KR pano mmagne ( p p p ˆP 3,,, Il vettore dell asse prncpale p defnsce la parte frontale della camera 3 m vettore nella dr. asse prncpale P [ ] 0 camxcam K I 0 Xcam v det( M m 3 ( 0,0, P k cam P cam [ C ~ ] [ M p ] P k KR I P k cam P cam p 4 4 v k v (stessa drezone v det perche 3 4 ( k M km k v det( R > 0 Profondta d un punto Sa X(X,Y,Z, un punto 3D e P [M p4] la matrce della camera. Supponamo che P(X,Y,Z, w(,y, allora w P ~ ~ X P ( X C m ( X C (PC0 Se det M > 0;, m 3 allora m 3 e un vettore untaro nella drezone postva X ( X,Y,Z, depth sgn(detm w ( X;P 3 e la profondta del punto X d fronte al pano prncpale p della camera. m

19 C(X,Y,Z, Decomposzone della matrce rova l centro della camera PC 0 (null-space, decomposzone SVD X det ( [ p2,p 3, p4 ] Y det ( [ p,p 3, p4 ] Z det( [ p,p, ] det( [ p,p, ] 2 p4 2 p3 Orentazone camera e parametr ntrnsec M KR Camera oscura con lent Raccoglere la luce: n condzon deal un sngolo raggo raggunge un punto del pano mmagne. Un foro grande llumna meglo ma la sfoca. ( Q R - R - - Q Cardano nel 550 scopre che una lente postva al posto del foro consente d ottenere un mmagne pù ntda e lumnosa. Lent Un oggetto s dce reale quando la luce da esso dverge s dce vrtuale quando la luce converge su esso. Un mmagne s dce reale quando la luce converge su d essa s dce vrtuale quando la luce dverge da essa Immagn Vrtual La luce non passa attraverso l mmagne L mmagne non puo essere proettata su uno schermo posto nel punto n cu L mmagne s forma. s e negatva per un mmagne vrtuale Oggetto reale Immagne reale

20 Rflessone e rfrazone Rfrazone Interfacca d centro C Hyp. Lente smmetrca rspetto al suo asse ottco e sn α α Quando un raggo è rflesso da una superfce: l raggo, la sua rflessone, e la normale alla superfce sono coplanar. Gl angol sono complementar Legge d Snell rfrazone Raggo ncdente Se r è l raggo ncdente all nterfacca I fra due materal trasparent con ndce d rfrazone n ed n 2, ed r 2 è l raggo rfratto: r, r 2 e la normale ad I sono coplanar, e per gl angol vale: α -β α 2 +β 2 n 2 n Asse ottco Equazone d rfrazone (legge d Snell per angol pccol: α γ+ β h(/r + /d n α n 2 α 2 n /d + n /d 2 2 (n 2 n /R Equazon lent α γ + β h + R d α2 γ β2 h + R d2 dalla legge d Snell n snα n snα 2 2 Lente sottle h h h h n + n2 + R d R d2 n n n n nα n2α2 + d d R 2 2 2

21 Lente Sottle Equazone lente sottle VV2 spessore n VV 2 e lo spessore della lente ed e' trascurable S c R V n2 V2 c2 R2 P equazone lente sottle n 2 + d0 d n R R2 Se d 0 + d d f d0 d Se d ( d e' postvo l'mmagne (oggetto e' reale 0 Modello lente sottle Lente spessa La lente ha due superfc sferche d raggo R e ndce d rfrazone Un raggo che attraversa la lente vene rfratto subto. Il raggo PO che passa per l centro O della lente non vene rfratto. h utt ragg che passano per P sono mess a fuoco n P, con profondtà z è la lunghezza focale della lente, R è l raggo della lente

22 Aberrazone Sferca Dstorsone utt punt che passano attraverso P e sono rfratt dalla lente formano un cercho d confusone n /d + n2 /d2 (n2 n + h 2 [n ( n 2 ( - 2 R 2d R d 2d 2 R d 2 Aberrazone Cromatca Lent Composte Per mnmzzare l abberrazone

23 FOV: feld of vew Il FOV d una camera e la porzone d spazo della scena che s proetta nella retna della camera e dpende dalla lunghezza focale f e dall area del sensore CCD (charge-coupled devce ccd d lente f φ ϕarctan d/2f