Realtà Virtuale From 3D to 2D

Transcript

1 Realtà Virtuale Fro 3D to D Prof. Alberto Borghese Dipartiento di Inforatica alberto.borghese@unii.it Università degli Studi di Milano Soario La trasforazione proiettiva Calibrazione /4

2 Proiezione centrale verso proiezione ortogonale P viene proiettato su un piano piano iagine nel punto P. è la distanza dal piano iagine. dipende da e. non dipende da a solo da. Proiezione centrale: centro di proiezione al finito. Proiezione ortogonale: centro di proiezione all infinito. 3/4 Dal 3D al D Coe si fora un iagine? Scena con oggetti riflettenti. Sorgente di illuinazione Piano di rilevazione della luce riflessa. Il otore di questa trasforazione è la proiezione prospettica. 4/4

3 L occhio uano Its behavior is ver siilar to that of a caera 5/4 La pin-hole caera Proiezione prospettica: tutti i raggi di proiezione passano per un unico punto detto centro di proiezione. Pinhole caera 6/4 3

4 La lente Pinhole caera Lente convergente 7/4 Geoetria dell ottica Oggetti all infinito Distanza focale: distanza del piano iagine quando un oggetto si trova all infinito. Asse ottico: raggio che non viene deviato dalla lente. Intersezione dell asse ottico con il piano iagine dà il punto principale F. 8/4 4

5 Messa a fuoco Problea della essa a fuoco Paraetri di caera o intrinseci: Punto principale c lunghezza focale f 3 paraetri. Occorre conoscere anche il fattore di fora dei piel nel caso di iagini digitali è una costante non un paraetro. Distorsioni. 9/4 Esepi di Distorsioni Ottie per effetti speciali un po eno per delle isure.. Le caere non sono etriche. /4 5

6 Distorsioni Distorsioni radiali. Distorsioni tangenziali. Shrinage l. f g /4 Distorsioni radiali A cuscinetto drp r r 3 r 5... r p p o A botte Rappresentazione polare: rcosf rsinf dp O[ 5 ] dp O[ 5 ] Il paraetro o non si considera perchè corrisponde ad una variazione di scala. /4 6

7 7 3/4 Radial Polnoial 3rd Degree Radial Polnoial 5th Degree 3 Radial and Tangential 3 r r D D r r r r 4 4 D D r r r r 3 3 D D Seplificazioni possibili delle equazioni che odellano i paraetri di distorsione I odelli di distorsioni In alternativa: odelli sei-paraetrici che fittano il capo di distorsione a partire da isure prese sul capo. 4/4 Raddrizzaento dell iagine Si considera un piano posto davanti al centro di proiezione si ottiene scandendo l iagine dall angolo d in basso.

8 Raddrizzaento dell iagine Tutte le coordinate isurate rispetto a un centro coune l/ a A o P L/ Per siilitudine fra i triangoli aob e AOB: Oo : OP ao : AP a a ; a a A f / A a A f / A 5/4 I paraetri esterni Traslazione: 3 coponenti: T C C C. Rotazione R 33 f 6/4 8

9 Angoli di orientaento nello spazio 3D Modo generale: roll pitch e aw. f : rollio beccheggio e deriva. Sono 3 rotazioni sequenziali non coutative. 7/4 Dal 3D al D a a ; a a * A f / * A a * A f / * A P A * R P A - T P A A A > P* A * A * A * A > a a a La terza coordinate sul piano iagine z a f 8/4 9

10 Equazioni di collinearità rappresentazione perspettica * A r A - C r A - C r 3 A - C * A r A - C r A - C r 3 A - C * A r 3 A - C r 3 A - C r 33 A - C r A - C r A - C r 3 A - C a o /f * A / * A r 3 A - C r 3 A - C r 33 A - C r A - C r A - C r 3 A - C a - o * A f / z* A r 3 A - C r 3 A - C r 33 A - C Coplessivaente 9 paraetri. Equazioni non-lineari. 9/4 Modello reale della ripresa fotografica f f o o o g f o o o 3 3 O O O O 3 3 O O O O O O O O /4

11 /4 Tassonoia dei paraetri Distortion paraeters: g g g 3 g 4 f o o ; g o o Interior paraeters Eterior paraeters Focal length f Principal point o o Orientation f Position o o o f g f f P 3 -> p P 3 -> P 3 p -> p /4 Sviluppo della atrice di proiezione o o f f K T R A M p KMA P HP Che fora ha H? Trasforazione ediante scala e traslazione Roto-traslazione

12 Proiezione in coordinate oogenee P A P oogenee f c ' f ' c ' oogenee f c ' f ' c ' w oogenee ' ' Dividendo per la terza coordianta w oogenee. ' cartesiana f ' ' cartesiana f ' 3/4 c c Soario La trasforazione proiettiva Calibrazione 4/4

13 Set-up Passive vision sstes do not constraint caeras position. Caeras have to be positioned to get the best volue coverage ever feature should be surveed b at least two caeras and to view the volue of interest! Set-up requires: Caeras position Focusing and possibl choice of a proper lens Lens opening Not all the caeras should view the sae volue region. Optial set-up a require soe tie and/or Multiple caeras are used. 5/4 Calibrazione Proiezione e Ricostruzione 3 attori: A I punti nello spazio 3D: {} B I punti isurati sul piano iagine {} C I paraetri { C C C ij f f o o {ap } {ap }} 3 problei: A B C Deterinazione dei paraetri del odello proiettivo calibrazione. B C A Ricostruzione ra intersection VR. A C B Proiezione augented realit. 6/4 3

14 4 7/4 Augented realit at wor 8/4 Calibrazione Proiezione e Ricostruzione f g f f 3 attori: A I punti nello spazio 3D: {} B I punti isurati sul piano iagine {} C I paraetri { C C C ij f f o o {ap } {ap }}

15 In che cosa consiste la calibrazione Deterinazione dei paraetri o di un loro sottoinsiee. Deterinazione dei paraetri della trasforazione prospettica: Paraetri esterni: C C C ij f. Paraetri interni: o o f. Paraetri di distorsione o paraetri aggiuntivi: g g g 3 g 4 Calibrazione dei paraetri esterni può essere fatta separataente dai paraetri interni e/o di distorsione. 9/4 Perchè calibrare? Per ottenere isure e ricostruzione precise degli oggetti. Per ricavare i paraetri corretti della caera focale punto principale. Per riuovere gli effetti della distorsione delle lenti errori sisteatici. Molto praticata in fotograetria / ridotta al inio in coputer vision. 3/4 5

16 Calibrations D calibration caera calibration estiate of interior paraeters. 3D calibration estiate of the eterior paraeters. Metodi: - Scacchiere hang et al. Software in Matalab e OpenCV - Barra rigida con arer Borghese e Cerveri ; utilizzata nei sistei di Mocap; e.g. nello SMART-3D. - Griglie 3D non più utilizzato Borghese et al. 99 Metodi ibridi: - Structure fro Motion SfM SLAM Siultaneous Localization and Mapping vengono ricostruite le coordinate 3D dei punti stiati i paraetri interni e deterinato il oviento. Algoriti: - DLT Direct Linear Transfor -> da 9 paraetri si passa a in un sistea lineare. 3/4 Caera Calibration deterinazione dei paraetri interni On the bench surveing a regular grid of fiducial points caere etriche. Off the bench on the field distortion paraeters are estiated with the geoetrical paraeters of the set-up eternal paraeters. 3/4 6

17 Calibrazione con punti in posizione nota Pattern 3D di punti in posizione nota test field. Misurazione dei punti. Deterinazione dei paraetri. Per ciascun punto ho equazioni di collinearità. Ho 9 D paraetri aggiuntivi. Ho bisogno di 9 D / punti di controllo. 33/4 Test field Known control points 3D structures which carr the control points are required. The should cover the woring volue. 34/4 7

18 Calibration through a chessboard Estiated Paraeters. Distortions Internal Eternal Also suite in Matlab 35/4 Wand Calibration steps: Establish eternal reference sste and initialize estiate Refineent : estiate of the paraeters. Wand itself can give a preferential reference sste and it can be used to recover the scale factor video. 36/4 8

19 Misurazione anuale dei punti di controllo Coded target Misure con ouse/cursore sul onitor Precisione: /4 - /8 Piel 37/4 Misurazione autoatica dei control points Teplate Matching least square cross-correlazione Teplate 38/4 9

20 Cross-correlazione Calcolo il coefficiente di correlazione piu alto all interno di una finestra di ricerca LR L R L g g i j L i j L n R g g i j R i j R n LR g g g g i j L i j L R i j R n fines tra di c orrelazione fines tra di ric erc a Conjugate piels Search window 39/4 Approccio statistico al circle fitting Frosio Borghese Pattern Recognition - 8 4/4

21 Soario La trasforazione proiettiva Calibrazione 4/4