Il nostro obiettivo Daniele Marini Ricostruzione stereo Ricostruire scenari 3D da più immagini per inserire oggetti di sintesi Ricostruire la profondità Ricostruzione del Cenacolo Vinciano Solo se abbiamo informazioni aggiuntive è possibile ricostruire un particolare oggetto a partire dalla prospettiva. In particolare, se conosciamo la distanza d dal piano di proiezione possiamo ricostruire la profondità. Metodo della costruzione legittima : Leon Battista Alberti (1404-1472) z = y. d Y
Shape from shading Si basa su superfici lambertiane. Le variazioni di grigio si interpretano come orientamento della faccia; Shape from stereo Si basa sulla visione binoculare: - distanza interoculare di circa 65 mm; e - due proiezioni prospettiche; È un metodo valido per oggetti semplici su sfondi uniformi. L idea è di ricostruire l immagine considerando le disparità fra le due proiezioni prospettiche. Ricostruzione stereo Perchè abbiamo due occhi? Il problema Ricostruire la forma da due (o più) immagini Ispirato dal nostro sistema visivo Punti di vista noti Il ciclope vs. Odisseo
1. Due è meglio di uno (robustezza per duplicazione) 2. Ricavare indizi di profondità dalla convergenza Capacità umana estesa fino 2,5 3 m. 3. Indizi dalla disparità binoculare Stereovisione P: punto di convergenza C: oggetti vicini proiettano all esterno di P, disparità positiva F: oggetti lontani proiettano all interno di P, disparity negativa Centro ottico Punto della scena Piano immagine
Geometria della visione stereo - 1 Geometria della visione stereo - 2 P s P d punti coniugati; C s C d centri di proiezione; X s X d distanze dei punti coniugati dai centri di proiezione sul piano immagine; b distanza interoculare; X s - X d è la disparità fra le due proiezioni. Calcolo della disparità - 1 La disparità si può misurare sovrapponendo le immagini. Si utilizza lo stesso principio trigonometrico del Telemetro. Calcolo della disparità - 2 Triangoli simili: sinistra PMC s e P s LC s x xs = z f destra: PNC d e P d RC d x b = z x f d bf z = x s x d
Stereo Ricerca dei punti corrispondenti Determinare pixel corrispondenti Coppie di punti che corrispondono allo stesso punto nella scena reale Retta epipolare Piano epipolare Retta epipolare Principio base: triangolazione (il telemetro) Permette la ricostruzione della profondità dall angolo di intersezione di due raggi Necessario calibrazione Corrispondenza tra punti Vincolo epipolare Riduce il problema della ricerecha di punti corrispondenti a un problema 1D: ricerca lungo le rette epipolari coniugate Rettifica della coppia stereo Rettifica della coppia stereo Ri-proiezione delle immagini Riproiettari i piani immagine su un piano comune parallelo alla retta tra I centri ottici Una omografia (trasformata 3x3) applicata alle due immmagini Dopo questa trasformazione lo spostamento dei pixel è solo orizzontale C. Loop and Z. Zhang. Computing Rectifying Homographies for Stereo Vision. IEEE Conf. Computer Vision and Pattern Recognition, 1999.
Rettifica della coppia stereo Algoritmo di stereo ricostruzione base Per ciascuna retta epipolare per ciascun pixel nell immagine sinistra Confronta ogni pixel con ilpixel lungo la retta epipolare dell immagine destra Scegli li pixel con la differenza minima Miglioramento: corrispondenza a finestre (windows) Dimensione della window Risultati Dimensione della finestra Finestra piccola: 3 pixel Finestra larga: 20 pixel W = 3 W = 20 Scena Mappa di profondità Dati da: University of Tsukuba
Risultati con ricerca a finestra Un altro metodo: profondità da disparità input (1 di 2) X Mappa di profondità [Szeliski & Kang 95] 3D rendering Window-based matching (dimensione ottimale della finestra) Mappa di profondità x x f f C C Distanza interoculare (baseline) z Pipeline della ricostruzione stereo Passi Calibrazione delle fotocamere Rettifica delle immagini Calcolo disparità Stima della profondità Stereogrammi È necessaria una texture Possibili errori Errori di calibrazione Risoluzione insufficiente Occlusioni Violazione della costanza di luminosità (riflessioni speculari) Spostamenti elevati Basso contrasto in regioni dell immagine Julesz-style Random Dot Stereogram
Stereogrammi - 2 Stereogrammi - 3 Stereogrammi - 4 Ricostruzione con luce strutturata Occorre risolvere anche il problema della rimozione dei punti nascosti: Li Zhang s one-shot stereo camera 1 camera 1 proiettore proiettore camera 2 Proietta luce strutturata sull oggetto Semplifica il problema della corrispondenza
Ricostruzione con luce strutturata Laser scanning Digital Michelangelo Project http://graphics.stanford.edu/projects/mich/ Triangolazione ottica Proietta una singola stricia di luce laser Scandisci l intero oggetto Una versione più accurata del metodo con luce strutturata Shape from motion Curve di flusso ottico. Analisi della velocità di spostamento sul piano immagine delle curve di flusso ottico danno una stima della profondità. Valida per sequenze di immagini MATLAB ha funzioni di calcolo del flusso ottico laser scanner 3D portatile (Minolta)
Shape from motion Tre approcci Punti di vista sconosciuti Ricostruire Geometria della scena Movimenti di camera Outline di un semplice algoritmo (1) Outline di un semplice algoritmo (2) Basato su vincoli Input (1): due immagini Input (2): L utente selezioni bordi e spigoli
Outline di un semplice algoritmo (3) Outline di un semplice algoritmo (4) Posizione e orientamento di camera Calcola la matrice di proiezione e ricostruisci Outline di un semplice algoritmo (5) View-Dependant Texture Mapping Applica texture ai triangoli
Il metodo Façade (Debevec et al) Façade: input SFMOMA (San Francisco Museum of Modern Art) by Yizhou Yu, Façade Macchine fotografiche stereo
Una stereo coppia Dispositivi per vedere stereo Anaglifi