Ricostruzione stereo. Il nostro obiettivo. Ricostruzione del Cenacolo Vinciano. Ricostruire la profondità. d Y

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Ricostruzione stereo. Il nostro obiettivo. Ricostruzione del Cenacolo Vinciano. Ricostruire la profondità. d Y"

Michelina Albanese
8 anni fa
Visualizzazioni

1 Il nostro obiettivo Daniele Marini Ricostruzione stereo Ricostruire scenari 3D da più immagini per inserire oggetti di sintesi Ricostruire la profondità Ricostruzione del Cenacolo Vinciano Solo se abbiamo informazioni aggiuntive è possibile ricostruire un particolare oggetto a partire dalla prospettiva. In particolare, se conosciamo la distanza d dal piano di proiezione possiamo ricostruire la profondità. Metodo della costruzione legittima : Leon Battista Alberti ( ) z = y. d Y

ricostruire un particolare oggetto a partire dalla prospettiva.

2 Shape from shading Si basa su superfici lambertiane. Le variazioni di grigio si interpretano come orientamento della faccia; Shape from stereo Si basa sulla visione binoculare: - distanza interoculare di circa 65 mm; e - due proiezioni prospettiche; È un metodo valido per oggetti semplici su sfondi uniformi. L idea è di ricostruire l immagine considerando le disparità fra le due proiezioni prospettiche. Ricostruzione stereo Perchè abbiamo due occhi? Il problema Ricostruire la forma da due (o più) immagini Ispirato dal nostro sistema visivo Punti di vista noti Il ciclope vs. Odisseo

interoculare di circa 65 mm; e - due proiezioni prospettiche; È un metodo valido per oggetti semplici su sfondi uniformi.

3 1. Due è meglio di uno (robustezza per duplicazione) 2. Ricavare indizi di profondità dalla convergenza Capacità umana estesa fino 2,5 3 m. 3. Indizi dalla disparità binoculare Stereovisione P: punto di convergenza C: oggetti vicini proiettano all esterno di P, disparità positiva F: oggetti lontani proiettano all interno di P, disparity negativa Centro ottico Punto della scena Piano immagine

m. 3. Indizi dalla disparità binoculare Stereovisione P: punto di convergenza C: oggetti vicini

4 Geometria della visione stereo - 1 Geometria della visione stereo - 2 P s P d punti coniugati; C s C d centri di proiezione; X s X d distanze dei punti coniugati dai centri di proiezione sul piano immagine; b distanza interoculare; X s - X d è la disparità fra le due proiezioni. Calcolo della disparità - 1 La disparità si può misurare sovrapponendo le immagini. Si utilizza lo stesso principio trigonometrico del Telemetro. Calcolo della disparità - 2 Triangoli simili: sinistra PMC s e P s LC s x xs = z f destra: PNC d e P d RC d x b = z x f d bf z = x s x d

proiezioni. Calcolo della disparità - 1 La disparità si può misurare sovrapponendo le immagini.

5 Stereo Ricerca dei punti corrispondenti Determinare pixel corrispondenti Coppie di punti che corrispondono allo stesso punto nella scena reale Retta epipolare Piano epipolare Retta epipolare Principio base: triangolazione (il telemetro) Permette la ricostruzione della profondità dall angolo di intersezione di due raggi Necessario calibrazione Corrispondenza tra punti Vincolo epipolare Riduce il problema della ricerecha di punti corrispondenti a un problema 1D: ricerca lungo le rette epipolari coniugate Rettifica della coppia stereo Rettifica della coppia stereo Ri-proiezione delle immagini Riproiettari i piani immagine su un piano comune parallelo alla retta tra I centri ottici Una omografia (trasformata 3x3) applicata alle due immmagini Dopo questa trasformazione lo spostamento dei pixel è solo orizzontale C. Loop and Z. Zhang. Computing Rectifying Homographies for Stereo Vision. IEEE Conf. Computer Vision and Pattern Recognition, 1999.

Riduce il problema della ricerecha di punti corrispondenti a un problema 1D: ricerca lungo le rette epipolari coniugate Rettifica della coppia stereo Rettifica della coppia stereo Ri-proiezione delle

6 Rettifica della coppia stereo Algoritmo di stereo ricostruzione base Per ciascuna retta epipolare per ciascun pixel nell immagine sinistra Confronta ogni pixel con ilpixel lungo la retta epipolare dell immagine destra Scegli li pixel con la differenza minima Miglioramento: corrispondenza a finestre (windows) Dimensione della window Risultati Dimensione della finestra Finestra piccola: 3 pixel Finestra larga: 20 pixel W = 3 W = 20 Scena Mappa di profondità Dati da: University of Tsukuba

differenza minima Miglioramento: corrispondenza a finestre (windows) Dimensione della window Risultati Dimensione della

7 Risultati con ricerca a finestra Un altro metodo: profondità da disparità input (1 di 2) X Mappa di profondità [Szeliski & Kang 95] 3D rendering Window-based matching (dimensione ottimale della finestra) Mappa di profondità x x f f C C Distanza interoculare (baseline) z Pipeline della ricostruzione stereo Passi Calibrazione delle fotocamere Rettifica delle immagini Calcolo disparità Stima della profondità Stereogrammi È necessaria una texture Possibili errori Errori di calibrazione Risoluzione insufficiente Occlusioni Violazione della costanza di luminosità (riflessioni speculari) Spostamenti elevati Basso contrasto in regioni dell immagine Julesz-style Random Dot Stereogram

fotocamere Rettifica delle immagini Calcolo disparità Stima della profondità Stereogrammi È necessaria una texture Possibili errori Errori di calibrazione Risoluzione

8 Stereogrammi - 2 Stereogrammi - 3 Stereogrammi - 4 Ricostruzione con luce strutturata Occorre risolvere anche il problema della rimozione dei punti nascosti: Li Zhang s one-shot stereo camera 1 camera 1 proiettore proiettore camera 2 Proietta luce strutturata sull oggetto Semplifica il problema della corrispondenza

nascosti: Li Zhang s one-shot stereo camera 1 camera 1 proiettore proiettore

9 Ricostruzione con luce strutturata Laser scanning Digital Michelangelo Project Triangolazione ottica Proietta una singola stricia di luce laser Scandisci l intero oggetto Una versione più accurata del metodo con luce strutturata Shape from motion Curve di flusso ottico. Analisi della velocità di spostamento sul piano immagine delle curve di flusso ottico danno una stima della profondità. Valida per sequenze di immagini MATLAB ha funzioni di calcolo del flusso ottico laser scanner 3D portatile (Minolta)

del metodo con luce strutturata Shape from motion Curve di flusso ottico.

10 Shape from motion Tre approcci Punti di vista sconosciuti Ricostruire Geometria della scena Movimenti di camera Outline di un semplice algoritmo (1) Outline di un semplice algoritmo (2) Basato su vincoli Input (1): due immagini Input (2): L utente selezioni bordi e spigoli

semplice algoritmo (1) Outline di un semplice algoritmo (2) Basato

11 Outline di un semplice algoritmo (3) Outline di un semplice algoritmo (4) Posizione e orientamento di camera Calcola la matrice di proiezione e ricostruisci Outline di un semplice algoritmo (5) View-Dependant Texture Mapping Applica texture ai triangoli

matrice di proiezione e ricostruisci Outline di un semplice

12 Il metodo Façade (Debevec et al) Façade: input SFMOMA (San Francisco Museum of Modern Art) by Yizhou Yu, Façade Macchine fotografiche stereo

13 Una stereo coppia Dispositivi per vedere stereo Anaglifi

Documenti analoghi

Un prototipo di 3D scanner

Un prototipo di 3D scanner Visual Computing Group 1999 Visual Computing Group 1 Obiettivi Progettazione e realizzazione di uno 3d scanner a basso costo, a partire da hardware comune: una foto camera /