Dal Mondo alla Camera

Transcript

1 Dal Mondo alla Camera Formazione dell immagine Marco Moltisanti Image Processing Lab Dipartimento di Matematica e Informatica Università degli Studi di Catania moltisanti@dmi.unict.it 4 aprile 2013

2 Outline 1 Intro 2 Fisiologia della visione 3 Primitive geometriche e trasformazioni Primitive geometriche Trasformazioni 2D 4 Ottica Camera Pinhole Lenti sottili 5 Il mondo della camera La proiezione del mondo Cambio del sistema di riferimento Calibrazione M. Moltisanti Dal Mondo alla Camera 2/29

3 Perchè? Intro D: Perchè è necessario riprendere alcuni concetti fisici e matematici? R: Perchè in molte applicazioni della Computer Vision (ad esempio, la stereoscopia, calibrazione) è fondamentale comprendere appieno i principi fisici e matematici che stanno dietro la formazione dell immagine, in quanto essi trovano diretta applicazione nei metodi che vengono utilizzati. M. Moltisanti Dal Mondo alla Camera 3/29

4 Perchè? Intro D: Bisogna sapere a memoria le trasformazioni per l esame? R: Se le trasformazioni e in generale le formule vengono imparate a memoria è molto più facile essere messi in difficoltà. La cosa che conta è comprendere la logica che ci sta dietro. M. Moltisanti Dal Mondo alla Camera 3/29

5 Perchè? Intro Rem tene, verba sequentur! M. Moltisanti Dal Mondo alla Camera 3/29

6 Perchè vediamo? Fisiologia della visione Perchè siamo dotati di due organi sensoriali - gli occhi - che convertono gli impulsi luminosi in impulsi elettrici e li trasmettono al cervello, che li elabora e costruisce l immagine del mondo così come lo percepiamo. La visione tridimensionale deriva dall avere due occhi, distanti ma non troppo. Se ne avessimo uno avremmo una visione bidimensionale, se invece gli occhi fossero più distanti vedremmo un mondo sdoppiato (strabismo) o quantomeno sfalsato, come il 3D cinematografico senza gli appositi occhiali. M. Moltisanti Dal Mondo alla Camera 4/29

7 Perchè vediamo? Fisiologia della visione M. Moltisanti Dal Mondo alla Camera 4/29

8 Visione computazionale Fisiologia della visione La Computer Vision non potrebbe esistere senza lo studio computazionale della visione umana, cioè un approccio computazionale formalmente rigoroso al problema della modellazione della visione stereoscopica nel cervello umano. Tra i primi scienziati a studiare questo approccio citiamo David Marr e Tomaso Poggio, che tra la fine degli anni 70 e i primi anni 80 definirono un modello del processo di formazione dell immagine all interno del cervello umano, dividendolo in tre fasi. M. Moltisanti Dal Mondo alla Camera 5/29

9 Fisiologia della visione Visione computazionale (1) Il primal sketch, che si occupa principalmente della descrizione delle variazioni di intensità dell immagine e della loro geometria locale, sulla base del fatto che le variazioni di intensità possono corrispondere a realtà fisiche, come i contorni degli oggetti. (2) Il dimensional sketch che è una descrizione centrata sull osservatore di orientazioni, contorni, profondità ed altre caratteristiche delle superfici visibili. (3) Il modello 3D che è una rappresentazione centrata sull oggetto di oggetti tridimensionali, con l obiettivo di consentirne sia la gestione che il riconoscimento. M. Moltisanti Dal Mondo alla Camera 5/29

10 Visione computazionale Fisiologia della visione È grazie a questi studi se oggi è possibile provare a replicare il modello di formazione dell immagine in modo automatico. M. Moltisanti Dal Mondo alla Camera 5/29

11 Primitive geometriche e trasformazioni Primitiva geometrica Primitive geometriche Cos è una primitiva geometrica? M. Moltisanti Dal Mondo alla Camera 6/29

12 Primitive geometriche e trasformazioni Primitiva geometrica Primitive geometriche Cos è una primitiva geometrica? M. Moltisanti Dal Mondo alla Camera 6/29

13 Primitive geometriche e trasformazioni Primitiva geometrica Primitive geometriche Una primitiva geometrica è uno dei mattoncini che usiamo per descrivere forme tridimensionali, o più formalmente, è un ente primitivo, la cui esistenza non necessita cioè di essere dimostrata. M. Moltisanti Dal Mondo alla Camera 7/29

14 Primitive geometriche e trasformazioni Primitive geometriche Primitiva geometrica Le primitive geometriche sono: Punti; Rette; Piani. M. Moltisanti Dal Mondo alla Camera 7/29

15 Primitive geometriche e trasformazioni Punti bidimensionali Primitive geometriche I punti bidimensionali, che possiamo assimilare ai pixel nelle immagini digitali, sono denotati da coppie di valori in R. P = (x, y) R 2 M. Moltisanti Dal Mondo alla Camera 8/29

16 Primitive geometriche e trasformazioni Punti tridimensionali Primitive geometriche I punti tridimensionali sono definiti da una terna di valori in R. P = (x, y, z) R 3 M. Moltisanti Dal Mondo alla Camera 9/29

17 Primitive geometriche e trasformazioni Coordinate omogenee Primitive geometriche I punti, sia 2D che 3D, possono essere espressi facendo uso delle coordinate omogenee. In generale, si opera una trasformazione dallo spazio R n allo spazio proiettivo P n = R n+1 0 in cui due vettori vengono considerati uguali a meno di un fattore di scala. Nel caso bidimensionale, quindi, dato un punto rappresentato in coordinate non omogenee x = (x, y) R 2, la sua rappresentazione in coordinate omogenee sarà x = (x, y, w) P 2. È possibile convertire da coordinate omogenee a non omogenee semplicemente dividendo x e y per w. M. Moltisanti Dal Mondo alla Camera 10/29

18 Rette nel piano Primitive geometriche e trasformazioni Primitive geometriche Una retta nel piano è individuata dall equazione in forma canonica ax + by + c = 0 È quindi possibile rappresentarla utilizzando solo i coefficienti (a, b, c), originando così la rappresentazione in coordinate omogenee di una retta l = (a, b, c) M. Moltisanti Dal Mondo alla Camera 11/29

19 Primitive geometriche e trasformazioni Rappresentazione normalizzata Primitive geometriche Distanza La retta viene rappresentata utilizzando la normale e la distanza dall origine. l = (ˆn, d) Angolo La normale viene rappresentata utilizzando l angolo di incidenza rispetto all asse orizzontale ˆn = (cos θ, sin θ) ˆn deve essere scelto in modo che ˆn = 1 M. Moltisanti Dal Mondo alla Camera 12/29

20 Piani Primitive geometriche e trasformazioni Primitive geometriche I piani nello spazio tridimensionale sono descritti dall equazione ax + by + cz + d = 0 Anche in questo caso possiamo rappresentare un piano utilizzando solo i coefficienti dell equazione, ottenendo quindi le coordinate omogenee del piano nella forma m = (a, b, c, d) La rappresentazione normalizzata vista per le rette può essere estesa ai piani in maniera trasparente. M. Moltisanti Dal Mondo alla Camera 13/29

21 Primitive geometriche e trasformazioni Trasformazioni 2D Trasformazioni di base Traslazioni; Rotazioni; Rototraslazioni (o Trasformazioni Euclidee); Omotetie e similitudini; Trasformazioni affini; Proiezioni. M. Moltisanti Dal Mondo alla Camera 14/29

28 Forma matriciale Primitive geometriche e trasformazioni Trasformazioni 2D Tutte le trasformazioni nella slide precedente possono essere rappresentate attraverso una specifica matrice T di dimensioni 3 3 (eventualmente con zero padding) la cui moltiplicazione per un punto espresso in coordinate omogenee fornirà le coordinate del punto trasformato. M. Moltisanti Dal Mondo alla Camera 15/29

29 Primitive geometriche e trasformazioni Trasformazioni 2D Riassunto I = Matrice identità t = vettore di traslazione R = Matrice di rotazione s = fattore di scala A = Matrice affine H = Matrice di proiezione M. Moltisanti Dal Mondo alla Camera 16/29

30 Camera Pinhole Ottica Camera Pinhole Per replicare la visione dobbiamo in qualche modo modellare la maniera in cui la luce diventa immagine. Il più semplice modello che la fisica ci fornisce è quello della Camera Pinhole. Abbiamo una fonte di luce, degli oggetti non completamente trasparenti e una superficie sensibile ai raggi di luce (pellicola, sensore digitale, retina, etc.). I raggi di luce vengono rifratti dagli oggetti in modo approssimativamente casuale. M. Moltisanti Dal Mondo alla Camera 17/29

31 Camera Pinhole Ottica Camera Pinhole M. Moltisanti Dal Mondo alla Camera 17/29

32 Ottica Camera Pinhole Camera Pinhole La luce rifratta dagli oggetti si diffonde in tutte le direzioni; questo comporta che: (1) Ogni raggio luminoso colpisce tutti i punti; (2) Ogni punto è colpito da tutti i raggi luminosi. Se la superficie sensibile è la parete esterna di una ipotetica scatola, possiamo immaginare di praticare un foro in un punto. All interno della scatola si formerà un immagine e la scatola diverrà una Camera Pinhole. M. Moltisanti Dal Mondo alla Camera 17/29

33 Camera Pinhole Ottica Camera Pinhole M. Moltisanti Dal Mondo alla Camera 17/29

34 Ottica Camera Pinhole Pro Semplicità concettuale. Cons ISO illimitato; Impossibilità di manipolazioni (ad esempio, zoom). M. Moltisanti Dal Mondo alla Camera 18/29

35 Lenti sottili Ottica Lenti sottili Le lenti sottili sono un sistema ottico reale - e non ideale, come la camera pinhole - e quindi consentono di replicare in maniera reale il fenomeno della visione umana. In effetti il cristallino è proprio una lente sottile, in grado di deformarsi per mettere a fuoco oggetti a distanze diverse. M. Moltisanti Dal Mondo alla Camera 19/29

36 Lenti sottili Ottica Lenti sottili Lente sottile biconvessa. Cristallino umano M. Moltisanti Dal Mondo alla Camera 19/29

37 Sistema di lenti sottili Ottica Lenti sottili Per ogni lente sottile sono definiti un asse ottico e due fuochi. M. Moltisanti Dal Mondo alla Camera 20/29

38 Ottica Lenti sottili Sistema di lenti sottili Le lenti sono in grado di deviare la luce seguendo due regole: Ogni raggio di luce che entra da un lato della lente parallelamente all asse ottico viene deviato verso il fuoco che si trova dall altro lato; M. Moltisanti Dal Mondo alla Camera 20/29

39 Ottica Lenti sottili Sistema di lenti sottili Le lenti sono in grado di deviare la luce seguendo due regole: Ogni raggio di luce che entra da un lato della lente passando per il fuoco esce dall altro lato parallelamente all asse ottico. M. Moltisanti Dal Mondo alla Camera 20/29

40 Ottica Lenti sottili Equazione fondamentale delle lenti sottili M. Moltisanti Dal Mondo alla Camera 21/29

41 Ottica Lenti sottili Equazione fondamentale delle lenti sottili Ragionando per triangoli simili, si ottiene l equazione fondamentale delle lenti sottili. 1 Z + 1 z = 1 f M. Moltisanti Dal Mondo alla Camera 21/29

42 Camera prospettica Il mondo della camera La proiezione del mondo Ora che abbiamo definito gli elementi di base, possiamo andare avanti e capire come il mondo viene rappresentato nelle camere (digitali o meno). Quella che viene rappresentata sulla superficie fotosensibile è sempre una proiezione della scena (tridimensionale) attraverso il piano immagine π (bidimensionale). M. Moltisanti Dal Mondo alla Camera 22/29

43 Il mondo della camera Equazione della camera prospettica x = f X Z y = f Y Z La proiezione del mondo Attraverso banali considerazioni sulla similitudine tra triangoli, possiamo derivare la relazione tra le coordinate dei punti P = (X, Y, Z) (mondo) e p = (x, y) (immagine). Queste sono dette equazioni fondamentali della camera prospettica. (1) (2) M. Moltisanti Dal Mondo alla Camera 23/29

44 Il mondo della camera Linearizzazione delle equazioni La proiezione del mondo Le equazioni della camera prospettica non sono lineari: infatti dipendono da X e Z. Se però i punti della scena sono sufficientemente distanti dall origine (cioè dalla camera) e le differenze tra gli Z sono trascurabili, possiamo approssimare tutti gli Z con un unica variabile Z. x = f X Z y = f Y Z (3) (4) M. Moltisanti Dal Mondo alla Camera 24/29

45 Considerazioni Il mondo della camera Cambio del sistema di riferimento Finora non ci siamo posti il problema di quale sistema di riferimento (cioè gli assi su cui incardiniamo le nostre rappresentazioni e le loro orientazioni ed unità di misura) stessimo utilizzando. M. Moltisanti Dal Mondo alla Camera 25/29

46 Il mondo della camera Cambio del sistema di riferimento Considerazioni Finora non ci siamo posti il problema di quale sistema di riferimento (cioè gli assi su cui incardiniamo le nostre rappresentazioni e le loro orientazioni ed unità di misura) stessimo utilizzando. In realtà, abbiamo lavorato nel sistema di riferimento della camera, in un mondo cioè in cui la camera è posta al centro. M. Moltisanti Dal Mondo alla Camera 25/29

47 Il mondo della camera Cambio del sistema di riferimento Considerazioni Finora non ci siamo posti il problema di quale sistema di riferimento (cioè gli assi su cui incardiniamo le nostre rappresentazioni e le loro orientazioni ed unità di misura) stessimo utilizzando. In realtà, abbiamo lavorato nel sistema di riferimento della camera, in un mondo cioè in cui la camera è posta al centro. Ovviamente, questa non è la rappresentazione più usata. M. Moltisanti Dal Mondo alla Camera 25/29

48 Il mondo della camera Cambio del sistema di riferimento Considerazioni Finora non ci siamo posti il problema di quale sistema di riferimento (cioè gli assi su cui incardiniamo le nostre rappresentazioni e le loro orientazioni ed unità di misura) stessimo utilizzando. In realtà, abbiamo lavorato nel sistema di riferimento della camera, in un mondo cioè in cui la camera è posta al centro. Ovviamente, questa non è la rappresentazione più usata. Dobbiamo spostarci nel sistema di riferimento del mondo. M. Moltisanti Dal Mondo alla Camera 25/29

49 Il mondo della camera Cambio del sistema di riferimento Parametri estrinseci Dobbiamo ruotare e traslare il sistema di riferimento. Avremo quindi: una matrice di rotazione R (tre gradi di libertà); un vettore di traslazione T (tre gradi di libertà). Applicando la trasformazione composta (prima la traslazione e poi la rotazione) ai punti espressi nel sistema di riferimento del mondo, otterremo i corrispettivi punti nel sistema di riferimento della camera, o meglio nel sistema di riferimento del piano immagine. P C = R (P W T ) I sei gradi di libertà (che altro non sono che i tre angoli di R e i tre spostamenti in T ) sono detti parametri estrinseci della camera. M. Moltisanti Dal Mondo alla Camera 26/29

50 Parametri intrinseci Il mondo della camera Cambio del sistema di riferimento Se ci sono parametri estrinseci, ci saranno parametri intrinseci! M. Moltisanti Dal Mondo alla Camera 27/29

51 Parametri intrinseci Il mondo della camera Cambio del sistema di riferimento Se ci sono parametri estrinseci, ci saranno parametri intrinseci! M. Moltisanti Dal Mondo alla Camera 27/29

52 Parametri intrinseci Il mondo della camera Cambio del sistema di riferimento Se ci sono parametri estrinseci, ci saranno parametri intrinseci! Questi parametri servono a passare dal piano immagine ideale al sistema di riferimento reale. M. Moltisanti Dal Mondo alla Camera 27/29

53 Il mondo della camera Cambio del sistema di riferimento Parametri intrinseci Se ci sono parametri estrinseci, ci saranno parametri intrinseci! Questi parametri servono a passare dal piano immagine ideale al sistema di riferimento reale. Lunghezza focale f ; Offset del centro ottico, ovvero coordinate in pixel dell origine: o x, o y ; Fattore di scala: s x, s y ; Fattori di distorsione radiale: κ 1, κ 2. M. Moltisanti Dal Mondo alla Camera 27/29

54 Matrice di calibrazione Il mondo della camera Calibrazione In definitiva dobbiamo: Applicare una similitudine (scala), utilizzando un opportuna matrice S; Applicare una rotazione al centro ottico (o x, o y ) attraverso una rotazione R. Tutto questo si può scrivere in due matrici: f /s x 0 o x M int = 0 f /s y o y La matrice dei parametri intrinseci M int a volte è indicata con K ed è nota anche come matrice di calibrazione. M. Moltisanti Dal Mondo alla Camera 28/29

55 Il mondo della camera Matrice dei parametri estrinseci Calibrazione r 11 r 12 r 13 R 1 T T M ext = r 21 r 22 r 23 R 2 T T r 31 r 32 r 33 R 3 T T Quindi, dato un punto x = (x 1, x 2, x 3 ) nel sistema di riferimento del mondo, le sue coordinate nel sistema di riferimento della camere saranno date da X x W 1 x 2 = M int M ext Y W Z x W 3 1 M. Moltisanti Dal Mondo alla Camera 29/29