Parte 1/4: Formazione delle immagini

Transcript

1 Parte 1/4: A.A Corso di Computer Vision Eugenio Rustico rustico@dmi.unict.it D.M.I. - Università di Catania Versione: 30 marzo 2009

2 5-6 lezioni su Formazione dell immagine Calibrazione della camera Stereovisione e ricostruzione Web:

3 In caso di dubbi/difficoltà (in ordine di importanza): 1 Interagire a lezione, interrompere e domandare in qualsiasi momento 2 Consultare appunti, libri di testo, Wikipedia... 3 Ricevimento (preferibilmente mercoledì) 4 rustico@dmi.unict.it

4 La risoluzione di molte problematiche di Computer Vision parte dall analisi del processo di formazione dell immagine di una scena. Alcune tecniche di calibrazione e ricostruzione seguono una sorta di reverse engineering di questo processo. Come si forma l immagine di una scena?

5 Sommario 1 Introduzione 2 La camera pinhole La scena Camera pinhole 3 Lenti sottili Deviazione della luce Equazione fondamentale 4 La camera prospettica Modello semplice Modello debole Parametri estrinseci Parametri intrinseci 5 Modello generale Versione lineare Versione matriciale 6 Altri modelli

6 La scena Abbiamo una fonte di luce, degli oggetti non completamente trasparenti e una superficie sensibile ai raggi di luce (pellicola, sensore digitale, rétina, etc.). I raggi di luce vengono rifratti dagli oggetti in modo caotico

7 La scena Ogni punto della scena influisce su diversi punti del piano immagine...

8 La scena...e ogni punto del piano immagine è colpito da raggi provenienti da punti differenti

9 La scena Come facciamo a fare in modo che ogni punto della scena influisca su di un solo punto del piano immagine?

10 La scena Come facciamo a fare in modo che ogni punto della scena influisca su di un solo punto del piano immagine? Una possibilità è quella di costringere tutti i raggi a passare per un foro molto piccolo...

11 Camera pinhole

12 Camera pinhole La scatola dove si forma l immagine è una camera pinhole.

13 Camera pinhole Ma la camera pinhole...

14 Camera pinhole Ma la camera pinhole... Richiede una superficie con un range di sensibilità enorme

15 Camera pinhole Ma la camera pinhole... Richiede una superficie con un range di sensibilità enorme Non è molto pratica (zoomare?)

16 Le lenti sottili sono un dispositivo ottico più complesso e più flessibile per mettere a fuoco l immagine di una scena. Possiamo immaginarle come un sottile disco di vetro di un materiale trasparente in cui sono definiti un asse ottico e due fuochi, ovvero due punti particolari dell asse ottico esterni alla lente stessa.

17 Deviazione della luce Le lenti sono in grado di deviare la luce seguendo due regole:

18 Deviazione della luce Le lenti sono in grado di deviare la luce seguendo due regole: Ogni raggio di luce che entra da un lato della lente parallelamente all asse ottico viene deviato verso il fuoco che si trova dall altro lato;

19 Deviazione della luce Le lenti sono in grado di deviare la luce seguendo due regole: Ogni raggio di luce che entra da un lato della lente parallelamente all asse ottico viene deviato verso il fuoco che si trova dall altro lato; Ogni raggio di luce che entra da un lato della lente passando per il fuoco esce dall altro lato parallelamente all asse ottico.

20 Deviazione della luce

21 Equazione fondamentale Tramite considerazioni geometriche sulle coppie di triangoli simili SOF l e ROF r, TpF r, otteniamo la relazione 1 Ẑ + 1 ẑ = 1 f che è l equazione fondamentale delle lenti sottili. PQF l,

22 Equazione fondamentale 1 Ẑ + 1 ẑ = 1 f Questa relazione ha una conseguenza importante: affinché l immagine sia a fuoco, a parità di lunghezza focale (i.e. distanza del fuoco dal centro) i punti devono trovarsi alla stessa distanza dalla lente. In altre parole, una lente è in grado di mettere a fuoco solo una sezione della scena parallela al piano immagine.

23 Equazione fondamentale 1 Ẑ + 1 ẑ = 1 f Questa relazione ha una conseguenza importante: affinché l immagine sia a fuoco, a parità di lunghezza focale (i.e. distanza del fuoco dal centro) i punti devono trovarsi alla stessa distanza dalla lente. In altre parole, una lente è in grado di mettere a fuoco solo una sezione della scena parallela al piano immagine....ma cosa vuol dire mettere a fuoco, ad esempio, in una macchina digitale?

24 Modello semplice Che il nostro sistema ottico sia un pinhole o una lente sottile, l immagine che si forma è una proiezione della scena tridimensionale attraverso il piano di immagine π:

25 Modello semplice Procediamo nuovamente per triangoli simili: deriviamo: pq : PR = OQ : OR pqo è simile a PRO, da cui

26 Modello semplice ovvero: x = f X Z y = f Y Z che chiamiamo equazioni fondamentali della camera prospettica.

27 Modello debole Le equazioni fondamentali della camera prospettica non sono lineari; possiamo però renderle lineari al prezzo di una piccola approssimazione.

28 Modello debole Le equazioni fondamentali della camera prospettica non sono lineari; possiamo però renderle lineari al prezzo di una piccola approssimazione. Se i punti della scena sono abbastanza distanti dalla camera e le differenze di coordinata Z tra punti differenti sono trascurabili, possiamo approssimare i valori delle Z con una costante Z. Le equazioni fondamentali allora diventano:

29 Modello debole Le equazioni fondamentali della camera prospettica non sono lineari; possiamo però renderle lineari al prezzo di una piccola approssimazione. Se i punti della scena sono abbastanza distanti dalla camera e le differenze di coordinata Z tra punti differenti sono trascurabili, possiamo approssimare i valori delle Z con una costante Z. Le equazioni fondamentali allora diventano: x = f X Z y = f Ỹ Z

30 Modello debole Le equazioni fondamentali della camera prospettica non sono lineari; possiamo però renderle lineari al prezzo di una piccola approssimazione. Se i punti della scena sono abbastanza distanti dalla camera e le differenze di coordinata Z tra punti differenti sono trascurabili, possiamo approssimare i valori delle Z con una costante Z. Le equazioni fondamentali allora diventano: x = f X Z y = f Ỹ Z Indicativamente, tale approssimazione è fattibile quando le differenze δz tra i punti della scena sono inferiori ad 1/20 della distanza media da O.

31 Parametri estrinseci Le coordinate dei punti, finora, le abbiamo considerate nel sistema di riferimento della camera stessa. Il più delle volte, però, i punti vengono forniti nel sistema di riferimento del mondo, la cui relazione col sistema della camera è spesso sconosciuta.

32 Parametri estrinseci Le coordinate dei punti, finora, le abbiamo considerate nel sistema di riferimento della camera stessa. Il più delle volte, però, i punti vengono forniti nel sistema di riferimento del mondo, la cui relazione col sistema della camera è spesso sconosciuta. Per passare da un sistema di riferimento ad un altro ci serve una rototraslazione nello spazio. Possiamo identificarla con due vettori: T racchiude gli offset di traslazione (3 valori), R la rotazione (3 gradi di libertà): P c = R(P w T) I sei parametri che definiscono questa trasformazione, specifica per ogni camera, sono i parametri estrinseci della camera.

33 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto:

34 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto: Conosciamo già la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico

35 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto: Conosciamo già la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico Il piano immagine ha un sistema di riferimento proprio, di solito in pixel. Ci serve conoscere l origine del sistema: gli offset o x e o y rappresentano le coordinate in pixel del centro ottico

36 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto: Conosciamo già la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico Il piano immagine ha un sistema di riferimento proprio, di solito in pixel. Ci serve conoscere l origine del sistema: gli offset o x e o y rappresentano le coordinate in pixel del centro ottico L unità di misura del mondo 3D è la stessa del piano immagine? Definiamo s x ed s y come le dimensioni orizzontale e verticale di un pixel del sensore (a volte basterà il loro rapporto α = s y /s x )

37 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto: Conosciamo già la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico Il piano immagine ha un sistema di riferimento proprio, di solito in pixel. Ci serve conoscere l origine del sistema: gli offset o x e o y rappresentano le coordinate in pixel del centro ottico L unità di misura del mondo 3D è la stessa del piano immagine? Definiamo s x ed s y come le dimensioni orizzontale e verticale di un pixel del sensore (a volte basterà il loro rapporto α = s y /s x ) Le lenti reali introducono nell immagine una distorsione radiale, parametrizzabile con due parametri k 1 e k 2

38 Parametri intrinseci Servono altri parametri, oltre ai sei estrinseci, per definire completamente la proiezione cui ogni punto è sottoposto: Conosciamo già la lunghezza focale f, che nelle camere reali è correlata allo zoom ottico Il piano immagine ha un sistema di riferimento proprio, di solito in pixel. Ci serve conoscere l origine del sistema: gli offset o x e o y rappresentano le coordinate in pixel del centro ottico L unità di misura del mondo 3D è la stessa del piano immagine? Definiamo s x ed s y come le dimensioni orizzontale e verticale di un pixel del sensore (a volte basterà il loro rapporto α = s y /s x ) Le lenti reali introducono nell immagine una distorsione radiale, parametrizzabile con due parametri k 1 e k 2 I sette parametri f, o x, o y, s x, s y, k 1 e k 2 sono detti intrinseci e riguardano il modo con cui i punti del piano immagine (in coordinate della camera) vengono mappati sul piano immagine reale (e.g. un sensore di pixel) con un proprio sistema di riferimento.

39 Parametri intrinseci o x, o y, s x ed s y ci permettono di descrivere direttamente la relazione il sistema di riferimento della camera e quello del piano di immagine. Se indichiamo con (x im, y im ) le coordinate in pixel del punto (x, y), la relazione è: x = (x im o x )s x y = (y im o y )s y La relazione è un po più complessa per la distione radiale, modellata da k 1 e k 2. Se (x d, y d ) sono le coordinate distorte del punto (x, y), possiamo scrivere: x = x d (1 + k 1 r 2 + k 2 r 4 ) y = y d (1 + k 1 r 2 + k 2 r 4 ) dove r 2 = x d 2 + y d 2.

40 Adesso, con i parametri estrinseci della camera, siamo in grado di tradurre il sistema di riferimento del mondo in quello della camera. Per proiettare un punto della scena P w sul piano immagine di una camera arbitrariamente orientata e calibrata non dovremo far altro che:

41 Adesso, con i parametri estrinseci della camera, siamo in grado di tradurre il sistema di riferimento del mondo in quello della camera. Per proiettare un punto della scena P w sul piano immagine di una camera arbitrariamente orientata e calibrata non dovremo far altro che: 1 Tradurre le coordinate di P w nel sistema di riferimento della camera

42 Adesso, con i parametri estrinseci della camera, siamo in grado di tradurre il sistema di riferimento del mondo in quello della camera. Per proiettare un punto della scena P w sul piano immagine di una camera arbitrariamente orientata e calibrata non dovremo far altro che: 1 Tradurre le coordinate di P w nel sistema di riferimento della camera (P c = R(P w T))

43 Adesso, con i parametri estrinseci della camera, siamo in grado di tradurre il sistema di riferimento del mondo in quello della camera. Per proiettare un punto della scena P w sul piano immagine di una camera arbitrariamente orientata e calibrata non dovremo far altro che: 1 Tradurre le coordinate di P w nel sistema di riferimento della camera (P c = R(P w T)) 2 Proiettare P c con le equazioni fondamentali della camera prospettica

44 Adesso, con i parametri estrinseci della camera, siamo in grado di tradurre il sistema di riferimento del mondo in quello della camera. Per proiettare un punto della scena P w sul piano immagine di una camera arbitrariamente orientata e calibrata non dovremo far altro che: 1 Tradurre le coordinate di P w nel sistema di riferimento della camera (P c = R(P w T)) 2 Proiettare P c con le equazioni fondamentali della camera prospettica 3 Tradurre le coordinate del punto proiettato in pixel tramite i parametri intriseci

45 Versione lineare x = f X Z y = f Y Z

46 Versione lineare x = f X Z y = f Y Z (x im o x )s x = (y im o y )s y = f X Z f Y Z

47 Versione lineare x = f X Z y = f Y Z (x im o x )s x = (y im o y )s y = f X Z f Y Z (x im o x )s x = (y im o y )s y = f R 1(P w T) T R 3 (P w T) T f R 2(P w T) T R 3 (P w T) T

48 Versione lineare x = f X Z y = f Y Z (x im o x )s x = (y im o y )s y = f X Z f Y Z (x im o x )s x = (y im o y )s y = f R 1(P w T) T R 3 (P w T) T f R 2(P w T) T R 3 (P w T) T Versione lineare delle equazioni fondamentali di proiezione prospettica

49 Versione matriciale Vediamo di scrivere le equazioni lineari con una notazione più compatta:

50 Versione matriciale Vediamo di scrivere le equazioni lineari con una notazione più compatta: M int = f /s x 0 o x 0 f /s y o y M ext = r 11 r 12 r 13 R 1 T T r 21 r 22 r 23 R 2 T T r 31 r 32 r 33 R 3 T T

51 Versione matriciale Vediamo di scrivere le equazioni lineari con una notazione più compatta: M int = f /s x 0 o x 0 f /s y o y M ext = r 11 r 12 r 13 R 1 T T r 21 r 22 r 23 R 2 T T r 31 r 32 r 33 R 3 T T x 1 x 2 x 3 = M int M ext X w Y w Z w 1

52 Versione matriciale Vediamo di scrivere le equazioni lineari con una notazione più compatta: M int = f /s x 0 o x 0 f /s y o y M ext = r 11 r 12 r 13 R 1 T T r 21 r 22 r 23 R 2 T T r 31 r 32 r 33 R 3 T T x 1 x 2 x 3 = M int M ext X w Y w Z w 1 Versione matriciale delle equazioni fondamentali di proiezione prospettica

53 A volte si compattano M int ed M ext in una sola matrice M = M int M ext.

54 A volte si compattano M int ed M ext in una sola matrice M = M int M ext. Con alcune assunzioni, M assume una forma non troppo complessa. Ad esempio, se poniamo o x = o y = 0 e s x = s y = 0 (ovvero, fingiamo sia la camera che il mondo abbiano la stessa unità di misura) la matrice unica M diventa:

55 A volte si compattano M int ed M ext in una sola matrice M = M int M ext. Con alcune assunzioni, M assume una forma non troppo complessa. Ad esempio, se poniamo o x = o y = 0 e s x = s y = 0 (ovvero, fingiamo sia la camera che il mondo abbiano la stessa unità di misura) la matrice unica M diventa: M = fr 11 fr 12 fr 13 fr 1 T T fr 21 fr 22 fr 23 fr 2 T T r 31 r 32 r 33 R 3 T T

56 A volte si compattano M int ed M ext in una sola matrice M = M int M ext. Con alcune assunzioni, M assume una forma non troppo complessa. Ad esempio, se poniamo o x = o y = 0 e s x = s y = 0 (ovvero, fingiamo sia la camera che il mondo abbiano la stessa unità di misura) la matrice unica M diventa: M = fr 11 fr 12 fr 13 fr 1 T T fr 21 fr 22 fr 23 fr 2 T T r 31 r 32 r 33 R 3 T T In assenza di ulteriori vincoli, M è chiamata genericamente matrice di proiezione.