Telecamere per la vision artificiale. Corso di Robotica Prof. Davide Brugali Università degli Studi di Bergamo

Transcript

1 Telecamere per la vision artificiale Corso di Robotica Prof. Davide Brugali Università degli Studi di Bergamo

2 Immagini monocromatiche Ogni cella corrisponde ad un bit. Y Row q X 0: nero 1: bianco Row q 0 p 2

3 Immagini in scala di grigio Ogni cella corrisponde contiene un valore che indica l intensità del grigio e varia tipicamente tra 0 e 255 (8 bit). Più il numero di bit è elevato più l informazione riportata dal immagine è precisa

4 Telecamere digitali Il sensore acquisisce solo una scala di grigi, i colori vengono generati tramite filtri. 4

5 Immagini a colori L immagini è costituita da tre matrici, una per ogni colore fondamentale. B G R 5

6 Scelta della telecamera La telecamera viene scelta tenendo in considerazione i requisiti del problema da risolvere. Il suo dimensionamento definisce: Dimensioni del campo visivo. Risoluzione dell immagine. Lunghezza focale della lente. Ed è influenzato da: Dimensioni e posizione dell oggetto da riprendere. Dimensioni e posizione dei particolari dell oggetto interessanti. Tolleranze sull errore di misura. 6

7 Calcolo del campo visivo Il campo visivo indica l area della parte di un scena che può essere catturata da una telecamera. Può essere calcolato verticalmente, orizzontalmente e diagonalmente. 7

8 Calcolo del campo visivo FOV D p L v 1 P a D p : dimensione massima dell oggetto da riprendere, L v : variazione massima di posizione e orientamento dell oggetto, P a : tolleranza di posizionamento della telecamera. Questa tolleranza serve per evitare che gli oggetti si trovino sul bordo del campo visivo. Una scelta tipica è quella del 10%. 8

9 Risoluzione Esistono diversi tipi di risoluzione: Image resolution Spatial resolution Feature resolution Pixel resolution 9

10 Image resolution (R i ) Definisce il numero di pixel che compongono un immagine ed è espressa in numero di colonne per numero di righe. È determinata dalla camera e dal Frame Grabber. Risoluzioni tipiche: Telecamere tradizionali: 640x480 e 1000x

11 Spatial resolution (R s ) Definisce la distanza fra il centro di due pixel facendo riferimento alla scena reale. Tipicamente si misura in lunghezza fisica su pixel (e.g. cm/pixel). È legata alla risoluzione dell immagine e alla dimensione del campo visivo. R s FOV R i [cm/pixel] 11

12 Feature resolution (R f ) È la dimensione minima che un particolare deve avere per poter essere rilevato con affidabilità. La feature resolution si misura come una lunghezza fisica. R f R s F p [cm] F p : numero minimo di pixel che compongono un particolare rilevabile. Si considera un minimo di 3-4 pixel per tener conto di Basso contrasto Alto rumore 12

13 Pixel resolution (R p ) Definisce il numero di valori differenti che un pixel può assumere, ovvero il numero di intervalli in cui una scala di grigi o di colori viene discretizzata (quantizzazione). La scala di grigi viene tipicamente divisa in 256 intervalli (8 bit) mentre quando si utilizzano i tre colori vengono utilizzati 8 bit per ogni colore (giallo, magenta e ciano). Durante lavori scientifici si utilizzano scale di grigio da 10 o 12 bit (1024 o 4096 intervalli). 13

14 Modello Pinhole della telecamera Il concetto si basa sulla riflessione/emissione di luce da parte dell oggetto che passa attraverso un forellino di un ipotetica camera oscura e si proietta sul piano immagine. 14

15 Angolo di Acquisizione e Zoom A parità di sensore di acquisizione (ad es. CCD), diminuendo la lunghezza focale sul sensore viene proiettato un angolo più ampio della scena osservata 15

16 Modello pinhole Normalmente vengono utilizzate le lenti per focalizzare meglio i raggi e per raccogliere più energia, in modo da formare immagini più luminose. 16/4 7

17 Distanza Focale Immaginiamo una situazione teorica in cui la lente sia colpita da raggi di luce perfettamente paralleli. Attraversando la lente i raggi di luce vengono deviati e convergono in un punto la cui posizione dipende strettamente dalla curvatura della lente. Questo punto viene definito distanza focale della lente, anche detta solamente focale, ed è un valore che viene usato per catalogare gli obiettivi e poterli confrontare fra loro. 17 La condizione di raggi paralleli si riferisce alla messa a fuoco dell'infinito, ed è stata decisa apposta per fornire una valore di focale comune a tutte le lenti che consenta di paragonarle. Nella realtà i raggi di luce degli oggetti da riprendere non perverranno quasi mai paralleli sulla lente e questo renderà necessario mettere a fuoco l'obiettivo in quanto il punto focale sarà variabile.

18 Distanza Focale La focale è il principale parametro di classificazione degli obiettivi in quanto influenza direttamente l'angolo di vista da essi consentito. A parità di dimensione del sensore più la focale è bassa, più l'obiettivo consentirà un angolo di vista maggiore. 18

19 Messa a fuoco La posizione del punto focale si trova ad una distanza dalla lente pari alla focale della lente stessa, ma solo se i raggi di luce giungono perfettamente paralleli sull'obiettivo. In questa condizione, siamo certi che se vogliamo mettere a fuoco un obiettivo da 4 mm. basta posizionare il CCD a 4 mm. di distanza dalla lente. Gli unici oggetti in grado di riflettere raggi di luce paralleli sono lontanissimi. Tutto ciò che si trova più vicino dell'infinito, riflette invece raggi di luce che giungono sulla lente con angoli di incidenza assai vari. Per questa luce, e quindi per questi oggetti, il punto focale non si trova più in corrispondenza della focale caratteristica dell'obiettivo ma altrove. L'operazione di messa a fuoco dell'obiettivo consiste proprio nello spostare avanti o indietro l'obiettivo fino a portare il CCD in corrispondenza del punto focale che corrisponde al soggetto o all'area che ci interessa. 19

20 Geometria delle lenti H o : altezza oggetto D o : distanza oggetto H i : altezza immagine D i : distanza immagine F: lunghezza focale della lente LE: distanza lungo la quale la lente può essere mossa per mettere a fuoco l immagine (Lens extension) M i : ingrandimento dell immagine M i H i H o D i D o F D o M i 1 M i D i D o LE D i F M i F 20

21 Scelta della lunghezza focale 1.Ricavare la distanza dell oggetto dalle specifiche. Se viene fornito un intervallo scegliere il valore intermedio (proc. punto 2). Se non ci sono informazioni scegliere F vicino alla più grande delle dimensioni del sensore d immagine (proc. punto 4). 2.Calcolare M i usando le dimensioni del campo visivo e la dimensione del sensore d immagine. M i H i H o 3. Calcolare F attraverso M i e D o ImageSensor V FOV V 4. Scegliere la lunghezza focale disponibile più vicina a quella calcolata. Ricalcolare D o tenendo conto del valore effettivo di F. F D M o i 1 M i 21

22 Calibrazione della telecamera Corso di Robotica Prof. Davide Brugali Università degli Studi di Bergamo Tratto in parte da: Samuele Salti, Luigi Di Stefano, 22

23 Calibrazione della telecamera Dall immagine Da specifiche tecniche della telecamera Da informazioni note a priori 23

24 Calibrazione della telecamera Posso calcolare la distanza focale in pixel. Tale distanza è anche data dalla distanza focale in mm divisa per la dimensione in mm di un pixel. Problema: visto che i pixel non sono quadrati le distanze focali calcolate lungo l asse x e lungo l asse y possono essere differenti. Data la discretizzazione dell immagine, è meglio calcolare più misure di distanze focali e valutare la distanza effettiva con metodi statistici (es. media). La scacchiera è particolarmente comoda nelle tecniche automatiche di calibrazione. 24

25 Proiezione prospettica v f = y z 25

26 Spazio proiettivo 26

27 Coordinate omogenee 27

28 Coordinate omogenee 28

29 Matrice di proiezione prospettica 29

30 Un modello più realistico 30

31 Digitalizzazione 31

32 La matrice dei parametri intrinseci 32

33 Trasformazione tra sistemi di riferimento 33

34 Trasformazione tra sistemi di riferimento 34

35 Parametri estrinseci 35

36 Influenza delle lenti 36

37 Coefficienti di distorsione 37

38 La distorsione ottica 38

39 Calibrazione della telecamera 39

40 Parametri intrinseci Descrivono la geometria del punto ripreso e la geometria della camera. γ: coefficiente di inclinazione tra l asse x e l asse y M int f k x u o 0 f k y v o NB: questo modello è lineare e non tiene conto della distorsione introdotta dalle lenti. 40

41 Calcolo delle coordinate del punto ripreso Componendo i parametri intrinseci e quelli estrinseci è possibile calcolare le coordinate del punto ripreso rispetto al sistema di riferimento assoluto. u v M int M ext w x s y s z s 1 f s x u 0 0 f s y v R 0 T La matrice M ha quindi 11 parametri che devono essere stimati. x s T y s 1 z s 1 Tramite operazioni algebriche è possibile ottenere un sistema di 2 equazioni in 12 incognite. 41

42 Calcolo delle coordinate del punto ripreso Per comodità riscriviamo la matrice M nel seguente modo u v M w x s y s z s 1 m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 m 14 m 24 m 34 x s y s z s 1 42

43 Calcolo delle coordinate del punto ripreso Possiamo quindi calcolare x i e y i e ottenere due equazioni in 12 incognite. x i u w m 11 x m 12 y m 13 z m 14 m 31 x m 32 y m 33 z m 34 y i v w m 21 x m 22 y m 23 z m 24 m 31 x m 32 y m 33 z m 34 Usando 6 punti, le cui coordinate 3D sono note e quindi possibile ricavare i 12 elementi della matrice M. Con ulteriori elaborazioni si possono ricavare anche gli 11 parametri della telecamera. 43

44 Calibrazione telecamera 44