Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile

Transcript

1 DII Universitá di Siena Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di obotica Mobile elatore Chiar.mo Prof. Ing. Domenico Prattichizzo Tesi di laurea di Gian Luca Mariottini Correlatori Chiar.mo Prof. Ing. Antonio Vicino Ing. Jacopo Piazzi A.A. 2001/ Sessione Autunnale

2 Obiettivo principale della tesi Progetto di algoritmi di Visual Servoing per robot mobili con tecniche avanzate di Geometria Epipolare. telecamera P 1 S1 robot in posizione attuale P 2 S 2 Scopo :Utilizzo delle informazioni visive robot in posizione desiderata (features) per controllare il moto di un robot mobile dotato di telecamera da una posizione iniziale (o attuale) verso una posizione f inale o desiderata).

3 f f DII - UNIVESITÁ DI SIENA Telecamera: il modello pin-hole POIEZIONE POSPETTICA PUNTO PINCIPALE y cam p x Y Π ' X = ( X;Y;Z) T y x p p y x cam O centro della camera f v f Y Z centro immagine (punto principale) Z (X, Y, Z) T ( Km f X Z + px, f Y Z f 0 px 0 f py py ) v = f Y Z u = f X Z OTAZIONE e TASLAZIONE CCD: P = K[ t] α 0 x 0 K 0 α y

4 La Geometria Epipolare: definizioni La Geometria Epipolare é definita a partire dalle immagini estratte da due telecamere. I l O C u Piano Epipolare u e X baseline ; t π l' u' u' O' e' C' Il piano epipolare é quel piano contenente la baseline. Linea Epipolare I' Baseline La baseline é quella linea che unisce i centri delle due telecamere. Epipolo L epipolo e (e ) é quel punto che I (I ) di intersezione tra la baseline ed il piano immagine. Punti corrispondenti I punti corrispondenti u ed u sono le proiezioni, su due differenti piani immagine, di uno stesso punto X. La linea epipolare l u (l u ) é l intersezione del piano epipolare con il piano immagine I (I ). appresentazione algebrica della Geometria Epipolare Matrice Fondamentale F

5 La Geometria Epipolare: Matrice Fondamentale I C1 u z1 + t e X O Asse di rotazione Centro di rotazione e' u' z2 C 2 I ' robot in posizione desiderata t O e' x robot in posizione attuale e x Ipotesi di lavoro 1. Moto planare del robot 2. Gli assi ottici si incontrano in un punto O Proprietá. (Legge delle Corrispondenze) Se u e u sono punti corrispondenti allora vale la seguente uguaglianza: u T Fu = 0

6 Parametrizzazione degli epipoli: t 0 a a m I t z 1 h d y 1 x 1 ϕ e e ' f c z2 y 2 b I x2 I c t f z 1 h y 1 x1 e ψ z2 y 2 b x2 Se K I e x = α x γ β + u 0 ove γ sin, β 1/p cos, e Se K I e x = α x γ γ sin β cos + u 0 p = ( + t )/

7 Parametrizzazione degli epipoli L epipolo assume lo stesso valore per due angoli i e j differenti. O O 1 S O3 t O2 O1 e 1 x = e 2 x e1= e3 e2 POBLEMA INTINSECO DELLA PAAMETIZZAZIONE!

8 Parametrizzazione:duplice soluzione Scopo: Trovare j t.c. e( i ) = e( j ) In generale e j i + S S = 2 arctan ( ) p cos i 1 p sin i da cui è possibile ricavare una zona di lavoro... (0, 3] [15, 90)deg. p = S S i

9 Parametrizzazione di F: nuovo approccio F = K T EK 1 ove E = [t] inoltre K F = ove F = 1 α x α y 0 u 0 α x v 0 α y 1 γ sin β 1 p cos 0 β 0 α x 0 x 0 0 α y y β cos γ sin 0 γ cos + β sin 0 γ 0 ν β α x η γ α x si ha: 0 ν v 0 ν 1 α x 0 u 0 α x 0 1 α y v 0 α y ν cos η sin 0 [α x η u 0 ν] cos + [u 0 η + α x ν] sin v 0 [η sin ν cos ] u 0 ν α x η v 0 [u 0 ν α x η][cos 1] v 0 sin [u 0 η + α x ν]

10 Stima della Matrice Fondamentale F Stima della matrice F Epipoli Legge di controllo Metodo lineare dei minimi quadrati: n T min F i=1 (u i Fui ) 2 Metodo non lineare (Distanze Euclidee): min F i=1 In teoria: 7 corrispondenze necessarie. Nuova parametrizzazione: soli 2 punti. Utilizzare i contorni? (2 punti di tangenza) ( ) n 1 (Fu i ) (Fu i ) (F T u i ) 12 + (FT u i ) 2 2 Metodo non lineare (Gradiente): (u T i Fui ) 2 min F n i=1 (u T i Fui ) 2 (Fu i ) (Fu i ) (F T u i ) 12 + (FT u i ) 2 2

11 Nuovo approccio alla stima della matrice F Stima lineare (classica) della F 7 punti corrispondenti necessari. Stima della F(p,) Solo 2 punti corrispondenti necessari.

12 Stima di F: i contorni apparenti Punto frontiera r X f Γ Generatore di contorno Superficie M, t Epipoli Punti corrispondenti p Contorni apparenti C γ Contorno Apparente C ',t La Geometria Epipolare aiuta a stimare gli epipoli dai contorni apparenti!!

13 La Geometria Epipolare con curve nello spazio 3D Punto frontiera X f Γ Generatore di contorno La Geometria Epipolare aiuta (tangenti al contorno) a trovare le Superficie M proiezioni del punto frontiera (punti corrispondenti): C 1 u f Tangente epipolare γ e 1 e 2 Contorno Apparente 1 γ 2 Epipolo u f ' C 2 u f T Fuf = 0 1. ˆp = ˆp 0 e ˆ = ˆ 0 (initial guess) 2. Si calcolano e(ˆp, ˆ),e (ˆp, ˆ). 3. Si calcolano i punti u e u in cui si appoggia la tangente epipolare. 4. Avendo quindi u,u e F(ˆp, ˆ) si calcola d i (ˆp, ˆ) (che è nullo per i valori veri). 5. Aggiorna i valori di ˆp e ˆ. 6. ipartire dal punto 1.

14 Stima di F dai contorni apparenti Scopo:! min F i (d i) 2 ove d i u it Fui ATTENZIONE:u e u cambiano a seconda di dove si appoggia la tangente u 1 1 u 2 2 Ma allora: d i (p,, O, O ) u i(p,, O ) T F(p, )u i (p,, O) 2 1 Si studia l ESISTENZA ed UNICITÁ della soluzione parametrizzando il contorno apparente

15 f DII - UNIVESITÁ DI SIENA Stima di F dai contorni apparenti tangente u i ϕ Oggetto 3D SFEA Proietta in ellissi e origine t r a t origine u i = r a cos ϕ i v i = r a sin ϕ i,ove ϕ i = arccos α e x t x ; β t y ; γ r a ; Immagine Attuale Immagine ( ) α + arccos α 2 +β 2. d i (p, ) u i (p, )T F(p, )u i (p, ) ( Desiderata ) γ α 2 +β 2,ove Se d i (p stim, min ) è minimo p stim = p vero stim = vero Posizione relativa delle telecamere.

16 Stima di F dai contorni apparenti d 1 (p, ) + d 2 (p, ) d 1 (p, ) + d 2 vero p vero (, ) p Stima di p Stima di I minimi esistono unici!

17 isultati sperimentali (1 oggetto) + t p vero = + t = 1; vero = 36 ; A Β Funzionale Lineare Funzionale Non Lineare (Dist Geom.) Funzionale Non Lineare (Grad.)

18 isultati sperimentali (2 oggetti) p vero = + t = 0.98; vero = 10 ; Funzionale Lineare Funzionale Non Lineare (Dist Geom.) Funzionale Non Lineare (Grad.)

19 Visual Servoing per robot olonomo obot Olonomo nessun vincolo cinematico Dinamica : Ẋ a = u x Ẏ a = u y α a = ω Y z c Ya x c X a <b> X

20 Visual Servoing per robot olonomo C d C d Caso di moto rotatorio per diverse stime iniziali di Ο C a ' t C a Ο ϕ d 0 ϕ a Ο ψ 0 C ' C i Tel.Desiderata 1 Passo Traslazione C a C a Ṙ t (t) = λe u (t), λ > 0 ove e u (t) = 1 fe ax + 1 fe dx L=0.1=0.01 L=1 L=2 L=3 L= Passo otazione da C a a C d Tel. Attuale ψ(t) = λ a e s (t) λ a > 0 ove e s (t) = 1 1 fe ax fe dx

21 Visual Servoing per obot Anolonomo Modello Cinematico ẋ ẏ = sin 0 cos u ω e 1 Passo: Spostamento Traiettoria anolonoma C i π i da C a C i π a 2 Passo: Traslazione da C i a C d C e a e d π d C d

22 Visual Servoing per obot Anolonomo: 1 Passo Sistema MIMO ẋ = v sin ẏ = v cos = ω y 1 = e a x y 2 = e d x Linearizzazione Ingresso-Uscita Trasformare dinamiche sist. non lineare in lineari: convergenza uscita (epipoli) a zero! Matrice E(x) di disaccoppiamento: y (r) u f[ sin((t))β + cos()γ] fα [ ] Y (t) sin((t)) X(t) cos((t)) f 0 Y 2 (t) Non singolare! Ingresso Linearizzante u = E 1 (x) ν 1 ν 2 } {{ } ν(t) ν(t) = ẏ d (t) Ke(t) e = e a(t) e des a e d (t) e des d (t) (t) e(t) + Ke(t) = 0 ove ed da cui Il controllo dipende anche da X!

23 Visual Servoing per obot Anolonomo: 2 Passo Idea:Si usano direttamente i perimetri dei contorni estratti! Schema del V.S. v ω CCD i Uniciclo π i Calcolo perimetro Legge di Controllo Idea ω v L:d:C: π p i π p d CCD d π d ω = 0 v = λ(p π d p π i ), λ > 0

24 Sviluppi futuri Progetto di un controllo IBVS basato sui contorni apparenti nel caso tridimensionale. Studio del Tensore Trifocale T per la sintesi di algoritmi di Visual Servoing robusti da tre immagini di una medesima scena 3D. Studio ed utilizzo della Geometria Epipolare Estesa per il visual servoing di un Team di obot. Utilizzo delle tecniche epipolari per la ricostruzione virtuale di ambienti e oggetti reali.

25 Conclusioni Lavoro svolto: Parametrizzazione a due gradi di libertà della matrice F (caso K generale) Studio delle proprietà dei contorni apparenti per stimare la geometria epipolare Innovativa parametrizzazione del contorno apparente, forma esplicita del funzionale di costo e studio dell esistenza ed unicità della soluzione del problema di stima della Matrice Fondamentale. ealizzazione della Legge di Controllo IBVS per veicoli olonomi. Studio della dinamica degli epipoli per la sintesi di una Legge di Controllo IBVS per veicoli anolonomi.