Segmentazione mediante ricerca di forme. Paola Campadelli

Transcript

1 Segmentazione mediante ricerca di forme Paola Campadelli

2 Segmentazione mediante ricerca di forme Template deformabili (Yuille et al. 92) Contorni deformabili (Kaas et al. 87) GVF Snakes (Xu et al. 98) Active shape models (Cootes et al. 95) Active appearance models (Cootes et al. 98, 01)

3 Template deformabili Modelli parametrici che descrivono oggetti definiti a priori (occhio, viso, bocca, ) I modelli sono costituiti da semplici primitive geometriche (rette, cerchi, parabole, ) La funzione da minimizzare compone gli elementi del modello, espresso in forma parametrica, con vincoli estratti da semplici rappresentazioni dell immagine (bordi, livelli di grigio, )

4 Template deformabili: l occhio Obiettivo: definire gli 11parametri liberi minimizzando una funzione costo col metodo del gradiente Problemi: la funzione definita è troppo complessa l inizializzazione è critica raramente si ottiene il risultato desiderato

5 Template deformabili: l occhio Localizzazione dell'iride e del riflesso: Img Originale Centro dell occhio Descrizione dell'occhio (modello semplificato): Parametri del modello: (xw, yw): centro a, c: semi-altezze b: semi-larghezza θ: rotazione

6 Template deformabili: l occhio Funzione Energia: Rw x i R w Posizione Iniziale Posizione Finale Fiducial points

7 Template deformabili: la bocca Taglio e angoli delle labbra: Img Originale Clustering (della Taglio Angoli derivata verticale) Descrizione della bocca: Frontale Laterale 2 cubiche e 1 parabola 3 cubiche l: semi-larghezza; h: semi-altezza

8 Template deformabili: la bocca Funzione Energia: R c R c Posizione Iniziale Posizione Finale Fiducial points

9 Contorni deformabili (snakes) Modello per descrivere contorni chiusi di forma qualsiasi Il problema di determinare un contorno è trasformato nel problema di minimizzare un funzionale associato ad esso L informazione usata è il gradiente dell immagine

10 Curva chiusa Contorni deformabili Il contorno si muove nel dominio spaziale minimizzando il funzionale

11 Contorni deformabili: caso discreto Contorno: insieme di punti (p 1,, p N ) - Algoritmo greedy: per ogni p i effettua una scelta localmente ottima

12 Contorni deformabili: problemi La convergenza è fortemente dipendente dal modello iniziale; per convergere il modello deve essere molto vicino al contorno vero Metodo estremamente sensibile ai parametri Il modello non si adatta a contorni concavi

13 Active Shape Models (ASM) Modelli specifici per una classe di forme caratterizzate da considerevole variabilità La forma viene modellata da un insieme di punti significativi (point distribution model) Si costruisce un campione adeguato Si deriva un insieme di forme di base da utilizzare per rappresentare ogni elemento della classe come combinazione lineare

14 Active Shape Models (ASM) Forma: Campione: Dal Campione si ricava un modello: 1. Si allineano gli elementi del campione 2. Si estrae un insieme di base

15 ASM: allineare due forme S 1, S 2 Trasformare una nell altra: Definire una differenza: Cercare tale che Quale differenza? Es: Quali trasformazioni? Rotazioni Variazioni di scala Traslazioni

16 ASM: allineare due forme S 1, S 2 Scegliere che minimizza:. : matrice che pesa di più i punti più stabili Dove è la varianza, presa sulle forme, della distanza tra il punto e il punto

17 ASM: allineare due forme S 1, S 2 Scegliere che minimizza: Dato un punto di

18 ASM: Scelta di una base Il campione può essere visto come un cluster di punti in uno spazio dimensionale Ipotesi: il cluster ha forma approssimativamente ellissoidale Si applica l analisi delle componenti principali (PCA) per calcolare gli assi nelle direzioni di massima varianza Media: Matrice di Covarianza

19 ASM: approssimare le forme del training set..

20 ASM: cercare la forma in un immagine Stimare una buona posizione iniziale centro del modello in cui porre il Muovere ogni punto del modello verso una posizione migliore (sulla normale al bordo e verso un Edge forte).

21 ASM: cercare la forma in un immagine Deformare localmente il modello considerando i vincoli posti ai parametri Da: Si deriva:

22 ASM: problemi 1. La costruzione del campione (scelta delle forme, posizionamento dei punti) deve essere accurata 2. Il modello converge alla forma da ricercare solo se è posizionato molto bene Estensione Proposta: Active Appearance Models (AAM): combinano un modello di forma con un modello di tessitura

23 Costruire un ASM AAM: sintesi del modello Deformare ogni elemento del campione in modo da farlo corrispondere al modello medio Per ogni modello deformato prendere i livelli di grigio ottenendo un vettore,, di tessiture Normalizzare Fare la PCA sui vettori tessitura così ottenuti Comporre le componenti di forma e tessitura in un solo modello facendo un altra PCA

24 AAM: sintesi del modello Diversi algoritmi iterativi di ricerca del modello nell immagine Modello più ricco di ASM, ma presenta gli stessi problemi

25 p. 27/2 Bibliografia R.O. Duda, P.E. Hart, D.G. Stock. Pattern Classification. John Wiley & Son, S.P. Lloyd Least squares quantization in PCM. Unpublished Bell Laboratories Technical Note S.P. Lloyd Least squares quantization in PCM. IEEE Trans. Inform. Theory, IT-28: , M.A. Arbib T. Uchiyama. Color image segmentation using competitive learning. IEEE Trans. on Pattern Analysis and Machine Learning. 16: J. Terrillon, et al. Comparative performance of different skin chrominance models and chrominance spaces for the automatic detection of human faces in color images. 4th IEEE Int. Conf. Automatic Face Detection and Gesture Recognition, M Yang, N. Ahuja. Gaussian mixture model for human skin color and its applications in image and video databases. Proceedings of SPIE Vol. 3656, 1999.

26 p. 28/2 Bibliografia Cont. V. F. Leavers. Shape detection in computer vision using the Hough transform. Springer-Verlag, M. Kass, A. Witkin and D. Terzopoulos. Snakes: active contour models. Proc. First Inter. Conf. of Computer Vision, pp , A.L. Yuille, P.W. Hallinan and D.S. Cohen. Feature extraction from faces using deformable templates. International journal of computer vision, 8(2), pp , C. Xu, J.L. Prince. Snakes, shapes, and gradient vector flow. IEEE Trans. on Image Processing, 7(3), 1998.

27 p. 29/2 Bibliografia Cont. T.F. Cootes, C. J. Taylor, D.H. Cooper and J. Graham. Active shape models-their training and application. Computer vision and image understanding, 61(1) pp , T.F. Cootes, G.J. Edwards and C.J. Taylor, Active appearance models. 5 th European Conference on Computer Vision, pp , Springer, T.F. Cootes and C.J. Taylor. Statistical models of appearance for medical image analysis and computer vision. Proc. SPIE Medical Imaging, I. Matthews and S. Baker. Active Appearance Models Revisited. International Journal of Computer Vision 60(2), pp. 135Ű164, P. Campadelli and R. Lanzarotti. Fiducial point localization in color images of face foregroounds. Image and Vision Computing, Vol 22, pp , 2004.