Teorie e tecniche del riconoscimento

Transcript

1 Università di Verona Facoltà di Scienze MM.FF.NN. Teorie e tecniche del riconoscimento Parte 10 Descrittori di forma Dr. Marco Cristani marco.cristani@univr.it ufficio: Stanza 47, Ca Vignal 2 1

2 Introduzione Descrittore di forma: insieme di numeri prodotti per descrivere una forma l importante è che i descrittori di forma siano discriminativi nei confronti della forma che individuano Un buon descrittore riesce a distinguere fortemente forme differenti e rende simili forme simili (intuitivamente! non esiste un unico concetto di similarità tra forme ) 2

3 Descrittori elementari Alcuni semplici descrittori di forma: Area: il numero di pixel contenuti nella forma Perimetro: il numero di pixel sul contono della forma (Non)Compattezza o (non)circolarità: perimetro^2/area la forma più compatta è il cerchio (4π), tutte le altre forme hanno compattezza > 4π Eccentricità: il rapporto tra la corda piu lunga nella forma e la più lunga corda perpendicolare ad essa Elongazione: il rapporto tra altezza e larghezza del minor rettangolo che racchiude la forma (bounding-box) Rettangolarità: quanto rettangolare è una forma: area della forma/area della bounding-box Orientazione: angolo dell asse maggiore della forma 3

4 Tassonomia Esistono 2 tipologie di descrittori di forma: Region-based basati sull area della forma Boundary-based basati sugli edge della forma Avvertenze: come contare i pixel dei contorni? 1 per i pixel 4-connessi sqrt(2) per i pixel 8-connessi (i pixel diagonali) 4

5 Descrittori di forma basati sul contorno spline Spline: curve parametriche nello spazio, parametro s, crescente, reale s determina lo sviluppo della curva x(s), y(s)= < x(s), y(s)>, con x,y particolari funzioni spline nel tempo, parametro t r(s,t)=< x(s,t), y(s,t)> Spline di ordine d funzione polinomiale a tratti ogni tratto (= span) polinomio di ordine d 5

6 Descrittori di forma basati sul contorno spline Ordine = numero di coefficienti necessari a definire un polinomio Grado = massimo esponente del polinomio Ordine = 3, grado = 2 Di solito si usano polinomi di ordine 3 o 4 Per approssimare una curva qualunque Si aumenta l ordine si aumenta il numero di span (scelta migliore computazionalmente) 6

7 Descrittori di forma basati sul contorno B-spline Una spline x(s) puo essere vista come somma pesata di funzioni base (le B-spline, appunto) B n (s), n=0,...,n B -1 da cui si parla di rappresentazione tramite B-spline, o semplicemente B-spline pesi Nel caso più semplice (caso regolare) ogni funzione base è rappresentata da d polinomi ognuno definito su uno span Per semplicità, definiamo uno span avente lunghezza unitaria Tutti gli span sono collegati in corrispondenza di nodi (knots) In questo caso, la curva risultante ha continuità d-2 7

8 Funzione di base Esempi: - Funzione base B 0 (s) di ordine 3 - definita su 3 span - parte da s=0 8

9 Funzioni di base basi equispaziate Esempi: - Le spline si possono localizzare - Le basi in teoria si definiscono anche all infinito, in pratica 9

10 Creazione di una B-spline Esempi: - Q x individua la forma della curva - la spline approssima i punti dati da <ampiezzaspan/2,peso> x 0 3/2 10

11 Forma spazio-temporale di una B-spline Generalizzando, nel caso di una curva in 2D, tempovariante, avro con 11

12 Evoluzione di una B-spline Come posso modificare Q? Due scelte: spazio di dimensione (in questo caso, 26) spazio di dimensione < (13 punti) 12

13 Evoluzione vincolata di una B-spline Come posso modificare Q? Due scelte: Q 0 Q=Wx+Q 0 W = matrice di traduzione o shape matrix N Q x N X x = vettore di forma, (13 punti) 13

14 Trasformazioni Voglio avere trasformazioni affini Classe di trasformazioni 2D lineari geometriche che mappano variabili (valori di intensità di pixel localizzati in un immagine) in nuove variabili (in un immagine di output), applicando una combinazione lineare di traslazioni, rotazioni, scalatura, shearing, ossia scalatura non uniforme in determinate direzioni E possibile definire una trasformazione affine di un punto generico appartenente alla curva bspline come 2 x 1 2 x 2 14

15 Trasformazioni affini Traslazione u u u 1 2 M Rotazione u 0 0 M cos sin sin cos ϴ: angolo positivo che indica rotazioni clockwise Scalatura u 0 0 M a 11 0 a

16 Esempi di trasformazioni 16

17 Identificatore di una curva Questo significa che ho 6 parametri da settare = 6 gradi di libertà Questi gradi di libertà possono essere linerizzati su un unico vettore x =6 Q=Wx+Q 0 17

18 Matrice di traduzione-shape matrix La matrice di traduzione è x y traslazioni (riguardano) rotazioni/scaling sono vettori con N B componenti (= numero di funzioni base localizzate ~ numero di pesi = numero punti di controllo) Q=Wx+Q 0 18

19 Esempi di identificatori Dati: in pratica: 19

20 Trasformazioni euclidee Semplificando la modellazione, e restringendosi a trasformazioni euclidee ho una diversa matrice di traduzione Original 20

21 Ancora identificatori 21

22 Esercizio Esercizio: a cosa corrisponde questa trasformazione, in termini di fattore di scala e rotazione? scalatura rotazione 22

23 Trasformazioni non rigide Le trasformazioni affini/euclidee sono convenienti per modellare l aspetto del moto 3D di un oggetto rigido Per le situazioni di deformazione (moto non rigido) questi strumenti non sono sufficienti Due soluzioni: 1. Utilizzo dei key-frames semplice ma poco espressivo 2. Learning dello spazio delle deformazioni si utilizza PCA 23

24 Trasformazioni non rigide con key frames Una curva viene vista come combinazione lineare di forme elementari (NB: non modello ora alcuna trasformazione) 24

25 Trasformazioni non rigide con key frames (2) Una curva viene vista come combinazione lineare di forme elementari (NB: non modello ora alcuna trasformazione) Parto dalla solita espressione vincolante la forma della curva Q=Wx+Q 0 Sfrutto i due k-frames e costruisco la matrice di traduzione dove 25

26 Trasformazioni non rigide con key frames (3) A questo punto risulta intuitivo formare nuove configurazioni 26

27 Trasformazioni non rigide con key frames (4) Per includere le trasformazioni (euclidee), la matrice utile risulta essere quindi: 27

28 Trasformazioni non rigide con key frames - limiti Problema: come scegliere i k-frames? quanti k-frames? Se ho una sequenza di M frames, avro Q 1, Q 2,..., Q M forme: sono tutte indicative di forme differenti? Soluzione: N X uso PCA...out of the scope!!! 28

29 Studio della dinamica di una B-spline Dato una forma in movimento, voglio dedurne la dinamica (da inserire in nel tracking, per esempio) Uso un modello auto regressivo (auto-regressive process, ARP) del secondo ordine = valori estratti da distribuzioni normali = matrice di offset deterministica = matrici, componenti deterministiche del sistema = matrice, componente stocastica del sistema 29

30 Studio della dinamica di una B-spline (2) Per semplicità notazionale possiamo vedere anche quindi dove 30

31 RICORDA: Studio della dinamica di una B-spline (3) Lo studio dei parametri puo essere formulato da un punto di vista statistico Voglio massimizzare la likelihood dei dati, dati i parametri Per l indipendenza tra i vettori di forma e il rumore La modello come una normale multivariata 31

32 RICORDA: Studio della dinamica di una B-spline (4) Pertanto la forma della log-likelihood diventa I parametri buoni danno alta likelihood. Quindi la devo massimizzare. E una Normale multivariata, ed esiste forma chiusa per la massimizzazione. 32

33 matrice 33

34 Manualmente, Fitting di una B-spline sull immagine determino i punti sul contorno della forma, calcolo la B-spline aumento gli span fino a quando sono soddisfatto del fitting Automaticamente A partire da una forma binaria (ottenuta per esempio via sottrazione del background) estraggo il perimetro campiono il perimetro con una frequenza a piacere, ottengo i nodi calcolo la B-spline 34

35 Applicazione di una B-spline a Condensation Parto da uno stato piu probabile (la posterior) x t-2 Ogni particella è un vettore x t-1 che determina Q, da cui origina una B-spline r(s) La fase di selezione o campionamento produce un numero alto di campioni {x t-1 } Ad essi applico la dinamica, ottenendo {x t } 35

36 Applicazione di una B-spline a Condensation (2) {r(s)} La fase di valutazione valuta la spline che fitta meglio l obiettivo 36

37 Applicazione di una B-spline a Condensation (3) r(s) in corrispondenza di M punti equispaziati sulla curva, costruisco dei segmenti normali, di lunghezza fissata a priori 37

38 Applicazione di una B-spline a Condensation (4) r(s) su ogni normale, calcolo gli edge noto che si puo verificare la presenza di piu edge in corrispondenza di una normale 38

39 Applicazione di una B-spline a Condensation (5) La funzione di pesatura o valutazione è dove r(s) con e - normale - scelta opportunamente 39

40 Applicazione di una B-spline a Condensation (6) Nota che la sottrazione del background puo essere inserita nel framework 40