Localizzazione Template matching rigido

Transcript

1 1 Localzzazone Template matchng rgdo Annalsa Franco Tecnche d localzzazone Il termne template matchng è molto generco nell ambto del PR, ma normalmente fa rfermento allo rcerca d un template T all nterno d un mmagne I con l obettvo d determnare se I contene l oggetto (match) e n quale poszone T appare nell mmagne. 2 1

2 3 Template matchng Template atchng surazone delle prestazon Rgd Template atchng Deformable Template atchng Pxelbased Local descr. based Hough transform Free-form deformable Parametrc deformable Nel domno spazale Nel domno delle frequenze Analytc-Form based Transformaton based Shape learnng 4 Prestazon d localzzazone In un sstema d localzzazone d oggett, è necessaro msurare: False localzzazon (false postve): percentuale d cas n cu l sstema localzza un oggetto non corretto. ancate localzzazon (false negatve): percentuale d cas n cu l sstema non localzza nessun oggetto, sebbene l oggetto sa presente (quest error sono dett anche drop o mss). Precsone d localzzazone: ndca quanto precsamente n meda gl oggett sono localzzat (accuracy). I prncpal ndcator sono: Precson: frazone d oggett localzzat che sono rlevant: P = Recall: frazone d oggett rlevant che sono stat localzzat: R = TP true postve, FP false postve, FN false negatve TP TP+FP TP TP+FN 2

3 5 Valutare un sstema d localzzazone Come ndvduare TP, FP, FN? Dato un oggetto localzzato d e un oggetto del ground truth g j lo score assocato al matchng tra due può essere calcolato come S d, g j = area d area g j area d area g j Può essere necessaro utlzzare un algortmo d assegnamento che ottmzz le coppe d, g j sulla base del relatvo score. Valutare un sstema d localzzazone False e mancate localzzazon sono spesso legate tra loro ed entrambe funzone d alcun parametr d tolleranza del sstema: se s rende l sstema meno tollerante a fals n modo da evtare che vengano localzzat oggett non esstent, aumenta la probabltà d perdere anche qualche oggetto genuno. vceversa se s rende l sstema pù tollerante n modo da localzzare tutt gl oggett present (anche quell dffcl ) allora aumenta la probabltà d localzzare anche qualche falso oggetto. sstem possono n genere essere regolat per operare a dvers lvell d tolleranza 6 s = 0.95 s = 0.55 s =

4 error 11/14/ Valutare un sstema d localzzazone Le prestazon al varare della «tolleranza» possono essere sntetzzate n forma grafca: FPR(t) FNR(t) Curva ROC (Recever Operatng Characterstc) Threshold (t) 8 4

5 9 Template matchng "rgdo" Un approcco molto utlzzato per la localzzazone d oggett s basa sull anals delle mmagn con una fnestra moble che vene fatta scorrere sull mmagne e confrontata d volta n volta con alcun template degl oggett da rcercare. Es. Rcercare tutt pedon e le macchne present nella scena Pedon odell acchne Input mage 10 Template matchng "rgdo" Il template T è costtuto da un oggetto rgdo (normalmente una pccola mmagne n formato raster). T vene sovrapposto a I n tutte le possbl poszon (rspetto agl ass X e Y), ma a seconda dell applcazone, può essere anche necessaro ruotarlo e scalarlo (trasformazone AFFINE). Nel seguto denomnamo T le stanze d T ottenute dalle trasformazon precedent (spostamento n X e Y, rotazone, scala). Per ogn stanza T l grado d smlartà vene soltamente calcolato massmzzando la correlazone con la porzone d mmagne I coperta da T (che ha la stessa dmensone d T ). Normalmente template hanno dmensone nferore all mmagne; n caso contraro bsogna fare attenzone agl effett d bordo! La dmensone de modell può varare 5

6 11 Template matchng "rgdo" Il confronto tra una sottommagne e un modello vene fatta sulla base d apposte feature (es. ntenstà, SIFT); Per decdere se un oggetto è presente nella scena è necessaro mporre una sogla alla smlartà (dstanza) tra le feature della sottofnestra n esame e l modello; È possble che lo stesso oggetto venga localzzato n pù poszon adacent; è necessara qund una fase d post-processng (es. fusone, soppressone de non massm). Pxel-based template matchng Immagn e template sono, per semplctà d notazone, defnt nel seguto come vettor 1- dmensonal ottenut postponendo le rghe delle corrspondent matrc 2-dmensonal. Correlaton based: Data un mmagne I e un stanza T, una msura ntutva d dverstà tra I e T è la Sum of Squared Dfferences (SSD): SSD 2 T 2 2 T I T I T I T I T I T 2T I, quando termn I 2 e T 2 sono costant, mnmzzare l prmo termne corrspondere a massmzzare la CrossCorrelaton (CC) tra I e T : CC T I, T T I T k Ik In alcun cas la Cross Correlaton non è una msura robusta per l template matchng e dventa necessaro applcare alcune normalzzazon. Cò accade n partcolare quando I e T non sono costant (ad. esempo): Rcerca dello stesso template su mmagn dverse. Istanze dello stesso template dverse tra loro per numero d pxel e lumnostà meda. k 12 6

7 13 sure d correlazone normalzzate Normalzed Sum of Squared Dfference (NSSD): 2 I T NSSDI, T I T La normalzzazone rende NSSD ndpendente dal contrasto d mmagne e template. Infatt pattern a pù elevato contrasto (caratterzzat da ampo range d lvell d grgo) vengono rtenut da SSD pù dssml rspetto a pattern con scarso contrasto. Normalzed Cross-Correlaton (NCC): NCC I, T Smle a NSSD ma computazonalmente meno costosa: se n è la dmensonaltà d mmagne e template, rsparma n dfferenze. T I T I T sure d correlazone normalzzate Zero mean Normalzed Sum of Squared Dfferences (ZNSDD) e Zero mean Normalzed Cross-Correlaton (ZNCC): ZNSSD I, T 2 I I T T I I T T 14 ZNCC I, T T I I T T I I T T Rspetto a NSSD e NCC sono nvarant anche per pattern che, a partà d constrasto (stesso range dnamco), presentano lumnostà mede dverse. 7

8 15 Come ruotare/scalare un mmagne? appng dretto Sa f: [x old,y old ] [x new,y new ] una funzone che mappa ogn pxel della veccha mmagne sulla nuova; ad esempo per trasformazon affn (traslazone [t x, t y ] + rotazone + scala s): x y new new cosθ sn θ sn θ s cosθ 0 0 x s y t t Eseguendo la trasformazone a partre da una scansone (doppo cclo) dell mmagne d partenza, s hanno seguent problem: Valor nuov pxel non necessaramente nter (approssmazone). Alcun pxel vengono mappat al d fuor della nuova mmagne. Alcun pxel della nuova mmagne non sono colpt (buch) old old x y Come ruotare/scalare un mmagne? appng nverso Un modo effcace d rsolvere problem consste nell esegure la scansone della nuova mmagne e per ogn pxel [x new,y new ] determnare l punto d rfermento [x old,y old ] sulla veccha mmagne attraverso la funzone nversa f -1 : x y old old 1 / s 0 0 cos 1/ s sn θ sn θ x new t x θ cos θ ynew t y 16 Il punto d rfermento [x old,y old ] che è n coordnate contnue (floatng pont) potrebbe cadere: fuor dalla veccha mmagne: mpostare valore d base (es: nero). su d un pxel della veccha mmagne: copare l ntenstà a metà strada tra 4 pxel della veccha mmagne: (ved ) 8

9 17 Come ruotare/scalare un mmagne? D: [x,y j+1 ] C: [x +1,y j+1 ] [x old,y old ] A: [x,y j ] B: [x +1,y j ] [x new,y new ] Il valore d ntenstà del nuovo pxel [x new,y new ] vene calcolato nterpolando valor d ntenstà de 4 pxel crcostant. L nterpolazone d Lagrange cerca l pano che meglo approssma 4 punt (a mnm quadrat): New I x new, y new Old I A w Old IB w Old IC w Old ID A w A B w w w dove New I() e Old I() ndcano l ntenstà de pxel nella nuova e veccha mmagne rspettvamente, e w A, w B, w C, w D pes: wa x 1 x old y j1 yold wc x old x yold y j w x x y y w x x y y B old j1 old D B C 1 D old C old j w D 18 Esempo Immagne Template: 10 cfre e 26 caratter per ogn cfra e per ogn carattere consderamo 3 stanze dovute a varazon d scala (dverse dstanze dalla telecamera). La scala ntermeda ha rsoluzone pxel. Ogn stanza (108 stanze = ( ) 3 ) deve essere sovrapposta all mmagne n tutte le possbl poszon e genera qund ulteror stanze (se s trascurano bord). Pertanto occorrere stmare crca = correlazon cascuna rchedente almeno 1420 moltplcazon e altrettante somme (nel caso d semplce CC). In totale crca moltplcazon (ntere) e altrettante somme. Quanto tempo occorre per processare un mmagne? 40 second su una macchna capace d esegure operazon ntere al sec. 9

10 19 Correlaton-based approach: problem Complesstà computazonale Il numero d operazon rcheste cresce lnearmente con l numero d stanze e con l numero d pxel d I e T (e qund quadratcamente rspetto al lato d I e d T). In pratca per applcazon real-tme l approcco base è quas sempre napplcable. Dffcle gestone d pattern deformabl Esempo: localzzazone d un componente elettronco Necessara nvaranza per poszone, rotazone, scala e aspect rato (lunghezza/altezza). Cò mplca un enorme numero d stanze! Come gestre le varazon d colore? (es: operare su edge e non su mmagne ntenstà) Come gestre le deformazon local (ad esempo pedn pegat o d dversa lunghezza)? 20 Evoluzon: Approcco multrsoluzone (1) Per rdurre la complesstà computazonale s segue la rcerca su una gerarcha crescente d rsoluzon. L approcco multrsoluzone vene usato anche per localzzare oggett a scale dverse (n questo caso normalmente non dmnusce la complesstà computazonale). Vene creata una pramde d rsoluzon sa per I che per T (ad esempo dmezzando la rsoluzone ad ogn lvello). 10

11 21 Evoluzon: Approcco multrsoluzone (2) La rcerca vene eseguta nzalmente sulla rsoluzone pù bassa, e a lvell successv vengono analzzate solo le stanze promettent (la cu correlazone a lvello nferore eccedeva una certa sogla normalmente puttosto bassa per evtare false reezon). Cò consente d esegure una scrematura a lvell nzal e d perfezonare la localzzazone e fltrare false accettazon a lvell successv. A metà rsoluzone le operazon s rducono d 16 volte. A 1/4 quarto d rsoluzone d 256 volte. A 1/2 n d rsoluzone d 2 4n volte, ma soltamente oltre a 3, 4 lvell non è possble operare per mancanza d dettagl

12 23 Feature per l template matchng Per la rappresentazone de template e delle sngole patch è possble usare de descrttor local (es. SIFT, SURF, HOG, Haar) assocat a punt dstrbut unformemente sull mmagne (dense samplng). Il confronto tra descrttor può essere effettuato sommando o medando le dstanze Eucldee calcolate tra descrttor d punt corrspondent. Se la dstanza ottenuta è nferore alla sogla prefssata, l oggetto s consdera localzzato. La localzzazone del volto 24 12

13 25 La localzzazone del volto Data una sngola mmagne o una sequenza vdeo rlevare la presenza d uno o pù volt e localzzarne la poszone all nterno dell mmagne. È necessara l ndpendenza rspetto a: poszone, orentazone, scala, espressone del volto; fattor estern qual l llumnazone o la presenza d uno sfondo complesso. Localzzazone de volt 26 Volto o non volto? Volto o non volto? Volto o non volto? La localzzazone de volt avvene analzzando sottofnestre consecutve (sovrapposte) dell mmagne n nput e valutando per cascuna se appartene alla classe de volt. Il localzzatore d Vola e Jones è uno de pù robust ed effcent allo stato dell arte L addestramento è molto lento (può rchedere gorn); La procedura d localzzazone è molto effcente (funzonamento real-tme). 13

14 27 Il localzzatore d Vola e Jones (1) La proposta d Paul Vola e chael Jones, ntrodotta n generale per la localzzazone d oggett, è stata applcata con successo all ndvduazone d volt. Prevede d creare un classfcatore che nzalmente è addestrato medante multple stanze della classe da ndvduare (esemp postv), e vare stanze d esemp negatv, ovvero mmagn che non contengono alcun oggetto della classe n esame. Durante l tranng sono estratte dverse caratterstche dagl esemp e selezonate quelle che rsultano partcolarmente dscrmnant. Questo tpo d nformazone è racchusa ne parametr del modello statstco. Se l classfcatore addestrato non trova un oggetto che nvece è presente (mss) oppure ne ndca erroneamente la presenza (false alarm), s può rcalbrare l suo addestramento aggungendo gl esemp corrspondent (postv o negatv) al tranng set. P. Vola,. J. Jones, Rapd Object Detecton usng a Boosted Cascade of Smple Features, n proc. IEEE Internatonal Conference on Computer Vson and Pattern Recognton, vol. 1, pp , Il localzzatore d Vola e Jones (3) Estrazone e valutazone d Haar-lke feature Classfcazone medante boostng (costruzone d un classfcatore robusto come combnazone d molteplc classfcator semplc) ultscale detecton??? +1 face features classfy -1 non face x F(x) y la localzzazone è effettuata facendo scorrere una fnestra d rcerca (le cu dmenson possono varare) sull mmagne, estraendo le feature present nella fnestra e classfcando la fnestra come volto o non volto. 14

15 29 AdaBoost learnng procedure Obettvo: costrure un classfcatore non lneare complesso H (x) come combnazone lneare d classfcator pù semplc dett classfcator debol (weak classfers): H ( x) h m m m1 m1 m x N.B. : nella versone dscreta h m (x) assume un valore dscreto n {-1,+1} dove x è un pattern da classfcare, h m (x){-1,+1} sono classfcator debol, m 0 sono corrspondent fattor d peso, è l fattore d normalzzazone m1 m AdaBoost: dea d base AdaBoost è una tecnca d addestramento che ha lo scopo d apprendere la sequenza ottmale d classfcator debol e corrspondent pes. Rchede un nseme d pattern d tranng {(x 1,y 1 ),(x 2,y 2 ),,(x N,y N )}, dove y {-1,+1} è l etchetta della classe assocata al pattern x n. Durante l apprendmento è calcolata e aggornata una dstrbuzone d pes [w 1,w 2,,w N ] assocat a pattern d tranng; w è assocato al pattern (x,y ). Dopo l terazone m, è assegnato a pattern pù dffcl da classfcare un peso w (m) 1 superore, coscché alla successva terazone m+1 tal pattern rceveranno un attenzone maggore. AdaBoost assume d avere a dsposzone una procedura per l apprendmento d un classfcatore debole a partre da un nseme d pattern d tranng, data la dstrbuzone [w (m) ]

16 31 Un esempo Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) e un peso: w =1 Classfcatore lneare debole rpreso da Antono Un esempo 32 Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) e un peso: w =1 Il mglore 16

17 33 Un esempo Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) Aggornamento pes: w exp{-y H (x )} Formulamo ora un nuovo problema Un esempo 34 Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) Aggornamento pes: w exp{-y H (x )} Formulamo ora un nuovo problema 17

18 Un esempo 35 Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) Aggornamento pes: w exp{-y H (x )} Formulamo ora un nuovo problema Un esempo 36 Ogn punto ha un etchetta che ne ndca la classe: y = +1 ( ) -1 ( ) Aggornamento pes: w exp{-y H (x )} Formulamo ora un nuovo problema 18

19 Un esempo 37 f 1 f 2 f 4 f 3 Il classfcatore robusto (non lneare) è costtuto da una combnazone d classfcator debol (lnear). 38 AdaBoost: l classfcatore debole (1) Il pù semplce classfcatore debole è un albero d decsone con un sngolo nodo. Supponamo d aver costruto -1 classfcator debol {h m (x)m=1,..,-1} e d voler costrure h (x). Il classfcatore confronta l valore d una feature z k* con una sogla prefssata k* e assegna valor +1 o -1 d conseguenza: h (x) = +1 se z k* > k* = -1 altrment 19

20 39 AdaBoost: l classfcatore debole (2) In questa forma h (x) dpende da due parametr: la feature z k* l valore d sogla k* I due parametr possono essere fssat n base al mnmo errore pesato d classfcazone: Sceglamo l valore d sogla k che mnmzza l errore d classfcazone per cascuna feature z k ; La feature z k* scelta per l classfcatore corrente è quella che permette d ottenere l errore d classfcazone complessvamente pù basso. AdaBoost: l classfcatore robusto (1) AdaBoost apprende una sequenza d classfcator debol h m e l combna n un classfcatore robusto H, mnmzzando l upper bound all errore d classfcazone d H. L upper bound s ottene con la seguente formula: J y y h x H x m1 m m H e e dove è l ndce delle mmagn d tranng. Dato l classfcatore corrente 1 H 1 x m1 m hm x e l nuovo classfcatore debole h, l mglor coeffcente per l nuovo classfcatore robusto H x H x h x mnmzza l costo: 1 x argmn J H 1 h x 40 20

21 41 AdaBoost: l classfcatore robusto (2) Il costo è mnmo per: 1 log dove è l errore d classfcazone pesato: 1 w 1 sgn H 1 [C] è 1 se C è vera, 0 altrment. x y A ogn terazone è aggornato l peso d cascun pattern n base alle prestazon d H : w 1 x, y w x, yexp y h x exp yh x AdaBoost: l classfcatore robusto (3) 0. (Input) (1) Pattern d tranng, dove N=a+b; a pattern hanno etchetta b pattern hanno etchetta ; (2) Il numero d classfcator da combnare. 1. (Inzalzzazone) per pattern con etchetta per pattern con etchetta 2. (Costruzone del classfcatore) Per m = 1,..,: (1) Scegl l classfcatore debole ottmale h m che mnmzz l errore pesato (2) Scegl m (3) Aggorna pes e normalzzal. 3. (Output) (1) Classfcatore (2) Classfcazone de pattern d tranng 42 21

22 43 Classfcator robust n cascata Un solo classfcatore robusto, per quanto elmn una grande porzone d sottofnestre che non contengono facce, non soddsfa requst d applcazon n termn d effcenza e d percentuale molto bassa d fals allarm. Una possble soluzone consste nell mpego d classfcator n cascata, va va pù compless. IAGE SUB-WINDOW Esempo T T T 50% 20% 2% 1 Feature 5 Feature 20 Feature F NON-VOLTO F NON-VOLTO F NON-VOLTO VOLTO Un classfcatore per una sola feature resce a passare al secondo stado la quas totaltà de volt esstent (crca 100%) mentre scarta al contempo l 50% de fals volt. Un classfcatore per 5 feature raggunge quas l 100% d detecton rate e l 40% d false postve rate (20% cumulatvo) usando dat dello stado precedente. Un classfcatore per 20 feature raggunge quas l 100% d detecton rate con 10% d false postve rate (2% cumulatvo)

23 45 Parametrc model fttng Lnea y = mx + c Cercho r 2 = x x c 2 + y y c 2 x x c a Ellsse 2 + y y c b 2 =1 46 Edge e modell parametrc 23

24 47 Trasformata d Hough Vene defnto uno spazo d parametr n cu ogn punto è assocable a una soluzone del problema. Lo spazo vene dscretzzato e gestto come una matrce multdmensonale (denomnata array d accumulator) le cu entry sono dette celle. Per esegure la trasformata s esegue una scansone dell mmagne: ogn pxel vota per una o pù celle dello spazo d parametr ncrementandone la probabltà. Al termne della scansone le celle che hanno accumulato valor pù elevat ndcano le soluzon pù probabl del problema. La defnzone dello spazo d parametr e de meccansm d voto dpendono dal tpo d oggetto che s vuole dentfcare. Sebbene la trasformata d Hough sa rtenuta da alcun computazonalmente molto costosa, e qund dffclmente utlzzable n applcazon run-tme, attraverso: l uso del gradente, l calcolo n artmetca ntera, l pre-calcolo d valor e approcc mult-rsoluzone possono essere ottenute mplementazon molto effcent (pù effcent d correlazone). 48 Trasformata d Hough: rette (1) Ogn retta nel pano x, y può essere descrtta dall equazone: y mx c y c x m Lo spazo de parametr (m, c) vene dscretzzato e codfcato da un array bdmensonale A[m 1 m 2... m r ][c 1 c 2... c s ]. 24

25 49 Trasformata d Hough: rette (2) Durante la scansone dell mmagne ogn pxel attvo (x, y) ndvdua una retta nello spazo de parametr: fssat x e y nell equazone della retta, per ogn valore dscreto d m, =1..r s determna l corrspondente c j e s ncrementa A[m ][c j ]. Al termne della scansone massm dell array A denotano le rette canddate present sull mmagne. Nella pratca per la localzzazone d rette con trasformata d Hough s prefersce la parametrzzazone n coordnate polar: ρ x cosθ y sn θ n quanto la dscretzzazone de parametr (m, c) comporta problem per rette vertcal o quas vertcal. In questo caso durante l cclo nterno s calcola l valore d per dvers valor dscret d. Trasformata d Hough: rette (3) 50 Gradente (Sobel) Bnarzzazone (Sogla Globale) Le 30 rette pù probabl localzzate con trasf. Hough 25

26 51 Trasformata d Hough: crconferenze (1) Ogn crconferenza nel pano x y è essere descrtta dall equazone: r x x 2 2 c y 2 y La trasformata può essere mpegata per localzzare crconferenze d raggo prefssato: n questo caso r è costante e l array degl accumulator è bdmensonale: A[x c1 x c2... x cr ][y c1 y c2... y cs ] c Se nvece s desderano tutte le crconferenze l cu raggo rcade entro un range prefssato, lo spazo de parametr (x c, y c, r) vene dscretzzato e codfcato da un array trdmensonale A[x c1 x c2... x cr ][y c1 y c2... y cs ][r 1 r 2... r t ]. In questo caso la complesstà computazonale è ovvamente superore. Trasformata d Hough: crconferenze (2) 52 Bord (Canny) e bnarzzazone Le 30 crconferenze pù probabl 26

27 53 Trasformata d Hough: ellss Nell approcco base è suffcente sostture l equazone dell ellsse a quella del cercho: x x a c 2 y y b c 2 1 Da notare però che parametr sono n questo caso 4 e per ottenere mplementazon effcent è necessaro adottare semplfcazon. Hough per la localzzazone del volto Immagne delle orentazon local (mult-rsoluzone) 54 Trasformata Hough sulle orentazon (spazo Hough) Template atchng (su orentazon) 27

28 55 L mmagne drezonale 56 L algortmo... trasformata generalzzata d Hough calcolata sull mmagne delle orentazon D Vene utlzzato un array d accumulator A bdmensonale (le due dmenson corrspondono alle possbl coordnate dscrete del centro d ellss): (x 2,y 2 ) a (x 0,y 0 ) d b C (x 1,y 1 ) per ogn elemento dd s calcola un template T per l aggornamento d A tenendo conto d: un range d varazone a mn a a max, b mn b b max un errore angolare l algortmo d Hough Reset A " elemento dd { Tcalcola template( (x 0,y 0 ), ); } "pxel (x,y) T A[x,y] = A[x,y] + s Rcerca massm n A 28

29 57 Esemp ed error 58 Un mplementazone effcente Dscretzzazone degl angol degl element d D (256 valor per 180 grad) Pre-Calcolo de template T; operando n coordnate relatve rspetto al centro dell ellsse l numero d dvers template corrsponde al numero d dverse orentazon (256). orentazone coordnate relatve de pxel del template (20,23) (20,25) (18,22) (15,26) (13,27) Dscretzzazone omogenea d A e D. 29

30 59 Raffnamento del rsultato Un passo d localzzazone fne è necessaro per: scartare massm d Hough che pur essendo ellss non sono volt localzzare pù esattamente l centro Un esempo d template drezonal usat per l template matchng n un ntorno delle poszon dentfcate dal prmo stado (Hough). L mmagne delle orentazon vene localmente r-camponata a maggore rsoluzone per ottenere maggore accuratezza. 60 Rsultat 30

31 61 Un altro esempo Allneamento e confronto d mpronte dgtal olte tecnche d rconoscmento s basano sull anals delle mnuze corrspondent a punt dell mmagne n cu le rdge lne termnano o s bforcano. Ogn mnuza è rappresentata da una poszone e da un orentazone. Due mnuze sono "compatbl" se sono vcne spazalmente e hanno un orentazone smle. m 5 m 3 m 2 m 1 m 6 m 5 m 4 m 4 m 1 m 2 m 6 m 3 Pont Pattern atchng Sano T e I le due rappresentazon del template e dell mmagne n nput rspettvamente. Nel matchng basato su mnuze la rappresentazone d un mpronta è un vettore d feature d lunghezza varable contenente le mnuze. Generalmente una mnuza è rappresentata dalla terna m={x,y,θ} che ndca le coordnate della mnuza e la sua orentazone, anche se è possble usare molt altr attrbut (es. tpo d mnuza, qualtà, ecc.): T = {m 1, m 2,, m m } m ={x,y,θ } =1,,m I = {m 1, m 2,, m n } m j ={x j,y j,θ j } j=1,,n dove m e n ndcano l numero d mnuze n T e I rspettvamente

32 63 Formulazone del problema (2) Una mnuza m j n I e una mnuza m n T s consderano corrspondent se la loro dstanza spazale (sd) è nferore a una sogla r 0 e la dfferenza tra le orentazon è nferore a una sogla θ 0 : sd dd 2 2 m j, m xj x yj y r0, m, mn,360 j m j j 0 Le tolleranze r 0 e θ 0 sono necessare per compensare possbl error d estrazone delle feature e per gestre n parte le dstorson della pelle che determnano uno spostamento delle mnuze. Formulazone del problema (3) L allneamento delle due mpronte è un passo fondamentale per massmzzare l numero d mnuze corrspondent. L allneamento corretto rchede certamente una traslazone (n x e y) e una rotazone, ma può comportare anche altre trasformazon geometrche: cambamento d scala (quando la rsoluzone delle due mpronte è dversa a causa d una dversa rsoluzone dello scanner); altre trasformazon geometrche tollerant alla dstorsone. Attenzone! Tollerare un numero elevato d trasformazon ntroduce ulteror grad d lbertà nell algortmo d matchng, rendendo possble un numero molto superore d allneament e aumentando d conseguenza anche la possbltà d commettere error

33 65 Formulazone del problema (4) Sa map(.) la funzone che mappa una mnuza m j d I nella mnuza m j sulla base d una determnata trasformazone geometrca; per esempo s consder una traslazone d [x, y] e una rotazone n senso antoraro attorno all orgne: m { x, y, } { x, y } map, x, y, j j j j m j x j cos y j sn sn xj x cos yj y Indchamo con mm(.) una funzone che resttusce 1 se due mnuze corrspondono n base alle sogle fssate: mm m, m j 1 0 sd m, m r e ddm, m j altrment. j j j 0 j 0 Formulazone del problema (5) Il problema del matchng può essere formulato come: maxmze x, y,, P m 1 dove P() è una funzone gnota che determna gl accoppament tra le mnuze d I e T; n partcolare ogn mnuza ha una sola compagna nell altra mpronta o non ha nessuna corrspondenza: P()=j ndca che la compagna d m n T è la mnuza m j n I; P()=null ndca che la mnuza m n T non ha corrspondenze n I; Una mnuza m j n I, tale che " = 1..m, P() j non ha compagne n T; " = 1..m, k = 1..m, k P() P(k) or P() = P(k) = null mm map x, y, m P, m 66 33

34 67 Problem nel mappng d mnuze nuze d I mappate nelle coordnate d T per un dato allneamento. La mnuza m 1 d T e la mnuza m 3 d I non hanno una compagna. Le mnuze m 3 e m 6 non possono essere abbnate a causa dell elevata dfferenza d orentazone. m m 2 2 m 1 m 1 m 1 m 1 m 2 m 5 m 3 m 2 m 6 m 5 m 4 m 6 m 3 Se m 1 fosse abbnata a m 2 (la mnuza pù vcna) m 2 non potrebbe essere abbnata; abbnare m 1 con m 1 permette d abbnare m 2 con m 2. m 4 68 Calcolo dello score I sstem automatc d rconoscmento d mpronte devono restture n output uno score normalzzato tra 0 e 1. Dato l numero k d mnuze corrspondent: score n m / 2 S possono adottare alcun accorgment: Usare la qualtà delle mnuze per pesare n modo dverso l contrbuto d mnuze d alta qualtà e d bassa qualtà. Per non penalzzare eccessvamente le mpronte che presentano una scarsa sovrapposzone con l template, come fattore d normalzzazone anzché (n+m)/2 s può usare l numero d mnuze che s trovano nell ntersezone delle due mpronte dopo aver determnato l allneamento ottmale. k 34

35 69 atchng globale: approcco basato su trasformata d Hough (1) L applcazone della trasformata d Hough prevede la defnzone d uno spazo d parametr n cu ogn punto è assocable a una soluzone del problema. Lo spazo è dscretzzato e gestto come una matrce multdmensonale (denomnata array d accumulator) le cu entry sono dette celle. Per esegure la trasformata s esegue una scansone dell mmagne: ogn pxel vota per una o pù celle dello spazo d parametr ncrementandone la probabltà. Al termne della scansone le celle che hanno accumulato valor pù elevat ndcano le soluzon pù probabl del problema. La defnzone dello spazo d parametr e de meccansm d voto dpendono dal tpo d oggetto che s vuole dentfcare. 70, atchng globale: approcco basato su trasformata d Hough (2) Nel caso delle mpronte lo spazo delle trasformazon è costtuto da quadruple (x, y,, s), dove x e y rappresentano parametr d traslazone, è la rotazone e s corrsponde al cambamento d scala. Cascun parametro è dscretzzato n un nseme fnto d valor: { x, x,..., x }, y { y, y,..., y } x 1 2 a 1 2 {,..., }, s { s,s,..., s } 1, 2 c 1 2 d b N.K. Ratha, K. Karu, S. Chen, A.K. Jan, A Real-Tme atchng System for Large Fngerprnt Databases, IEEE Transactons on Pattern Analyss and achne Intellgence, vol. 18, no. 8, pp ,

36 71 atchng globale: approcco basato su trasformata d Hough (3) S crea un array a 4 dmenson (una per ogn parametro) e vot sono accumulat con l seguente algortmo: for each m, = 1..m for each m' j, j = 1..n for each { } 1, 2,..., c f dd j, 0 // le drezon delle mnuze dopo la rotazone sono abbastanza vcne for each s { } s 1, s 2,..., sd { // la funzone map nclude cambament d scala x x cos sn x j s y y sn cos y j x +, y + = approssmazone d x, y al bn pù vcno A[x +, y +, +, s + ] = A[x +, y +, +, s + ] + 1 } 36