Fusione di Informazioni nei Sistemi Biometrici Multimodali

Transcript

1 Fusione di Informazioni nei Sistemi Biometrici Multimodali Maria De Marsico in collaborazione con BIP-Lab Laboratorio di Biometria e Image Processing Workshop di Dipartimento 22 settembre 2009

2 I sistemi biometrici Breve introduzione Sistemi Multibiometrici Normalizzazione dei dati Sommario della Presentazione Funzioni esistenti Quasi Linear Sigmoid Function (QLS) System Response Reliability Approcci esistenti basati sui margini Gli indici di affidabilità proposti SRR I e SRR II Fusione Supervisionata Il Supervisore Prestazioni con il Supervisore Cross Testing Protocol L architettura Prestazioni Conclusioni

3 Perché i sistemi biometrici Attualmente l autenticazione viene effettuata secondo due modalità: Qualcosa che si possiede: un tesserino o un documento ma può essere perso o rubato Qualcosa che si conosce: una password o una parola d ordine ma può essere indovinata, carpita o dimenticata

4 Perché i sistemi biometrici Basati su ciò che si è Chiave biometrica

5 Perché i sistemi biometrici Nonna, ti spiace se ti scansiono l iride? l

6 Architettura di un Sistema Biometrico Registrazione: Cattura ed elaborazione dei dati biometrici degli utenti (chiavi biometriche) che verranno utilizzati nelle successive operazioni di autenticazione. Acquisizione Estrazione delle Caratteristiche Archivio (Gallery) Vettore Chiave biometrica Acquisizione Archivio (Gallery) Estrazione delle Caratteristiche Confronto Misura di somiglianza Vettore Chiave biometrica Soglia Verifica/Identificazione: Cattura ed elaborazione dei dati biometrici degli utenti per restitiure una decisione di autenticazione basata sul risultato di una procedura di confronto tra le chiavi biometriche memorizzate e quella estratta dal soggeto da riconoscere Decisione

7 Sistema Biometrico Sistema per il Pattern Recognition Due pattern sono simili se la misura della distanza tra i loro vettori delle caratteristiche, definita in maniera opportuna, è piccola

8 Sistema Biometrico Possibili errori

9 Sistemi con singola biometria vs Sistemi Multibiometrici La maggioranza dei sistemi attuali si basa su una singola biometria. Ciò li rende vulnerabili a possibili attacchi, e poco robusti rispetto a vari problemi. Acquisizione Un sistema multimodale fornisce una soluzione efficace, in quanto si possono compensare I difetti dei singoli sistemi grazie alla disponibilità di diverse biometrie.

10 Aspetti Critici dei Sistemi Multibiometrici Alcuni aspetti critici: Ogni sottosistema assegna ad ogni soggetto una etichetta con un valore numerico (score) ma scale e intervalli possono essere diversi Acquisizione Può succedere che le risposte non abbiano tutte la stessa affidabilità. 0.3 Acquisizione

12 A proposito della normalizzazione In letteratura si trovano varie soluzioni al problema Funzioni di ormalizzazione Min/Max Z-score Median/Mad Sigmoid Tanh s s s min = max min k k s k k = µ σ s' k = s k median MAD s s k ' k 1 = 1+ ce ks k ( sk E[ sk ]) σ ( s ) 1 = tanh k Quando I valori massimi e minimi sono noti,, la procedura è semplice. Abbiamo assunto di non conoscere il vero massimo raggiunto dalla distanza tra due soggetti.

13 Una nuova funzione di normalizzazione Quasi-Linear Sigmoid (QLS) Le proprietà ricercate per una nuova funzione di normalizzazione sono: Avere come codominio l intervallo (0,1); Minima distorsione della distribuzione dei dati di input. Elevata robustezza ad una stima imprecisa del massimo dei valori. Numero limitato di parametri.

14 Una nuova funzione di normalizzazione Deriviamo una nuova funzione F(x) dalla funzione Sigmoide f(x), definita come 1 f ( x) = kx 1 + ce riducendone la distorsione e ottenendo un comportamento pseudo-lineare nell intero codominio pur preservando la proprietà F(x) [0,1) /(1+500 exp(-2 x)) x /(1+500 exp(-2 x)) x

15 Quasi-Linear Sigmoid (QLS) 1 1/(1+500 exp(-2 x)) xmin xmax x [xmin, xmax] è lintervallo in cui la funzione assume un andamento quasi-lineare identifichiamo i punti in cui si annulla la derivata terza

16 Quasi-Linear Sigmoid (QLS) 1 1/(1+500 exp(-2 x)) risolviamo il sistema di due equazioni sapendo che xmin = xmax è l unico parametro incognito x

17 Quasi-Linear Sigmoid (QLS) 1 1/(1+500 exp(-2 x)) x 1/(1+500 exp(-2 x-4))-1/10 1 Dobbiamo poi fare in modo che f(xmin) sia mappato su 0 e f( ) su x

18 Quasi-Linear Sigmoid (QLS) 1 1/(1+500 exp(-2 x-4))-1/ x Infine abbiamo: /9/(1+500 exp(-2 x-4))-1/9 F( x) = 1 L g( x) = 1 b ab x xmax x xmax xmax x con e a = ( 2 + 3) b = ( 7 4 3) pseudo lineare piccola distorsione

19 Esperimenti I database usati sono stati Volto: FERET e AR-Faces (primi 100 soggetti). Orecchio: Notre-Dame (primi 100 soggetti). Prestazioni misurate in base a Recognition Rate e Equal Error Rate (EER).

20 Prestazioni di sistemi biometrici con diverse funzioni di normalizzazione Volto Sistema min max z scores Median mad Prestazioni sigmoid QLS RR 93% 93% 93% 93% 93% EER Orecchio RR 72% 72% 72% 72% 72% EER Face Volto Orecchio Ear RR 95% 93% 93% 94% 98% EER

21 QLS e Min-Max, Max, per una stima errata dello score massimo del volto Sistema Min/ max Score Massimo sovrastimato QLS Min/ max Score Massimo sottostimato QLS Volto RR 93% 93% 38% 93% Orecchio Volto Orecchio EER RR 72% 72% 72% 72% EER RR 78% 78% 81% 97% EER

22 QLS e Min-Max, Max, per una stima errata dello score massimo del volto Volto Orecchio Sistema Volto Orecchio Min/ max Score Massimo sovrastimato QLS Min/ max Score Massimo sottostimato QLS RR 93% 93% 38% 93% EER RR 72% 72% 72% 72% EER RR 78% 78% 81% 97% EER

23 QLS e Min-Max, Max, per una stima errata dello score massimo del volto Volto Orecchio Sistema Volto Orecchio Min/ max Score Massimo sovrastimato QLS Min/ max Score Massimo sottostimato QLS RR 93% 93% 38% 93% EER RR 72% 72% 72% 72% EER RR 78% 78% 81% 97% EER

25 Affidabilità di un sistema di identificazione A causa della possibile differente qualità dei dati in input ai diversi sottosistemi,, e alla possibile differente accuratezza delle procedure di riconoscimento, può succedere che non tutte le risposte sono affidabili nello stess modo. La definizione di una misura per l affidabilità di ogni singola risposta di un sottosistema risulta significativa per fondere I singoli risultati per ottenere una risposta finale complessiva. Affidabile Non Affidabile Affidabile Non Affidabile Affidabile Non Affidabile

26 Stato dell arte (1) Margini basati sulla qualità (Kryszczuk, Richiardi, Prodanov and Drygajlo): Alcuni esempi dal database BANCA Correlazione con una immagine media La qualità delle immagini di addestramento può essere modellata creando un template medio da tutti i volti, la cui qualità è presa come riferimento Stima della nitidezza di una immagine La mancanza di dettagli dell immagine ad alta frequenza può essere descritta come perdita di nitidezza

27 Stato dell arte (2) Margini basati sulla qualità (Poh and Bengio): Le prestazioni dei sistemi vengono misurate in termini di: Il margine M( ) è definito come:

28 Il Processo di Identificazione Sia A un sistema di identificazione e G la sua galleria di soggetti genuini che sono stati registrati correttamente. Assumiamo che ci siano n>0 acquisizioni per ognuno. Sia p una persona da identificare. Gallery Probe Confrontiamo l immagine di probe con tutte le immagini nella gallery La gallery viene ordinata in base alla distanza dal probe

29 System Response Reliability (SRR) Abbiamo analizzato due diverse misure: Relative distance ϕ ( p) = F ( d ( p g ) F( d ( p, g ), i2 i1 F( d( p, g i G )) = ,5 Relative distance Density Ratio ϕ ( p) =1 b / G 15.5 dove b = { gi k G F ( d ( p, gi )) < 2 F (( d ( p, g1)))} k = 15.0 Density Ratio = 1 3/4 = 0.25

30 System Response Reliability (SRR) uvola attorno al soggetto restituito meno affollata = Risposta più affidabile uvola attorno al soggetto restituito più affollata = Risposta meno affidabile

31 Dobbiamo stabilire un valore ϕ k per l indice di affidabilità che separi i soggetti genuini dagli impostori Il valore ottimo di ϕ k è quello in grado di minimizzare le stime errate della funzione ϕ(p) (p), cioè impostori con ϕ(p) più alto di ϕ k o soggetti genuini con ϕ(p) più basso di ϕ k System Response Reliability SRR raggiunge valori più alti sia per ϕ(p) molto più alto di ϕ k (soggetti genuini) ) e ϕ(p) molto più Per ogni sottosistema si calcola una soglia th al di sopra della quale possiamo considerare soddisfacente l SRR l restituito da un sistema SRR è definito come: ( p) k ( p), ϕ ) ϕ ϕ SRR= S ϕ with S ( ϕ ( p) ( k ( p) 1 ϕ k if ϕ > ϕ k, ϕ k ) = ϕ k otherwise ϕ k

32 Sistem Multimodale Le principali politiche di integrazione sono: OR AND ok ok fail ok fail fail ok ok

33 Prestazioni delle regole di fusione Database Feret Fafb Feret Fafc Feret Dup I Statistiche None SRR I SRR II SIMPLE OR AND OR AND RR 98% 99% 100% 96% 100% EER NRR RR 55% 76% 100% 84% - EER NRR RR 75% 81% 100% 87% 100% EER NRR

34 Prestazioni delle regole di fusione Database Feret Fafb Feret Fafc Feret Dup I Statistiche None SRR I SRR II SIMPLE OR AND OR AND RR 98% 99% 100% 96% 100% EER NRR RR 55% 76% 100% 84% - EER NRR RR 75% 81% 100% 87% 100% EER NRR

35 Prestazioni di SRR I e SRR II Distorsione del volto Luce sinistra Triste Sciarpa Urlo Occhiali Volto Orecchio Statistiche SRR I Volto Orecchio SRR II RR 93% 72% RR 100% 100% EER EER NRR RR 100% 72% RR 100% 100% EER EER NRR RR 80% 72% RR 100% 100% EER EER NRR RR 47% 72% RR 100% 100% EER EER NRR RR 90% 72% RR 100% 100% EER EER NRR 87 70

38 La novità del nostro approccio Abbiamo portato l approccio l multibiometrico fino a considerare il volto come l insieme l di più biometrie Ogni componente è processata da un classificatore dedicato I moduli sono inseriti in una architettura multimodale Misure di affidabilità e politiche di auto-regolazione migliorano la fusione

39 Una proposta per il riconoscimento del volto Segmentazione del volto Il volto viene segmentato in quattro regioni differenti (occhi, naso, bocca) e ognuna viene elaborata separatamente. In questo modo il procedimento di estrazione delle caratteristiche viene reso locale e l effetto di parziali occlusioni sul volto viene mitigato.

40 Plain Component-Based Protocol T 1 PIFS PIFS v 1 Component Face Detector T 2 T 3 v 2 PIFS PIFS PIFS v 3 Chaining Feature Vectors v DB Faces v DB Matcher T 4 PIFS v 4 PIFS

41 Parallel Protocol T 1 DB v Left db Eye srr 1 PIFS PIFS v 1 Matcher s 1 T 2 DB v Right db Eye srr 2 Component Face Detector T 3 PIFS PIFS v 2 DB v Nose db Matcher s 2 srr 3 Score Normalizer Fusion PIFS PIFS v 3 Matcher s 3 T 4 DB v Mouth db srr 4 PIFS PIFS v 4 Matcher s 4

43 Il Supervisore Caso I: una identità ottiene più voti T T T T Score Normalizer Supervisor? If srr k <th k diminuire th k, k={1,2,3} If srr k >th k diminuire th k, k={4} 4 Caso II: più identità condividono un numero massimo di voti Supervisor T 1 T 1 T 2 T 2 T 3 T 3 T 4 T 4? k srr k >th k con k={1,2,...} k max =argmax { srr k srr k >th k } Supponiamo k max = 2 For k={2,4} If srr k <th k diminuire th k For k={1,3} If srr k >th k diminuire th k, else la risposta è inaffidabile

44 > th 1 0/ 1 > th 2 0/ 1 > th 3 0/ 1 > th 4 0/ 1 I 1 I 2 I 3 I 4 Output Il Modulo Supervisore 1. while(true) Acquire a new face; 4. Split the face in 4 regions R k ; foreach k 7. u k = Submit R k to the Subsystem T k ; if(more I j share the same maximum number of voting T k ) 11. if(srr k >th k for at least one such T k ) 12. Select among those I j the one with the highest SRR k >th k ; Set response as reliable; else Set response as unreliable; else if(one I j got more votes) Set response as reliable; if response is RELIABLE 23. foreach T k 24. if(t k rated the returned I j ) 25. if(srr k <th k ) 26. Set the weight u k =-us; 27. else if(srr k >th k ) 28. Set u k =+us; Update th k = th k + u k ; Identity Processor SRR Processor CPU

45 Database AR-Faces Le configurazione delle soglie iniziali è {th 1 = 0.0, th 2 = 0.0, th 3 = 0.0, th 4 = 0.0}, cioè tutte le risposte sono inizialmente considerate affidabili. Lo step di aggiornamento è fissato a Sets di immagini dal database AR-Faces Set 1 Normale Set 2 Sorriso Set 3 Triste Set 4 Urlo Set 5 Luce destra Set 6 Luce sinistra Set 8 Occhiali Set 11 Sciarpa

46 Domanda - 1 Le soglie convergono? Per questo esperimento, il set 1 viene usato come gallery, mentre 100 diverse sequenze di probe sono estratte dal set 2. Ogni sequenza di probe viene costruita estraendo a caso 1000 volte una delle 126 immagini dal set di probe.

47 Risposta - 1 Le soglie th 1 and th 2 (occhio destro e sinistro) tendono ad assumere valori più bassi di th 3 and th 4 (naso e bocca). Tutti I valori mostrano una variazione iniziale,, e poi rimangono pressochè costanti per tutto il resto della sequenza. Osserviamo che le immagini del set 2 appartengono a soggetti sorridenti, quindi naso e bocca mostrano una variabilità maggiore degli occhi.. I rispettivi sottosistemi sono quindi meno affidabili,, e quindi richiedonovalori più alti per le soglie. La linea più scura è il valore medio delle 100 curve calcolate e quindi rappresenta la tendenza media per le variazioni delle soglie.

48 Domanda - 2 I valori iniziali delle soglie influenzano il comportamento del sistema? Anche in questo caso, abbiamo considerato 100 sequenze di probe di 100 immagini ciascuna, estratte a caso dalle 126 del set 2. Per ogni sequenza, il valore iniziale delle soglie è stato scelto a caso nell intervallo [0, 1]

49 Risposta - 2 I risultati per valori iniziali differenti delle soglie mostrano che le curve generate dalle diverse sequenze di probe tendono sempre a concentrarsi in un intervallo finale relativamente ristretto. Ciò conferma la convergenza della procedura di update.

50 Supervised Protocol T 1 DB v Left db Eye srr 1 PIFS PIFS v 1 Matcher s 1 Supervisor Module T 2 DB v Right db Eye srr 2 Component Face Detector T 3 PIFS PIFS v 2 DB v Nose db Matcher s 2 srr 3 Score Normalizer PIFS PIFS v 3 Matcher s 3 T 4 DB v Mouth db srr 4 PIFS PIFS v 4 Matcher s 4

51 Risultati Sperimentali su AR-Faces (Database di Volti) PP offre a volte prestazioni peggiori di PCBP, che è in generale robusto ad occlusioni e distorsioni locali. Questo può dipendere dal fatto che i singoli sottosistemi non hanno informazioni su cosa fanno gli altri. PCBP = Plain Component Based Protocol PP = Parallel Protocol SP = Supervised Protocol Sottoinsieme PCBP PP PERF. RR SET 2 EER SMILE NRR SET 3 ANGRY SET 4 SCREAM RR EER NRR RR EER NRR Variazioni di Espressione SP th 1 th 2 th 3 th

52 Risultati Sperimentali su AR-Faces (Database di Volti) Sottoinsieme SET 5 LEFT LIGHT SET 6 RIGHT LIGHT PCBP VARIAZIONI DI ILLUMINAZIONE PP PERF. RR EER NRR RR EER NRR SP th 1 th 2 th 3 th Come ci si poteva aspettare, le prestazioni di PCPB sono costantemente peggiori di quelle ottenute con il Supervisore. Possiamo osservare che anche quando l accuratezza di SP cade leggermente al di sotto di quella di PP (set 5 e 6), questo fatto è controbilanciato da un numero più alto di risposte considerate affidabili.

53 Risultati Sperimentali su AR-Faces (Database di Volti) Sottoinsiemi SET 8 SUN GLASSE S SET 11 SCARF PCBP PP RR EER NRR RR EER NRR OCCLUSIONI SP PERF. th 1 th 2 th 3 th Gli insiemi di equilibrio delle soglie raggiunti dai sistemi si accordano con le variazioni introdotte nei diversi set di immagini. Il numero di risposte affidabili per SP scende fino a 50 per gli occhiali da sole (set 8) e 115 per la sciarpa (set 11). Ciò è in accordo con le nostre aspettative, in quanto le distorsioni introdotte coinvolgono una porzione del volto significativa. In ogni caso, a parte un numero basso di risposte attendibili, il sistema è in grado in entrambi I casi di garantire una accuratezza significativamente maggiore rispetto a PCBP (RR di 0.98 contro 0.71 e di 0.92 contro 0.85) e un EER più basso.

55 -Cross Testing Protocol DB L B2 B 1 Feature Ext. Comp. List of M candidates L B B 1 S S S S DB L B1 B 2 Feature Ext. Comp. List of M candidates L B B 2 S S S S Majority Minimum score DB L B1 L B - 1 B N Feature Ext. Comp. List of M candidates B 3 S S S S Phase I: Identification Phase II: Verification Phase III: Decision

56 -Cross Testing Protocol con SRR B 1 S S S S B 2 S S S S Scores Majority maximum SRRSRR B 3 S S S 2 S 1 Phase II: Verification Phase III: Decision -Cross Testing Protocol con Supervisore B 1 S S S S B 2 S S S S B 3 S S First ID in the merged list SRR Supervisor List S 2 S 1 Phase II: Verification Phase III: Decision

57 -Cross Testing Protocol - Risultati DATA SETS SIMPLE -CROSS-TESTI G ARCHITETTURE RELIABLE -CROSS-TESTI G SUPERVISED -CROSS-TESTI G RR EER NRR RR EER NRR RR EER NRR SET SET SET SET SET SET SET

59 Conclusioni I sistemi Multimodali risolvono alcuni problemi di quelli monomodali Tuttavia, occorre considerare alcuni limiti attuali: a) i sottosistemi non comunicano tra loro b) i sottosistemi non ottengono feedback dalla risposta finale Abbiamo proposto soluzioni per entrambi i problemi Abbiamo portato questo approccio alle estreme conseguenze dividendo il volto in diverse biometrie, e ottenendo notevoli risultati in termini di miglioramento delle prestazioni. Problema aperto: misurare l affidabilità del sistema globale

60