Riconoscimento di facce in immagini generiche.

Transcript

1 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 1 Riconoscimento di facce in immagini generiche. di Emanuele Torrenti Abstract Nell'articolo di due studiosi dell'università Jiao Tong di Shanghai, Zhi-Gang Fan e Bao-Liang Lu, qui analizzato, dal titolo Fast recognition of multi-view faces with feature selection, viene proposto un metodo discriminativo per il riconoscimento di facce in vista multipla, con selezione delle caratteristiche, utilizzando support vector machines. Sfruttando la relazione statistica fra selezione delle caratteristiche e classificazione multi-classe, i due compiti vengono integrati in un'unica struttura perseguendo efficacemente l'obiettivo di una selezione discriminativa di caratteristiche. Il processo di classificazione può essere reso più veloce senza degradare le prestazioni di generalizzazione per mezzo del metodo proposto. Gli esperimenti condotti sul database UMIST, contenente facce in vista multipla, mostrano come il metodo proposto possa accelerare il processo di riconoscimento senza inficiare il tasso di successo, surclassando in prestazioni i tradizionali metodo di subspazio kernel. Keywords: Face Recognition, Machine Learning, Multiclass Classification, Support Vector Machines. 1 Introduzione Il riconoscimento di facce in vista multipla è un compito complesso, ancor più del riconoscimento in vista frontale. Diverse tecniche di riconoscimento sono state sviluppate nel corso degli ultimi decenni, ma molte sono applicabili solo alle facce in vista frontale. Le difficoltà nel riconoscimento in viste multiple sono ovvie, a causa di manifold non lineari presenti nello spazio dei dati. La comprensione della struttura globale di tali manifold è la chiave per la risoluzione di questo problema. 1.1 Metodi alternativi I metodi subspaziali rappresentano il classico paradigma per il riconoscimento facciale[16]. Il metodo Eigenface rappresenta una prima innovazione rispetto alle precedenti tecniche. Esso utilizza la Principal Component Analysis(PCA) per generare un sottospazio che sia più espressivo per il riconoscimento e la rappresentazione di facce. La PCA è una tecnica per la riduzione della dimensionalità, ed è anche nota come trasformata discreta di Karhunen-Loeve. Dato uno spazio ad alta dimensionalità in input, ovvero lo spazio delle immagini a livelli di grigio, di dimensione n, pari al numero di pixel, questo viene mappato mediante una trasformazione lineare in uno spazio a ridotta dimensionalità, lo spazio delle caratteristiche, di dimensione m. Una tale trasformazione è schematizzabile come segue: y k =W T x k k =1,2,..., n 1 dove y k sono i vettori di caratteristiche, di dimensione m; W è una matrice di trasformazione di dimensione n x m con colonne ortonormali e x k sono i vettori di input, di dimensione n. La matrice W deve essere scelta come quella che massimizzi la dispersione dei vettori y. Uno svantaggio di tale approccio consiste nel fatto che la dispersione che si tenta di massimizzare non è dipendente soltanto dalla dispersione presente fra le classi, ma sovente si tratta di una dispersione entro la classe [2]. Il primo tipo di dispersione è certamente utile ai fini della classificazione; il secondo tipo certamente no, poiché si tratta di informazione non voluta. Ad esempio, la maggior parte della variazione fra le classi è data da differenze di luminosità [2]. Se la PCA opera su immagini con differenti condizioni di luminosità, la matrice W ottima conterrà componenti tali da proiettare nello spazio delle caratteristiche le variazioni dovuti a tali differenze di illuminazione. Per ovviare a questo inconveniente, è stato proposto di scartare le prime tre componenti principali, in modo da scartare le differenze causate dall'illuminazione; ciò, purtroppo, non è sempre corretto ed un simile approccio rischia di far perdere informazioni utili ai fini della classificazione [2]. Figura 1: Alcune Eigenfaces provenienti dai laboratori AT&T di Cambridge. Fonte: Wikipedia Il metodo Fisherfaces, proposto in [2], è un esempio di

2 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 2 metodo subspaziale discriminante. Esso utilizza la Linear Discriminant Analysis(LDA) di Fisher per la ricerca di un insieme di caratteristiche che possano separare al meglio classi di facce, realizzando allo stesso tempo una riduzione della dimensionalità prima della classificazione. Ciascuna nuova dimensione è una combinazione lineare dei valori dei pixel e forma un template. Le combinazioni lineari ottenute per mezzo della LDA di Fisher sono dette Fisherfaces. Anche questo metodo adotta una trasformazione lineare per mezzo di una matrice W, tale da massimizzare il rapporto fra dispersione fra classi e dispersione entro la classe. metodo LDA è introdotta per risolvere efficacemente i problemi non lineari e derivare un insieme di vettori di base che siano un discriminante ottimale nello spazio delle caratteristiche. Per meglio comprendere il motivo per cui spesso occorre mappare lo spazio di input in uno a dimensionalità maggiore, si consideri il seguente esempio, tratto da [13]. Figura 2: L'immagine di sinistra, tratta dal database Yale, rappresenta una persona che indossa degli occhiali. L'immagine di destra è una Fisherface utilizzata in [2] per determinare se una persona indossa degli occhiali. L'algoritmo Bayesiano, che utilizza un sottospazio probabilistico è proposto in [11] e risolve il problema della classificazione attraverso la classificazione di variazioni intrapersonali ed extrapersonali. La Independent Component Analysis(ICA) rappresenta una generalizzazione della Principal Component Analysis, ed è stata applicata al riconoscimento di facce in [1]. Essa produce un sottospazio non ortogonale per la rappresentazione ed il riconoscimento di facce. In [1], il riconoscimento viene effettuato mediante combinazione dei risultati di due architetture. Nella prima, si trattano le immagini come variabili aleatorie ed i pixel come risultati; nella seconda, le immagini sono trattate come risultati ed i pixel come variabili aleatorie. Tuttavia, tutti i metodi lineari appena menzionati non sono applicabili al riconoscimento di facce in viste multiple a causa della distribuzione non lineare di pattern facciali. A causa di questi problemi non lineari, sono stati proposti, negli ultimi anni, alcuni metodi alcuni metodi di subspazio kernel. Questi metodi subspaziali non lineari combinano i punti di forza dei tradizionali metodi subspaziali e gli algoritmi kernel-machine per la risoluzione di problemi non lineari. Il metodo Kernel PCA[13] combina la PCA e le kernel machine per formare un metodo PCA non lineare. La Kernel Direct Discriminant Analysis(KDDA)[10] combina i punti di forza dei metodi LDA e degli algoritmi kernel machine per il riconoscimento di facce. Inizialmente, lo spazio dato in input viene mappato in maniera non lineare in uno spazio di caratteristiche implicito e ad alta dimensionalità, nel quale si spera che la distribuzione di pattern facciali sia linearizzata e semplificata. Successivamente, una nuova variante del Figura 3: Problema con due classi di dati non linearmente separabili in R 2 In figura 3 è possibile osservare un esempio di problema con due classi di dati non linearmente separabili in R 2. Le due classi sarebbero certamente separabili da una superficie decisionale quadratica(come un'ellisse o una circonferenza, ad esempio). Tuttavia, mappando lo spazio di input in uno tridimensionale: Figura 4: Il problema di figura 3 mappato in uno spazio tridimensionale, nel quale le classi sono linearmente separabili. le classi diventano linearmente separabili. In questo esempio è stata utilizzata una trasformazione del tipo x 1, x 2 x 1, x 2, x 1 2 x 2 2. Tuttavia, la miglior separabilità ottenibile con l'aumento della dimensionalità si paga con una maggiore complessità computazionale [13]. Tuttavia, questi metodi kernel non riescono ancora risolvere in maniera efficace problemi di esempio di dimensione

3 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 3 limitata. Soffrono, infatti, del cosiddetto small sample size problem, riscontrabile nei compiti di pattern recognition ad alta dimensionalità quando il numero di esempi disponibili è inferiore alla loro dimensionalità [10]. Inoltre il loro processo di classificazione risulta oltremodo lento a causa degli enormi tempi di calcolo nelle kernel machine. Per velocizzare il processo di riconoscimento di facce in viste multiple e mantenere le prestazioni di generalizzazione, gli autori propongono un metodo che fa uso di support vector machines(svm). A differenza dei metodi subspaziali, questo metodo di selezione discriminativa di caratteristiche basato su SVM(SVM-DFS) seleziona direttamente più caratteristiche discriminative senza combinare linearmente le caratteristiche originali. Motivato dal successo della teoria dell'apprendimento statistico[15] su piccoli problemi di esempio, il metodo SVM-DFS integra la selezione di caratteristiche e la classificazione multi-classe in un unica e consistente struttura realizzando efficacemente l'obiettivo della selezione discriminativa di caratteristiche, secondo la relazione statistica fra selezione di caratteristiche e classificazione multi-classe. Le SVM sono state progettate originariamente per la classificazione binaria e le SVM multi-classe operano sempre combinando i risultati di molteplici classificatori binari[12]. Sfruttando le caratteristiche delle SVM, è possibile ordinare alcune caratteristiche discriminative per la selezione delle caratteristiche. In [5] un metodo ricorsivo basato su SVM per l'eliminazione di caratteristiche è stato proposto per selezionare caratteristiche per problemi di classificazione binaria. Il metodo SVM-DFS, utilizzando SVM multi-classe, è specificamente pensato per problemi di classificazione multi-classe. Per testare i vantaggi di tale metodo rispetto ai tradizionali metodi di subspazio kernel, sono stati condotti degli esperimenti usando sia SVM-DFS che KDDA per metterli a confronto. 2 Selezione discriminativa di caratteristiche basata su SVM(SVM- DFS) Il metodo proposto da Zhi-Gang Fan e Bao-Liang Lu è detto SVM-DFS. E' pensato per problemi di classificazione multiclasse e fa uso di SVM. 2.1 SVM multi-classe SVM(Support Vector Machine) è una tecnica di machine learning che trae il suo fondamento nella teoria dell'apprendimento statistico. Sulla base del concetto di dimensione VC(Vapnik- Chervonenkis) è possibile ottenere i limiti costruttivi sul tasso di convergenza del processo di apprendimento, che sono indipendenti dalla distribuzione. La dimensione VC di un classificatore è una misura della capacità di un algoritmo di classificazione statistica ed è uno dei concetti chiave dell'omonima teoria sulla classificazione statistica, ad opera di Vapnik e Chervonenkis [15]. In maniera informale, la dimensione VC può essere intesa la complessità del classificatore, ed è pari al numero di vettori che il classificatore è in grado di separare in due classi. Considerando un classificatore lineare, che opera in R 2 (una retta), possiamo affermare che questo ha dimensione VC pari a 3. Già con quattro punti, può risultare impossibile operare una classificazione lineare. E' necessario introdurre un classificatore più complesso, ad esempio una polinomiale, per poter operare la separazione. Figura 5: Separazione fra due classi di dati nel piano. a) E' sempre possibile separare linearmente tre punti; b) Non sempre è possibile farlo per quattro: sarebbe infatti possibile disporre i dati in modo tale che occorrano due iperpiani per la separazione. La dimensione VC del classificatore che opera in R 2 è, dunque, 3. La nuova comprensione del meccanismo dietro la generalizzazione, modifica sia il fondamento teorico della generalizzazione che l'approccio algoritmico al pattern recognition. Le SVM rappresentano un'innovazione teorica ed hanno elevata capacità di generalizzazione e di apprendimento in spazi ad elevata dimensionalità con un numero ridotto di dati di allenamento. Ciò è ottenuto minimizzando sia il limite sull'errore empirico che la complessità del classificatore. Con probabilità almeno 1- h, la disuguaglianza: R R emp h l, log l 2 si mantiene vera per l'insieme delle funzioni limitate. La quantità (1- h) è la confidenza con cui il bound è valido. Nella disuguaglianza, R è il rischio atteso, R emp è il rischio empirico, l è il numero di esempi di allenamento, h è la dimensione VC del classificatore adoperato e.,. è l'indice di confidenza VC del classificatore, che limita l'errore di generalizzazione. La quantità.,. vale: h l, log l = h l 1 log 2l h 1 l log E' noto che all'aumentare di h(dimensione VC), il rischio empirico diminuisce, ma aumenta l'indice di confidenza del classificatore. L'approccio di minimizzazione del rischio strutturale cerca di trovare un compromesso fra i due termini. Il fatto di poter controllare sia l'errore nell'insieme di allenamento sia la complessità del classificatore ha consentito alle SVM di essere applicate con successo a 3

4 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 4 compiti di apprendimento su spazi ad elevata dimensionalità[15]. L'algoritmo SVM formula il problema di allenamento come quello che trova, fra tutti i possibili iperpiani di separazione, quello che massimizza la distanza dall'elemento più vicino delle due classi. In pratica, ciò è determinato risolvendo un problema di programmazione quadratica. La forma generale della funzione decisionale di una SVM per un punto x è data da: f x =sign support vectors y i i K x i, x b dove a i sono i parametri di Lagrange ottenuti nel passo di ottimizzazione; y i sono le etichette di classe e K(.,.) è la funzione di kernel, che può essere di vario tipo. La funzione lineare è K(x,y)= xy; la funzione a base radiale gaussiana(rbf) è K x, y =exp 1 x 2 2 y 2 ; la funzione polinomiale è K x, y = xy 1 n. Le SVM sono originariamente progettate per la classificazione binaria. Le SVM multi-classe sono estensioni delle SVM binarie. Attualmente, esistono due approcci per le SVM multi-classe. Uno consiste nel costruire e combinare diversi classificatori binari, mentre l'altro procede considerando direttamente tutti i dati in una formulazione di ottimizzazione[12]. La combinazione di classificatori binari può avvenire secondo tre modalità: uno contro tutti, uno contro uno, alcuni contro alcuni [9] Metodi per le SVM multi-classe: uno contro tutti e uno contro uno 4 Le SVM uno contro tutti costruiscono k modelli di SVM, dove k è il numero di classi. La i-esima SVM è allenata con tutti gli esempi nella classe i-esima aventi etichetta positiva e tutti gli altri esempi aventi etichetta negativa. Si può determinare che x si trova nella classe avente il più elevato valore della variabile decisionale. numero di classi k nella multi-classificazione è grande, il numero k(k 1)/2 dei classificatori modulari del metodo uno contro uno sarà molto grande e la velocità di risposta all'allenamento del modello finale di classificazione sarà molto lenta. Piuttosto, il metodo uno contro tutti ha soltanto k classificatori modulari e può avere una risposta più veloce rispetto al metodo uno contro uno. Nel lavoro che analizzo, considerando i tempi di risposta dei classificatori, sono state utilizzate SVM multi-classe uno contro tutti. 2.2 Selezione delle caratteristiche nella classificazione binaria Nel caso lineare della classificazione binaria, l'equazione della funzione decisionale può essere formulata come segue(cfr. figura 6): f x =sign w x b dove w è ottenuto a partire da: w= y i i x i support vectors 6 7 Il prodotto interno fra un vettore di pesi w= w 1, w 2,...,w n e un vettore di input x= x 1, x 2,..., x n determina il valore di f(x). Intuitivamente, le caratteristiche in ingresso in un sottoinsieme di x che sono pesate dal sottoinsieme con più grande valore assoluto di w influenzano molto la decisione della classificazione. Se il classificatore opera correttamente, il sottoinsieme di caratteristiche in input con il peso più grande potrebbe corrispondere alla caratteristica con maggior contenuto informativo[5]. Dunque, i pesi w i della funzione di decisione lineare possono essere usati come criteri di ordinamento delle caratteristiche. Secondo tale ordinamento possiamo scegliere la caratteristica più discriminativa per la classificazione binaria. classe di x arg max f i x i [1, k ] 5 Una SVM multi-classe uno contro uno costruisce k(k 1)/2 classificatori in cui ognuno è allenato sui dati delle due classi. La funzione di decisione per la classificazione fra la classe i-esima e la classe j-esima è f ij x. Dopo che tutti i classificatori sono stati costruiti, il testing futuro adopera una strategia di voto di tipo il maggiore vince. Se f ij x indica che x è nella classe i-esima, allora il voto per la classe i-esima viene incrementato di una unità. Altrimenti, viene incrementato il voto per la classe j-esima. A questo punto si predice che x è nella classe con voto più alto. In [12], tutti questi approcci sono studiati con attenzione e viene mostrato come il metodo uno contro tutti sia accurato tanto quanto ogni altro. L'unico metodo di formulazione di ottimizzazione è generalmente complicato e lento ad allenarsi, inoltre non è il più accurato. Quando il

5 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 5 Figura 6: Classificazione binaria. Le due classi sono separate per mezzo di iperpiani. Gli esempi lungo gli iperpiani sono detti vettori di supporto. L'iperpiano centrale è detto ottimo ed ha distanza massima da ambo le classi. Inoltre, i vettori di supporto possono essere usati come prova per l'ordinamento delle caratteristiche[6][3]. Assumendo che la distanza fra l'iperpiano ottimale e i vettori di supporto sia D, l'iperpiano ottimale può essere visto come un iperpiano separatore D-margine posto al centro di un intervallo [-D, D]. Secondo [15], l'insieme degli iperpiani separatori D-margine ha la dimensione VC, h, limitata dalla disuguaglianza: [ h min R2 ], n dove R è un raggio di sfera che limita i vettori x X. La disuguaglianza (8) mostra la relazione fra il margine D e la dimensione VC: un D maggiore implica una dimensione VC minore. Di conseguenza, per ottenere un'elevata capacità di generalizzazione, si dovrebbe mantenere elevato il margine dopo la selezione delle caratteristiche. Tuttavia, a causa del fatto che dopo la selezione delle caratteristiche le dimensioni dello spazio di input vengono ridotte, anche il margine, tipicamente, viene ridotto, ma occorre fare tutto il possibile affinché la riduzione sia quanto più limitata possibile. Quindi, nel processo di selezione delle caratteristiche, si dovrebbero selezionare preferibilmente caratteristiche che rendano il margine più ampio possibile. Questa è un'altra prova per la classificazione delle caratteristiche. Per comprendere ciò, si considerino dei coefficienti c k è dati da: c k = 1 x l i,k 1 x i SV l j,k 9 j SV dove SV indica i vettori di supporto che appartengono agli esempi positivi, SV quelli che appartengono agli esempi negativi, l indica il numero di SV, l indica il numero di SV, x i, k indica la k-esima caratteristica del vettore di supporto i nello spazio di input R n. Il c k più grande indica che la caratteristica k-esima dello spazio di input può dare maggior contributo al mantenimento di un margine ampio. Dunque, può c k assistere w k per l'ordinamento delle caratteristiche. La soluzione consiste nel combinare le due prove, ovvero ordinando le caratteristiche secondo c k w k. Nel caso non lineare della classificazione binaria, una funzione di costo J è calcolata a partire dagli esempi di allenamento per l'ordinamento delle caratteristiche. DJ(i) indica il cambiamento, nella funzione di costo J causato dalla rimozione di una data caratteristica o, in maniera equivalente, portando il suo peso a zero. DJ(i) può essere adoperata come criterio per la classificazione delle caratteristiche. In[5], DJ(i) è calcolata espandendo J nella serie di Taylor del secondo ordine. All'ottimo di J, il termine di primo grado può essere trascurato, producendo: DJ i = J w i 2 Dw i 2 Dove il cambio di peso Dw i corrisponde alla rimozione della caratteristica i. Per le SVM non lineari con funzione di decisione non lineare f(x), la funzione di costo J, essendo minimizzata, è: J = 1 2 T H T v dove H è la matrice con elementi 10 y h y k K x h, x k, è il vettore dei parametri di Lagrange = 1, 1,..., n, e v è un vettore ad n dimensioni di 1(uno) [5]. Per calcolare il cambiamento nella funzione di costo causato dalla rimozione di una componente di input i, è sufficiente lasciare invariato il vettore alfa e ricalcolare la matrice H. Ciò corrisponde a calcolare K(xh ( i), xk ( i)), producendo la matrice H(-i), in cui tale notazione indica la rimozione della caratteristica i-esima. Di conseguenza, il criterio di classificazione delle caratteristiche per le SVM non lineari è: DJ i = 1 2 T H T H i Il calcolo di DJ(i) è un po' più oneroso rispetto al caso lineare. Pertanto, il cambiamento nella matrice H deve essere calcolato solo per i vettori di supporto, il che lo rende accessibile per un piccolo numero di vettori di supporto. Per convenienza di rappresentazione, sia nel caso lineare che in quello non lineare della classificazione binaria, si indicherà il criterio per l'ordinamento delle caratteristiche come r i per l'i-esima caratteristica nello spazio di input R n. Nel caso lineare della classificazione, r i è: r i =c i w i 13

6 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 6 Mentre nel caso non lineare si ha: r i = 1 2 T H T H i 14 Un simile spazio degli eventi, in cui gli eventi sono a due a due disgiunti e la loro unione dà luogo allo spazio stesso è rappresentato in figura 7: Utilizzando il criterio di ordinamento r i, è possibile selezionare più caratteristiche discriminative per la classificazione binaria. 2.3 Selezione delle caratteristiche nella classificazione multi-classe Nel caso della classificazione multi-classe, si utilizzerà il metodo uno contro tutti per le SVM multi-classe. Poiché le SVM sono state pensate originariamente per la classificazione binaria, il modo in cui esse possano essere estese per la classificazione binaria è ancora oggetto di ricerche [12][7]. In [12], tutti gli approcci per le SVM sono studiati con cura, evidenziando come il metodo uno contro tutti sia accurato tanto quanto ogni altro. Nel lavoro analizzato è stato scelto il metodo uno contro tutti poiché esso risponde più velocemente del metodo uno contro uno, soprattutto se il numero di classi è molto elevato. Il problema della classificazione multi classe è molto più difficile rispetto al caso binario quando i dati possiedono un'elevata dimensionalità e la dimensione degli esempi è ridotta. Pare che l'accuratezza della classificazione degradi molto rapidamente al crescere del numero di classi[8], pertanto la selezione delle caratteristiche nella classificazione multi classe è un compito più difficile rispetto al caso binario. Si dovrebbe essere molto attenti nell'estendere la selezione delle caratteristiche dal caso binario a quello multi-classe. Per mezzo della relazione statistica fra la classificazione di caratteristiche e i sotto modelli multipli di SVM multi classe, nel lavoro qui analizzato viene proposto il metodo SVM-DFS per la selezione delle caratteristiche. Le SVM multi-classe uno contro tutti costruiscono k funzioni di decisione, dove k è il numero di classi. La funzione di decisione j-esima, f j x, è costruita con tutti gli esempi nella classe j-esima aventi etichetta positiva e tutti gli altri aventi etichetta negativa. La è u f j x n sotto modello di classificazione binaria per la distinzione della classe j-esima rispetto a tutte le altre. La r ij, calcolata a partire dalla f j x, indica il criterio di ordinamento della caratteristiche relativo alla caratteristica i-esima secondo il sotto modello di classificazione binaria f j x. Nella teoria di probabilità vi sono eventi certi, E, ed eventi impossibili, Ø. Si consideri j l'evento che la classe j- esima sia vera. Secondo la teoria delle probabilità, gli eventi 1, 2,..., k costituiscono una partizione dello spazio degli esempi: E= k e 15 = i j, i j 16 Figura 7: Spazio degli eventi, in cui gli eventi sono a due a due disgiunti. L'unione di tutti gli eventi dà luogo allo spazio degli eventi stesso. Sia P j la probabilità a priori che la classe j-esima sia vera. Si definisca un evento casuale S i come l'i-esima caratteristica è selezionata come caratteristica discriminativa. Sia P S i j la probabilità che accada S i condizionata da j. Quando si ha l'evento, j il j- esimo sotto modello di classificazione binaria, f j x, è efficace per la determinazione del risultato finale di classificazione. Sotto il sotto modello di classificazione, è possibile calcolare P S i j attraverso il criterio di ordinamento delle caratteristiche : r ij P S i j = r ij n r tj t =1 17 Secondo il teorema sulla probabilità totale, P S i può essere calcolato per mezzo di P S i j e P j : k P S i = P S i j P j j=1 18 A questo punto P S i, può essere usato come criterio di classificazione di caratteristiche per l'intero problema di classificazione multi-classe. L'algoritmo SVM-DFS ordina le caratteristiche decrementando il valore di P S i e seleziona le più elevate M caratteristiche come discriminanti, dove M è il numero di caratteristiche da selezionare, che può essere valutato allenando nuovamente i classificatori SVM con le M caratteristiche selezionate. M dovrebbe essere scelto in maniera tale che il margine i di ogni sotto modello SVM f i x riallenato sia ampio a sufficienza. i = 1 w i 19

7 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 7 dove w (i) indica il vettore di pesi del sotto modello. Secondo [15], f i x i dove a j sono i parametri di Lagrange per il sotto modello f i x. Si definisca un coefficiente L: k L= i=i w i 2 = P i E' possibile usare il coefficiente L per valutare M, che può essere scelto in maniera tale che L sia piccolo abbastanza. Dopo che le M caratteristiche discriminative sono state selezionate attraverso il metodo SVM-DFS, i modelli SVM devono essere riallenati usando i dati di allenamento per gli ulteriori compiti di classificazione. 3 Esperimenti support vectors support vectors i j 20 i j 21 Sono stati condotti due insiemi di esperimenti per illustrare l'efficacia dell'algoritmo SVM-DFS. In tutti gli esperimenti riportati di seguito, è stato adoperato il database di facce UMIST[4], un database contenente 575 immagini in scala di grigio in vista multipla di 20 soggetti, che coprono una gran varietà di pose, dal profilo alla vista frontale, nonché di razze, generi e sembianze. Tutte le immagini in ingresso hanno dimensione 112x92 ed i risultanti vettori in ingresso hanno dimensione N= La figura 8 mostra alcuni esempi di immagini di un soggetto nel database. Il database complessivo è partizionato in due sottoinsiemi: l'insieme di allenamento e l'insieme di test. Il primo è composto da 240 immagini: 12 immagini per persona sono scelte con cura secondo la posizione della faccia. Le rimanenti 335 immagini sono usate per comporre l'insieme di test. Tutti gli esperimenti sono effettuati su un PC Pentium 3.0GHz con 1.0 GB di RAM. Per l'allenamento delle SVM il parametro C è impostato a C=10000 e s è impostato ad un valore ottimale nell'intervallo ( ). i tradizionali metodi di subspazio kernel, si utilizzeranno, a parità di condizioni, i metodi KDDA[10] e SVM-DFS, a parità di condizioni. I parametri sperimentali del metodo KDDA sono impostati secondo [10]; inoltre si adopera una funzione di kernel di tipo RBF. In questi esperimenti sul SVM-DFS, il numero di caratteristiche discriminative M selezionate è impostato a 2000, considerando sia il valore del coefficiente L che un compromesso fra tempo di risposta dei classificatori e accuratezza. Durante la selezione delle caratteristiche, il kernel usato da SVM-DFS è sempre di tipo lineare. Metodo Correttezza(%) Tempo di test(s) KDDA SVM-DFS SVM-DFS Tabella 1: Risultati del test. Confronto con il metodo KDDA 3.2 Studio delle prestazioni sotto varie dimensionalità Questo insieme di esperimenti consta di due sottoinsiemi: SVM-DFS-L e SVM-DFS-R. Gli esperimenti nell'insieme SVM-DFS-L adoperano il kernel lineare per la classificazione dopo la selezione delle caratteristiche per mezzo di SVM-DFS. Gli esperimenti nell'insieme SVM- DFS-R adoperano il kernel RBF per la classificazione dopo la selezione delle caratteristiche per mezzo di SVM-DFS. Durante la selezione delle caratteristiche, il kernel utilizzato da SVM-DFS è sempre di tipo lineare. Figura 9: Accuratezza del riconoscimento sotto varie dimensionalità Figura 8: Alcuni esempi di facce di un soggetto del database UMIST 3.1 Confronto con un metodo di subspazio kernel Negli esperimenti, per confrontare il metodo SVM-DFS con La figura 9 mostra l'accuratezza del riconoscimento sotto varie dimensionalità che, di fatto, è il numero di caratteristiche da selezionare. Utilizzando SVM-DFS, un vario numero di caratteristiche è stato selezionato ed è stata studiata la variazione dell'accuratezza causata dalla variazione nella dimensionalità. In figura 9, si può osservare che l'accuratezza è mantenuta in un ampio intervallo di dimensionalità, approssimativamente da 2000 a Inoltre, SVM-DFS-R è più accurato di SVM-DFS-L per basse dimensionalità- L'ovvia ragione di ciò è che SVM- DFS-R adopera un kernel non lineare e può costruire

8 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 8 complicate superfici decisionali non lineari per la classificazione non lineare. Figura 10: Tempo di test sotto varie dimensionalità La figura 10 mostra il tempo di test sotto varie dimensionalità. Il tempo di test è dato dalla somma di tutti i tempi di test di ogni singolo test di esempio. E' possibile notare che il tempo di test decrescere al decrescere della dimensionalità, soprattuto per SVM-DFS-R. Nella tabella 2, in cui lineare indica SVM-DFS-L, e RBF indica SVM-DFS-R, vi sono i risultati complessivi del test complessivo sotto varie dimensionalità. Per mezzo di questi risultati sperimentali, è possibile osservare che SVM-DFS può accelerare il processo di classificazione senza inficiare il tasso di correttezza. Dimensionalità Correttezza(%) Tempo di test(s) Lineare RBF Lineare RBF Tabella 2: Tempi di test sotto varie dimensionalità 4 Conclusioni Nel lavoro qui analizzato è stato presentato un metodo discriminativo con selezione delle caratteristiche, per l'impegnativo compito del riconoscimento di facce in viste multiple: SVM-DFS. Sono stati integrati due compiti, selezione di caratteristiche e classificazione multi-classe, in un unica struttura, realizzando efficacemente il compito della selezione discriminativa di caratteristiche. Alla luce dei risultati sperimentali ottenuti operando sul database UMIST, è possibile osservare che SVM-DFS velocizza il processo di riconoscimento di facce in viste multiple senza inficiare la correttezza del riconoscimento. Per mezzo di un confronto con il metodo KDDA, si è visto che SVM-DFS ha battuto in prestazioni i tradizionali metodi di subspazio kernel. 5 Lavori futuri In lavori futuri, gli autori utilizzeranno la trasformata wavelet per il preprocessamento, prima di usare SVM-DFS. Essi ritengono, infatti che il suo uso possa rendere SVM- DFS più efficiente, rispetto all'analisi sul dominio spaziale, ovvero sui pixel grezzi. Bibliografia [1] M. S. Bartlett, J. R. Movellan, and T. J. Sejnowski. Face recognition by independent component analysis. IEEE Trans. Neural Networks, 13(6): , [2] P. Belhumeur, J. Hespanha, and D. Kriegman. Eigenfaces vs. fisherfaces: Recognition using class specific linear projection. IEEE Trans. Pattern Analysis and Machine Intelligence, 19(7): , [3] Z. G. Fan, K. A. Wang, and B. L. Lu. Feature selection for fast image classification with support vector machines. Proc. ICONIP 2004, LNCS 3316: , [4] D. B. Graham and N. M. Allinson. Characterizing virtual eigensignatures for general purpose face recognition. Face Recognition: From Theory to Applications, NATO ASI Series F, Computer and Systems Sciences, 163: , [5] I. Guyon, J. Weston, S. Barnhill, and V. Vapnik. Gene selection for cancer classification using support vector machines. Machine Learning, 46: , [6] B. Heisele, T. Serre, S. Prentice, and T. Poggio. Hierarchical classification and feature reduction for fast face detection with support vector machine. Pattern Recognition, 36: , [7] C. Hsu and C. Lin. A comparison of methods for multiclass support vector machines. IEEE Trans. Neural Networks, 13(2): , [8] T. Li, C. Zhang, and M. Ogihara. A comparative study of feature selection and multiclass classification methods for tissue classification based on gene expression. Bioinformatics, 20(15): , [9] B. L. Lu, K. A. Wang, M. Utiyama, and H. Isahara. A part-versus-part method for massively parallel training of support vector machines. Proc. IJCNN 2004, pages , [10] J. Lu, K. Plataniotis, and A. Venetsanopoulos. Face recognition using kernel direct discriminant analysis algorithms. IEEE Trans. Neural Networks, 14(1): , 2003.

9 Emanuele Torrenti - Riconoscimento di facce in immagini generiche 9 [11] B. Moghaddam, T. Jebara, and A. Pentland. Bayesian face recognition. Pattern Recognition, 33: , [12] R. Rifkin and A. Klautau. In defense of one-vs-all classification. Journal of Machine Learning Research, 5: , [13] B. Scholkopf, A. Smola, and K. R. Muller. Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 10(5): , [14] M. Turk and A. Pentland. Eigenfaces for recognition. Journal of Cognitive Neuroscience, 3(1):71 86, [15] V. Vapnik. The Nature of Statistical Learning Theory. Springer-Verlag New York, [16] X. Wang and X. Tang. Unified subspace analysis for face recognition. Proc. ICCV 2003, 1: , 2003.