Sommario: Implementazione di un sistema di. riconoscimento volti in una immagine. basato sul metodo proposto da

Transcript

1 TESINA VISIONE E PERCEZIONE Titolo: face detection Sommario: Implementazione di un sistema di riconoscimento volti in una immagine basato sul metodo proposto da Viola e Jones Autori : Mauro Sbarigia(matr: ) Alessio Vaudi (matr: )

2 Descrizione Metodo Nella realizzazione del riconoscitore di volti proposto da Viola e Jones tre sono le componenti che rendono questo riconoscitore uno dei piu' efficienti: 1. L utilizzo di Immagini Integrali 2. La selezione delle caratteristiche importanti attraverso l algoritmo Adaboost 3. Cascata di classificatori. Tale riconoscitore utilizza l'insieme di Feature HaarLike (un insieme derivato da trasformate di Haar),per analizzare le caratteristiche delle immagini. L'utilizzo di tali feature permette di definire un classificatore come un albero decisionale con almeno due foglie, per determinare se una zona di un immagine di input corrisponda a qualche immagine da lui conosciuta. Inizialmente, il nostro classificatore e' stato addestrato con un numero opportuno (via via crescente) di immagini di un oggetto particolare (nel nostro caso facce) denominate esempi positivi (tutti ridotti allo stesso formato 24x24), ed esempi negativi (immagini arbitrarie e quindi NON facce, sempre dello stesso formato). La caratteristica usata in un classificatore e'definita dalla sua forma presentato in seguito, dalla posizione all interno della regione di interesse e dalla scala. Inizialmente abbiamo provato ad utilizzare le seguenti feature: I risultati ottenuti son stati meno buoni del previsto.infatti la nostra cascata restituiva strongclassifier costituiti solo da feature di tipo 'a' e 'c',scartando quindi il tipo 'b'. Raddoppiando l'area centrale di tale feature ed ottendo quindi la seguente caratteristica : abbiamo riscontrato un aumento in percentuale del riconoscimento delle singole immagini. (ad esempio utilizzando 1000 immagini (rappresentanti facce) come test,il classificare riconosceva 871/1000 come positivi,rispetto ai 753/1000 senza l'utilizzo della nuova feature ). Nel nostro codice e' stata presa in considerazione per il tipo b quest'ultima caratteristica.

3 Immagini Integrali In un immagine, calcolare ripetutamente somme di pixel compresi fra aree rettangolari potrebbe risultare molto costoso. Per far si che sia possibile calcolarle molto velocemente sono state introdotte le immagini integrali. Queste immagini di supporto sono calcolate molto semplicemente dalle immagini di input attraverso somme cumulative dei pixel: ogni pixel dell immagine integrale ii(x,y ) corrisponde alla somma dei pixel i(x,y) con x minore di x e y minore di y : ii(x, y ) = i(x, y) x <x, y <y Attraverso le seguenti formule è possibile calcolare l immagine integrale in un solo passo computazionale : s(x, y) = s(x, y 1) + i (x, y) ii (x, y) = ii (x 1, y) + s(x, y) Dove s(x, y) è la soma cumulative della riga. Alla luce di queste formule immediate e semplici, consideriamo l esempio rappresentato in figura 1.2 : La somma dei pixel del punto D può essere calcolata con semplici operazioni sui valori dei punti (1, 2, 3, 4). Il valore del punto 1 corrisponde alla somma cumulativa dei pixel dell area A,; B corrisponde al valore del punto 2 sottratto a quello del punto 1; C è il valore del punto 3 dopo aver sottratto quello del punto 1. Nello specifico i valori sono i seguenti: A = 1. B = 2 1. C = 3 1. D = 4 A B C. D = 4 1 (2 1 ) ( 3 1 ). Figura 1.2

4 Adaboost Per costruire un classificatore si possono utilizzare diversi approcci. Nel riconoscitore che si sta analizzando, l algoritmo Adaboost viene utilizzato sia per analizzare l immagine in input, sia per addestrare i classificatori base. Nella sua forma originale, l algoritmo in questione viene usato per accelerare le performance di classificazione di un algoritmo di apprendimento. In un immagine 24x24 vi sono piu' di caratteristiche haar like da poter prendere in considerazione. Nel caso considerassimo un immagine piu' grande il numero di caratteristiche andrebbe moltiplicato per tutte le sottofinestre di 24x24 pixel che sono presenti nell immagine. E evidente il costo proibitivo che questa procedura richiederebbe.e quindi per calcolarle tutte in maniera rapida si utilizzano le immagini integrali. L algoritmo adaboost si occupa di scegliere la caratteristica piu' importante fra tutte. Ad ogni ciclo Adaboost analizza tutte le caratteristiche tra le piu' di (presenti nell immagine 24x24 positive e negative in tonalita' di grigio) e seleziona quella che compare piu' volte, ovvero la caratteristica piu' frequente,con il miglior epsilon e che minimizza la differenza,e quindi l'errore, tra il vettore delle labels (apprendimento supervisionato)ed il vettore 'e',il cui i esimo elemento rappresenta la classificazione dell'immagine di input(e=1 se l'immagine xi e' una faccia,0 altrimenti). La Cascata di Classificatori Ad ogni passo di boosting viene creato un classificatore base (weak). Per riconoscere la presenza di un oggetto conosciuto in una immagine arbitraria bisognerebbe raccogliere tutti questi classificatori base e sommarli per crearne uno che sia valido per il riconoscimento effettivo dell oggetto, utilizzando questo classificatore generale ( strongclass ) per verificarne la presenza in tutte le possibili sottofinestre 24x24 dell immagine da analizzare. Procedendo in questo modo, il costo computazionale diviene visibilmente proibitivo. L idea di Viola e Jones e quella di utilizzare una struttura a cascata invece del classificatore generale. Come schematizzato in figura : una serie di classificatori vengono applicati a tutte le sotto finestre presenti nellaimmagine. Per ognuna di queste, un risultato positivo dal primo classificatore conduce all analisi di un secondo classificatore, che in caso di risultato positivo conduce all analisi di un terzo classificatore e cosi' via, eliminando la sotto finestra corrente alla prima occorrenza di un risultato negativo. In questo modo le risorse verranno consumate solo dalle aree che potrebbero condurre ad una individuazione dell oggetto cercato, riducendo drasticamente il numero di ricerche nell immagine.

5 Implementazione AdaBoost La realizzazione dell' algoritmo adaboost segue fedelmente l'implementazione dello pseudocodice fornito dalla documentazione,ovvero e' costituto da un ciclo principale in cui l'unico parametro da apprendere e' T rappresentante il numero di iterazioni e quindi il numero di weak classifier che andranno a costituire lo strong classifier. L algoritmo prende in input le immagini da analizzare ed un vettore di valori binari(labels) che indicano se l immagine considerata è una faccia oppure no. Questi esempi di immagini positive e negative vengono prelevate da un file e standardizzate nel formato 24 x 24, così da poter calcolare l immagine integrale. Per determinare lo StrongClassifier è necessario definire e normalizzare dei pesi (weights) che si calcolano a partire dal numero di esempi positivi e negativi a disposizione: essi infatti ci permettono di calcolare il miglior valore di soglia (treshold) che a sua volta ci consente di determinare la feature che porterebbe al più basso valore di errore. La parte piu' significativa dell' algoritmo e' la funzione getweakclassifier.m. Tale funzione ad ogni ciclo di adaboost restituira' classificatori deboli(ognuno legato al precedente) progressivamente sempre piu' buoni,abbassando cosi l'errore grazie all'incremento/decremento dei pesi. Abbiamo scelto di rappresentare un weakclassifier mediante una struttura ad Array di 7 elementi: L elemento in posizione 1 è il valore della coordinata x del punto in alto a sinistra. L elemento in posizione 2 è il valore della coordinata y del punto in alto a sinistra. L elemento in posizione 3 è il valore della coordinata x del punto in basso a destra. L elemento in posizione 4 è il valore della coordinata y del punto in basso a destra. L elemento in posizione 5 indica il tipo di feature. L elemento in posizione 6 indica il valore di soglia per l algoritmo AdaBoost. L elemento in posizione 7 indica il valore della polarità per l algoritmo AdaBoost. Avendo a disposizione diversi tipi di features da calcolare, si è scelto di implementare le funzioni di calcolo del classificatore in maniera parametrizzata e nello specifico la variabile type, posizionata nel quinto elemento dell array appena descritto, ci permette di differenziare i vari casi : type 0 : la feature a due rettangoli con linea verticale. type 1 : la feature a due rettangoli con linea orizzontale. type 2 : la feature a tre rettangoli con linee verticali. type 3 : la feature a tre rettangoli con linee orizzontali. type 4 : la feature a quattro con linee verticali. Per quanto riguarda il calcolo delle feature abbiamo scelto 2 implementazioni ed abbaimo adottato la prima: la prima consiste nel calcolare ad ogni ciclo di adaboost tutte e 160mila feature su ogni immagine e tenere solo quella migliore,ci rendiamo conto che questa e' una soluzione non molto efficiente perche' ha un costo computazionale molto elevato,in quanto ad ogni ciclo ricalcola gli stessi valori. Cercando di ottimizzare avevamo previsto di utilizzare una struttura che contenesse tutte e 160mila le feauture per ogni immagine ma ci siamo accorti che anche questa soluzione non era molto efficiente in quanto andava a migliorare di poco le prestazione,infatti si prevedeva un unico ciclo(a dispetto dei 5 della soluzione adottata)ma tale ciclo era dell' ordine di 160 mila iterazioni(prevedendo un vettore di 160mila per ogni immagine) e quindi le prestazioni non miglioravano di tanto,il secondo svantaggio era in termini di memoria (o almeno i nostri PC andavano fuori memoria e non riuscivano a contenere tutti i vettori).

6 Pero ogni weak, una volta calcolata la treshold usando il metodo descritto da Viola e Jones, si è scelta la polarità che minimizzasse l'errore sul training set, in modo tale da avere il miglior weak possibile. Cascata di classificatori La cascata è costituita da classificatori sempre piu complessi: i classificatori semplici e veloci scartano la grande maggioranza delle regioni di immagine;quindi sono usati per scartare immagini facili da classificare in modo da escludere più sottofinestre negative il più presto possibile (nei primi livelli); i classificatori più complessi vengono usati solo dove serve abbattere il numero di falsi positivi. Classificatori successivi sono addestrati usando quegli esempi che sono riusciti ad attraversare tutti i livelli precedenti(in quanto facce o falso positivo) La cascata viene realizzata posizionando nelle prime posizioni i classificatori più semplici, in modo da eliminare rapidamente buona parte delle finestre negative; in un secondo tempo entrano in gioco i classificatori più complessi in grado di scartare i rimanenti falsi positivi. Ogni livello della cascata è costruito addestrando un classificatore attraverso AdaBoost. La cascata da noi ottenuta è così costituita: 1 livello = 3 weak classifiers 2 livello = 5 weak classifiers 3 livello = 5 weak classifiers 4 livello = 18 weak classifiers 5 livello = ancora non ottenuto... (vedi conclusioni) Per ottenere un detection rate accettabile si modifica adaboost modificando la soglia del classificatore. Sapendo che f = il massimo accettabile false positive rate (tasso di falsi positivi, cioè le non facce che sono state riconosciute come facce) per ogni livello Il valore f associato ad ogni livello indica di quanto si va a migliorare il valore di F rispetto al valore F del livello precedente. Abbiamo scelto valori che portano ad un miglioramento (abbassamento) di F sempre maggiore. i f_i F_i F_i 1 * f_i (F_0=1) (vedi conclusioni) (vedi conclusioni)... Deve valere che F_i <= F_i 1 * f_i i valori da noi ottenuti sono coerenti. L' implementazione del codice abbiamo seguito fedelmente lo pseudocodice dell'algoritmo.

7 Risultati ottenuti Dopo avere eseguito un'apprendimento durato all'incirca 10 giorni e passando al sistema 1000 immagini rappresentanti facce e 1000 rappresentanti NON facce abbiamo ottenuto una cascata di 4 livelli, alcuni con feature ripetute o molto simili tra loro, atre differenti e interessanti. Si riportano alcune delle feauture piu' significative (per ogni livello) che colgono caratteristiche fondamentali delle immagini: Primo Livello : Secondo e Terzo Livello: Quarto Livello :

8 Detect Una volta ottenuto il classificatore a cascata, abbiamo implementato il detector che scalasse la grandezza delle feature per trovare facce di dimensioni variabili, ma senza riuscire a gestire il cambio delle treshold nei weak classifiers. Per questo motivo si è deciso di utilizzare il detector monoscala, cioè considerando solamente immagini contenenti facce di dimensioni 24x24. Per evitare i duplicati intorno all'immagine, inizialmente avevamo provato la seguente soluzione: 1. Memorizzare in una matrice tutte le potenziali facce (scegliendo quindi una soglia piuttosto bassa che minimizzasse i falsi negativi anche a costo di aumentare i falsi positivi) 2. Passare un filtro mediano sulla matrice per eliminare il rumore sale pepe, ovvero le facce isolate potenziali falsi positivi 3. Utilizzare im2bw per evidenziare le zone contenenti alta densità di potenziali facce 4. Utilizzare regionprops per individuare i centroidi d tali zone ad alta densità e classificare come facce tutti e soli i centroidi Tale metodo, pur essendo risultato efficace in termini di effettivo filtraggio di falsi positivi, è però risultato troppo dipendente da ulteriori soglie che dovevano essere inserite manualmente. Introduceva inoltre un overhead computazionale non indifferente. Per questo motivo è stata preferita una tecnica molto più semplice, ovvero semplicemente evitare il detection nell'intorno di una faccia già riconosciuta come tale, imponendo che il centro delle facce debbano distare almeno 4 pixel tra loro. Affiancato ad una soglia più rigida e ottenuto nel frattempo un ulteriore livello della cascata dall'apprendimento, le prestazioni sono divenute paragonabili (se non migliori) utilizzando questa seconda tecnica. Con questo nuovo detect, alcuni risultati ottenuti vengono qui mostrati:

9

10 CONCLUSIONI E LIMITAZIONI Nell'effettuare test per valutare l'effettiva qualità del classificatore, abbiamo ottenuto la seguente curva ROC che mostra come aumenta il Detection Rate al crescere del numero di Falsi Positivi variando la soglia del classificatore a cascata. Nonostante questi risultati incoraggianti, su alcune altre immagini, soprattutto confuse o ricche di colori, spesso il numero di falsi positivi cresce a livelli meno accettabili di quelli mostrati. Ne sono di esempio le seguenti due immagini:

11 Con buona probabilità, il quinto e sesto livello della cascata che ci eravamo proposti di ottenere avrebbero di molto migliorato le prestazioni del detector anche in questi casi. Purtroppo pur essendo da 20 giorni in esecuzione, il quinto livello della cascata ancora non è stato ottenuto. E ovviamente neanche il sesto. Ci riteniamo comunque soddisfatti del lavoro ritenendolo un buon risultato visti i mezzi a nostra disposizione.