Face Detection Techniques based on K-means clustering and filtering

Transcript

1 1 Face Detection Techniques based on K-means clustering and filtering Roberto Aloi Università degli Studi di Catania Corso di Laurea Specialistica in Ingegneria Informatica Abstract Un problema comune nell ambito dell analisi delle immagini digitali è quello relativo alla localizzazione ed al riconoscimento di oggetti di forma nota all interno di una immagine data. In particolare, notevoli sforzi sono stati dedicati al tentativo di sviluppare degli algoritmi efficaci in grado di individuare volti umani all interno di immagini digitali e di identificarli, magari sfruttando un database di volti noti. Nel corso di questo articolo, analizzeremo e studieremo un algoritmo originale in grado, per l appunto, di identificare volti umani all interno di immagini digitali sfruttando le tecniche del K-means Clustering e di una successione appropriata di filtraggi applicati all immagine di partenza. E in corso un tentativo di integrazione dell algoritmo sopracitato con il ben noto pacchetto software ASM (Active Shape Models) sviluppato da Ghassam Hamarneh presso l Image Analysis Group del Department of Signals and Systems at Chalmers University of Technology ed in grado di individuare boundaries di oggetti all interno di immagini digitali sfruttando informazioni a priori ed un certo grado di conoscenza base relativo alla forma dell oggetto da individuare. Index Terms Face Detection, Face Recognition, Computer Vision, K-means Clustering, Image Filtering, Active Shape Models, Skin Color. I. INTRODUZIONE La necessità di tecnologie alternative nell ambito dell interazione uomo-macchina è ormai un dato di fatto ed è normale aspettarsi un interesse sempre crescente da parte delle comunità ed industrie informatiche in questo settore, nel corso dei prossimi anni. Svariati sono i campi in cui ci si sta muovendo per rendere maggiormente liberi gli utenti da una interazione di tipo manuale, basandosi, invece, su interfacce user friendly, semplici, efficaci e, soprattutto, intuitive. Gesture recognition, multimedialità e multimodalità, face detection e face recognition, videoconferencing, hand detection, speech recognition sono soltanto alcuni dei possibili campi di sviluppo in questo senso. Nella seguente tabella, sintesi di un noto lavoro di W.Zhao et al.[16], vengono raccolte alcune delle principali applicazioni basate proprio sulle operazioni di face detection e face recognition, suddivise per area d interesse. TABLE I APPLICAZIONI TIPICHE RELATIVE A face detection/recognition Area d interesse Biometria Sicurezza delle informazioni Sorveglianza Smart Cards Controllo degli accessi Applicazioni Patenti di guida controllo delle immigrazioni passaporti registrazione dei votanti Desktop logon file encryption Intranet security Internet access Video sorveglianza avanzata portal control suspect tracking and investigation Stored Value security user authentication Facility access vehicular access In quest articolo ci soffermeremo sullo studio delle operazioni di face detection e di face recognition, due punti critici per una lunga serie di applicazioni, che svariano dal campo della bioingegneria a quello della sicurezza informatica, passando per applicativi come il desktop logon basato su riconoscimento facciale ed il controllo automatizzato delle immigrazioni.

2 2 II. STATO DELL ARTE Numerosi sforzi sono stati compiuti negli ultimi anni relativamente al problema della object recognition ed a quello, ad esso direttamente collegato, della object detection[6][7]. Una branca particolare di questi studi ha poi concentrato l attenzione sul rilevamento e sul riconoscimento di volti umani all interno di immagini o video[16]. A causa della natura intrinseca del problema, non soltanto i ricercatori informatici, ma anche psicologi e neurologi si sono interessati in questo senso. L opinione generale è, infatti, che ricerche avanzate nel campo della computer vision possano contribuire alla ricerca sul modo di funzionare del cervello umano e viceversa. Entrando nel merito degli studi relativi alle cosiddette operazioni di face detection, partiamo subito con una definizione chiarificatoria. Il problema della Face Detection può essere sintetizzato come segue: Dati un immagine o uno stream video, verificare la presenza di uno o più volti umani al loro interno. Svariati sono i modi utilizzabili per il rilevamento di un volto all interno di una scena, differenti per complessità ed efficacia. Una prima distinzione va fatta proprio sul tipo della scena analizzata. L operazione di face detecting, infatti, potrà essere effettuata sia su un immagine di tipo statico (un semplice file.jpg o.bmp, tanto per intenderci), sia su filmati di varia lunghezza (file.mov,.mpg,.avi, etc.). Chiaramente, sarà sempre possibile trovarsi in un caso intermedio, nel quale si potrà analizzare un fotogramma (immagine statica) estrapolata da un video di partenza. Cominciamo con l affermare che, a differenza di come si potrebbe facilmente ritenere, non è detto che un operazione di face detecting sia più facile da effettuare su un immagine statica, piuttosto che su un intero video. Molto dipende, infatti, dalle caratteristiche stesse del video o dell immagine e dalle tecniche utilizzate e, a discapito delle apparenze, in alcuni casi potrebbe risultare molto più semplice ed efficace analizzare uno stream video piuttosto che una semplice immagine o fotogramma. Una ulteriore considerazione va fatta sul tipo di sfondo dell immagine/video analizzato. Mentre alcune immagini, infatti, sono caratterizzate da sfondi perfettamente uniformi, in alcuni casi potrebbe rivelarsi necessario lavorare con sfondi altamente complessi ed eterogenei. Allo stesso modo, particolare attenzione dovrà essere prestata a caratteristiche quali la presenza o l assenza di colori nell immagine campione o la risoluzione; caratteristiche che, com vedremo tra breve, influiranno pesantemente sul tipo di tecnica utilizzabile per le operazioni di face detecting. Il caso più semplice che si possa presentare è, chiaramente, costituito da immagini statiche caratterizzate da uno sfondo controllato (monocromatico). Nel caso di immagini a colori, l applicazione di banali filtri cromatici sarà, con ogni probabilità, in grado di evidenziare i confini del volto ricercato. Nel caso di immagini in toni di grigio, sarà, poi, possibile agire direttamente su contrasti e sulla eliminazione di alcune tonalità della scala di grigio, per separare il volto dal resto dell immagine. In entrambi i casi, numerose varianti saranno possibili per un ottimizzazione dei risultati ottenuti. Nel caso di sfondi particolarmente complessi, poi, i metodi più diffusi per il rilevamento di un volto all interno di una immagine si basano su processi di segmentazione dell immagine, in grado di scindere il volto dal resto dell immagine. Uno dei primi metodi di segmentazione dell immagine è stato presentato nel 1998 da Terillon[10]. Innumerevoli sono, oggi, le varianti e le ottimizzazioni di tale meccanismo. Ad esempio, sarà possibile rintracciare i segmenti di interesse all interno dell immagine di partenza sfruttando informazioni relative al typical skin color, ovvero al colore tipico dei volti umani[11] o su classificazioni dei singoli pixels[14]. Purtroppo, approcci di questo tipo hanno i difetti di non poter funzionare su tutti i tipi di colore della pelle e di rivelarsi poco robusti in condizioni particolari di luminosità variabile. A questo proposito, Stoerring et al.[5] hanno sviluppato alcuni sistemi con lo scopo di superare proprio tali limiti. Nel caso dell analisi di stream video per il rilevamento di volti, le tecniche adottate differiscono notevolmente da quelle sopra citate.

3 3 In questi casi, infatti, risulta più agevole ragionare per movimento, piuttosto che per colore. Un volto, nella realtà, è praticamente sempre in movimento. Ciò che, idealmente, andrebbe fatto, sarebbe rintracciare più o meno esattamente la zona relativa al volto a seconda dei movimenti rilevati. Chiaramente, problemi possono sorgere nel caso di oggetti presenti sulla scena che compiono movimenti simili a quelli di un volto umano. Un approccio originale è stato adottato da P. Reignier[12], che ha tentato di rilevare i volti all interno di video basandosi sul fatto che gli occhi dell uomo si aprono e si chiudono contemporaneamente e, di conseguenza, sulla costruzione di un blink detector. Ovviamente, saranno sempre possibili alcune vie di mezzo tra un approccio basato sul colore ed uno basato sul movimento. Darrell et al.[15] hanno sviluppato un sistema di rilevazione facciale basato su stereo, color and pattern detection, in cui le informazioni stereo servono ad isolare gli utenti dagli altri oggetti, delle analisi sul colore della pelle consentono di identificare le singole parti del corpo e la faccia viene rilevata mediante un processo di tracking basato su pattern noti. Ancora, algoritmi basati su reti neurali o su algoritmi genetici sono stati utilizzati per il rilevamento dei volti umani all interno di immagini o video digitali. Un alternativa potrebbe, poi, essere quella di inserire, all interno del programma di face detection/recognition una adeguata fase di training. Un interessante implementazione di questa tecnica è stata realizzata da D.DeCarlo e D.Metaxas[13]. Un ultimo importante problema relativo agli algoritmi di face detection è, infine, legato ai tempi impiegati per portare a termine il task richiesto. Essi risultano spesso, infatti, assai elevati per la maggior parte degli algoritmi attualmente esistenti e, soprattutto, non predicibili, precludendo, dunque, la possibilità di una loro adozione in sistemi con caratteristiche di tipo real-time. P.Viola e M.J.Jones[9], tuttavia, sembrano aver trovato la strada giusta verso un sistema di face detection robusto e, sopreattutto, predicibile. III. L ALGORITMO Lo scopo primario dell algoritmo che proponiamo consiste nell individuare, all interno di un immagine iniziale, una zona calda, ovvero una zona all interno della quale ricada, con il maggior grado di probabilità possibile, il volto dell individuo da riconoscere. L algoritmo può essere essenzialmente visto come preliminare rispetto ad una serie di pacchetti software oggi disponibili (primo fra tutti il già citato pacchetto ASM), in grado di identificare un volto umano all interno di una immagine data. Il problema fondamentale di tale tipologia di software consiste, infatti, nella difficoltà a ricavare in maniera del tutto automatica dei parametri iniziali in maniera tale da rendere la ricerca del volto all interno dell immagine rapida ed efficace. Tali limiti possono essere facilmente superati grazie all utilizzo del nostro software, in grado di focalizzare la ricerca in una ben determinata area dell immagine di partenza, di superficie notevolmente inferiore rispetto a quella dell immagine di partenza stessa. L approccio utilizzato dall algoritmo per l identificazione della zona calda all interno dell immagine di partenza può essere concettualmente suddiviso in tre sezioni: Suddivisione dell immagine di partenza in clusters. Selezione di un segmento winner. Filtraggio del segmento winner. Ma analizziamo le tre fasi nel dettaglio. A. La suddivisione in clusters I fondamenti teorici su cui si basa la prima fase del nostro algoritmo di face detecting sono profondamente legati ai concetti di color space, color model ed a quello di percezione del colore da parte dell uomo[1][2]. Studi sulla percezione del colore hanno, infatti, dimostrato che l occhio umano ha recettori in grado di catturare onde corte (short o S ), medie (middle o M ) e lunghe (long o L ), anche noti come recettori di blu, verde e rosso (il famigerato RGB). In altre parole, la sensazione del colore, nell uomo, è data da un opportuno utilizzo di questi tre parametri. Tutto ciò è stato tradotto in termini informatici, per la prima volta, dall International Commission on

4 4 Illumination (o CIE) che, nel 1931, aveva definito matematicamente il primo color space: il CIE XYZ color space. Una delle infinite varianti del CIE XYZ color space è costitita dal cosiddetto CIELAB (o più precisamente CIE L*a*b*) color space, attualmente considerato il più completo color model per la descrizione del intera gamma di colori visibili all occhio umano. Proprio sull utilizzo del CIELAB color space si basa la suddivisione in clusters della nostra immagine di partenza. Ma vediamo di capire meglio la struttura di questo color space e le ragioni che ci hanno spinto ad un suo utilizzo nel campo della face detection. A differenza del color space standard (e sicuramente ben più noto) RGB, nel CIELAB i tre parametri del modello rappresentano, nell ordine: Luminosità Posizione nell asse rosso-verde Posizione nell asse giallo-blu Nel dettaglio, la luminosità è compresa tra 0 e 100 (L=0 corrisponde al nero, L=100 al bianco). Inoltre, valori negativi per il parametro a indicano uno spostamento sull asse verso il verde, mentre valori positivi di a si traducono in uno spostamento verso il rosso. Lo stesso discorso vale per il parametro b, dove, però, ci si muove sull asse blugiallo. Per maggiore chiarezza si faccia riferimento alla figure 1 e 2, nelle quali sono stati riportati i grafici relativi al LAB color space relativi a due differenti livelli di luminosità. Fig. 2. LAB color space per una luminosità del 50%. La risposta è insita nella natura stessa del modello LAB. A differenza, infatti, di altri color space come l RGB o il CMYK, il CIELAB color space è un color space assoluto. Esso è stato costruito dal CIE proprio per fungere da riferimento per gli altri color space, per essere caratterizzato dalla più totale device indipendence, a discapito, ovviamente, di un buon grado di accuratezza nella rappresentazione del colore. Il punto fondamentale su cui focalizzare l attenzione è il fatto che il CIELAB color space non può essere direttamente accostato ad un color space relativo come l RGB, con il quale non ha alcuna precisa relazione. Una conversione diretta da RGB a LAB sarà possibile solo a patto di associare all RGB un color space assoluto, come, ad esempio, l srgb o l Adobe RGB. Per comprendere meglio quanto appena detto, si osservi attentamente la figura successiva. Fig. 1. LAB color space per una luminosità del 25%. Fig. 3. Quanti colori sono presenti in questa immagine? Ma perché utilizzare per la segmentazione della nostra immagine di partenza un algoritmo basato su questo color space? Se ci venisse chiesto il numero di colori contenuti all interno dell immagine precedente, prescindendo

5 5 dall informazione luminosità, ognuno di noi sarebbe in grado (banalmente!) di rispondere che sono 3 i colori facilmente distinguibili nella foto: il rosa, il blu ed il bianco. Concettualmente, il CIELAB, ha proprio la potenzialità di scindere proprio l informazione colore da quella luminosità, riducendo i parametri dedicati al colore da tre a due. Un passo in avanti non indifferente... Si osservi, adesso, la figura seguente, nel quale è contenuto il volto di una ragazza. Nel nostro caso, per la valutazione delle suddette distanze, abbiamo deciso di adottare una metrica di tipo euclideo. Ritornando per un momento alla prima immagine (quella con le macchie, tanto per intenderci) avevamo già stabilito la presenza di tre colori predominanti all interno dell immagine. Ciò ci induce a pensare che, per una corretta identificazione dei colori contenuti nell immagine, la scelta più adatta per il numero totale di clusters sia proprio 3. Si osservino, ora, le tre figure seguenti. Fig. 4. La nostra immagine di partenza. Anche in questo caso, è per noi assai semplice riuscire a distinguere i colori principali (prescindendo i dettagli) contenuti nell immagine. Nel caso specifico, siamo in grado di individuare i tre colori rosa (il volto della ragazza), giallo (i suoi capelli) e grigio (lo sfondo). Per il nostro calcolatore questa azione, così naturale per noi, risulta appena più complicata, ma nulla di impossibile. Si tratta semplicemente di individuare un metodo che ci consenta di distinguere i colori. In altre parole, di valutarne la distanza. Abbiamo già visto come siamo riusciti a passare da tre parametri per la descrizione del colore a due soltanto. Tutto ciò si è rivelato molto utile nel momento in cui abbiamo deciso di adottare, per la nostra classificazione dei colori, l algoritmo kmeans. Esso, infatti, è in grado di partizionare i punti appartenenti ad una matrice di ingresso (la nostra immagine di partenza) in un numero di cluster definito dal programmatore. L algoritmo che sta alla base di kmeans è un algoritmo iterativo a due fasi, che si occupa di minimizzare la somma (su tutti i clusters) delle distanze punto - centro di massa all interno di ogni cluster. Fig. 5. La figura 3 suddivisa in 2 clusters. Fig. 6. La figura 3 suddivisa in 3 clusters. Fig. 7. La figura 3 suddivisa in 4 clusters. Esse illustrano l utilizzo dell algoritmo kmeans

6 6 per la segmentazione dell immagine 3, rispettivamente in due, tre e quattro clusters. Analizzando le tre immagini in questione, in cui i clusters sono visibili per mezzo dell utilizzo di diversi toni di grigio, risulta immediatamente chiaro come la seconda risulti l immagine più adatta alle nostre esigenze. Mentre, infatti, nella prima si è verificata un importante perdita di informazioni (due dei tre colori sono stati raggruppati), la terza è caratterizzata da ridondanza dei dati e semplici differenze di luminosità per colori esattamente uguali sono state tradotte in un numero maggiore di colori. Torniamo, adesso, alla foto (ben più interessante!) del volto della ragazza. In questo caso, la segmentazione in due, tre e quattro clusters ci conduce alle tre immagini riportate di seguito. Fig. 8. Fig. 9. La figura 4 suddivisa in 2 clusters. La figura 4 suddivisa in 3 clusters. Anche in questo caso la scelta di un numero di clusters pari a 3 si è rivelata la scelta più felice. Mentre, infatti, nella prima delle tre immagini (numero di clusters = 2) siamo riusciti a scindere il volto della ragazza dallo sfondo ma non dai capelli e dal resto del corpo, nella seconda siamo riusciti ad associare un solo ed unico cluster al 90% del volto, al collo ed alle spalle (inevitabile ciò, Fig. 10. La figura 4 suddivisa in 4 clusters. avendo le varie parti del corpo della ragazza colore pressoché identico). Un risultato, quest ultimo da non trascurare. E possibile notare come anche l ultima immagine (numero di clusters = 4) risulti inadatta alle nostre esigenze (che, ricordiamolo ancora una volta, coincidono con il desiderio di individuare un volto all interno di una immagine). In quest ultimo caso, infatti, ci ritroviamo un volto diviso tra due clusters diversi (circa il 60% di esso appartiene al cluster bianco, mentre un buon 40% appartiene a quello grigio). E facilmente intuibile come una analisi di questo tipo (ed i risultati da questa derivati) risulti fortemente dipendente dall immagine iniziale. In nessun caso è possibile conoscere a priori l esatto numero di colori predominanti contenuto in un immagine (ovvero uno dei parametri essenziali da fornire in ingresso alla funzione kmeans), se non vedendo anticipatamente l immagine. Potremmo pensare di utilizzare un cluster per ogni colore possibile o, comunque, un numero molto elevato di clusters, ma questa scelta si rivelerebbe presto inadeguata, sia per la complessità computazionale dell algoritmo (che richiede tempi davvero elevati - ma sempre nell ordine di secondi - già per un piccolo numero di clusters), sia per il fatto che, adottando un simile approccio, otterremmo un numero talmente elevato di clusters da rivelarsi presto totalmente inutile ai fini applicativi (lo stesso volto risulterebbe scomposto in più clusters e si presenterebbe il problema di un merging dei clusters di interesse). L unica alternativa sarà, dunque, quella di effettuare alcune approssimazioni, cercando un numero di colori magico, in grado di separare il nostro volto dal resto dell immagine (ovvero di inserirlo

7 7 in un unico cluster) 1. Chiaramente, un approccio di questo tipo non potrà in alcun modo risultare sempre efficace (e questo costituisce probabilmente il problema più consistente della nostra applicazione). Tuttavia, i numerosi test effettuati in questo senso hanno mostrato dei risultati ben più che soddisfacenti. In particolare, il nostro numero magico è risultato essere il 3 per volti in cui lo sfondo è uniforme e 4 nel caso più generale di sfondi eterogenei. Le figure 11 e 12 illustrano alcuni dei risultati ottenuti, utilizzando immagini caratterizzate da sfondi uniformi, per diversi valori del nostro magic number. Come è possibile notare, nel caso di sfondi omogenei, la scelta più efficace relativa al magic number è proprio: magic number = 3 (terza colonna). Le figure 13 e 14 illustrano, poi, alcuni dei risultati ottenuti, utilizzando immagini caratterizzate da sfondi non omogenei, sempre per diversi valori del nostro magic number. Come è possibile notare, nel caso di sfondi non omogenei, la scelta più efficace relativa al magic number è, questa volta: magic number = 4 (ultima colonna). Questo tipo di ragionamento può essere generalizzato. Si è, infatti, notato che più lo sfondo è frastagliato, più alto deve essere il magic number, ovvero più grande è il numero di livelli in cui scomporre l immagine, affinché l algoritmo risulti efficace. A questo punto si è rivelato necessario un compromesso tra questi due dati ottenuti. Dopo una lunga serie di test, la scelta è ricaduta sul secondo valore trovato per il magic number, ovvero 4, vuoi perchè nella maggior parte di applicazioni relative alla face detection (o recognition) non è sempre possibile ipotizzare sfondi omogenei (si pensi all individuazione di una persona all interno di una foto scattata in esterna o ad una porta di un palazzo che garantisce l accesso solo alle persone autorizzate, basandosi proprio su riconoscimento facciale), vuoi perché, comunque, tale valore non costituisce alcun problema per le foto scattate con sfondi omogenei (mentre non vale il viceversa!). 1 Un approccio alternativo verrà considerato nel paragrafo V L immagine 15 illustra, per una serie di immagini campione, la suddivisione in quattro clusters. A questo punto si tratta semplicemente (o quasi!) di individuare il cluster (o segmento) winner, ovvero quello contenente il nostro volto. Di questo ci occuperemo nel paragrafo successivo. Prima di passare alle tecniche di selezione del segmento winner, tuttavia, è da rimarcare l incredibile potenza del nostro algoritmo. La stragrande maggioranza dei test effettuati ha avuto esito positivo, anche in casi particolarmente complessi. Per avere soltanto un idea di tutto ciò, si osservi la figura 17, in cui siamo stati in grado di isolare, addirittura, tutti i volti dei personaggi contenuti nell immagine (per semplicità, viene mostrato soltanto l unico segmento di interesse). Fig. 16. La scomposizione in clusters per un gruppo di persone. B. Il segmento winner La prima cosa che risalta agli occhi dalla figura 15 è che il segmento di nostro interesse non si trova sempre nella stessa posizione (nelle prime due righe occupa il secondo posto, nella terza l ultimo, nelle ultime due il primo). Esecuzioni ripetute dello stesso algoritmo di separazione sulla stessa immagine possono fornire in uscita risultati diversi, ovvero segmenti ordinati in maniera sempre differente. Ciò è una diretta conseguenza del calcolo degli starting points (vedi il paragrafo precedente), svolto in maniera pressocché random da parte della funzione kmeans.

8 8 Fig. 11. Uno spaccato dei test effettuati per la valutazione del Magic Number per immagini con sfondo uniforme. Sarà, dunque, necessario individuare il segmento contenente la zona calda, ovvero il volto della persona raffigurata, in maniera tale da escludere gli altri segmenti e da fornire al filtro finale (vedi il paragrafo successivo) una immagine di partenza semplificata. Studieremo ora un meccanismo in grado di effettuare tutto ciò ed al segmento fornito in uscita da tale meccanismo daremo proprio il nome di segmento winner. Premettiamo che questa sezione dell algoritmo finale per la face detection costituisce, con ogni probabilità, la fase più critica. I criteri su cui basare la scelta del segmento winner possono essere svariati e quello presentato costituisce soltanto una delle innumerevoli possibilità a nostra disposizione. Sviluppi futuri dell applicazione potranno concentrarsi sulla scelta di adeguati affinamenti per tale meccanismo, in maniera tale da incrementare la percentuale di successo attuale. Il meccanismo attualmente utilizzato per la deter-

9 9 Fig. 12. Uno spaccato dei test effettuati per la valutazione del Magic Number per immagini con sfondo uniforme. minazione del cosiddetto segmento winner si basa sul calcolo dei centroidi di massa dei singoli cluster. Ricordiamo, a questo proposito, che il centroide di un cluster è definito come il punto appartenente al cluster stesso rispetto al quale la somma di tutte le distanze dagli altri punti del cluster risulta minimizzata. Sperimentalmente, si è notato come il volto ricada con maggiore probabilità nel cluster con il valore più alto associato al parametro cluster center, calcolato dalla funzione kmeans e contenente i valori medi di a* e b* per ogni singolo cluster. Nello specifico, i test effettuati su 40 immagini campione (20 con sfondo uniforme, 20 con sfondo non uniforme) hanno dimostrato un efficacia di questo tipo di selezione pari al 95% (in particolare, il processo di selezione si è rivelato efficace nel 90% dei casi per quanto riguarda foto con sfondo frastagliato e nel 100% dei casi nel caso di immagini dallo sfondo uniforme).

10 10 Fig. 13. Uno spaccato dei test effettuati per la valutazione del Magic Number per immagini con sfondo non uniforme. C. Il filtraggio Una volta individuato il segmento winner, non resta altro da fare che individuare l esatta locazione del volto all interno di tale segmento. Prima di poter effettuare ciò con successo, si è tuttavia rivelata necessaria l applicazione di una serie di filtri allo stesso segmento winner. In particolare, nella versione attuale del nostro software vengono utilizzati due tipi fondamentali di filtri, nell ordine: Color Filter Cleaning Filter Si tratta di filtri molto semplici ed ancora in versione beta, sottoposti a continui aggiustamenti ed ottimizzazioni, rivelatisi tuttavia molto efficaci nel facilitare il processo di esatta localizzazione di un volto all interno dell immagine di interesse. Il primo filtro, battezzato color filter, non fa altro che scandire l intero insieme dei pixels componenti il segmento winner in formato RGB, scurendo quelli non compresi in una predeterminata fascia d interesse. Proprio l individuazione di una opportuna fascia di interesse si è rivelato essere il problema fondamentale nel processo di costruzione del filtro. Nella sua versione attuale, essa corrisponde all intervallo [130,250] per il canale R ed all intervallo [195,210] per i canali G e B. Il secondo ed ultimo filtro, infine, denominato Cleaning Filter ed appena più complesso del pri-

11 11 Fig. 14. Uno spaccato dei test effettuati per la valutazione del Magic Number per immagini con sfondo non uniforme. mo, è dedicato ad un processo di semplificazione dell immagine. Infatti, grazie ad una serie di elaborazioni dell immagine di partenza, tale filtro è in grado di scartare alcune aree dell immagine non appartenenti al volto stesso della persona da ricercare ma non ancora esclusi dal color filter. In particolare, l applicazione del cleaning filter al segmento winner (già sottoposto al color filter) coincide con l utilizzo a cascata delle seguenti funzioni di elaborazione dell immagine: rgb2gray imfill strel medfilt2 imdilate imopen bwlabel Ma vediamole nel dettaglio. La prima operazione effettuata dal filtro è una banale conversione dell immagine di partenza dal formato RGB in una immagine in scala di grigi (rgb2gray). Segue una cascata di imfill all immagine stessa (due nello specifico, con riferimento alla versione attuale del software). Ricordiamo che la funzione imfill serve a colmare i buchi holes in una immagine di intensità (nello specifico, regioni scure completamente circondate da regioni chiare). A questo punto, una volta creata una struttura

12 12 Fig. 15. Alcune immagini campione scomposte in quattro clusters. ausiliaria (un morphological structuring element) mediante una strel, vengono applicate delle cascate (anche qui due) di medfilt2, imdilate ed imopen all immagine ottenuta. In particolare, la medfilt2 esegue l applicazione di un filtro mediano bidimensionale, la imdilate serve a dilatare la scala di grigio e la imopen esegue un apertura morfologica sull immagine di input in scala di grigio. Sia la imdilate che la imopen sfruttano l elemento ausiliario prodotto dalla strel, mentre il filtro mediano ne è, ovviamente, indipendente. L immagine 16 illustra l applicazione dei due filtri ad alcune immagini campione. Nel dettaglio, la prima colonna rappresenta il segmento winner da filtrare, mentre le due colonne successive mostrano lo stesso segmento sottoposto all azione, rispettivamente, del color filter e del cleaning filter. D. La localizzazione del volto Una volta applicati opportunamente i filtri analizzati nel paragrafo precedente, ci si ritrova di fronte ad una immagine in Black & White in cui le zone chiare costituiscono i possibili candidati per il tanto bramato volto umano all interno dell immagine di partenza. L ultimo passo consiste nell individuare la white zone realmente corrispondente al nostro volto, scartando gli altri possibili candidati. La funzione Matlab regionprops consente di analizzare con estrema semplicità le proprietà delle regioni costituenti la nostra immagine. In particolare, le proprietà di interesse si son rivelate essere fondamentalmente tre: Area BoundingBox Eccentricity L Area ci informa della dimensione della regio-

13 13 Fig. 17. L applicazione del color filter e del cleaning filter ad alcuni segmenti winner campione. ne stessa; la BoundingBox può essere considerata come la più piccola zona di forma rettangolare comprendente la regione di interesse; l Eccentricity fornisce importanti indicazioni sulle caratteristiche della forma della regione stessa. Nel dettaglio, la sezione dell algoritmo dedicata al processo di localizzazione del volto all interno dell immagine prende in considerazione tutte le white zones ritornate come possibili candidati dal color filter e dal claning filter, escludendo innanzitutto quelle troppo piccole (ovvero, inferiori ad una soglia, calcolata attualmente come area media tra tutte quelle dei singoli candidati). Quindi, viene considerato come candidato più attendibile la white zone con eccentricità minore tra tutte quelle con area superiore alla soglia prestabilita. Il volto ricercato si ritroverà, pertanto, all interno della bounding box contenente la white zone prescelta. L immagine 18 sintetizza alcuni dei risultati ottenuti applicando l algoritmo ad alcune immagini campione. IV. IL SOFTWARE Un implementazione delle teorie proposte in Matlab è disponibile gratuitamente on-line. In questa sezione descriveremo tale software, spiegandone nei dettagli il suo funzionamento. A. Installazione (Sistemi UNIX Like) Il pacchetto software è costituito da un unico archivio fd.tar.gz, contenente tutti i files necessari all applicazione e la sua documentazione. Per installare il software basterà semplicemente scompattare l archivio, estraendone i contenuti in una cartella qualunque, ad esempio, mediante i comandi: $ cd $ mkdir facedetection $ cd facedetection

14 14 Fig. 18. Alcuni dei risultati ottenuti. $ tar -xvzf fd.tar.gz E possibile analizzare il contenuto della cartella appena creata con il classico comando: $ ls B. Esecuzione del programma Anche in questo caso, la procedura è molto semplice. Si avvii il Matlab (la versione con cui il sostware è stato realizzato è la 7 - r14). Dalla linea di comando Matlab, accedere alla cartella di installazione del software: $ cd /facedetection Avviare l applicazione: $ fd Per facilitare la procedura di utilizzo dell applicazione, è stata realizzata una semplice ed intuitiva interfaccia grafica mediante l utility GUIDE (GUI Design Environment), fornita con lo stesso Matlab 7. Una serie di tooltips guideranno l utente nel corso dell esecuzione del programma. L interfaccia grafica è illustrata in figura 19. L applicazione è stata suddivisa in 5 step, che, concettualmente, riprendono quelli esposti nella precedente sezione teorica. V. KNOWN ISSUES Uno dei fondamentali problemi di cui soffre la nostra applicazione è legato alla prima fase dell algoritmo, ovvero quella relativa alla segmentazione dell immagine mediante la funzione kmeans. Tale funzione, infatti, può talvolta convergere verso i cosiddetti ottimi locali.

15 15 Fig. 19. Il software per la Face Detection. Schermata iniziale. In questi casi, lo spostamento di alcuni punti in clusters differenti si traduce nell incremento della somma totale delle distanze e ciò provoca una deviazione da quello che dovrebbe essere il comportamento corretto della funzione kmeans. Il problema dipende solo ed esclusivamente dalla scelta degli starting points per la funzione, scelti in maniera random (l alternativa potrebbe essere un analisi esaustiva dell intera immagine, ma il procedimento richiederebbe tempi troppo elevati) all interno dell immagine stessa. Ad ogni modo, per evitare di incappare in questo fastidioso quanto spiacevole inconveniente, abbiamo deciso di ripetere l operazione di clustering per ben tre volte. La figura 20 mostra un esempio di degenerazione della funzione kmeans. Sempre riguardo l utilizzo della funzione kmeans, valide alternative potrebbero essere studiate provando a modificare il tipo di distanza utilizzata per valutare le differenze tra i vari colori. A questo proposito, il nostro algoritmo utilizza, come già spiegato, una metrica di tipo euclideo, ma particolarmente interessante sembrerebbe un approccio basato sul grado di correlazione tra i vari colori. Ancora, delle migliorie potrebbero essere apportate per quanto riguarda la selezione del magic number. In particolare, si potrebbe pensare di selezionare tale numero dinamicamente, in base all eterogeneità dello sfondo dell immagine stessa (un analisi della texture potrebbe rivelarsi particolarmente utile in tal senso). VI. CONCLUSIONI E SVILUPPI FUTURI Il software è stato pensato come propedeutico all applicazione del già citato pacchetto software ASM sviluppato da Ghassam Hamarneh, in grado di identificare i confini di oggetti dalla forma

16 16 all interno dell immagine di partenza. I risultati ottenuti sino a questo momento lasciano ben sperare ed il prossimo passo consisterà senza dubbio nel completare il processo di integrazione tra i due suddetti pacchetti software. REFERENCES [1] AA.VV. space. Wikipedia, the Free Encyclopedia. [2] AA.VV. model. Wikipedia, the Free Encyclopedia. [3] R.W.Frischholz. [4] M. Grgic, K. Delac. [5] M. Stoerring et al. Skin colour detection under changing lighting conditions. 7th Symposium on Intelligent Robotics Systems, pages , July 1999, Coimbra, Portugal [6] Amit, Yali 2D Object Detection and Recognition Models, Algorithms, and Networks. The MIT Press, Cambridge Massachusetts, 2002 Fig. 20. Esempio di degenerazione della funzione kmeans. pressoché conosciuta (dove il pressocché si riferisce alla possibilità di mutazione della forma stessa nel passaggio di un immagine all altra - come nel caso di volti, persone, mani, etc. -) all interno di immagini digitali, sfruttando una fase di training in cui il software stesso viene istruito (manualmente o in maniera pseudo-automatica) a riconoscere forme. Tale software soffre di un fondamentale problema. Spesso, infatti, si rivela necessario fornire manualmente delle informazioni (in termini di coordinate e/o scala e/o inclinazione) riguardanti l area dell immagine in cui andare a ricercare l oggetto dalla forma pseudo-conosciuta. Questo processo può essere facilmente essere reso automatico grazie all applicazione del nostro software che, per l appunto, risulta in grado di ridurre notevolmente la zona di ricerca dell oggetto [7] C. Grigorescu, N. Ptekov. Distance Sets for Shape Filters and Shape Recognition. IEEE Transactions on Image Processing, vol. 12, no. 10, pp , October [8] Luong Chi Mai. Introduction to Computer Vision and Image Processing. [9] P.Viola, M.J.Jones. Robust Real-Time Face Detection. International Journal of Computer Vision, 57(2), , [10] Terillon. Automatic Detection of Human Faces in Natural Scene Images by Use of a Skin Color Model and of Invariant Moments. Unknown Resource, [11] F.A.G. Tomaz. ftomaz/fr/fr.php [12] P. Reignier. Finding a Face by Blink Detection. [13] Douglas DeCarlo and Dimitris Metaxas. Model-based Face Tracking. decarlo/facetrack.html [14] Phung et al.. Skin Segmentation Using Color Pixel Classification: Analysis and Comparison. IEEE Transactions on Pattern Analysis and Machine Intelligence, , 1, pp [15] T. Darrell et al.. Integrated person tracking using stereo, color and pattern detection. [16] W.Zhao et al.. Face Recognition: A Literature Survey. University of Maryland and National Institute of Standard and Technology.

17 17 [17] Cootes et al.. Active Shape Models - Their Training and Application. Computer Vision and Image Understanding, Vol. 61, No. 1, January Roberto Aloi Roberto Aloi, nato a Palermo il 27 novembre 1982, dopo avere conseguito un diploma di maturità classica (con votazione 100/100) presso il Liceo Regio Statale F. Maurolico di Messina, si è iscritto al corso di laurea triennale di Ingegneria Informatica presso l Università degli studi di Catania, dove gli è stato conferito, nell anno accademico 2004/2005, il titolo di Dottore Junior in Ingegneria Informatica con votazione per l esame di laurea pari a 110/110. Nel corso dello stesso anno accademico 2004/2005 ha svolto un tirocinio di 300 ore presso la stessa Università, dedicandosi alla progettazione ed all implementazione di una struttura per la gestione della memoria in una Java Virtual Machine realizzata per sistemi embedded on caratteristiche di tipo real-time. Su questi argomenti ha realizzato la sua tesi di laurea. E in possesso della certificazione linguistica PET (livello B1) per la lingua inglese, ottenuta with merit nel novembre del Vincitore di una borsa di studio Socrates/Erasmus per l anno Accademico 2005/2006, ha effettuato un periodo di studio all estero, presso l Università degli Studi di Linkoping (Svezia), per un periodo di 6 mesi (gennaio giugno 2006), dove si è dedicato allo studio di Computer Graphics, Sistemi Embedded, Intelligenza Artificiale, Web Programming e Matlab. Attualmente frequenta il primo anno del corso di laurea specialistica in Ingegneria Informatica presso l Università degli Studi di Catania.