Face detection con Haar features. Annalisa Franco

Transcript

1 Face detection con Haar features Annalisa Franco

2 2 Face detection con Haar features Obiettivo dell esercitazione è la realizzazione di un algoritmo per la localizzazione del volto basato su Haar features e classificatore SVM. In particolare, data in input un immagine RGB, l algoritmo dovrà restituire un insieme di possibili volti, rappresentati come insieme di oggetti di tipo FaceLocationCandidate; ciascun candidato è descritto dalla bounding box del volto (Rectangle) e da uno score (double). Il sistema di classificazione necessita di una fase preliminare di training durante la quale viene addestrato il classificatore SVM a partire da un insieme di esempi positivi (immagini di volti) ed esempi negativi (immagini di «non volti»).

3 3 Haar-like features A B C D Le feature si estraggono applicando all immagine una serie di maschere binarie. Applicare una maschera in una determinate posizione significa sommare i valori dei pixel nell area bianca e sottrarre il valore dei pixel nell area nera. L estrazione di feature deve avvenire applicando ciascuna delle maschere in tutte le possibili posizioni dell immagine di input. Una posizione è considerata valida se la maschera è interamente contenuta nell immagine. L applicazione efficiente delle maschere richiede il calcolo dell immagine integrale.

4 4 L immagine integrale L immagine integrale in posizione (r,c) è la somma del valore dei pixel sopra e a sinistra di (r,c): (r,c) II r, c I r', c' r' r, c' c L immagine integrale può essere calcolata con una sola scansione dell immagine originale usando le seguenti formule ricorsive: S(r,c) = S(r,c-1) + I(r,c) II(r,c) = II(r-1,c) + S(r,c) dove I(r,c) è il valore del pixel nell immagine originale, S(r,c) è la somma cumulativa per righe, S(r,-1)=0 e II(-1,c)=0.

5 5 Calcolo efficiente di feature rettangolari Usando l immagine integrale, è possibile calcolare la somma del valore dei pixel in qualsiasi rettangolo. Ad esempio la somma all interno del rettangolo D è data da: II(4) + II(1) II(2) II(3) Le feature caratterizzate da 2, 3 o 4 rettangoli possono essere calcolati usando rispettivamente 6, 8 e 9 valori di riferimento.

6 6 L applicazione.. Training Parametri Segmentazione pelle Input Output

7 7 FaceDetector La classe FaceDetector (file FaceDetector.cs) implementa il meccanismo di localizzazione dei volti. La classe espone il metodo Train(Image<Gray, byte>[] trainingimages, int[] traininglabels) per il training del classificatore a partire da un array di immagini grayscale (trainingimages) e di relative label di classe (traininglabels). Il modello usato per la classificazione è un classificatore SVM messo a disposizione dalla libreria Emgu CV. Il test può essere effettuato usando il metodo knn.predict(sample);!!! Il metodo predict non restituisce lo score!!! La localizzazione si basa su sliding window (finestra mobile di dimensione crescente) che viene fatta scorrere su tutta l immagine. Solo le finestre che contengono almeno il 60% di pixel compatibili con il colore della pelle vengono analizzate.

8 8 HaarFaceFeatureExtractor (1) La classe HaarFaceFeatureExtractor implementa l estrazione di feature. I metodi da implementare in questa classe sono: Image<Gray, int> CalculateIntegralImage(Image<Gray, byte> image) Calcolo dell immagine integrale a partire dall immagine grayscale image. int CalculateRectSum(Image<Gray, int> integralimage, Point p1, Point p2, Point p3, Point p4) Calcolo della somma del valore dei pixel all interno di un rettangolo (corner p1, p2, p3 e p4) sulla base del immagine integrale. float[] ExtractFeatures(Image<Gray, byte> image) Calcolo del feature vector associato a image. Il vettore finale si ottiene concatenando i valori delle singole feature ottenute applicando le maschere A, B, C e D in tutte le posizioni possibili.

9 9 HaarFaceFeatureExtractor (2) Nel metodo ExtractFeatures per ciascuna maschera sono definite le dimensioni del singolo elemento rettangolare della maschera. Ad esempio: int featurea_width = 5; double aspectratioa = 1.5; int featurea_height = (int)(featurea_width*aspectratioa); A 5 Le maschere vengono applicate solo nella dimensione specificata, non viene operata nessuna riscalatura. Costruire il feature vector applicando ciascuna maschera in tutte le posizioni possibili (prima tutti i valori della maschera A in ogni pixel, poi quelli di B e così via). 7

10 Qualche risultato 10