Segmentazione basata su colore. Annalisa Franco

Transcript

1 Segmentazione basata su colore Annalisa Franco

2 2 La segmentazione Scopo di questa esercitazione è l implementazione di tecniche di segmentazione basate sul colore, al fine di isolare le regioni di pelle presenti in un immagine. In particolare, data in input un immagine RGB, l algoritmo dovrà produrre in output un immagine grayscale (maschera) con valore 255 nei pixel di pelle e valore 0 altrimenti.

3 3 Segmentazione basata su range (1) Il paper [1] propone la seguente tecnica di segmentazione nello spazio YCbCr: Map x, y = 255, if (C b x, y R Cb ) (C r x, y R Cr ൯ 0, otherwise dove R Cb = [77, 127], R Cr = 133, 173 È necessaria una conversione dallo spazio RGB allo spazio YC b C r ; La segmentazione avviene esclusivamente sulla base dell informazione cromatica (canali C b e C r ). [1] D. Chai, and K.N. Ngan, Face segmentation using skin-color map in videophone applications, IEEE Trans. on Circuits and Systems for Video Technology, 9(4): , June 1999.

4 4 Segmentazione con Emgu CV Info utili: var imgpath ; var image = new Image<Bgr, byte>(imgpath); var imgycrcb = image.convert<ycc, Byte>(); Caricamento immagine RGB Conversione spazio YCbCr per altri spazi colore basta cambiare il tipo di codifica del colore Image<Gray, byte>[] channels = imgycrcb.split(); Image<Gray, byte> Y = channels[0]; Image<Gray, byte> Cr = channels[1]; Split dei canali Image<Gray, byte> Cb = channels[2]; L immagine multichannel viene rappresentata attraverso un array di immagini a singolo canale Attenzione all ordine dei canali!!!

5 5 Segmentazione basata su range (2) Image<Gray, byte> CrFilter = Cr.InRange(new Gray(133), new Gray(173)); Image<Gray, byte> CbFilter = Cb.InRange(new Gray(77), new Gray(127)); Selezione dei pixel nel range Il risultato è una maschera binaria per ciascun canale Copia dei pixel sulla base della maschera AND tra le due maschere CrFilter CbFilter Mask (.And) Image<Gray, byte> mask = CbFilter.And(CrFilter); ImageViewer.Show(mask, "Segmented image"); Image<Bgr, byte> chroma = new Image<Bgr, byte> (new Size(image.Width, image.height)); image.copy(chroma, mask); ImageViewer.Show(chroma, "Segmented image");

6 6 Segmentazione con classificatore L obiettivo è addestrare un classificatore ad individuare le regioni di pelle presenti all interno di un immagine. Per l addestramento del classificatore useremo per motivi di tempo una singola immagine con relativa maschera di segmentazione. Nel db fornito (UCDColour), le maschere hanno il seguente formato: Valore 255 in tutti e tre i canali per i pixel di background Il valore dell immagine originale nei pixel considerati pelle Utilizziamo la seguente convenzione: Classe 0 Pixel di backgound Classe 1 Pixel di pelle

7 7 Suggerimenti (1) Seguire lo scheletro fornito per l esercitazione (Console Application), completando le parti mancanti; i commenti presenti indicano le operazioni di compiere. Il metodo ExtractFeatures, a partire dall immagine in input img deve produrre in output una matrice Matrix<float> che contenga in ogni riga il feature vector associato a un pixel (valori di intensità dei diversi canali). Il metodo viene richiamato sia in fase di training, sia in fase di test; durante il training viene passata al metodo anche la maschera (nulla in caso di test). L applicazione prevede la possibilità di eseguire la segmentazione in tre spazi colore diversi (RGB, YCbCr, HSV). Sarà necessario pertanto trasformare le immagini di training e test nello spazio colore prescelto.

8 8 Suggerimenti (2) La libreria mette a disposizione diversi classificatori. Provare: NormalBayesClassifier - metodo Train per il training. SVM - metodo TrainAuto per il training (scelta automatica dei parametri ottimali). Il training set dev essere fornito al classificatore come oggetto di tipo TrainData. È possibile salvare (metodo.save) e caricare (metodo.load) i classificatori. Per la classificazione ciascun classificatore mette a disposizione il metodo Predict.