Fuzzy image segmentation

Transcript

1 Fuzzy image segmentation G. Castellano 1 Segmentazione di immagini La descrizione per pixel di una immagine è troppo complessa per essere utile in applicazioni pratiche Il primo passo per ottenere una descrizione significativa è la segmentazione G. Castellano 2 1

2 Segmentazione di immagini La segmentazione è il processo di suddividere una immagine in un certo numero di regioni (insiemi di pixel) omogenee Ogni regione è omogenea rispetto ad alcune caratteristiche (livello di grigio, texture, colore) Regioni adiacenti devono avere caratteristiche diverse Nella segmentazione classica ogni pixel dell immagine appartiene ad una sola regione G. Castellano 3 Segmentazione fuzzy di immagini Scopo della segmentazione fuzzy è suddividere una immagine in un certo numero di regioni omogenee ogni pixel dell immagine può appartenere a più regioni con diversi gradi di membership Metodi principali di segmentazione fuzzy Fuzzy clustering Fuzzy rules G. Castellano 4 2

3 Fuzzy image segmentation Un sistema fuzzy per la segmentazione di immagini a colori G. Castellano 5 Segmentazione basata sul colore Moltisistemidi visionea colorieffettuanocome primo passodellaelaborazioneunasegmentazionedeicolori, ovvero una classificazione dei pixel in un numero discreto di classi colore I colori presenti nell immagine sono quantizzati in differenti classi colore che possono essere usate per differenziare le regioni presenti nell immagine Dopo la classificazione, il colore di ogni pixel è rimpiazzato dalla corrispondente classe, formando quindi una mappa di classi colore nella immagine. G. Castellano 6 3

4 Segmentazione basata sul colore Mentre l uomo riesce facilmente a classificare i colori nello spettro del visibile, lo stesso compito per un sistema artificiale non è altrettanto semplice Approcci classici alla segmentazione del colore Color thresholding Nearest neighbor classification G. Castellano 7 Segmentazione basata sul colore Color thresholding Si partiziona lo spazio colore (tipicamente RGB) fissando delle soglie in base all istogramma delle tre componenti If R<R_min_thresor R>R_max_thres then R=0 If G<G_min_thresor G>G_max_thresthen G=0 If B<B_min_thresor B>B_max_thres then B=0 Nonostantela semplicitàe ilbasso costo computazionale, questo metodo non sempre funziona G. Castellano 8 4

5 Segmentazione basata sul colore Nearest neighbor classification Si effettuaunaricercain un insiemedi esempipreclassificatial fine di trovare, per ciascunpixel, ik nearest neighbors (in genere si usa la distanza euclidea) ilpixel è quindiclassificatoin base allaclassecon maggiori occorrenze tra i K neighbor Per averebuonirisultati, occorreutilizzareun grannumerodi esempi, quindiilmetodoè piuttosto lento e non è adatto qualora siano necessarie prestazioni real-time G. Castellano 9 Segmentazione basata sul colore Un sistema a regole fuzzy per la segmentazione basata su colore è proposto in LiorShamir, Human Perception-based Color Segmentation Using Fuzzy Logic, International Conference on Image Processing, Computer Vision and Pattern Recognition (IPCV 2006), vol. II, p Las Vegas, NV Regole definite manualmente A. Borji, and M. Hamidi, Evolving a Fuzzy Rule-Base for Image Segmentation, Proc. of World Academy of Science, Engineering and Technology, vol. 22, pp. 4-9, 2007 Regole definite manualmente e successivamente ottimizzate mediante algoritmo genetico G. Castellano 10 5

6 Segmentazione basata sul colore A differenza di altri approcci, l uso di regole fuzzy per la segmentazione, fornendo una descrizione intuitiva del problema mediante regole espresse in linguaggio naturale, consente di modificare facilmente le regole di classificazione in base alla specifica applicazione G. Castellano 11 Sistema Fuzzyper La segmentazione è fatta sulla basee dello spazio colore HSV (Hue- Saturation-Value) Più intuitivo rispetto a RGB Hueè la tinta, rappresentata come coordinata angolare dal rosso 0 al rosso 360 Saturationè la distanza del colore dal grigio più vicino varia da 0 (colore desaturato grigiastro) a 1 (colore puro o saturo) lungo il raggio Valueindica la quantità di luce (bianco) in un colore Varia da 0 a 100, lungo l asse del cono a saturazione zero G. Castellano 12 6

7 Sistema Fuzzy per Le regole fuzzy per classificare ciascun pixel sono del tipo IF (Hue is Red) AND (Saturation is Weak) and (Value is Strong) THEN the pixel belongs to color-class C1 with grade CF1 G. Castellano 13 Sistema Fuzzy per Definizione delle variabili di input Prima variabile di input: Hue(tinta) descrive la tinta del colore come coordinata angolare, e varia dal rosso 0 al rosso 360 Trasformazione del range in [0, 255] Dieci valori fuzzy, ciascuno corrispondente ad una tinta Funzioni di membership trapezoidali red orange yellow green cyan blue purple magenta pink red

8 Sistema Fuzzy per Soluzione proposta in (Shamir, 2006) 10 fuzzy set per la variabile Hue Il fuzzy set Red è ottenuto mediante unione di due fuzzy set G. Castellano 15 Sistema Fuzzyper Definizione delle variabili di input Seconda variabile di input: Saturation(saturazione) varia da 0 (colore desaturato -grigiastro) a 1 (colore puro o saturo) Trasformazione del range in [0, 255] Tre valori fuzzy: gray, medium, clear Funzioni di membership trapezoidali 1 gray medium clear saturation G. Castellano 16 8

9 Sistema Fuzzy per Soluzione proposta in (Shamir, 2006) 5 fuzzy set per la variabile Saturation G. Castellano 17 Sistema Fuzzyper Definizione delle variabili di input Terza variabile di input: Value(luminosità) Tre fuzzy values: dark, medium, bright Funzioni di membership trapezoidali 1 dark medium bright Value G. Castellano 18 9

10 Sistema Fuzzy per Soluzione proposta in (Shamir, 2006) 4 fuzzy set per la variabile Value G. Castellano 19 Sistema Fuzzyper Definizione della variabile di output Variabile di output: classe del colore Tanti valori fuzzy quante sono le classi considerate In (Shamir, 2006) si considerano: Black, White, Red, Orange, Yellow, Dark Gray, Light Gray, Pink, Light Brown, Dark Brown, Cyan, Blue, Olive, Light Green, Dark Green, Purple Fuzzy singleton G. Castellano 20 10

11 Sistema Fuzzyper Definizione delle regole Occorre definire, per ciascuna combinazione dei valori fuzzydi H, S, e V, un conseguente, ovvero una classe colore N.ro regole in (Samir, 2006): 10x5x4= 200 regole!! N.rodi regole con il nostro modello: 10 x 3x 3 = 90 regole!! Si potrebbe utilizzare un algoritmo genetico per ridurre il numero di regole (come in Borji& Hamidi, 2007) Per definire manualmente le regole, è necessario ridurre il numero di valori fuzzy Ad es. possiamo ridurre a 5 il numero di valori fuzzyper Hue 5x3x3=45 regole G. Castellano 21 Sistema Fuzzyper red orange yellow green cyan blue purple magenta pink red red yellow Cyan-blue magenta red

12 Defuzzificazione Dato in input un colore, espresso da una tripla HSV, il sistema fuzzy, mediante inferenza delle regole, fornirà la classe colore corrispondente Problema: l inferenza delle regole produrrà un valore crisp, non necessariamente coincidente con uno dei fuzzy singleton usati per rappresentare le classi necessità di avere in output un valore linguistico corrispondente ad una delle classi G. Castellano 23 Defuzzificazione Soluzione proposta in (Shamir, 2006) Si raggruppano tutte le regole in base al conseguente (classe) ottenendo C gruppi G 1, G 2,, G C Ad ogni gruppo di regole si associa un valore v c che è definito dalla somma dei livelli di attivazione delle regole nel gruppo Si seleziona il gruppo con valore massimo, cioè tale che vc * = max{ vc} c= 1... C Si considera come output dell inferenza la classe c* Altre soluzioni?? G. Castellano 24 12

13 Risultati original image segmentation using color space thresholding segmentation using nearest neighbor segmentation using fuzzy rule-based method proposed in (Shamir, 2006) G. Castellano 25 Risultati original image segmentation using color space thresholding segmentation using nearest neighbor segmentation using fuzzy rule-based method proposed in (Shamir, 2006) G. Castellano 26 13

14 Conclusione Dai risultati sperimentali si evince che la segmentazione effettuata con il metodo fuzzy è migliore rispetto a quella ottenuta con tecniche tradizionali di segmentazione del colore soprattutto sembra funzionare meglio su immagini di scene naturali, più complesse da segmentare G. Castellano 27 Conclusione Vantaggi del metodo basato su regole fuzzy Possibilità di modificare la classificazione in base alle esigenze di una specifica applicazione Ridotto costo computazionale Utilizzando 200 regole fuzzy, con processore Intel Pentium IV a 2.66 MHZ e 512 MB di RAM, un immagine 150x225 pixel è elaborata in circa 0.35 sec G. Castellano 28 14

15 Una variante Per ridurre il costo computazionale, si potrebbe pensare di suddividere l immagine in N blocchi e applicare l inferenza delle regole al colore medio di ciascun blocco Passi da implementare Convertire l immagine da RGB a HSV Calcolare le dimensioni dell immagine Se necessario fare un aggiustamento Suddividere l immagine in N blocchi uguali Per ciascun blocco, calcolare la media del colore (tripla HSV) Applicare l inferenza delle regole a ciascuno degli N valori medi G. Castellano 29 15