SEGMENTAZIONE DI IMMAGINI. Elaborazione dei Segnali Multimediali Raffaele Gaetano 06 Maggio 2014

Transcript

1 SEGMENTAZIONE DI IMMAGINI Elaborazione dei Segnali Multimediali Raffaele Gaetano 06 Maggio 2014

2 DEFINIZIONE La segmentazione è un processo di basso livello utile a molte applicazioni basate sull elaborazione delle immagini. Effettua un partizionamento dell immagine identificandone le regioni (oggetti) costituenti, sulla base di criteri specifici per ogni applicazione.

3 RAPPRESENTAZIONE Mappa di etichette Gli elementi della mappa sono in corrispondenza univoca con i pixel dell immagine e ne identificano un segmento (regione) di appartenenza.

4 RAPPRESENTAZIONE Mappa di contorni Gli elementi non nulli della mappa identificano il contorno tra le varie regioni di interesse.

5 DEFINIZIONE Una segmentazione tipicamente gode di quattro proprietà fondamentali: Nessun pixel è condiviso tra due o più regioni. Tutti i pixel dell immagine sono associati ad una regione. Tutte le regioni sono omogenee (rispetto a criteri specifici per ogni applicazione). Due regioni diverse non sono «omogenee».

6 POSSIBILI APPLICAZIONI Tecniche di codifica ad oggetti (Region-based Image Coding) Shape-Adaptive Wavelet KLT adattativa Image Analysis Analisi di immagini telerilevate (classificazione dei terreni, monitoraggio ambientale, ) Analisi di immagini medicali (telemedicina, ) Content-based Image Retrieval Riconoscimento dei contenuti delle immagini (data-mining) Archiviazione intelligente Computer Vision

7 DEFINIZIONE Data l eterogeneità delle possibili applicazioni, è evidente che non possa esistere una tecnica di segmentazione che sia universalmente buona. Esistono però concetti di base del trattamento di immagini che sono comuni a molte tecniche di segmentazione. Nel caso generale, si fa riferimento a due proprietà fondamentali delle immagini: discontinuità e similarità.

8 TECNICHE DI BASE EDGE-BASED Si basano sull idea che tra diverse regioni d interesse si riscontrano rapidi cambiamenti nei valori di intensità/colore. Lo scopo dunque è il rilevamento (e la classificazione ) delle discontinuità (edges) dell immagine (livelli di grigio). Il prodotto della segmentazione sarà chiaramente una mappa di contorni.

9 TECNICHE DI BASE EDGE-BASED (esempio)

10 RILEVAMENTO DELLE DISCONTINUITA Un modo semplice ed efficace per rilevare le discontinuità prevede un approccio locale. Una maschera (finestra) opportunamente progettata è fatta scorrere sull immagine. La sua risposta in ogni blocco è memorizzata in una nuova immagine. w 1 w 2 w 3 9 w 4 w 5 w 6 R = i= 1 w 7 w 8 w 9 w i x i

11 ALCUNI ESEMPI: POINT DETECTION (1) Un punto isolato è un punto il cui valore di intensità è sensibilmente diverso da quello del suo vicinato. Può essere rilevato utilizzando una maschera e seguita da una sogliatura della risposta: R > T p

12 ALCUNI ESEMPI: POINT DETECTION (2)

13 ALCUNI ESEMPI: LINE DETECTION (1) Una linea è un insieme di punti contigui i cui valori di intensità sono simili tra loro e diversi da quelli dei pixel di sfondo. Necessario definire più maschere per catturare linee al variare della loro direzione:

14 ALCUNI ESEMPI: LINE DETECTION (2) 4 risposte per ogni punto. Un punto è individuato come possibile linea nella direzione della maschera i esima se: R i > R j j i

15 EDGE DETECTION Edge Detection rappresenta l approccio più comune per il rilevamento delle discontinuità significative in immagini a livelli di grigio Basato sul modello di edge a rampa. Gran parte delle tecniche di edge detection utilizza soprattutto le derivate prima e seconda dell immagine

16 GRADIENTE DI UN IMMAGINE Le derivate di una immagine si ottengono in generale attraverso un approssimazione dell operatore gradiente bidimensionale: In edge detection se ne utilizzano in particolare due quantità derivate, l intensità e l orientazione: = = y I x I I I I y x 2 2 I x I y I + = ( ) = x y I I I arctan α

17 OPERATORI GRADIENTE PER IMMAGINI DIGITALI Utilizzando apposite maschere, è possibile stimare le quantità I x e I y in corrispondenza di ciascun pixel. Diverse approssimazioni possibili: Roberts cross-gradient operators (2x2) Prewitt operators (3x3) Sobel operators (3x3)

18 OPERATORI GRADIENTE PER IMMAGINI DIGITALI - ROBERTS x 1 x 2 x 3 Roberts cross-gradient operators: x 4 x 5 x 6 x 7 x 8 x 9 I x = I y = x 8 x6 x 9 x 5 Si implementa dunque tramite maschere 2x2: Implementazione non immediata per l assenza di un centro proprio nella maschera.

19 OPERATORI GRADIENTE PER IMMAGINI DIGITALI - PREWITT x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 Prewitt operators: I x = ( x7 + x8 + x9) ( x1 + x2 + x3) I y = ( x3 + x6 + x9) ( x1 + x4 + x7 ) Implementazione tramite maschere 3x3:

20 OPERATORI GRADIENTE PER IMMAGINI DIGITALI - SOBEL x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 Sobel operators: I x = ( x7 + 2x8 + x9 ) ( x1 + 2x2 + x3) I y = ( x3 + 2x6 + x9) ( x1 + 2x4 + x7 ) Implementazione tramite maschere 3x3: Combinano l azione di derivazione in una direzione (Prewitt) con un azione di smoothing nella direzione ortogonale.

21 EDGE DETECTION TECNICHE BASATE SU DERIVATA PRIMA Nei casi più semplici, articolate in 3 fasi: Smoothing (l operazione di derivazione è tipicamente piuttosto sensibile al rumore): Ad es. ~ I = Derivazione (nel caso del gradiente di Sobel l azione di smoothing è inclusa in questa fase): Thresholding: I G σ nel caso di filtraggio Gaussiano ~ ~ 2 ~ 2 I = I x + I y ( ~ ) I M = > T e

22 EDGE DETECTION TECNICHE BASATE SU DERIVATA PRIMA

23 DERIVATA SECONDA DI UN IMMAGINE LAPLACIANO x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 2 Laplacian operator: 2 2 I I I = + 4x5 ( x2 + x4 + x6 + x8) 2 2 x y Implementazione tramite maschere 3x3: Una approssimazione alternativa considera anche i vicini nelle direzioni diagonali :

24 EDGE DETECTION TECNICHE BASATE SU DERIV. SECONDA Si basano sulla proprietà di zero-crossing della derivata seconda in corrispondenza degli edge. Producono contorni fini, cioè dello spessore di un pixel. Hanno diversi aspetti negativi: Sensibilità al rumore Implementazione non banale del calcolo dei zero-crossing

25 EDGE DETECTION OPERATORE LoG Una semplice tecnica di edge detection basata sul Laplaciano può essere articolata in 4 fasi: smoothing, calcolo della derivata seconda, thresholdinge calcolo dei zero-crossing. Un operatore, noto come Laplacian of a Gaussian (LoG), realizza le prime due fasi con un unica operazione di filtraggio: h r 2 2σ ( r) = e 2 h r r σ 2σ ( r) = e 4 con σ 2 2 r = x y

26 EDGE DETECTION CALCOLO DEI ZERO-CROSSING Una volta calcolato il laplaciano dell immagine, bisogna rilevarne i passaggi per zero Una soluzione semplice è quella di effettuare una sogliatura (thresholding): I th = 0 1 se se 2 I <= 0 I > 0 2 I passaggi per zero corrisponderanno dunque alle transizioni tra 0 e 1 sull immagine I th

27 EDGE DETECTION TECNICHE BASATE SU DERIV. SECONDA Immagine Sorgente LoG Thresholded LoG Mappa dei Contorni

28 EDGE DETECTION OPERAZIONI DI POST-PROCESSING La maggior parte delle tecniche di edge detection non garantiscono una segmentazione consistente. Con alcune di esse, i contorni rilevati sono spessi procedure di assottigliamento (thinning). Disturbi quali il rumore, le variazioni di illuminazione ed altri fenomeni causano il rilevamento di contorni incompleti procedure di Edge Linking. Regioni dell immagine possono essere rilevate solo se i contorni si chiudono su se stessi.

29 CANNY EDGE DETECTOR/LINKER Edge detector basato sulla derivata prima (Roberts). Prevede l assottigliamento (thinning) dei contorni direttamente sull immagine gradiente, attraverso una procedura chiamata Nonmaxima Suppression. Utilizza una strategia di thresholding basata su due soglie, nota come Hysteresis Thresholding.

30 CANNY EDGE DETECTOR/LINKER NONMAXIMA SUPPRESSION A partire dal gradiente dell immagine, vengono annullati (soppressi) tutti i valori dei pixel che non sono più elevati dei due vicini nella direzione del gradiente.

31 CANNY EDGE DETECTOR/LINKER HYSTERESIS THRESHOLDING Basato su una doppia soglia: A partire da ogni pixel al di sopra della soglia alta, T high,il relativo contorno viene seguito, finchè i pixel hanno un valore superiore alla sogli bassa, T low.

32 TECNICHE DI BASE REGION-BASED Si basano sulla progressiva aggregazione di pixel in regioni connesse. Tale aggregazione avviene sulla base di uno o più criteri di similarità. Il prodotto della segmentazione sarà stavolta una mappa di etichette.

33 REGION GROWING (1) Proposto da Haralick, fa uso di descrittori statistici. I pixel dell immagine sono progressivamente raggruppati fino a quando media e varianza della regione ottenuta restano stabili. Sia R una regione di NR pixel: X R = 1 N R ( x, y) R I( x, y) S 2 R = ( I( x, y) X R ( x, y) R ) 2 media scatter

34 REGION GROWING (2) Partendo da un punto qualsiasi dell immagine vengono aggregati tutti i pixel del suo vicinato per i quali la statistica: Le statistiche della regione vengono aggiornate: La procedura è ripetuta per ogni punto aggiunto. h R R R R T S X x N N N T < + = 2 1/ 2 ) 2 / ( 1 1) ( 1) ) /( ( + + = R R R R N x X N X ) ( ) ( old R R R R R R X X N X x S S + + =

35 WATERSHED TRANSFORM (1) Trasformata basata sui DEM (Digital Elevation Model): I valori di un blocco di dati sono interpretati come altitudini. A partire dai minimi locali, vi si associano gli elementi del vicinato che sono collegati ad essi da una traiettoria in ascesa (criterio di similarità). Si determinano così dei bacini di attrazione (catchment basin) separati da linee di separazione dette watershed.

36 WATERSHED TRANSFORM (2) E implementata attraverso algoritmi di flooding: Si simula il riempimento con acqua dei bacini di attrazione. La crescita delle regioni nelle varie direzioni viene arrestata quando più bacini si fondono. Watershed Line Catchment Basin Per la segmentazione, la trasformata si applica al gradiente dell immagine.

37 WATERSHED TRANSFORM (3) La mappa è generalmente molto frammentata (oversplitting).

38 TECNICHE DI BASE CLASS-BASED In queste tecniche, l analisi dell immagine non è più effettuata su base locale ma sull intera immagine. In generale, ai pixel dell immagine vengono associati dei valori caratteristici detti features Valori di intensità per immagini monocromatiche Terne di valori (R,G,B) per immagini a colori, ecc.. La segmentazione consiste nel raggruppare i pixel attraverso operazioni di sogliatura o di clustering. Mappe di etichette e regioni non connesse.

39 SOGLIATURA (1) Tecnica basata sull analisi dell istogramma dell immagine. Applicabile ad immagini a livelli di grigio, particolarmente indicata per segmentazioni binarie. Immagine sorgente Soglia I( x, y) T Immagine thresholded I 0 se I( x, y) < T ( x, y) = th 1 se I( x, y ) T

40 SOGLIATURA (2) Nel caso più generale, la soglia può dipendere, oltre che dall intensità, anche da altre proprietà associate ai pixel (thesholding locale): T = T[ I( x, y), p( x, y)] Inoltre, se la soglia dipende anche dalla posizione del pixel si parla di thresholding adattativo o dinamico: T = T[ x, y, I( x, y), p( x, y)]

41 SOGLIATURA (3) Threshold

42 CLUSTERING Insieme di tecniche il cui scopo è di raggruppare i pixel dell immagine in cluster, sulla base di vettori caratteristici (feature vector) ad essi associati. I vettori caratteristici determinano lo spazio di rappresentazione (feature space) dei pixel dell immagine. I vettori caratteristici dei pixel appartenenti ad un cluster sono vicini l un l altro nel corrispondente spazio di rappresentazione.

43 K-MEANS CLUSTERING (1) Si suddividono i pixel nello spazio di rappresentazione in K gruppi: C, 1 C2,..., C K con medie m, 1 m2,..., m K L errore quadratico medio (LSE) è utilizzato per determinare la distanza dei feature vector dalle medie dei rispettivi cluster: D = K k = 1 x C i L obiettivo è il clustering che minimizza D. K x i m k 2

44 K-MEANS CLUSTERING (2) ALGORITMO 1. Si sceglie in modo casuale un set di K medie (m 1,,m k ) 2. Per ogni vettore x i si calcola la distanza dalle K medie: D( xi, mk ) = xi mk k = 1,..., K 3. Si assegna il pixel x i al cluster C j a cui corrisponde la media più vicina 4. Si effettua l aggiornamento delle medie 5. Si ripetono i punti 3 e 4 fino a convergenza: 2 C k it C k it 1 k

45 K-MEANS CLUSTERING (3) APPLICAZIONE

46 ISODATA CLUSTERING (1) Si suddividono i pixel nello spazio di rappresentazione in K gruppi: C, 1 C2,..., C K con medie m, 1 m2,..., m K Si considerano anche le matrici di covarianza: Σ k = σ σ... σ n σ σ σ n σ σ σ 1n 2n... nn Si basa sulla fusione/suddivisione di cluster.

47 ISODATA CLUSTERING (2) ALGORITMO 1. Si assegna x i al cluster l che minimizza: D Σ = [ x i m l ]' Σ 1 l [ x i m l ] 2. Si fondono tutte le coppie di cluster C i e C j per cui vale: m i m j <τ υ 3. Si suddividono (2-means) tutti i cluster k per cui vale: max λ i (Σ k ) >τ υ 1. Si ripetono i punti 1,2 e 3 fino a convergenza. i

48 ISODATA CLUSTERING (3) APPLICAZIONE Immagine Sorgente Segmentazione K-Means Segmentazione ISODATA