Morfologia e Image Processing. Multimedia

Transcript

1 Morfologia e Image Processing

2 Morfologia Matematica Nell ambito dell image processing il termine morfologia matematica denota lo studio della struttura geometrica dell immagine. E uno strumento utile per la rappresentazione e la descrizione della forma di una regione. Si possono ricavare i contorni, lo scheletro, ecc. E uno strumento matematico definito inizialmente su immagini binarie ma facilmente estensibile ad immagini a toni di grigio e quindi a colori.

3 Morfologia Matematica Processamento ed Analisi della forma di una regione La percezione visiva richiede la trasformazione di immagini in modo da rendere esplicita l informazione sulle forme delle regioni (es: oggetti) in essa presenti. Obiettivo: Distinguere le informazioni significative sulla forma da quelle irrilevanti. La maggior parte delle tecniche per l analisi ed il processamento della forma delle regioni sono basate sulla realizzazione di un operatore di forma che soddisfi le proprietà richieste.

4 Esempi L analisi di un immagine prevede l estrazione di misure caratteristiche dell immagine considerata. Ad esempio, le misure Geometriche consistono nella posizione di un oggetto, nella orientazione, l area e la lunghezza del perimetro

5 Preliminari Gli insiemi nella morfologia matematica rappresentano degli oggetti in un immagine: - Immagini binarie (0 = white, 1 = black): l elemento dell insieme corrisponde alle coordinate (x, y) del pixel; L oggetto è definito in Z 2 ; - Immagini a toni di grigio: l elemento dell insieme corrisponde alle coordinate (x,y) del pixel e al suo valore di intensità; L oggetto è definito in Z 3 ;

6 Preliminari Se un elemento di A è definito come a=(a 1,a 2 ) sono ben definite le seguenti espressioni: a Α a appartiene all insieme A; a Α a non appartiene all insieme A; Α Β A è incluso in B; C = Α Β Unione; C = Α Β Intersezione; Α Β = Intersezione vuota; Α c = { w w Α} Complementare di A; c { w w Α w Β} = Α Β Differenza insiemistica; Α B =,

7 Esempi

8 Operazioni logiche

9 Riflessione e Traslazione Siano A e B insiemi in Z 2 Bˆ = { w w = b, b B}, Riflessione dell' insieme B ( A) z = { w w = a + z, a A}, Traslazione dell' insieme A

10

11 Elemento strutturante La struttura dell immagine viene sondata con un insieme di forma definibile dall utente (elemento strutturante) solitamente codificato da un piccola immagine raster (3 3 o 5 5).

12

13 Dilatazione Espande gli oggetti A B = { ( ) } z Bˆ A = z ( Bˆ ) z { } A A z L effetto dilatazione è dovuto all applicazione dell elemento strutturante B vicino ai bordi. Dalla definizione si evince che l elemento strutturale viene ribaltato rispetto alla sua origine, attraverso l operazione di riflessione, e shiftato di z posizioni attraverso una traslazione. Il risultato dell operatore è l insieme delle posizioni z tali (B^) z che interseca almeno un elemento di A.

14 Esempio di Dilatazione

15

16 Applicazioni: Riempimento

17 Esempio di Dilatazione > B=ones(3,3)

21 Erosione Erode/Assottiglia gli oggetti A Θ B = { z ( B) A} z L effetto di erosione è dovuto al fatto che quando l elemento strutturante B viene traslato vicino ai bordi esso non è completamente contenuto in A.

22 Esempio di Erosione

27 Analisi Granulometrica Sulla sinistra è rappresentata un immagine contenente dei quadrati bianchi di dimensione 1,3,5,7,9 e 15. Al centro viene riportato l output di un processo di erosione con un elemento strutturale di lato 13. Applicando poi una dilatazione con lo stesso elemento strutturale si ottiene un elegante rimozione dei dettagli iniziali

28 Erosion/Dilation: Dualità Vale la seguente proprietà:

29 Apertura Rimozione Strutturata di Punte Opening(A,B)=A º B=(AΘB) B = { (B z ) (B z ) A } Un erosione seguita da una dilatazione utilizzando lo stesso elemento strutturale. L effetto dell opening è di preservare il più possibile regioni di forma simile all elemento strutturante e di eliminare quelle differenti. E un filtro di smoothing, di cui potenza e tipologia vengono determinati dalla forma e dalle dimensioni di B.

30 Apertura

31 Apertura Un esempio di problema che richiede l applicazione dell apertura è l eliminazione delle linee dall immagine in figura. In questo caso viene utilizzato un elemento strutturale a forma sferica di raggio pari a quello dei cerchi da preservare che è maggiore dello spessore delle linee.

32 Chiusura Riempimento strutturato di cavità Closing(A,B)= A B = (A B) Θ B Una dilatazione seguita da un erosione utilizzando lo stesso elemento strutturale. L effetto del closing è di chiudere gli eventuali buchi interni.

33 Chiusura

34 Esempi

35 Apertura/chiusura: Proprietà

36 Operatori complessi La combinazione degli operatori di base consente di eseguire altre operazioni complesse quali estrazione contorno riempimento regioni componenti connesse guscio convesso Thinning Thickening pruning

37 Opening/Closing: Noise Reduction Erosion Dilatation Dilatation Erosion Opening Closing

38 Hit/Miss Transform Pattern Matching e Marcatura Dati X sottoinsieme di W A*X=(A Θ X ) [ A c Θ (W - X)] dove (W - X) è il background locale e (A Θ X) è l erosione di A con l elemento cercato X Lo stesso operatore si può definire come : A*B=(A ΘB 1 ) [ A c Θ B 2 ] dove B 1 si riferisce all oggetto e B 2 è il background. E utilizzato come rivelatore dettagliato della presenza di una forma all interno di una immagine.

39 Hit-or-Miss

40 HTM: Corner Detection Se i pixel di foreground e background dell elemento strutturante hanno un exactly match con il foreground e background pixels della immagine, allora il pixel corrispondente alla posizione dell origine nell elemento strutturante verrà settato a a 1, altrimenti è settato a 0.

41 Applicazioni Avanzate: Region Filling Applicazione iterativa di logical NOT, logical AND e dilation Il processo può essere descritto con la seguente formula: dove X k è la regione che, dopo la convergenza del processo, riempie il bordo iniziale identificato da A. J è l elemento strutturante.

42 A Esempio: Region Filling J X 0 A not Serve a prevenire che la crescita (growing) sconfini rispetto ai bordi di A. Step 2 Iterazioni Step 3 Step 4 Step 5 Step 6 Step 7 Convergence U A final result

43 Altre applicazioni avanzate Thinning: operatore morfologico usato per rimuovere pixel di foreground selezionati opportunamente. Skeletonization: processo per la riduzione del foreground ad uno scheletro che preserva la misura e la connettività del foreground originale. Si usa l operatore di thinning ripetutamente fino a convergenza Thickening: operazione morfologica usata per far crescere regioni opportunamente selezionate. E una operazione utile per l estrazione del convex hull di uno shape.

44 Morfologia in MATLAB Gli operatori di base sono disponibili tramite i comandi MATLAB: C=imerode(A,B) C=imdilate(A,B) C=imopen(A,B) C=imclose(A,B) dove A, B e C sono immagini binarie e B è l elemento strutturale.

45 Morfologia in MATLAB:strel L elemento strutturale può essere anche generato utilizzando la funzione strel, che grazie ad un innumerevoli serie di parametri permette la creazione diverse forme di varia grandezza.

46 Opzioni istruzione bwmorph La funzione bwmorph implementa una varietà di operazioni basate sulla combinazione di operatori morfologici di base. La sua sintassi è la seguente: G=bwmorph(f,oper,n) dove f è l immagine binaria di input, oper è una stringa (vedi tabella accanto) ed n indica il numero di volte che l operazione deve essere ripetuta

47 Estrazione dei contorni Poiché la dilatazione rende le regioni più spesse e l erosione le assottiglia, la loro differenza enfatizza i confini tra le regioni. Il risultato è un immagine in cui si vedono bene i bordi tra gli oggetti e in cui non è presente il contributo di zone omogenee. Immagini binarie Immagini a scala di grigio A = imread ('image.jpg'); e = strel ('square', 3); G = imdilate(a, e) imerode(a, e);

48 Estrazione dei contorni

50 Estrazione dei contorni Contorni di A si ottiene facendo A - ( A Θ B ) In Matlab diventa C = A-imerode(A,e); dove e=ones(3,3)

53 LAPLACIANO Un alternativa al gradiente morfologico è l operatore laplaciano che tende a formare contorni chiusi. Immagini binarie Immagini a scala di grigio A = imread ('image.jpg'); e = strel ('square', 15 ); L = imdilate(a, e) + imerode(a, e) 2*A;

54 Laplaciano In bianco i pixel che hanno valore 1 In nero i pixel che hanno valore -1 In grigio i pixel che hanno valore 0

55 Laplaciano Se considero neri i pixel che hanno valore 0 e bianchi tutti gli altri (valore 1 e -1)

56 Laplaciano

57 Thinning (assottigliamento) L operazione di assottigliamento riduce la forma di un oggetto rendendo le linee più sottili. Dove * è l operazione di Hit / Miss Transform Immagini binarie A = imread ('thinning.tif'); B = bwmorph (A, 'thin', n); n è il numero di iterazioni. Quando n=inf si itera fino a quando non si hanno più variazioni possibili.

58 Thinning (assottigliamento)

59 Thickening (ispessimento) L operazione di ispessimento viene utilizzata per far crescere regioni opportunamente selezionate. Immagini binarie A = imread ('thickening.tif'); B = bwmorph (A, 'thicken', n); n è il numero di iterazioni. Quando n=inf si itera fino a quando non si hanno più variazioni possibili.

60 Thickening (ispessimento)

61 Skeletonization (scheletrizzazione ) La scheletrizzazione è un operazione morfologica che riduce gli oggetti in un immagine binaria ad un insieme di linee sottili che conservano l informazione rilevante sulla forma dell oggetto. Immagini binarie A = imread ('skeletonization.jpg'); B = bwmorph (A, 'skel', n);

62 Thickening (ispessimento)

63 Bridge Cerca gruppi di pixel non connessi e li congiunge cambiando lo 0 in 1. Immagini binarie ESEMPIO diventa A = imread ('image.png'); B = bwmorph (A, 'bridge', 1);

64 Bridge

65 Clean Questa operazione elimina pixel isolati. Ad esempio un singolo 1 circondato da tutti 0. Immagini binarie A = imread ('image.png'); B = bwmorph (A, 'clean', 1); ESEMPIO

66 Clean

67 Shrink Con questa operazione si rimuovono i pixel dell immagine in modo che gli oggetti senza fori si riducano ad un punto e quelli con dei fori si riducano ad un anello collegato a metà tra ciascun foro e il contorno esterno. Immagini binarie A = imread ('shrink.jpg'); B = bwmorph (A, 'shrink', n); Quando n=inf si riducono in punti gli oggetti dell immagine.

68 Shrink

69 Pixel Filling Questa operazione permette di riempire i pixel isolati situati all interno di un immagine binaria. Immagini binarie ESEMPIO A = imread ('pixel.jpg'); B = bwmorph (A, 'fill', 1);

70 Pixel Filling

71 Pixel Filling Invece, l operazione 'hbreak rimuove i pixel connessi diventa

72 REGION FILLING È un operazione che riempie i fori presenti in un immagine binaria o a scala di grigio. Un foro è definito come un area di pixel scuri circondati da pixel più chiari. Immagini binarie Immagini a scala di grigio A = imread ('regionfilling.png'); F = imfill (A, 'holes');

73 Region Filling

74 CONNECTED COMPONENTS È un operazione che permette di trovare le componenti connesse presenti in un immagine binaria. A = imread ('connected.jpg'); C = bwconncomp(a); Immagini binarie x = C.NumObjects; R = label2rgb(labelmatrix(c)); p=c.pixelidxlist; In particolare, l istruzione x = C.NumObjects restituisce il numero di componenti connesse individuate nell immagine e l istruzione p=c.pixelidxlist restituisce un cell array che contiene gli indici lineari dei pixel di ogni componente.

75 Vicini 4 connessi

76 Vicini 8 connessi

77 CONVEX HULL Calcola l involucro convesso di tutti gli oggetti presenti nell immagine trattandoli come un unico oggetto e restituisce un immagine binaria convessa. Immagini binarie A = imread ('convexhull.png'); Q = bwconvhull (A);

78 bwconvhull(a,'object');

79 bwconvhull(a,'union');

80 TOP HAT & BOTTOM HAT Una delle applicazioni principali di queste trasformazioni è la rimozione degli oggetti da un immagine attraverso un elemento strutturante che non si abbina agli elementi da rimuovere; la loro differenza porta ad avere un immagine in cui rimangono solo le componenti rimosse.

81 TOP HAT La trasformazione top-hat si usa per oggetti chiari su uno sfondo scuro (white top-hat) e viene spesso utilizzata per correggere efficacemente gli effetti di un illuminazione non uniforme (shading correction). Immagini binarie Immagini a scala di grigio A = imread ('tophat.png'); e = strel ('disk', 3 ); T = imtophat(a, e);

82 BOTTOM HAT La trasformazione bottom-hat si usa per oggetti scuri su uno sfondo chiaro (black top-hat) e viene spesso utilizzata per correggere efficacemente gli effetti di un illuminazione non uniforme (shading correction). Immagini binarie Immagini a scala di grigio A = imread ('bottomhat.png'); e = strel ('disk', 3 ); T = imbothat(a, e);

83 CORREZIONE ILLUMINAZIONE

84 Operatori morfologici per le immagini in scala di grigio

85 SE NON-FLAT Estendendo la morfologia ad immagini a scala di grigio si possono utilizzare elementi strutturanti di tipo non-flat dove ad ogni elemento è assegnato un valore di intensità, il cui intervallo di valori è lo stesso di quello dell'immagine a toni di grigio. SE = strel ('ball', R, H, N) Crea un elemento strutturante non-flat a forma di ellissoide, il cui raggio nel piano x-y è R e la cui altezza è H. R deve essere un intero non negativo H deve essere uno scalare reale N deve essere un intero non negativo

86 SE NON-FLAT Quando N > 0 l'elemento strutturante sferico è approssimato da una sequenza di N elementi strutturanti non-flat a forma di linea. Quando N = 0 non viene utilizzata alcuna approssimazione e i membri dell elemento strutturante consistono in tutti i pixel i cui centri non sono maggiori di R rispetto all'origine. I corrispondenti valori di altezza sono determinati dalla formula dell'ellissoide specificata da R e H. Se N non è specificato, il valore predefinito è 8. SE = strel ('ball', R, H, N)

87 Estensioni a immagini a scala di grigio E possibile generalizzare le tecniche di morfologia matematica a immagini a livelli di grigio. In questo caso: f(x, y): immagine di input; b(x, y): un elemento strutturale (una sottoimmagine); (x, y): coordinate intere. f e b sono funzioni che assegnano un livello di grigio a ciascuna coppia distinta di coordinate intere.

88

89 Dilatazione / Erosione a Toni di Grigio Dilation (f b)(s, t) = max{f(s - x, t - y) + b(x, y) (s - x) D f,(t - y) D f, (x, y) Db } dove D f, D b rappresentano rispettivamente i domini della f e della b. Se tutti i valori dell elemento strutturale sono positivi l immagine di output tende ad essere più chiara dell input. Dettagli scuri sono ridotti o eliminati a seconda del loro valore e della forma e del valore di b. Erosion (f Θb)(s, t) = min{f( s + x, t + y) b(x, y) (s + x) D f,(t + y) D f, (x, y) D b } dove D f, D b rappresentano rispettivamente i domini della f e della b. Se tutti i valori dell elemento strutturale sono positivi l immagine tende ad essere più scura dell input. Si può controllare il grado di schiarimento dei piccoli dettagli chiari a seconda del loro valore e della forma e del valore di b.

90 Dilation 1-D (f b)(s) = max{f(s - x) + b(x) (s - x) D f, (x) Db }

91 Erosion 1-D ( fθb)( s) = min{f(s + x) b(x) (s + x) D f, (x) D b }

92 A destra un esempio di opening e di closing su un segnale monodimensionale