Corso di Elaborazione di Segnali Multimediali Elaborazione Morfologica delle Immagini

Transcript

1 Corso di Elaborazione di Segnali Multimediali Elaborazione Morfologica delle Immagini Raffaele Gaetano 3 Giugno 2014

2 L analisi di immagini Tra le discipline informatiche, l analisi di immagini ha come scopo l estrazione, la caratterizzazione e l identificazione delle informazioni significative a partire da immagini digitali. Spesso, le tecniche di analisi partono da una etichettatura dei pixel dell immagine, per permettere l estrazione di informazioni di più alto livello (forme, oggetti, strutture,...) Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

3 La morfologia matematica La morfologia matematica offre una serie di strumenti di base per l elaborazione di immagini binarie: Operatori di manipolazione di forme (denoising, smoothing, etc.) Descrittori di forma (contorni, scheletri, inviluppi convessi,...) Alcuni esempi... Come eliminare rumore o oggetti indesiderati? Come separare componenti sovrapposte? Come riconoscere forme simili? Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

4 Definizioni preliminari Il linguaggio della morfologia matematica è quello della teoria degli insiemi. Per una immagine binaria f, che assume cioè 2 valori possibili (0 e 1), ci si concentra tipicamente sugli insiemi di pixel di foreground: Z 2 A = {w : f (w) = 1} con w = (m, n) Le classiche espressioni insiemistiche sono allora ben definite: Appartenenza: w A, w / A Inclusione: A B Unione: A B Intersezione: A B Complemento: (A) c = {w : w / A} Differenza: A B = {w : w A, w / B}... Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

5 Definizioni preliminari Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

6 Definizioni preliminari Due definizioni aggiuntive tipiche della morfologia matematica... La traslazione: (A) z = {w : w = a + z, for a A, z = (z 1, z 2 )} La riflessione: ˆB = {w : w = b, for b B} L origine di un insieme è il punto di coordinate (0,0) (il punto nero in figura). Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

7 L elemento strutturante Tutti gli operatori di morfologia matematica si basano sul confronto locale delle forme e strutture dell immagine con una forma di riferimento: l elemento strutturante. La scelta dell elemento strutturante (forma e dimensione) dipende dal tipo di informazione che si vuole mettere in evidenza. Tipicamente, ma non necessariamente, l elemento strutturante è simmetrico, connesso e convesso: Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

8 Operatori morfologici Gli operatori morfologici di base consistono in una ispezione di una immagine A guidata dall elemento strutturante B (tipicamente più piccolo). Si stabilisce una regola di confronto locale (ad. es. B A ). Si fa scorrere l elemento strutturante sull immagine, sovrapponendo i risultati del confronto. Analogie con la convoluzione spaziale. Sono definiti cinque operatori principali: dilatazione, erosione, apertura, chiusura, trasformazione hit-or-miss......di cui due sono elementari (erosione e dilatazione). Operatori più complessi sono definiti come combinazione di questi ultimi. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

9 La dilatazione morfologica La dilatazione morfologica ha come effetto l allargamento dei contorni di un oggetto (insieme di pixel) di foreground. Crescita dell area dell oggetto. Riduzione dei vuoti dell oggetto. La dilatazione di A con l elemento strutturante B è definita come: A B = {z : (ˆB) z A } In pratica, l oggetto risultante conterrà tutte le posizioni z in cui il riflesso di B traslato in z (relativamente alla sua origine) e A si sovrappongono in almeno un punto. B A B A Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

10 La dilatazione morfologica Dilatazione con Dilatazione con Dilatazione con Immagine originale disco di raggio 1 disco di raggio 2 disco di raggio 4 Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

11 L erosione morfologica L erosione morfologica ha come effetto la contrazione dei contorni di un oggetto (insieme di pixel) di foreground. Riduzione dell area dell oggetto. Allargamento dei buchi dell oggetto. L erosione di A con l elemento strutturante B è definita come: A B = {z : (B) z A} In pratica, l oggetto risultante conterrà tutte le posizioni z in cui la traslazione di B (relativamente alla sua origine) è interamente contenuta in A. B A A B Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

12 L erosione morfologica Erosione con Erosione con Erosione con Immagine originale disco di raggio 1 disco di raggio 2 disco di raggio 4 Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

13 Dilatazione e erosione: proprietà Dilatazione ed erosione hanno una proprietà notevole: A B A A B, B Dilatazione gap bridging Riempie i buchi di dimensione più piccola dell elemento strutturante Allarga le estremità delle forme Riempie i passaggi stretti Salda oggetti a distanza inferiore alla taglia dell e.s. Erosione elimina dettagli irrilevanti Elimina le componenti connesse di dimensione più piccola dell elemento strutturante Cancella le estremità sottili Allarga buchi e passaggi Separa oggetti connessi da un ponte stretto Altre proprietà: Dualità: (A B) c = (A) c ˆB Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

14 Filtraggio morfologico: apertura e chiusura Gli operatori elementari hanno proprietà interessanti, ma modificano significativamente l informazione rilevante. La dilatazione ricostruisce gli oggetti disconnessi ma ne compromette la forma esterna. L erosione rimuove efficacemente rumore e dettagli ma rischia di scomporre gli oggetti. La combinazione di questi due operatori da luogo a operatori complessi dalle proprietà ancora più interessanti. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

15 L apertura morfologica (Morphological Opening) L apertura morfologica è costituita da un erosione seguita da una dilatazione effettuata mediante lo stesso elemento strutturante. A B = (A B) B L effetto dell apertura è di preservare il più possibile le regioni di forma simile all elemento strutturante, eliminando quelle differenti. Si tratta di un filtro di smoothing morfologico, il cui effetto è determinato da forma e dimensioni dell elemento strutturante. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

16 L apertura morfologica Immagine originale Apertura con e.s. circolare Apertura con e.s. romboidale Apertura con e.s. a stella Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

17 Filtraggio morfologico: l apertura L apertura morfologica seleziona le forme d interesse: Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

18 La chiusura morfologica (Morphological Closing) La chiusura morfologica è costituita da una dilatazione seguita da un erosione effettuata mediante lo stesso elemento strutturante. A B = (A B) B L effetto della chiusura è speculare a quello dell apertura: le cavità dell immagine sono riempite in accordo all elemento strutturante scelto. Si tratta ancora di un filtro di smoothing morfologico. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

19 La chiusura morfologica Immagine originale Chiusura con e.s. circolare Chiusura con e.s. romboidale Chiusura con e.s. a stella Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

20 Filtraggio morfologico: la chiusura Comportamento duale rispetto all apertura: Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

21 Apertura e chiusura: proprietà Apertura e chiusura hanno due proprietà notevoli: Ordine: A B A A B, B Idempotenza: (A B) B = A B, (A B) B = (A B) Apertura smoothing interno Regolarizza le forme Elimina le componenti connesse di dimensioni inferiori all e.s. Conserva spesso la taglia e la forma Può alterare la topologia Chiusura smoothing esterno Salda le forme vicine Riempie i buchi di dimensioni inferiori all e.s. Conserva spesso la taglia e la forma Può alterare la topologia Altre proprietà: Dualità: (A B) c = (A) c ˆB Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

22 Filtraggio morfologico: combinazione di operatori Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

23 Trasformazione Hit-or-Miss La trasformazione Hit-or-Miss è una operazione generale della morfologia binaria, usata per cercare pattern di pixel del foreground e del background. É uno strumento di base per il riconoscimento di forme complesse. Basato sulla costruzione di una o più maschere (analoghe agli elementi strutturanti) a 3 valori: foreground (1), background (-1) e don t care (0). La maschera scorre l immagine, e se intercetta un pattern corrispondente, la posizione corrispondente alla sua origine è marcata come hit (1), altrimenti come miss (0). Implementazione efficiente tramite doppia erosione... Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

24 Trasformazione Hit-or-Miss Per ogni maschera B, si costruisce un pattern di foreground B 1 e un pattern di background B 2 (elementi strutturanti) B = B 1 = e B 2 = Si erode l immagine A tramite e.s. B 1 e il suo complemento A c tramite B 2. Il risultato finale della hit-or-miss è dunque: A B = (A B 1 ) (A c B 2 ) Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

25 Trasformazione Hit-or-Miss: esempi Estrazione di angoli (corners) con 4 maschere: Estrazione di punti isolati, endpoints di linee, giunzioni, Molto utile per l analisi dei contorni e gli scheletri di forme. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

26 Algoritmi di elaborazione morfologica La combinazione degli operatori visti finora consente di eseguire numerose operazioni complesse: Estrazione dei contorni delle forme Riempimento delle regioni Etichettatura delle componenti connesse Inviluppo convesso Assottigliamento (thinning) e skeletonization Inspessimento (thickening) Pruning... Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

27 Estrazione dei contorni Il contorno di una forma binaria A, indicato con β(a), si può ottenere molto semplicemente tramite: l erosione di A attraverso un elemento strutturante B: A B, l insieme differenza tra A e A B: β(a) = A (A B) Lo spessore del contorno dipenderà dalla dimensione dell elemento strutturante. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

28 Riempimento di regioni É un primo esempio di applicazione iterativa di operatori morfologici: Si parte da una immagine dei contorni A e si seleziona un punto interno p. Iterativamente, si dilata la parte interna con un elemento strutturante appropriato, sopprimendo ad ogni passo i punti che toccano il contorno A: X k = (X k 1 B) A c. L algoritmo si interrompe quando X k = X k 1. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

29 Assottigliamento di forme (thinning) Altra procedura iterativa, basata sulla trasformazione hit-or-miss, finalizzata a ottenere un descrittore sottile di forma. Basato sulla ricerca e l eliminazione iterativa di configurazioni elementari spesse. Si usa un appropriato set di maschere ruotate: Formalmente: Operazione base A B = A (A B) Thinning 1-pass A {B} = ((... ((A B 1 ) B 2 )...) B 8 ) Thinning completo X k = X k 1 {B}, fino a convergenza Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

30 Assottigliamento di forme (thinning) Thinning, passo 1 Thinning, passo 10 Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

31 Assottigliamento di forme (thinning) Thinning, passo 50 Thinning, passo Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

32 Nota sulla skeletonization Si tratta di un operazione analoga al thinning, ma meglio definita dal punto di vista geometrico (anche se esistono più definizioni). É finalizzata all estrazione di descrittori di forma particolarmente precisi. Una possibile definizione: luogo geometrico dei centri dei cerchi bi-tangenti inscritti nella regione di foreground. In pratica, la skeletonization è spesso approssimata tramite thinning. Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

33 Estensione alle immagini in scala di grigi Gli operatori inizialmente definiti su immagini binarie possono essere facilmente estesi per operare su immagini a scala di grigi. In principio, dal confronto logico del caso binario si passa a un confronto numerico sulla scala di valori catturati dall elemento strutturante. Operatori elementari (x immagine, b elemento strutturante): Dilatazione [x b](m, n) = max (s,t) b {x(m s, n t)} (allarga i dettagli chiari e sopprime quelli scuri di dimensione ridotta) Erosione [x b](m, n) = min (s,t) b {x(m + s, n + t)} (comportamento duale rispetto alla dilatazione) Apertura [x b] = [x b] b (sopprime i dettagli più brillanti) Chiusura [x b] = [x b] b (comportamento duale rispetto all apertura) Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

34 Estensione alle immagini in scala di grigi Immagine sorgente Dilatazione Erosione Apertura Chiusura Raffaele Gaetano Morfologia Matematica 3 Giugno / 35

35 Altre applicazioni alle immagini in scala di grigi Lo smoothing morfologico è ottenuto dalla sequenza di apertura e chiusura con lo stesso elemento strutturante. Il gradiente morfologico si ottiene analogamente all estrazione dei contorni per il caso binario, cioè come differenza tra una versione dilatata e una erosa dell immagine (stesso elemento strutturante): Raffaele Gaetano Morfologia Matematica 3 Giugno / 35