Enhancement delle immagini digitali operatori di smoothing e di sharpening realizzati con filtri convolutivi

Transcript

1 Enhancement delle immagini digitali operatori di smoothing e di sharpening realizzati con filtri convolutivi Giorgio Meini Degradazione ed enhancement È stata già esaminata la differenza concettuale tra tecniche di restoration e di enhancement delle immagini digitali: nel primo caso si conosce il processo di degradazione subito dall'immagine originale e si tenta di restaurarla sulla base di informazioni specifiche. Il processo di degradazione è in generale non lineare, non deterministico, non spazialmente localizzato né stazionario ed anche disponendo di una sua conoscenza dettagliata non sempre è facile "invertirne" gli effetti; le più comuni tecniche di restoration sono fondate sulla teoria dei filtri digitali (filtraggio inverso, filtri discreti dei minimi quadrati, deconvoluzione vincolata, filtri ricorsivi) e presentano aspetti matematici e computazionali alquanto complessi (si veda ad esempio il capitolo 7 di []). Alle tecniche di enhancement, senz'altro più semplici, si ricorre invece in assenza di informazione specifica sul processo di degradazione: questa più generale possibilità di applicazione costituisce certamente un vantaggio, ma è, al tempo stesso, un punto debole: il risultato finale di un operatore di questo tipo è infatti spesso qualitativamente inferiore rispetto al risultato di un'operazione di restauro. In concreto le tecniche di enhancement si applicano per rimuovere il rumore da una immagine o per enfatizzarne i dettagli - in particolare i profili - degradati. Una descrizione approssimativa del processo di degradazione si limita infatti a considerare la dispersione luminosa causata dalla non ideale funzione di trasferimento del sistema ottico e il rumore (compreso il rumore di quantizzazione per le immagini digitali) introdotto dal sistema di acquisizione elettronico; non viene invece presa in esame una eventuale aberrazione geometrica che può quasi sempre essere corretta con una trasformazione, anche se al costo di ottenere dispersione e rumore ancora maggiori. Un esempio degli effetti causati dalla dispersione luminosa (o point spread: infatti l'intensità luminosa relativa ad un singolo pixel influenza i valori di luminosità dei pixel adiacenti) è rappresentato nella figura in cui il valore di ogni pixel è stato calcolato come media dei valori di 8 pixel adiacenti disposti, nell'immagine originale della figura, in un suo intorno quadrato e simmetrico. La figura 3, sempre relativa all'immagine originale della figura, è invece un esempio di introduzione di rumore casuale dipendente dall'intensità luminosa del singolo pixel. In pratica i due effetti si sommano per dare luogo ad immagini come quella della figura 4. Fig. Fig. Fig. 3 Fig. 4 A seconda del tipo di degradazione che si intende correggere le tecniche di enhancement si suddividono in metodi di enfatizzazione (sharpening) o di soppressione (smoothing) selettiva di alcuni specifici elementi dell'immagine, come i punti isolati o i bordi degli oggetti: questa lezione è interamente dedicata allo studio degli operatori (generalmente convolutivi, si veda in proposito il riquadro relativo all'analisi di Fourier nel dominio delle frequenze spaziali) di sharpening e di smoothing. Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

2 Frequenze spaziali, trasformata di Fourier e operatori di convoluzione Un'immagine (analogica o digitale) può essere adeguatamente rappresentata come un segnale bidimensionale (continuo o discreto). Il concetto di segnale è più comunemente impiegato per descrivere la variazione di una grandezza nel tempo e, in questo caso, non è difficile interpretare la frequenza come il numero di variazioni nell'unità di tempo. Il teorema di Fourier garantisce che una qualsiasi grandezza che varia con continuità in funzione del tempo può essere espressa come somma di un numero - teoricamente infinito - di segnali sinusoidali di diversa ampiezza e frequenza, denominati componenti armoniche. La trasformata di Fourier è un complesso strumento matematico che permette di studiare l'andamento di un segnale (analogico o digitale) in termini di frequenza e di ampiezza delle sue componenti armoniche anziché in funzione del trascorrere del tempo da cui dipende: si passa in questo modo dal "dominio" del tempo a quello della frequenza. Un'immagine è statica rispetto al trascorrere del tempo, ma i valori di intensità luminosa che la costituiscono variano spazialmente all'interno dell'immagine stessa ed è possibile interpretare il numero di variazioni che avvengono in una unità di spazio (in una determinata direzione del piano bidimensionale) come una frequenza "spaziale". Per esempio all'immagine della figura 5 corrisponde, secondo la direzione orizzontale, una bassa frequenza spaziale in quanto si ha una sola variazione graduale dal nero (valore di luminosità 0) al bianco (valore di luminosità 55), mentre alla direzione orizzontale dell'immagine della figura 6 è associata una elevata frequenza spaziale dovuta alle molteplici e rapide variazioni da nero a bianco (0 55) e da bianco a nero (55 0) nello stesso intervallo spaziale. Fig. 5 Fig. 6 La trasformata discreta bidimensionale di Fourier permette di studiare un'immagine digitale nel dominio delle sue frequenze spaziali ed alcune tecniche di image processing operano effettivamente trasformando l'immagine ed anti-trasformando in seguito il prodotto di una elaborazione compiuta sulla matrice di valori numerici complessi che ne costituisce la rappresentazione in questo dominio. Anche se la formula che segue, che definisce la trasformata discreta bidimensionale di Fourier di un segnale s(x,y) con 0 x<m e 0 y<n, non è quella generalmente impiegata dagli algoritmi di analisi - esiste infatti una procedura nota come trasformata veloce di Fourier (FFT: Fast Fourier Transform) che permette di ridurre drasticamente la complessità computazionale del calcolo - se ne deduce che operatori di image processing di questo tipo sono in pratica realizzabili solo disponendo di un processore DSP (Digital Signal Processing) dedicato: M N DFT mu nv mu sx,y ( ) Fuv (, ) = smn (, ) cos + i sen MN m n M N π π M + = 0 = 0 Le due componenti fondamentali del processo di degradazione di un'immagine individuate nel testo dell'articolo (dispersione luminosa e rumore, si vedano in proposito le figure e 3) sono interpretabili come variazioni delle frequenze spaziali dell'immagine originale: il fenomeno del point spread dovuto alla diffusione ottica dei raggi luminosi "sfuma" la nettezza dei bordi causando una diminuzione locale della frequenza spaziale; al contrario l'introduzione del rumore in una regione uniformemente luminosa comporta un aumento del grado di variabilità e, di conseguenza, della frequenza spaziale. Una correzione possibile della degradazione subita dall'immagine consiste quindi nel modificare la sua frequenza spaziale "invertendo" l'effetto causato dalla dispersione luminosa e dalla presenza di rumore. Nel dominio della trasformata di Fourier una variazione dei valori locali della frequenza spaziale si ottiene effettuando una semplice operazione di moltiplicazione. Esiste un modo di conseguire lo stesso risultato senza dovere eseguire il calcolo della trasformata? La risposta è positiva: l'operazione di convoluzione nel dominio originale corrisponde alla più semplice moltiplicazione nel dominio della frequenza. Le due seguenti formule definiscono l'operazione di CONVOLUZIONE nv N Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

3 di un segnale monodimensionale dipendente dal tempo - analogico o digitale - con una funzione di convoluzione, rispettivamente continua o discreta: + s( τ) f ( tτ) dτ + i= c si () f( ni) Nel caso di un'immagine digitale il segnale spaziale s(x,y) è discreto e bidimensionale e la convoluzione si calcola a partire dalle due matrici di MxN elementi ciascuna che rappresentano rispettivamente s e la matrice di convoluzione: MN M N m= 0 n= 0 c smn (, ) f( xmy, n) In pratica la matrice di convoluzione f c ha solo pochi elementi non nulli - cioè diversi da 0 - scelti in modo da costituire un intorno simmetrico di pixel adiacenti: un operatore di convoluzione trasforma in questo modo il singolo pixel dell'immagine sulla base di informazioni esclusivamente locali, e non globalmente riferite all'intera immagine, ed è identificabile con una matrice di dimensioni ridotte che viene applicata "sovrapponendo" di volta in volta il suo l'elemento centrale a tutti i pixel che compongono l'immagine oggetto di convoluzione. Per fissare le idee si veda la figura 7 dove è rappresentato il filtro universale del noto programma PhotoStyler; si tratta di una matrice di convoluzione, definibile dall'utente che ne imposta i valori degli elementi, e che viene in seguito applicata all'immagine da elaborare secondo le seguenti regole: c la matrice viene sovrapposta ad ogni pixel dell'immagine ed ai suoi pixel adiacenti: i corrispondenti valori degli elementi della matrice e dei pixel dell'immagine vengono moltiplicati; i risultati di tutte le moltiplicazioni del passo precedente vengono sommati; il risultato della somma viene diviso per il fattore (factor) specificato; il nuovo valore del pixel si ottiene aggiungendo un valore costante (bias) al risultato della divisione (se il risultato finale è negativo al pixel viene assegnato valore 0, se è maggiore di 55 viene assegnato il valore 55). Fig. 7 3 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

4 In realtà questa tecnica è più generale rispetto al classico operatore di convoluzione dove il fattore di divisione è sempre il numero di elementi della matrice di convoluzione (MxN, 5=5x5 nel caso del filtro definibile dall'utente di PhotoStyler) e il valore di bias è sempre zero. Il termine "filtro" non è casuale, infatti, come si è visto, gli operatori convolutivi sono spesso impiegati per modificare localmente le frequenze spaziali delle immagini su cui operano: ora, indipendentemente dalla realizzazione hardware o software e dalla modalità di funzionamento real-time o lab-time, un dispositivo che sopprime od esalta selettivamente le componenti armoniche di un segnale - sia esso dipendente dal tempo o dallo spazio come nel caso di un'immagine - viene denominato filtro. Il particolare filtro convolutivo rappresentato nella figura 7 può essere così codificato in C++ (per una descrizione della classe bitmap si veda il [], una codifica più generale valida per ogni operatore convolutivo viene invece presentata nel testo dell'articolo):... bitmap image;... for (unsigned int y=; y<(image.height()-); y++) for (unsigned int x=; x<(image.width()-); x++) unsigned char up, down, right, left, val, new_val; up=image.get_pixel(x,y+); down=image.get_pixel(x,y-); left=image.get_pixel(x+,y); right=image.get_pixel(x-,y); val=image.get_pixel(x,y); new_val=(-up-down-left-right+5*val); set_pixel(x,y,new_val);... Questo codice non è minimamente ottimizzato, ma in ogni caso filtrare l'immagine richiede una scansione sequenziale di tutti i pixel che la compongono. Nella lezione introduttiva è stato osservato che elaborazioni di immagini digitali che presentano limitate dipendenze sequenziali e spaziali possono essere effettuate nel solo tempo necessario a calcolare il valore di un unico pixel se si utilizza una architettura parallela con memoria distribuita dove le singole unità di calcolo rappresentano i pixel dell'immagine e sono localmente interconnesse secondo una struttura bidimensionale analoga a quella della matrice che rappresenta l'immagine. I filtri convolutivi, con le loro caratteristiche di linearità e di invarianza rispetto alla traslazione spaziale, sono candidati ideali per una implementazione di questo tipo; la figura 8 rappresenta la struttura di interconnessione di una matrice di Transputer capace di calcolare in tempo reale un filtro come quello precedentemente codificato in linguaggio C++: il programma in linguaggio Occam che ne descrive il funzionamento è riportato (da un mio articolo pubblicato sul numero di Novembre 995 della rivista DEV: G. Meini, "Paradigmi dei linguaggi di programmazione") nel listato. 4 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

5 Fig. 8 Tra le tecniche di enhancement viene generalmente compresa anche la correzione dei valori di luminosità dei pixel che compongono l'immagine - come nel caso dell'aumento del contrasto o dell'equalizzazione dell'istogramma - di cui ho già trattato in un articolo precedentemente pubblicato su Computer Programming []. Operatori di sharpening Nel riquadro dedicato alla trasformata discreta di Fourier si è notato che una delle componenti fondamentali del processo di degradazione di un'immagine - la dispersione luminosa - causa la sfumatura di bordi e dettagli ed è interpretabile come diminuzione locale della frequenza spaziale. Un esempio di immagine degradata (blurred) è riportato nella fotografia della figura 9. Fig. 9 Un operatore di sharpening può "invertire" l'effetto della dispersione luminosa enfatizzando le componenti armoniche corrispondenti ai valori superiori di frequenze spaziali, ma lasciando eventualmente invariate le frequenze più elevate a cui generalmente corrisponde il rumore indesiderato. I più elementari operatori di enfatizzazione locale delle frequenze spaziali sono gli operatori di differenziazione perché forniscono valori proporzionali alla variazione direzionale (gradiente) del segnale (proporzionali, in questo caso, alla variazione di intensità luminosa dell'immagine). Il bordo di un oggetto bianco su sfondo nero dovrebbe idealmente essere rappresentato da una istantanea transizione da 0 a 55 nei valori dei pixel che lo rappresentano (figura 0), ma, più realisticamente, la transizione sarà graduale ed alcuni pixel assumeranno valori intermedi (figura 5 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

6 ); in ogni caso la velocità di variazione dei valori di luminosità - proporzionale alla frequenza locale - è maggiore rispetto alla variabilità presentata dallo sfondo "uniforme" (figura ). Fig. 0 Fig. Fig. Un operatore di differenziazione è lineare, locale, invariante rispetto a traslazioni spaziali (queste caratteristiche ne garantiscono l'implementabilità come operatore convolutivo) e "risponde" in misura maggiore a maggiori variazioni locali dei valori di luminosità (la derivata di un segnale esprime infatti la sua velocità di variazione) che, presumibilmente, corrispondono ai dettagli dell'immagine che si intendono enfatizzare. Salvo casi particolari gli operatori derivativi effettivamente impiegati come filtri sono isotropi, cioè invarianti rispetto alla rotazione spaziale, in modo che l'effetto della loro applicazione non sia condizionato dall'orientamento dell'immagine. Nel caso di immagini digitali un operatore derivativo è in realtà un operatore "alle differenze", come nell'esempio che segue dove il valore del gradiente discreto del pixel di coordinate spaziali (x,y) è espresso dalla seguente formula (Roberts cross operator): [( I x+, y+ ) I( x,y)] + [( I x,y+ ) I( x+, y)] L'immagine della figura 3 è stata ottenuta applicando - per mezzo del programma codificato nel listato - la formula precedente, corrispondente all'operatore crociato di Roberts per il calcolo del gradiente digitale, alla fotografia rappresentata nella figura 9 e correggendo in seguito la luminosità e il contrasto per mezzo di una trasformazione puntuale lineare []: è evidente che l'operatore assume valori maggiori in corrispondenza dei bordi e minori, eventualmente nulli, in corrispondenza di aree aventi luminosità uniforme o quasi. Fig. 3 Ma il più semplice - e il più usato - operatore differenziale isotropo è senz'altro il noto operatore di Laplace (si veda il riquadro per una motivazione teorica del suo impiego) che, nel caso discreto, è così definito: Ix,y ( ) = [ Ix ( +, y) + Ix (, y) + Ix,y ( + ) + Ix,y ( )] 4 Ix,y ( ) 6 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

7 Si noti che I è proporzionale (di un fattore pari a -/5) alla differenza tra il livello di luminosità del pixel (x,y) e il livello medio di luminosità dell'intorno costituito dal pixel stesso e dai 4 pixel adiacenti in orizzontale e verticale: Ix,y ( ) 5 [ Ix ( +, y) + Ix (, y) + Ix,y ( ) + Ix,y ( + ) + Ix,y ( ) ] In altre parole applicare l'operatore digitale di Laplace significa (a meno di un fattore costante) sottrarre dall'immagine stessa una sua versione "sfumata". L'effetto dell'operatore su di un'immagine può essere compreso con un esempio monodimensionale - in questo caso I(x)=I(x-)+I(x+)-I(x) - relativo al bordo sfumato del grafico della figura : 0, 0, 0, 6, 3, 64, 8, 9, 4, 40, 55, 55, 55 diviene..., 0, 6, 0, 6, 3, 0, 0, -3, -6, -, -5, 0,... e, sottraendo i valori forniti dall'operatore da quelli originali..., 0, 0, 6, 6, 3, 8, 9, 55, 55, 55, 55,... che, pur non essendo il bordo netto (...,0,0,55,55,...) del grafico della figura 0, rappresenta comunque una transizione meno graduale dai valori dello sfondo nero a quelli dell'oggetto bianco. La combinazione sottrattiva di una immagine con il suo operatore di Laplace - è infatti questa combinazione che realizza l'operatore di sharpening - è data dalla seguente formula: I( x,y) I( x,y) = 5 I( x,y) [ I( x+, y) + I( x, y) + I( x,y+ ) + I( x,y) ] Dato che l'operatore di Laplace è invariante rispetto alla traslazione spaziale la sua applicazione equivale ad una convoluzione con la matrice: e il calcolo della differenza tra una immagine ed il suo operatore di Laplace è di conseguenza equivalente ad una convoluzione con la matrice: L'immagine della figura 4 è stata ottenuta calcolando - con il programma riportato nel listato 3 - la convoluzione tra la matrice precedente e l'immagine rappresentata nella figura 9 (si confrontino in particolare i dettagli riportati nelle figure 5 e 6). 7 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

8 Fig. 4 Fig. 5 Fig. 6 Nella letteratura sull'argomento si trovano operatori convolutivi di sharpening realizzati con matrici di convoluzione diverse dalla precedente [3]: 9 5 Tutte queste matrici sono caratterizzate dal valore positivo dell'elemento centrale - corrispondente al pixel oggetto del calcolo - e dai valori negativi degli elementi corrispondenti ai pixel adiacenti di un suo intorno simmetrico. È molto interessante confrontare questa caratterizzazione (oncenter/off-surround) con la curva di risposta funzionale dei campi recettivi neuronali della retina e della corteccia visiva in funzione della distanza laterale rispetto al centro di attivazione (si veda la figura 7 per un grafico che rappresenta anche il comportamento "locale" di molte reti neurali artificiali). Fig. 7 8 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

9 Perché l'operatore di Laplace evidenzia i dettagli delle immagini? Nel caso continuo l'operatore derivativo lineare di Laplace, invariante rispetto alla traslazione ed alla rotazione, è così definito: f ( x,y ) = + x f( x,y) y f( x,y) Se di ipotizza che la degradazione è dovuta ad un processo di diffusione nel tempo descritto dalla seguente equazione differenziale alle derivate parziali dove f(x,y,t) rappresenta l'immagine al tempo t: t f ( x,y, t ) = k f ( x,y, t) allora f(x,y,0) è l'immagine originale non degradata e f(x,y,τ) è l'immagine, degradata, che si ottiene dopo un tempo τ>0. Sviluppando in serie di Taylor nell'intorno di t=τ si ottiene: e, sostituendo: f ( x,y,0) = f ( x,y, τ) τ t f( x,y, τ ) +... f( x,y,0) = f( x,y, τ) kτ f( x,y, τ) In prima approssimazione è cioè possibile risalire all'immagine originale f(x,y,0) sottraendo dall'immagine degradata f(x,y,τ) un multiplo del suo operatore di Laplace. È possibile confermare la validità di questa ipotesi anche nel caso discreto delle immagini digitali. Si supponga che l'immagine originale O sia degradata aggiungendo al valore di ogni pixel una frazione f della somma S dei valori dei 4 pixel adiacenti secondo le direzioni ortogonali (un processo molto simile a quello con cui l'immagine della figura è stata ottenuta da quella della figura ) per ottenere l'immagine I: I(x,y)=O(x,y)+f S(x,y), S(x,y)=O(x+,y)+O(x-,y)+O(x,y+)+O(x,y-) Sottraendo da I un multiplo m del suo operatore di Laplace (si veda il testo dell'articolo per la formula che lo definisce nel caso discreto) si ottiene: e, sostituendo: (+4m) I(x,y)-m[I(x+,y)+I(x-,y)+I(x,y+)+I(x,y-)] (+4m) O(x,y)+(+4m) f S(x,y)-m S(x,y)-m f[i(x+,y)+i(x-,y)+i(x,y+)+i(x,y-)] Stabilendo il valore di m in modo che sia m=f/(-4f) si ha che (+4m)f-m=0 e viene così eliminato dall'espressione il contributo di S; ora, se f è sufficientemente piccolo è possibile tralasciare, in quanto proporzionale a m f, anche l'ultimo termine. Concludendo: f I( x,y) Ix,y ( ) 4f + Ox,y ( ) 4f 4f si ha che sottraendo da I un opportuno multiplo del suo operatore di Laplace si risale approssimativamente all'immagine originale O. 9 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

10 Operatori di smoothing Come si è visto, un operatore di sharpening è sostanzialmente un filtro passa-alto per le frequenze spaziali dei livelli di luminosità di un'immagine. Il rumore introdotto in un'immagine digitale dal processo di degradazione può invece essere attenuato per mezzo di un filtro passabasso: la comparsa di singoli pixel aventi valore difforme dal livello di luminosità di una superficie omogenea (salt & pepper noise) è infatti interpretabile come presenza nello spettro di Fourier di componenti armoniche corrispondenti a frequenze elevate (rispetto alla situazione originale si ha una maggiore variabilità della distribuzione spaziale del valore di intensità luminosa). Di fatto gli operatori di smoothing sono spesso implementati come filtri passa-basso e, dato che il processo di degradazione di un'immagine reale agisce su tutte le frequenze che ne compongono lo spettro, è inevitabile che essi rendano, almeno parzialmente, vano il precedente ricorso ad un operatore di sharpening (il quale tende in ogni caso ad enfatizzare anche il rumore): è necessario individuare, per ogni immagine particolare, una soluzione di compromesso. In pratica la valutazione di un accettabile "compromesso" tra rimozione del rumore ed esaltazione dei dettagli è rimessa al giudizio dell'osservatore ed il processo di enhancement di una immagine avviene per tentativi ed errori fino ad ottenere un risultato soddisfacente: questo è uno dei motivi che rendono difficile la progettazione e la realizzazione di sistemi autonomi di acquisizione ed elaborazione delle immagini, a meno che non si operi in condizioni ambientali costanti, controllabili o, almeno, misurabili. Una tecnica di rimozione del rumore presente in un'immagine digitale consiste nel confrontare il valore di ogni singolo pixel con quello dei pixel adiacenti: una differenza sostanziale da quasi tutti i valori dei pixel dell'intorno indica che si tratta di rumore, eliminabile per interpolazione (sostituendo cioè il suo valore con la media dei valori dell'intorno). Il metodo è definito da alcuni parametri: la soglia di differenza minima tra il valore di un pixel e il valore dei pixel adiacenti (deve essere un multiplo della varianza statistica della distribuzione del rumore), il numero minimo di pixel per i quali se la differenza supera la soglia il pixel è considerato rumore, la forma e la dimensione dell'intorno. La semplificazione consistente nel confrontare il valore del singolo pixel con la media dei valori dei pixel adiacenti è ovviamente più distruttiva: in questo modo i punti isolati sono infatti meno distinguibili dai punti di una linea o di un bordo. È possibile trasformare questa tecnica deterministica e booleana (per la quale un pixel è o non è un punto di rumore e, se lo è, il suo valore non ha significato) in una tecnica fuzzy assegnando, in fase di analisi, ad ogni singolo pixel una probabilità p di essere un punto di rumore: il suo nuovo valore può allora essere definito come (-p)v+pσv i /n, dove V è il valore del pixel e ΣV i /n la media dei valori dei pixel dell'intorno. Disponendo di più copie di una stessa immagine come, per esempio, nel caso di frame immediatamente successivi di una ripresa cinematografica o televisiva di oggetti non in movimento, è possibile ridurre il rumore casuale, senza introdurre alterazioni, calcolando la media dei pixel corrispondenti delle diverse copie. Nel caso più comune di un'unica immagine è solo possibile mediare il valore di ogni pixel con il valore dei pixel adiacenti appartenenti ad un determinato intorno (media locale): si tratta, ancora una volta, di una operazione di convoluzione (un filtro di attenuazione delle frequenze spaziali più elevate). Ad esempio per sostituire il valore di ogni singolo pixel con la media del proprio valore e dei valori degli 8 pixel adiacenti ortogonalmente e diagonalmente è sufficiente eseguire la convoluzione dell'immagine con la seguente matrice (il fattore di convoluzione sarà in questo caso 9; è possibile utilizzare il programma del listato 3): 0 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

11 Altre possibili matrici di convoluzione operanti sul medesimi intorno di 3X3 pixel sono le seguenti [3]: aventi, rispettivamente, fattori di convoluzione 6 e 6. L'immagine della figura 9 - la riproduzione di un opera dell'artista M. C. Escher - è stata ottenuta dall'originale e rappresentata nella figura 8, per mezzo del filtro convolutivo costituito dall'ultima delle matrici precedenti (si confrontino anche i dettagli delle figure 0 e ). Fig. 8 Fig. 9 Fig. 0 Fig. Ma come si determina una dimensione conveniente per l'intorno per un'operazione di media locale? Nel caso di rumore casuale indipendente dal segnale (indipendente, in questo caso, dal valore dell'intensità luminosa) un intorno di n pixel riduce la varianza statistica del rumore di un fattore n; se invece il rumore è dipendente dal segnale allora può essere presa in considerazione l'idea di usare una dimensione dell'intorno diversa per ogni singolo pixel: scegliendo un intorno Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

12 avente dimensione proporzionale alla luminosità media del pixel e dei pixel adiacenti si otterrà una riduzione uniforme del livello di rumore. Filtri di smoothing non convolutivi Le operazioni di media locale tendono, in ogni caso, a sfumare i dettagli di un'immagine. Una tecnica di smoothing che non sfuma i bordi consiste nel sostituire il valore di ciascun pixel con la mediana (anziché con la media) dei valori dei pixel appartenenti ad un suo intorno simmetrico. Per calcolare la mediana di una serie di valori numerici è necessaria un'operazione di ordinamento: infatti, considerando come esempio un intorno di 3X3 pixel, la mediana dei 9 valori di luminosità dei pixel dell'intorno è data dal quinto valore nella serie ordinata. Ciò rende i filtri mediani computazionalmente più impegnativi rispetto agli operatori di media locale, ma il loro comportamento meno distruttivo li rende facilmente iterabili. Si confrontino, per avere un esempio, le immagini delle figure e 3: la prima è stata ottenuta dall'immagine della figura 3 applicando iterativamente per tre volte un operatore di media locale su di un intorno simmetrico di 5X5 pixel, la seconda applicando per tre volte consecutive un filtro mediano anch'esso operante su intorni simmetrici di 5X5 pixel. Fig. Fig. 3 Fig. 4 Naturalmente anche i filtri mediani sono, in parte, distruttivi: in particolare tendono a cancellare, oltre che i punti isolati di rumore, anche le linee sottili ed a "arrotondare" gli angoli; è possibile preservare le linee verticali ed orizzontali e gli angoli ortogonali scegliendo un intorno a forma di croce. Una tecnica di rimozione del rumore più efficace, ma anche più distruttiva, è implementata dai cosiddetti filtri min-max (o max-min): in una prima fase il valore di ciascun pixel viene sostituito con il valore minimo (o massimo) dei pixel appartenenti ad un intorno simmetrico predefinito, che deve includere il pixel centrale, in modo da rimuovere il rumore composto da punti isolati o da piccoli agglomerati; dato che questo modo di procedere riduce le dimensioni degli oggetti rispetto allo sfondo (shrink) è indispensabile una fase successiva di massimizzazione (o di minimizzazione, nel caso che sia stata la prima ad essere di massimizzazione) per ripristinare (expand) le dimensioni originali degli oggetti. La scelta di applicare inizialmente un operatore di minimo o di massimo dipende dal rumore prevalente presente nell immagine da filtrare: nel caso di rumore scuro su sfondo chiaro la prima fase consisterà in una massimizzazione, mentre nel caso di rumore chiaro su sfondo scuro si tratterà di una minimizzazione. Per ottenere risultati effettivi i filtri min-max sono comunemente applicati alternando fasi iterate di minimizzazione con fasi iterate di massimizzazione, o viceversa. L immagine della figura 4 è il risultato dell'applicazione di un filtro max-min (non iterato) all'immagine della figura 3: il confronto con le immagini delle figure e 3 (ottenute iterando, rispettivamente, filtri di media locale e filtri mediani) non deve però trarre in inganno perché, nel caso di immagini reali, l applicazione, ed in modo particolare l applicazione iterata, di filtri max-min tende a distruggere molti dettagli presenti nell originale. L immagine della figura 6 è stata ottenuta applicando 3 operatori di massimo e, in seguito, 3 operatori di minimo (entrambi operanti su intorni simmetrici di 3X3 pixel) alla fotografia riprodotta nella figura 5 (si tratta di una muffa fotografata al microscopio nel laboratorio di microbiologia della scuola dove insegno). Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

13 Fig. 5 Fig. 6 Riferimenti bibliografici [] A. Rosenfeld & A. Kak, "Digital Picture Processing" Vol., nd ed., Academic Press, 98 [] G. Meini, "Elaborazione di immagini BMP", Computer Programming n. 6, Giugno 994 [3] D. Phillips, "Image Processing, Part 7: Spatial Frequency Filtering", The C User Journal, October 99 Listato PROC pixel (CHAN u.in, CHAN u.out, CHAN d.in, CHAN d.out, CHAN r.in, CHAN r.out, CHAN l.in, CHAN l.out) CHAN input: CHAN output: CHAN val: VAR new.val: VAR up: VAR down: VAR right: VAR left: WHILE TRUE SEQ input?val PAR SEQ PAR u.in?up d.in?down r.in?right l.in?left new.val:=(-up-down-left-right+5*val) output!new.val PAR u.out!val d.out!val l.out!val r.out!val 3 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

14 CHAN up [width][height]: CHAN down [width][height]: CHAN right [width][height]: CHAN left [width][height]: PAR x=[0 FOR width] PAR y=[0 FOR height] pixel (up[x][y], down[x][y+], down[x][y], up[x][y-], right[x][y], left[x+][y], left[x][y], right[x-][y]) Listato #include "bitmap.hpp" #include <math.h> main () bitmap image("degrad.bmp","roberts.bmp"); unsigned long w,h; unsigned x,y; int RetVal; unsigned char GrayLevel0,GrayLevel,GrayLevel,GrayLevel3; double Val; w=image.width(); h=image.height(); printf("\nroberts Cross Operator: %lu x %lu pixel image...",w,h); for (y=; y<(h-); y++) for (x=; x<(w-); x++) GrayLevel0=(unsigned char)image.get_pixel(x,y); GrayLevel=(unsigned char)image.get_pixel(x,y+); GrayLevel=(unsigned char)image.get_pixel(x+,y+); GrayLevel3=(unsigned char)image.get_pixel(x+,y); Val=sqrt(pow(GrayLevel-GrayLevel0,)+pow(GrayLevel-GrayLevel3,)); RetVal=image.set_pixel(x,y,(unsigned char)((val<55)?val:55)); if ((RetVal < 0) (RetVal>55)) printf("\n...error (set_pixel).\n"); return(-); printf("\n...done!\n"); return(0); Listato 3 #include "bitmap.hpp" const int ConvMatrix[3][3]=,,,,,,,,; const float Factor=5.; const float Bias=0.; 4 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

15 main () bitmap Image("picture.bmp","convfilt.bmp"); unsigned long w,h; unsigned x,y; int RetVal, ImageMatrix[3][3],i,j; float Sum, Val; w=image.width(); h=image.height(); printf("\nconvolution Operator: %lu x %lu pixel image...",w,h); for (y=; y<(h-); y++) ImageMatrix[0][]=Image.get_pixel(0,y+); ImageMatrix[0][]=Image.get_pixel(,y+); ImageMatrix[][]=Image.get_pixel(0,y); ImageMatrix[][]=Image.get_pixel(,y); ImageMatrix[][]=Image.get_pixel(0,y-); ImageMatrix[][]=Image.get_pixel(,y-); for (x=; x<(w-); x++) ImageMatrix[0][0]=ImageMatrix[0][]; ImageMatrix[][0]=ImageMatrix[][]; ImageMatrix[][0]=ImageMatrix[][]; ImageMatrix[0][]=ImageMatrix[0][]; ImageMatrix[][]=ImageMatrix[][]; ImageMatrix[][]=ImageMatrix[][]; ImageMatrix[0][]=Image.get_pixel(x+,y+); ImageMatrix[][]=Image.get_pixel(x+,y); ImageMatrix[][]=Image.get_pixel(x+,y-); Sum=0.; for (i=0; i<3; i++) for (j=0; j<3; j++) Sum=Sum+(float)(ImageMatrix[i][j]*ConvMatrix[i][j]); Val=Sum/Factor+Bias; if (Val>55) Val=55.; else if (Val<0) Val=0.; RetVal=Image.set_pixel(x,y,(unsigned char)val); if ((RetVal < 0) (RetVal>55)) printf("\n...error (set_pixel).\n"); return(-); printf("\n...done!\n"); return(0); 5 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

16 Un processo fondamentale della visione artificiale (e, probabilmente, anche della percezione visiva negli animali) è l individuazione dei confini (edge) delle superfici che compongono un immagine, spesso coincidenti con i contorni delle figure ed i bordi degli oggetti presenti nel campo visuale Tecniche ed operatori di edge detection Giorgio Meini Introduzione Già nell articolo precedente, dedicato ai filtri convolutivi di smoothing e di sharpening delle immagini, è stato presentato un primo rilevatore di edge: l operatore crociato di Roberts. Prima di prendere in esame gli altri componenti della famiglia di edge detector a cui il cross operator appartiene - gli operatori differenziali discreti - analizziamo il concetto di contorno di una regione omogenea. L immagine della figura rappresenta un contorno (edge) perfettamente netto tra due regioni omogenee di diversa luminosità, ma più realisticamente un edge si presenterà, a causa della degradazione diffusiva e del rumore, come in figura. Fig. Fig. Argomento di questa lezione è l individuazione dei contorni di regioni omogenee per valori di luminosità, si deve comunque avere presente che in un immagine possono esistere confini tra regioni aventi luminosità media approssimativamente uguale, ma distinte - anche nettamente - in base ad altre caratteristiche visuali (texture) con specifiche proprietà statistiche spaziali o spettrali: un esempio è riportato nella figura 3 (fotografia di due superfici di legno giustapposte secondo diverse direzioni delle venature). Fig. 3 Ad ogni modo gli studi di psico-fisiologia della percezione visiva confermano che l individuazione dei contorni delle immagini e la separazione figura/sfondo sono fondamentalmente basate sulla differenza di colore e/o di luminosità tra regioni altrimenti omogenee. A partire da queste considerazioni un approccio di tipo intuitivo allo sviluppo di tecniche per la rilevazione dei contorni presenti in un immagine conduce alla sintesi di due classici operatori non convolutivi: homogeneity e difference. L operatore di omogeneità è così definito []: p ij, Max p I ( p ) xy, 3 x 3 ij, ( pij, pxy, ) = il valore del generico pixel viene cioè calcolato come massimo delle differenze in valore assoluto tra il valore originale del pixel stesso ed i valori degli 8 pixel adiacenti appartenenti ad un intorno 6 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

17 simmetrico di dimensioni 3x3. L operatore di omogeneità è implementato dal programma C++ - semplice e leggibile, ma assolutamente non ottimizzato - del listato (le classi C++ bitmap e image sono state pubblicate su Computer Programming n. 43, Gennaio 996). Il risultato che si ottiene a partire dalla fotografia della figura 4 è rappresentato dall immagine della figura 5; la figura 6 è invece una rappresentazione invertita del risultato producibile anche con il seguente programma C++: #include "image.hpp" void main (void) image Picture("edge.bmp"); Picture.neg(); Fig. 4 Fig. 5 Fig. 6 L operatore di omogeneità assume valore 0 in corrispondenza di regioni aventi luminosità uniforme, ma in una fotografia reale questa situazione si riscontra raramente: la conseguenza è la presenza, nel risultato ottenuto applicando un qualsiasi edge detector, di contorni falsi o comunque non desiderati. Dato che un rilevatore di edge restituisce, in generale, valori 7 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

18 proporzionali alla differenza di luminosità tra le regioni che costituiscono i due lati di un confine individuato, è spesso utile post-processare il risultato applicando un operatore di soglia per escludere i contorni meno significativi. L immagine della figura 7 è stata ottenuta, a partire da quella rappresentata nella figura 6, rendendo neri (valore 0) i pixel con valore inferiore a 9 e bianchi (valore 55) i pixel con valore superiore a questa soglia. L uso di un programma per l elaborazione delle immagini come PhotoStyler permette di verificare interattivamente ed in tempo reale il risultato visivo dell applicazione di un operatore di tresholding, consentendo una rapida scelta ottimale - adatta cioè alle specifiche esigenze - per il valore della soglia; è in ogni caso possibile ottenere il risultato della figura 7 anche con il seguente programma C++: #include "image.hpp" void main (void) image Picture("edge.bmp"); Picture.treshold(9); Fig. 7 Per una introduzione agli operatori di tresholding comprendente un analisi del problema della scelta automatica ed adattiva del valore ottimale di soglia si veda []. L operatore di differenza è definito in modo simile all operatore di omogeneità []: ij, ( i, j i+, j+, i, j i, j+, i, j i+, j, i+, j i, j+ ) p = Max p p p p p p p p cioè il valore del generico pixel viene calcolato come massimo delle differenze assolute tra i corrispondenti simmetrici di tutti i pixel adiacenti. Il programma C++ del listato implementa l operatore di differenza; l immagine della figura 9 è il risultato prodotto dalla sua applicazione, seguita da una inversione dei valori di luminosità e da un tresholding con valore di soglia 3, alla fotografia originale riprodotta nella figura 8. L immagine finale (figura 9) è stata realizzata con PhotoStyler, ma è possibile produrla, a partire dal file creato con il programma del listato, anche con il seguente programma C++: #include "image.hpp" void main (void) image Picture("edge.bmp"); Picture.neg(); Picture.treshold(3); 8 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

19 Fig. 8 Fig. 9 Esistono altri rilevatori di contorni che operano in modo simile a questi: per esempio l operatore di varianza che sostituisce il valore di un pixel con la varianza statistica dei pixel appartenenti ad un suo intorno simmetrico ed adiacente e l operatore di range che calcola la differenza tra i valori massimo e minimo dei pixel di un intorno 3x3. Gradiente digitale ed operatori differenziali discreti Un rilevatore di edge è un particolare tipo di local feature detector (si veda [3] per un campionario di tecniche e di operatori utili per la rilevazione di linee, curve, punti,...), nel senso che è generalmente possibile decidere, con buona approssimazione, se un pixel appartiene o meno ad un contorno analizzando esclusivamente i valori di un intorno locale del pixel stesso. La figura 0 rappresenta - nel caso di un segnale monodimensionale continuo - un edge quasi ideale, mentre le figure e rappresentano le relative derivate locali, rispettivamente di primo e secondo ordine. Fig. 0 Fig. Fig. Un immagine digitale è un segnale bidimensionale discreto: anche in questo caso gli operatori differenziali, sia del primo che del secondo ordine, rispondono amplificando le rapide variazioni del segnale e sono invece scarsamente sensibili rispetto ai tratti costanti o uniformi. L applicazione in sequenza di un operatore differenziale discreto e bidimensionale (isotropo o direzionale) e di un operatore di soglia costituisce quindi un rilevatore di edge a tutti gli effetti. Un esempio è dato dal Roberts cross operator, introdotto in [4], che calcola il modulo del gradiente digitale e che è quindi relativamente insensibile rispetto all orientazione direzionale: 9 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996

20 Ix,y ( ) = [ Ix ( +, y+ ) Ix,y ( )] + [ Ix,y ( + ) Ix ( +, y)] dove I(i,j) rappresenta il valore, corrispondente al livello di intensità luminosa, del pixel di coordinate i e j. Nel paragrafo 0..a del già citato testo di Rosenfeld e Kak [3] si dimostra che il seguente operatore, oltre ad essere computazionalmente meno oneroso, è anche maggiormente invariante rispetto all orientazione del contorno da rilevare: I( x, y) = Max( I( x +, y + ) I( x, y), I( x, y + ) I( x +, y) ) È evidente l analogia che quest ultimo presenta con l operatore di differenza introdotto nel paragrafo precedente: l unica diversità consiste nella scelta - geometrica e dimensionale - dell intorno simmetrico su cui operare; sotto questo aspetto sono ovviamente possibili varie e diverse scelte la cui validità è discussa nello stesso paragrafo del classico testo di Rosenfeld e Kak. Un esempio di programmazione dell operatore crociato di Roberts nella sua forma originale è stato presentato in [4]; un esempio di applicazione - seguita da una inversione cromatica e da un operatore di tresholding con valore di soglia 3 - è riportato nella figura 4, ottenuta dalla fotografia originale riprodotta nella figura 3. Fig. 3 Fig. 4 Nell articolo precedente è stato definito l operatore differenziale di Laplace, omnidirezionale e del secondo ordine, nel caso discreto e bidimensionale: Ix,y ( ) = [ Ix ( +, y) + Ix (, y) + Ix,y ( + ) + Ix,y ( )] 4 Ix,y ( ) la cui applicazione corrisponde alla convoluzione (per la definizione ed il significato operativo dell operazione di convoluzione si veda [4]) dell immagine con la seguente matrice: Per comprendere il motivo per cui l operatore di Laplace, che costituisce un filtro passa-alto per le frequenze spaziali, si comporta come rilevatore di edge si noti che il risultato della sua applicazione è proporzionale alla differenza, pixel per pixel, dell immagine originale e dell immagine da questa ottenuta calcolando il valore di ogni singolo pixel come media locale dei valori dei pixel ortogonalmente adiacenti. Assumono quindi valori maggiori i pixel che presentano intorni non uniformi - corrispondenti a contorni, angoli, linee e punti isolati - e minori quelli appartenenti a regioni omogenee. L operatore di Laplace è un operatore differenziale del secondo ordine e, come si può verificare nel grafico della figura, assume, in corrispondenza di un 0 Computer Programming nn. 44/45/46/47/48, Feb./Mar./Apr./Mag./Giu. 996