Elaborazioni nel dominio spaziale (1)

Transcript

1 Elaborazione dei Segnali Multimediali a.a. 2009/2010 Elaborazioni nel dominio spaziale (1) L.Verdoliva In questa prima lezione affrontiamo il problema della rappresentazione delle immagini digitali in Matlab e presentiamo alcune elaborazioni puntuali, cioè quelle operazioni che modificano singolarmente l intensità di ogni pixel dell immagine per migliorarne l aspetto complessivo (Image Enhancement). 1 Rappresentazione delle immagini in Matlab Un immagine digitale (monocromatica) può essere rappresentata in Matlab come una matrice bidimensionale il cui generico campione x(m, n) (pixel) varia nel range [0, K 1]. Le immagini sono quindi rappresentate con K livelli di grigio, e ogni pixel è codificato con log 2 K bit. Scriviamo i comandi Matlab per leggere da file un immagine in formato JPEG, e che ci consentono perciò di memorizzarne i valori in una matrice: x = imread( nome_file.jpg ); [M,N] = size(x); whos; % leggiamo il file % memorizziamo le dimensioni in M e N % cosa abbiamo adesso in memoria? Attraverso il comando imread è possibile leggere immagini con formato standard come jpeg, tiff, gif, bmp ed altri. Con il comando help imread potete verificare esattamente quali sono i formati supportati dalla versione di Matlab che state utilizzando. Se l immagine invece è in formato grezzo (cioè il file non ha un header, per cui l estensione può essere qualsiasi) è necessario conoscerne le dimensioni e il formato. Per esempio, se l immagine è e il tipo di dato è intero senza segno su 8 bit, la lettura avviene con i seguenti comandi: fid = fopen( house.y, r ); % apertura del file in lettura x = fread(fid,[ ], uint8 ); % lettura dei dati x = x ; % immagine trasposta fclose(fid); % rilascio del file whos x; % quali sono le caratteristiche di X? Matlab legge per colonne quindi l immagine va trasposta per una corretta visualizzazione. Fate attenzione al fatto che le immagini che volete leggere devono trovarsi nella directory corrente o nel path; in alternativa potete dare il percorso completo. Notate (con whos) come il comando imread memorizzi i valori come interi senza segno su 8 bit, mentre fread li converta in double (64 bit). Quando si usa imread conviene poi effettuare una conversione in double, perché molte operazioni non sono definite sul tipo uint8. La conversione si ottiene facilmente col comando x=double(x). 1

2 Rappresentazione delle immagini in Matlab 2 Una volta in memoria l immagine può essere visualizzata nel modo seguente: figure(1); % apre la figura 1 image(x); % visualizza l argomento come immagine Se x(m, n) = k, il comando image disegna nel punto (m, n) un pixel col k-esimo colore disponibile. I colori sono definiti assegnando le corrispondenti quantità di rosso, verde e blu (RGB) nella palette, tramite il comando colormap. Per definire una palette con K toni di grigio si può usare il comando gray; ad esempio, attraverso il comando colormap(gray(256)) si definisce una tavolozza di colori su livelli di grigio, tale da associare pixel scuri a valori piccoli (0, 1...) e pixel chiari a valori grandi (...254, 255). Tramite il comando colorbar potete aggiungere alla figura una barra che visualizza l associazione tra colori e valori dei pixel. Per default, il comando image produce un immagine il cui rapporto d aspetto (larghezza diviso altezza) non corrisponde a quello originale, creando quindi un immagine distorta. Per superare il problema usate il comando axis equal (se l immagine è quadrata) oppure più in generale axis image. Proviamo a visualizzare l immagine pout.tif (già presente nella libreria di immagini del matlab) con i seguenti comandi: x = imread( pout.tif ); figure; image(x); colormap(gray(256)); axis image; Confrontate adesso questa immagine con quella che otterreste usando il comando di visualizzazione imagesc: figure; imagesc(x); colormap(gray(256)); axis image; Noterete che la seconda immagine è più nitida, questo perche il comando imagesc effettua un automatico riscalamento dei dati, in modo da usare al meglio la colormap (definita nel nostro caso su 256 livelli di grigio) e avere una migliore visualizzazione. In matlab esiste il toolbox images in cui sono definite numerose funzioni utili per l image processing, così come quelle mostrate di seguito. Assegnato un file con uno specifico formato (jpeg, tif, png,...) è possibile avere una serie di informazioni sui dati memorizzati con il comando: imfinfo pout.tif Per la visualizzazione è possibile usare la funzione imshow(x). che si comporta come il comando image, con piccole differenze sui formati. Se x è double, 0 viene visualizzato come nero, 1 come bianco e tutti i valori intermedi come grigi su 256 possibili valori (di default). Se, invece, x è uint8 (uint16), 255 (65535) è visualizzato come bianco. E possibile poi specificare la dinamica dei dati [low high], che potrebbe non essere quella convenzionale, nel seguente modo: imshow(x,[low high]); Se non si forniscono indicazioni sul valore minimo e massimo (imshow(x,[ ])), allora i dati vengono scalati settando low e high al minimo e massimo valore presenti, così come fa imagesc. Se l immagine ha dimensioni molto grandi e se la si vuole analizzare con dettaglio avo una serie di informazioni sui valori dei pixel si

3 Caratteristiche delle immagini 3 può usare il comando imtool(x) oppure imtool( pout.tif ); ovviamente in quest ultimo caso l immagine non sarà memorizzata nel workspace di matlab. Noterete come si sono aperte due finestre: Overview window. Mostra l immagine all interno di un rettangolo, le cui dimensioni possono essere modificate per stabilire quali parti dell immagine si vogliono visualizzare nella finestra principale; Image Information window. Permette di avere molte informazioni sull immagine: faco scorrere il mouse sull immagine si conosce la posizione e il valore di ogni pixel, inoltre è possibile esaminare i valori dei pixel in specifiche regioni cliccando il secondo pulsante della finestra. Esplorate i diversi pulsanti disponibili e cercate di comprere cosa fanno. Tenete presente che imtool mostra l immagine al 100 %, cioè ad ogni pixel dell immagine corrisponde un pixel dello schermo. Ricordate che per chiudere le immagini aperte con il comando imtool è necessario digitare imtool close all e non semplicemente close all. 1.1 Esercizi proposti 1. Lettura e visualizzazione di un immagine. Provate a scrivere una funzione in grado di visualizzare le immagini sia in formato JPEG che in formato grezzo. Il prototipo delle funzioni deve essere rispettivamente: function x=vedijpg(nomefile) e function x=vediraw(nomefile,nrighe,ncolonne,tipo). 2. Uso della colormap. Fate degli esperimenti con l immagine pout.tif, al variare del numero di livelli di grigio usati nella colormap (2,4,8,...,256), usando sia il comando image che imagesc. Per quale motivo in certi casi l immagine si vede tutta bianca? 3. Creazione di palette. Il comando colormap produce in uscita una matrice che ha esattamente tre colonne e un numero di righe pari a K: ogni riga viene interpretata come un colore, rappresentato da tre valori compresi tra 0 e 1, il primo dei quali specifica l intensità del rosso, il secondo quella del verde e il terzo quella del blu. Quindi se vogliamo creare una palette di livelli di grigio (così come fa automaticamente il comando colormap(gray(256)), dobbiamo digitare i seguenti comandi: L = [0:1/255:1] ; r=1; g=1; b=1; colormap([r*l g*l b*l]); % definizione di K livelli di luminanza % pesi da assegnare a R, G e B % creazione della palette Modificando i pesi r,g e b l immagine viene visualizzata nei toni dei vari colori dell arcobaleno. Create una palette in toni di rosso invece che in toni di grigio, ed utilizzatela per visualizzare un immagine. Ripetete l esercizio usando una palette in toni di giallo. 2 Caratteristiche delle immagini Matlab fornisce diverse funzioni per determinare le caratteristiche di un immagine. Per esempio, per calcolare il valore minimo e massimo: xmin = min(min(x)) xmax = max(max(x)) % minimo % massimo E necessario chiamare due volte la funzione perché per matrici tali funzioni forniscono un vettore riga che

4 Caratteristiche delle immagini 4 contiene il minimo (massimo) di ogni colonna, a meno che i dati non siano vettorizzati prima: xmin = min(x(:)) (xmax = max(x(:))). Per il calcolo della media e della deviazione standard: xmed = mean(mean(x)) % media xstd = std(x(:),1) % deviazione standard var = xstd^2; % varianza Due osservazioni. La prima è che la deviazione standard non può essere calcolata come std(std(x)), dato che non è un operazione lineare, ma va determinata vettorizzando prima i dati std(x(:)). Inoltre, poiché di default la varianza è calcolata normalizzando per N 1, dove N è la lunghezza del vettore, è conveniente usare l opzione std(x(:),1) che invece divide effettivamente per N. Queste grandezze possono anche essere valutate localmente all immagine. Scegliete un immagine tra quelle disponibili e supponete di voler stimare l immagine delle medie locali, cioè l immagine che in ogni punto presenta il valor medio calcolato in un vicinato 3 3 di ogni pixel. Il codice è il seguente (N.B. per evitare il problema ai bordi, lasciamo invariati i pixel nella cornice più esterna): MED=zeros(M-2,N-2); for i=1:m-2, for j=1:n-2, b = x(i:i+2,j:j+2); MED(i,j)=mean(b(:)); ; ; figure(1); image(med); colormap(gray(256)); axis image; Un codice più efficiente per realizzare questa stessa operazione è il seguente: MED=zeros(M-2,N-2); for i=-1:1, for j=-1:1, MED=MED+x(2+i:M-1+i,2+j:N-1+j); ; ; MED = MED/9; figure(1); image(med); colormap(gray(256)); axis image; Digitate i comandi tic e toc, rispettivamente, all inizio e alla fine delle righe di codice per conoscere esattamente i tempi di calcolo, che verranno visualizzati a video, e confrontate le due soluzioni. La seconda è molto più rapida della prima perché piuttosto che calcolare il valor medio per ogni pixel del blocco (un numero di volte pari alle dimensioni dell immagine), si calcolano le immagini che presentano in ogni posizione i valori dei pixel da sommare (un numero di volte pari adesso alle dimensioni del blocco). Questo significa, per esempio, che si sistemano in posizione (m 0, n 0 ) per ognuna delle 9 immagini i valori della finestra 3 3 centrata in (m 0, n 0 ) e poi si sommano le immagini. Un analisi più approfondita delle caratteristiche di un immagine è fornita dal suo istogramma, che rappresenta la frequenza di occorrenza di ogni livello di grigio:

5 Operazioni puntuali 5 n = hist(x(:), 0:255); figure; bar(n); axis([ *max(n)]); % istogramma % grafico a barre % estremi per ascisse e ordinate Il comando hist ha in ingresso il vettore x dei campioni di luminanza, e gli intervalli in cui viene suddiviso il range di tali valori; in uscita restituisce in n(i) il numero di volte che x(m, n) appartiene all i-esimo intervallo, in questo caso quindi il numero di volte in cui x(m, n) (i 1/2, i + 1/2). Provate a visualizzare gli istogrammi di alcune delle immagini che avete a disposizione. Il listato precedente è equivalente al comando hist(x,0:255) solo che quest ultimo produce solo la figura, e non il vettore delle occorrenze n. 2.1 Esercizi proposti 1. Calcolo dell immagine delle varianze. Scrivete il codice per calcolare l immagine delle varianze sempre usando blocchi 3 3 e visualizzatela per un immagine del set a disposizione. Che tipo di informazioni vi dà sull immagine? 2. Elaborazione per blocchi. Provate adesso a calcolare media e varianza su blocchi dell immagine disgiunti tra loro. Il toolbox Images di Matlab offre la funzione blkproc che permette di effettuare rapidamente delle operazioni su tutti i blocchi in cui può essere divisa un immagine. Dopo aver letto l help di blkproc, create una funzione che calcola media, massimo e minimo su blocchi 8 8. Il prototipo è: function [medie massimi minimi] = blockstat(x). 3. Istogramma. Il toolbox images vi fornisce il comando imhist, usate l help in linea per conoscerne le funzionalità e provate ad utilizzarlo. 3 Operazioni puntuali Le elaborazioni puntuali si applicano ad ogni pixel dell immagine senza considerare interazioni e dipenze tra pixel vicini, e sono definite in funzione dell intensità del pixel. Vedremo operazioni lineari e non lineari. 3.1 Offset additivo e cambiamento di scala Cominciamo col valutare l effetto di un offset additivo su un immagine, realizziamo cioè la trasformazione: y = x+b, possiamo usare le immagini Fig.3.09(a).jpg e Fig.3.10(b).jpg. La visualizzazione dell istogramma può aiutarvi a scegliere il valore da assegnare all offset b. In particolare, per la fotografia aerea un valore ragionevole è b = 50, quindi scrivo y = x-50 si ottiene l immagine elaborata. Se si vuole fare in modo che l immagine in uscita abbia la stessa dinamica dell ingresso, bisogna fare attenzione al fatto che i valori dell immagine potrebbero diventare negativi. Si può scrivere allora il seguente codice: for i=1:m for j=1:n if (x(i,j)<0) x(i,j)=0; per evitare i due cicli for è possibile vettorizzare l immagine:

6 Operazioni puntuali 6 x=x(:); for i=1:length(x) if (x(i)<0) x(i)=0; x=reshape(x,m,n); Tuttavia nei due modi descritti non si sfruttano le potenzialità del Matlab che è particolarmente efficiente nell eseguire test logici su matrici. Si può infatti creare una maschera con il risultato del test, e poi moltiplicare (punto per punto) per l immagine di partenza per annullare i valori minori di zero. mask1=x>0; % crea una matrice di vero (1) e falso (0) x=x.*mask1; % si annullano tutti i valori minori di 0 Usando quest ultimo approccio provate a generalizzare il codice e gestite anche il caso in cui i valori possono essere più grandi di K 1. Notate come con questa operazione le immagini presentino globalmente un aspetto più o meno luminoso, tuttavia l istogramma, che è stato traslato verso sinistra o destra, mostra come non tutti i valori siano stati usati. Provate ad effettuare un cambiamento di scala y = ax sulle due immagini proposte, determinando il valore appropriato di a in entrambi i casi e confrontando questa soluzione con quella precedente. Ricordate di gestire sempre im modo opportuno le condizioni di saturazione. 3.2 Negativi di un immagine Considerate l immagine della mammografia di fig.3.4, realizzatene il negativo (y = x + K 1) e salvate il risultato su di un file in formato jpeg (con imwrite) o in formato grezzo (con fwrite). (Usate l help in linea di Matlab per esempi sull utilizzo di queste funzioni). 3.3 Full Scale Histogram Stretch Il Full Scale Histogram Stretch o Contrast Stretch è una delle operazioni più utili nell ambito dell elaborazione e della visualizzazione di immagini digitali. Scrivete una funzione con il seguente prototipo: function Y = FSHS(X) che realizza questa operazione nell ipotesi in cui K = 256. Applicate questa funzione alle immagini di Fig.3.09(a).jpg e Fig.3.10(b).jpg e visualizzate il risultato. Come già detto matlab realizza automaticamente questa operazione attraverso il comando imagesc, provate allora a confrontare il risultato ottenuto con quello che avreste visualizzando l immagine originale con tale comando. 3.4 Trasformazione logaritmo e potenza Applichiamo la trasformazione logaritmo y = log(x + 1) in modo da migliorare il contrasto nelle zone scure per la trasformata di Fourier rappresentata nell immagine Fig3.05(a).jpg: y = log(x+1); figure; imagesc(y); colormap(gray(256)); axis image; Provate invece ad applicare la trasformata potenza y = x γ all immagine di Fig3.09(a).jpg, con γ = 3 e all immagine di Fig3.08.jpg (risonanza magnetica di una spina dorsale fratturata) con γ = 0.3 (ricordate

7 Operazioni puntuali 7 di realizzare sempre il contrast stretch dopo l operazione non lineare). Realizzate l enhancement di immagini troppo chiare o scure, con γ > 1 e γ < 1, rispettivamente, sperimentando cosa succede al variare di γ. 3.5 Equalizzazione dell istogramma L equalizzazione dell istogramma permette di migliorare il contrasto di un immagine, quando sono stati usati tutti i valori appartenenti alla dinamica, ma la distribuzione appare fortemente sbilanciata. Le operazioni che devono essere realizzate sono: 1. determinare e visualizzare l istogramma normalizzato (stima della distribuzione di probabilità); 2. calcolare la corrispondente distribuzione cumulativa (usate a tal scopo il comando cumsum di Matlab); 3. equalizzare l immagine usando come trasformazione proprio la CDF ottenuta al punto precedente; 4. rappresentare graficamente l istogramma dell immagine prodotta e visualizzare il risultato (dopo aver effettuato il contrast stretch) confrontandolo con l immagine originaria. Focalizziamo l attenzione proprio sull equalizzazione, che nel discreto diventa: y 0 = n0 = cdf(0) y 1 = n 0+n 1 n = cdf(1) = y k = n 0+n 1 + +n k n = cdf(k) Infatti, il valore che assume la CDF in 0 va assegnato a y 0, quello assunto in 1 va assegnato a y 1 e così via. Per comprere bene come opera questa trasformazione sui dati facciamo un esempio su una sezione 4 4 di un immagine con K = 8 (il cui istogramma normalizzato è mostrato in figura 1 a sinistra): Applicando la trasformazione: 0.4 Stima della distribuzione di probabilità 0.4 Istogramma equalizzato Figura 1: Istogramma normalizzato del blocco originale (a sinistra) e dopo l equalizzazione (a destra).

8 Operazioni puntuali 8 y 0 = 5 16 y 1 = = y 2 = = 7 8 y 3 = = 1 y 4 = y 5 = y 6 = y 7 = 1 I valori ottenuti sono compresi in (0, 1) e sono reali. Per ritornare alla dinamica originaria e se si vuole che i valori in uscita siano ancora interi è necessario realizzare, rispettivamente, un FSHS, che si riduce a moltiplicare ogni valore ottenuto per K = 7 e un arrotondamento all intero più vicino (round in matlab). Il blocco diventa: L istogramma relativo a questi nuovi dati è mostrato in figura 1 a destra. Noterete che è lontano dall essere perfettamente piatto, in effetti si vede come i valori della stima iniziale siano stati semplicemente ridistribuiti nel range [0, 7]. Infatti, nel discreto non è possibile dimostrare che si ottiene una distribuzione uniforme così come accade nel continuo. Dopo aver ripetuto in matlab l esperimento presentato, scrivete una funzione con il seguente prototipo function y = equalizzazione(x) che realizzi l equalizzazione, nell ipotesi in cui K = 256, applicate poi tale funzione all immagine Fig3.20(a).jpg. Infine, confrontate ciò che avete ottenuto con il comando histeq del toolbox images di matlab. 3.6 Uso delle statistiche locali In questa sezione realizziamo l enhancement solo su una parte dell immagine Fig3.24.jpg, allo scopo di evidenziare una struttura nascosta. Vogliamo effettuare un elaborazione (amplificazione del valore) solo dei pixel appartenenti alle aree scure, che abbiano basso contrasto, ma non nelle regioni piatte. Questo si traduce in termini di condizioni su media e deviazione standard locale dell immagine. Un pixel viene elaborato se: 1. la luminosità media attorno al pixel (media locale) è opportunamente minore della luminosità media dell intera immagine; 2. la deviazione standard locale è relativamente bassa (indice di basso contrasto) e non è troppo piccola (per non enfatizzare le aree omogenee). A questo punto solo se la media locale di un pixel è minore di quella globale opportunamente scalata (µ l k 0 µ per individuare zone scure) e se la deviazione standard locale soddisfa la disuguaglianza (k 1 σ σ l k 2 σ per assicurare un basso contrasto), con k 0, k 1 e k 2 costanti, il pixel va amplificato di un fattore E. Assumeremo k 0 = 0.4, k 1 = 0.02, k 2 = 0.4 e E = 4. Per realizzare il codice che effettua tali operazioni bisogna determinare la matrice di test (maschera), che vale 1 laddove il pixel va elaborato, 0 altrimenti: Nell ipotesi di aver già calcolato media, med, e deviazione standard, std, globali dell immagine, di conoscere l immagine delle medie locali, MED, e quella delle deviazioni standard, DEV, su blocchi 3 3, il comando che genera la maschera è: Mask = ((MED<=0.4*med)).*(DEV<=0.4*dev)).*(DEV>=0.02*dev))); Scrivete uno script dal nome localenhanc.m che realizza le operazioni appena descritte e che richiama due funzioni per il calcolo delle medie e delle deviazioni standard, rispettivamente. Ricordate di visualizzare l immagine originale e quella finale.