Cluesterizzazione di immagini tramite dati appresi con algoritmo EM e K-Means

Transcript

1 Università degli studi di Roma La Sapienza Facoltà di Ingegneria Relazione sulla Tesina congiunta di Apprendimento e Visione e Percezione Cluesterizzazione di immagini tramite dati appresi con algoritmo EM e K-Means Francesca Badiglio

2 Indice Introduzione 2 1 Clustering di immagini Clusterizzazione di alberi e prati Le immagini per l apprendimento Le funzioni per l apprendimento Le funzioni di clusterizzazione I menu e l utilizzo dell interfaccia grafica Clusterizzazione in base al colore Apprendimento tramite EM Apprendimento tramite K-MEANS Come utilizzare l applicazione Bibliografia 20 1

3 Introduzione La segmentazione non supervisionata comprende la segmentazione di una immagine in un numero di regioni non conosciuto a priori. In questo lavoro è stato affrontato l argomento della segmentazione dell immagine in base raggruppamento, o clustering, con l utilizzo di misture di gaussiane. In particolare si è deciso di usare due diversi criteri di clusterizzazione: Clusterizzazione dell immagine in base al colore. Clusterizzazione di prati ed alberi. La clusterizzazione di prati ed alberi è stata effettuata utilizzando l algoritmo EM durante l apprendimento; la clusterizzazione dell immagine in base al colore, invece è stata implementata in due modi, utilizzando l EM durante l apprendimento e utilizzando, sempre nella fase di apprendimento l algoritmo K-Means. L algoritmo EM utilizzato nella clusterizzazione di alberi e prati è stato reso dinamico, nel senso che l algoritmo parte con un certo numero di gaussiane, passate in ingresso, ma questo numero dopo la prima fase, l E-step, viene aggiornato. Infatti viene fatto un controllo sul determinante della varianza della metrice e in base a questo valore, la classe (e quindi la gaussiana) può essere eliminata o divisa in due classi più piccole. Misture di gaussiane Le misture di gaussiane sono funzioni di distribuzione di probabilità formate dalla somma di funzioni di distribuzione di tipo gaussiano, chiamate componenti della misture, ciascuna con il suo peso. I parametri caratterizzanti una mistura di gaussiane, dato il numero di componenti k e la dimensione d, sono di tre tipi: 2

4 INDICE 3 le medie µ. le covarianze S. il vettore dei pesi w. La probabilità dalla mistura è data da P (x) = k P (x C = i)p (C = i) (1) i=1 dove P(C=i), probabilità che la componente sia la i-esima, è il peso della i-esima componente, mentre P (x C = i) è la gaussiana i-esima calcolata in x. L algoritmo EM Questo algoritmo fu proposto la prima volta da Dempster, Laird & Rubin come una procedura iterativa di maximun-likelihood per la stima di parametri con dati incompleti. L algoritmo Expectation Maximization permette l apprendimento con set di dati incompleti o con set di dati generati da misture di distribuzioni di probabilità nel caso in cui non si conoscono nè i parametri delle funzioni di distribuzione, nè l appartenenza di ciascun dato ad una funzione di distribuzione. Nel caso delle misture di gaussiane, l idea base dell algoritmo EM è assumere di conoscere i parametri dei modelli, e quindi calcolare la probabilità che ciascun dato appartenga a ciascuna componente. A questo punto, si riadattano le componenti ai dati, e per ciascuna componente si pesano tutti i dati con la probabilità che appartengano a quest ultima. I due passi prendono rispettivamente il nome di Expectation step (E-step) e Maximization step (M-step). Nell E-step calcoliamo il valore atteso delle variabili fittizie nascoste Z ij, che indicano la probabilità che il dato x j sia stato generato dalla i-esima componente. Calcoliamo quindi P ij = P (C = i x j ). Applicando la regola di Bayes, abbiamo P ij = ap (x j C = i)p (C = i), a è un fattore di normalizzazione, il termine P (x j C = i) è la probabilità della i-esima gaussiana, calcolata nel punto x j e il termina P (C = i) è semplicemente il peso della i-esima gaussiana. Definiamo poi P i = j P ij. Nell M-step calcoliamo i nuovi valori dei parametri delle gaussiane che

5 INDICE 4 massimizzano il log-likelihood dei dati, secondo le seguenti formule: j µ i = p ijx j (2) p i S i = j p ij(x j µ i )(x j µ i ) T p i (3) w i = p i (4) N dove µ i sono le medie, S i le covarianze ed N il numero dei dati. L algoritmo EM fa aumentare il log-likelihood dei dati ad ogni iterazione, quindi generalmente raggiunge un massimo locale. L algoritmo K-MEANS L algoritmo K-Means sceglie k cluster prendendo k dati in modo casuale come centri iniziali dei cluster. Ogni dato è quindi assegnato al cluster con il centro più vicino. Ogni centro poi viene aggiornato facendo la media di tutti i dati che sono stati assegnati a quel determinato cluster. Questo processo continua fino a che tutti i dati non sono stati assegnati ad un cluster. Questo algoritmo deve essere usato con pochi cluster e con immagini a bassa risoluzione.

6 Capitolo 1 Clustering di immagini L applicazione che verrà mostrata in queste pagine è comprensiva di alcune interfacce grafiche che guidano l utente alla scelta del tipo di clusterizzazione che si intende effettuare. Per far partire l applicazione basta inserire nella finestra dei comandi di Matlab il comando Domanda e spingere Invio, dopo aver aggiunto la cartella contenente questo lavoro al percorso delle cartelle di Matlab. Verrà visualizzata la schermata mostrata in figura 1.1 Per effettuare la clusterizzazione di alberi e prati basta spingere il pulsante a sinistra; il pulsante di destra, invece, permette di scegliere l algoritmo di apprendimento per la clusterizzazione in base al colore attraverso la schermata mostrata in figura 1.2. Pigiando sul pulsante EM si potrà effettuare la clusterizzazione utilizzando l algoritmo EM per l apprendimento; scegliendo invece K-MEANS Figura 1.1: Prima schermata 5

7 CAPITOLO 1. CLUSTERING DI IMMAGINI 6 Figura 1.2: Schermata di scelta dell algoritmo sarà questo l algoritmo utilizzato nell apprendimento. 1.1 Clusterizzazione di alberi e prati La prima funzione della nostra applicazione che andremo ad illustrare è la clusterizzazione di alberi e prati. Scegliendo una figura, attraveso una mistura di gaussiane, l algoritmo riesce a distinguere questi elementi dagli altri presenti, e questo grazie a delle immagini passate come campione durante l apprendimento Le immagini per l apprendimento Abbiamo scelto otto immagini per entrambi i set di apprendimento. Si può notare che sono stati scelti alberi, prati e foglie di colore differente, alcune con zone d ombra, altri con foschia. Per la nona immagine, nel primo set è stata inserita quella di un prato secco, che tuttavia ha presentato alcuni problemi, poichè in immagini con la presenza di pixel di colore chiaro (bianco sporco), questi sono marcati come pixel generati dalla mistura di gaussiane appresa; nel secondo set invece abbiamo utilizzato l immagine di un prato ravvicinato. Le immagini utilizzate per l apprendimento sono quelle mostrate nelle figure 1.3 e 1.4. Queste immagini sono state riportate in Matlab come array di dimensioni 70*70*3, dove ciascuna delle 3 matrici è formata da numeri interi compresi tra 0 e 255, che indicano l intensità rispettivamente del rosso, del verde e del blu. Le matrici sono poi state aperte in vettori di 4900 elementi e affiancate in 3 colonne. Mettendo poi in successione i vettori di

8 CAPITOLO 1. CLUSTERING DI IMMAGINI 7 Figura 1.3: Immagini per l apprendimento Figura 1.4: Immagini prato secco e ravvicinato tutte le immagini, si è ottenuto per ogni set di immagini una matrice con 3 colonne di elementi, utilizzata nelle funzioni di apprendimento Le funzioni per l apprendimento In questo paragrafo verranno descritte le funzioni matlab utilizzate per l apprendimento. gmem.m Questa funzione accetta in ingresso una matrice di dati di dimensioni NxD, dove N è il numero di punti e D è la dimensione della mistura di gaussiane che vogliamo ottenere in uscita, e restituisce una struttura contenente una matrice di medie mu, di dimensione DxC, dove C è il numero dei componenti nella mistura di gaussiane, un array di covarianze sigma di dimensione DxDxC e un vettore di pesi weight di lunghezza C. Tra i parametri di ingresso, possono anche essere indicati il numero massimo di iterazioni (100 per default), la soglia di convergenza (10 6 per default), il numero di componenti nella mistura di gaussiane (3 per default), la visualizzazione o meno di messaggi indicanti il progresso dell algoritmo

9 CAPITOLO 1. CLUSTERING DI IMMAGINI 8 (no per default) e l inizializzazione dell algoritmo mediante una struttura contenente le matrici mu e sigma([ ] per default). La funzione inizia con l assegnazione dei parametri di default e il parsing degli eventuali parametri passati in ingresso. Si passa poi all inizializzazione di mu, sigma e weight. Nel caso in cui l utente non abbia fornito una propria inizializzazione, se le componenti della mistura sono almeno 2, si inizializzano i centri tramite la funzione K-means. Se la mistura è in realtà il calcolo di una semplice distribuzione gaussiana, mu viene inizializzato calcolando la media dei dati. La covarianza invece, viene inizializzata per ciascuna componente come la matrice diagonale avente come valori quelli della diagonale della covarianza calcolata sui dati. A questo punto viene invocata la funzione covfixer, che forza la matrice appena calcolata ad essere una valida matrice di covarianza. I pesi vengono inizializzati semplicemente assegnando a ciascuna delle C componenti un peso pari a 1/C. Il log-likelihood viene inizializzato con il massimo valore negativo. Inizia ora la fase di calcolo. Per ciascuna componente, il prodotto P (x j C = i)p(c = i) viene calcolato dalla funzione gmprob, che invoca la funzione preesistente in matlab mvnpdf per calcolare la probabilità di un punto in una gaussiana multivariata che viene poi pesata con il peso attuale della componente. L Estep termina con la normalizzazione dei risultati. A questo punto viene inserita la parte del codice che rende dinamico l algoritmo EM. Infatti, a questo punto, il determinante della matrice delle covarianze viene confrontato con due soglie, una bassa e una alta. Se il determinante della matrice è più basso della soglia bassa la classe viene eliminata, se è più alto della soglia alta invece la classe viene divisa in due classi più piccole, mentre se il valore del determinante della matrice delle covarianze è compreso nel range delle due soglie allora la classe viene presa così com è. Questo passo viene ripetuto per ogni classe della mistura fino a che non ci sono cambiamenti sul numero di questi. Nell M-step vengono calcolate le nuove stime dei pesi, di mu e di sigma. Alla fine di ogni ciclo viene ricalcolato il prodotto P (x j C = i)p(c = i), e quindi il log-likelihood dei dati. Se la variazione del log-likelihood è minore della siglia di convergenza, le iterazioni vengono interrotte, come

10 CAPITOLO 1. CLUSTERING DI IMMAGINI 9 anche se il numero di iterazioni ha superato il massimo numero consentito; altrimenti il ciclo riprende dalla normalizzazione dei risultati. Al termine dell iterazione, viene creata la struttura che verrà passata in uscita. covfixed.m Forza una matrice ad essere una valida matrice di covarianza (simmetrica, definita positiva, con valori reali sulla diagonale). Per prima cosa viene forzata la simmetria, poi vengono eliminate eventuali parti immaginarie presenti sulla diagonale. Per verificare che la matrice sia definita positiva, viene richiamata la funzione isspd, estratta dal file mvnpdf.m che restituisce un valore booleano. Nel caso in cui il risultato sia negativo vengono apportate delle piccole modifiche alla matrice: se gli elementi della diagonale sono tutti negativi, viene sommato ad essi l 1% del massimo valore assoluto degli elementi della diagonale; altrimenti ogni elemento della diagonale viene aumentato dell 1%. mvnpdf.m Questa funzione è preesistente in matlab. Fornisce la probabilità della distribuzione gaussiana multivariata, determinata dai parametri mu e sigma, calcolata nei punti contenuti nel vettore X, passato in ingresso Le funzioni di clusterizzazione In questo paragrafo verranno descritte le funzioni matlab utilizzate per la clusterizzazione. gmpdf.m Questa funzione accetta in ingresso un vettore di punti D-dimensionali e i parametri di una mistura di gaussiane. I controlli su mu e sigma verranno effettuati dalla funzione invocata mvnpdf, mentre un errore sulla dimensione del peso genererà un errore di calcolo, in quanto proprio la lunghezza del vettore weight determina il numero di componenti della mistura. La funzione calcola la probabilità della mistura di gaussiane in ciascun punto del vettore in ingresso, invocando la funzione mvnpdf per calcolare

11 CAPITOLO 1. CLUSTERING DI IMMAGINI 10 la probabilità di ciascuna conponente nel punto, pesando tale probabilità con il peso della rispettiva componente, e sommando tra loro tutti i valori trovati per ciascuna componente. gmcluster.m La funzione gmcluster produce una immagine delle stesse dimensioni dell immagine passata in ingresso, nella quale intendiamo riconoscere prati e alberi basandoci sulle misture di gaussiane apprese nella prima fase. L immagine in uscita, in toni di grigio, ha marcati di bianco (valore 255) tutti i pixel riconosciuti come generati dalla mistura di gaussiane scelta per la clusterizzazione. In ingresso devono essere forniti i valori medi, le covarianze e i pesi delle gaussiane della mistura. Possono anche essere passati due parametri opzionali: la soglia di appartenenza, che per default è pari a , e un valore booleano, il cui valore di default è di verità, che indica se effettuare o meno la rimozione dei punti isolati. La funzione inizia con il controllo sul numero e tipo dei parametri passati in ingresso: l immagine deve essere un immagine a colori (matrice di dimensioni m*n*3); la matrice dei valori medi deve avere dimensioni 3*C, l array delle covarianze 3*3*C, il vettore dei pesi deve avere lunghezza C, dove C è il numero delle componenti della mistura. Terminato il controllo dei dati in ingresso, viene generata una nuova immagine completamente nera (valore 0) e avente le dimensioni dell immagine in ingresso. Ciascuna colonna dell immagine in ingresso viene convertita a valori reali, e sul vettore risultante viene invocata la funzione gmpdf, per calcolare la probabilità. Successivamente, per ogni punto della colonna, la probabilità calcolata viene confrontata con la soglia di appartenenza: se la probabilità risulta strettamente maggiore della soglia, il pixel corrispondente viene marcato come generato dalla mistura di gaussiane, e settato a 255. Infine, se la variabile che indica l esecuzione della rimozione di punti isolati ha un valore positivo, per ogni punto dell immagine risultante, eccetto quelli sul bordo, se un pixel nero è circondato da 6, 7 o 8 pixel bianchi (somma dei valori degli 8 pixel circostanti maggiore di 1400), viene settato a 255. Allo stesso modo, se un pixel bianco è circondato da 6, 7 o 8 pixel neri(somma dei valori degli 8 pixel circostanti minore di 520), viene settato a 0. L immagine risultante viene restituita in uscita.

12 CAPITOLO 1. CLUSTERING DI IMMAGINI 11 Figura 1.5: Clustering di alberi e prati I menu e l utilizzo dell interfaccia grafica Una volta scelto di effetture la clusterizzazione di prati ed alberi dalla schermata di figura 1.1, verrà visualizzata la schermata di figura 1.5. Nella parte alta della finestra si trova la barra dei menu, contenente i menu File, View ed Help. Nella zona centrale, sono presenti le due finestre delle immagini: a sinistra l immagine caricata in ingresso, nella quale si intendono riconoscere i cluster di prati e alberi; a destra, l immagine risultante, che presenta in bianco i pixel attribuiti ai suddetti cluster. Sugli assi sono riportate le dimensioni in pixel. Cliccando con il tasto destro sugli assi, si possono utilizzare i menù contestuali delle immagini. Nella parte inferione dell immagine vi sono i pannelli per la scelta dei parametri, due con pulsanti di scelta esclusiva e uno con due cursori a scorrimento con relativa box di testo; in basso a destra, il pulsante Update, che permette di aggiornare il risultato.

13 CAPITOLO 1. CLUSTERING DI IMMAGINI 12 Il menu File Posto all inizio della barra dei menu, presenta una sola voce: Open image. Tale comando apre una finestra con la lista dei file presenti nella cartella corrente. Il punto singolo (.) aggiorna il contenuto della cartella corrente, mentre il punto doppio (..) ha la funzione di tornare indietro di un passo nel percorso della cartella corrente. Tutti i file possono essere selezionati con un clic singolo e aperti successivamente cliccando sul pulsante Yes, oppure aperti direttamente con un doppio clic. Solo immagini gif, jpeg e bitmap verranno accettate e caricate nella finestra immagine di sinistra, al posto dell immagine corrente. Altri tipi di file genereranno una finestra modale di errore. Il comando Open image può essere selezionato anche tramite la combinazione di tasti CTRL+O. Il menu View Posto sulla barra dei menu, presenta due voci: selezionando la prima, Default (CTRL+D), l interfaccia verrà riportata nello stato iniziale, con l immagine e i parametri di default; la seconda voce permette, mediante un sottomenu, di decidere il colore dei pixel del cluster nell immagine risultante; i colori possibili sono bianco (CTRL+H), grigio (CTRL+G) e sfumature di grigio calcolate in base all intensità dei pixel dell immagine iniziale (CTRL+P). I menu contestuali dell immagine Si attivano con il clic del tasto destro sugli assi di ciascuna delle due immagini. Per l immagine di sinistra viene attivato un menu contestuale di due voci: il comando Open apre la stessa finestra che si ottiene con il comando Open image del menu file; il comando Zoom apre una nuova finestra contenente l immagine fortemente ingrandita. Questa nuova finestra consente anche di salvare l immagine. Il menu contestuale dell immagine di destra, invece, contiene solo la voce Zoom con la stessa funzione di aprire una nuova finestra contenente l immagine risultante ingrandita. Il pannello Learning set Posto nella zona inferiore sinistra dell interfaccia, presenta due pulsanti mutuamente esclusivi, che consentono di scegliere il set di apprendimento

14 CAPITOLO 1. CLUSTERING DI IMMAGINI 13 con il quale sono state ottenute le misture di gaussiane che si vogliono utilizzare per il clustering. Il set numero 1 è quello in cui la nona immagine di apprendimento è quella di un prato secco; il set numero 2 è quello in cui la nona immagine di apprendimento è quella di un prato fotografato da breve distanza. Il pannello Parameters Posto al centro della zona inferiore, il pannello presenta due cursori scorrevoli con due relative caselle di testo. Il cursore superiore permette di scegliere il numero di componenti presenti nella mistura di gaussiane che intendiamo utilizzare per la clusterizzazione, il valore può essere modificato trascinando il cursore, cliccando sullo scivolo ai alti del cursore oppure cliccando sulle frecce; la modifica verrà immediatamente visualizzata nella casella di testo; la variabile può essere anche modificata inserendo un valore numerico nella casella. Il cursore inferiore permette di scegliere la soglia di appartenenza dei pixel alla mistura; il numero scelto sarà moltiplicato per 10 9 e può variare da 1 a La modifica del valore può avvenire nello stesso modo che per il cursore precedente. Il pannello Single points removal e il tasto Update Sono entrambi situati nella parte inferiore destra della finestra dell interfaccia grafica. Il pannello presenta due pulsanti mutuamente esclusivi, che consentono di decidere se effettuare o meno la rimozione dei punti isolati dall immagine risultante. Il tasto Update è quello che avvia il calcolo del cluster di prati e alberi: la pressione di questo tasto cancella l immagine risultante, sostituendola con una temporanea di attesa, raccoglie i parametri scelti e avvia il calcolo basato su di essi, disegnando alla fine la nuova immagine risultante. 1.2 Clusterizzazione in base al colore Per questa parte del lavoro non è prevista una divisione nelle due fasi di apprendimento e clusterizzazione, ma in un unica fase in cui sono concentrate entrambe le operazioni. Abbiamo deciso di implementare l apprendimento con due diversi algoritmi per vedere anche il comportamento diverso dei due algoritmi.

15 CAPITOLO 1. CLUSTERING DI IMMAGINI 14 Figura 1.6: Clustering in base al colore usando EM Apprendimento tramite EM Una volta scelto di implementare l algoritmo di clusterizzazione del colore utilizzando l algoritmo EM nell apprendimento, viene visualizzata la schermata mostrata in figura 1.6. Il layout di questa interfaccia è più semplice dell altra; il menu File e i menu contestuali sono gli stessi di quelli descritti per l applicazione precedente. L unico parametro che è possibile scegliere è il numero dei componenti della gaussiana, attraverso la barra di scorrimento posta sotto le figure. Il tasto Update permette di aggiornare il risultato. Il menu File Posto all inizio della barra dei menu, presenta una sola voce: Open image. Tale comando apre una finestra con la lista dei file presenti nella cartella corrente. Il punto singolo (.) aggiorna il contenuto della cartella corrente, mentre il punto doppio (..) ha la funzione di tornare indietro di un passo nel percorso della cartella corrente. Tutti i file possono essere selezionati con un clic singolo e aperti successivamente cliccando sul pulsante Yes, oppure aperti direttamente con un doppio clic. Solo

16 CAPITOLO 1. CLUSTERING DI IMMAGINI 15 immagini gif, jpeg e bitmap verranno accettati e caricati nella finestra immagine di sinistra, al posto dell immagine corrente. Altri tipi di file genereranno una finestra modale di errore. Il comando Open image può essere selezionato anche tramite la combinazione di tasti CTRL+O. I menu contestuali dell immagine Si attivano con il clic del tasto destro sugli assi di ciascuna delle due immagini. Per l immagine di sinistra viene attivato un menu contestuale di due voci: il comando Open apre la stessa finestra che si ottiene con il comando Open image del menu file; Il comando Zoom apre una nuova finestra contenente l immagine fortemente ingrandita. Questa nuova finestra consente anche di salvare l immagine. Il menu contestuale dell immagine di destra, invece, contiene solo la voce Zoom con la stessa funzione di aprire una nuova finestra contenente l immagine risultante ingrandita. gmccluster.m La funzione gmccluster produce una immagine suddivisa, mediante i colori, in un numero di classi passato come parametro. L immagine in uscita, presenterà i pixel riconosciuti come generati dalle diverse classi in diversi colori. La funzione apprende l immagine in ingresso e la ridimensiona, dimunuendo del 50% le dimensioni originali per fare in modo che l algoritmo lavoro meglio. Si passa poi all inizializzazione di mu, sigma e weight. Se le componenti della mistura sono almeno 2, si inizializzano i centri tramite la funzione K-means. Se la mistura è in realtà il calcolo di una semplice distribuzione gaussiana, mu viene inizializzato calcolando la media dei dati. La covarianza invece, viene inizializzata per ciascuna componente come la matrice diagonale avente come valori quelli della diagonale della covarianza calcolata sui dati. A questo punto viene invocata la funzione covfixer, che forza la matrice appena calcolata ad essere una valida matrice di covarianza. I pesi vengono inizializzati semplicemente assegnando a ciascuna delle C componenti un peso pari a 1/C. Inizia ora la fase di calcolo. Per ciascuna componente, il prodotto P (x j C = i)p(c = i) viene calcolato dalla funzione gmprob, che invoca la funzione preesistente in matlab

17 CAPITOLO 1. CLUSTERING DI IMMAGINI 16 mvnpdf per calcolare la probabilità di un punto in una gaussiana multivariata che viene poi pesata con il peso attuale della componente. L Estep termina con la normalizzazione dei risultati. Nell M-step vengono calcolate le nuove stime dei pesi, di mu e di sigma. Se il numero di iterazioni ha superato il massimo numero consentito il ciclo viene interrotto; altrimenti il ciclo riprende dalla normalizzazione dei risultati. Utilizzando il vettore delle probabilità di appartenenza del punto alla classe creiamo un altro vettore in cui, per ogni dato, poniamo a 1 l elemento sulla colonna corrispondente alla classe con probabilità di appartenenza più alta, e a zero gli elementi sulle altre colonne. Con questo nuovo vettore clusterizziamo l immagine e la restituiamo in uscita clusterizzata; verrà poi visualizzata sullo schermo. Anche se questa volta non abbiamo reso dinamico l algoritmo EM, abbiamo potuto constatare che, utilizzando il vettore delle probabilità per creare il nuovo vettore formato solo da valori 0 e 1, può accadere che non vengano utilizzate tutte le classi per la clusterizzazione. covfixed.m Forza una matrice ad essere una valida matrice di covarianza (simmetrica, definita positiva, con valori reali sulla diagonale). Per prima cosa viene forzata la simmetria, poi vengono eliminate eventuali parti immaginarie presenti sulla diagonale. Per verificare che la matrice sia definita positiva, viene richiamata la funzione isspd, estratta dal file mvnpdf.m che restituisce un valore booleano. Nel caso in cui il risultato sia negativo vengono apportate delle piccole modifiche alla matrice: se gli elementi della diagonale sono tutti negativi, viene sommato ad essi l 1% del massimo valore assoluto degli elementi della diagonale; altrimenti ogni elemento della diagonale viene aumentato dell 1% Apprendimento tramite K-MEANS Una volta scelto di implementare l algoritmo di clusterizzazione del colore utilizzando l algoritmo EM nell apprendimento, viene visualizzata la schermata mostrata in figura 1.7 Il layout di questa interfaccia è uguale a quello precedente; il menu

18 CAPITOLO 1. CLUSTERING DI IMMAGINI 17 Figura 1.7: Clustering in base al colore usando K-MEANS File e i menu contestuali sono gli stessi di quelli descritti per l applicazione precedente. L unico parametro che è possibile scegliere è il numero dei componenti della gaussiana, attraverso la barra di scorrimento posta sotto le figure. Il tasto Update permette di aggiornare il risultato. Il menu File Posto all inizio della barra dei menu, presenta una sola voce: Open image. Tale comando apre una finestra con la lista dei file presenti nella cartella corrente. Il punto singolo (.) aggiorna il contenuto della cartella corrente, mentre il punto doppio (..) ha la funzione di tornare indietro di un passo nel percorso della cartella corrente. Tutti i file possono essere selezionati con un clic singolo e aperti successivamente cliccando sul pulsante Yes, oppure aperti direttamente con un doppio clic. Solo immagini gif, jpeg e bitmap verranno accettati e caricati nella finestra immagine di sinistra, al posto dell immagine corrente. Altri tipi di file genereranno una finestra modale di errore. Il comando Open image può essere selezionato anche tramite la combinazione di tasti CTRL+O.

19 CAPITOLO 1. CLUSTERING DI IMMAGINI 18 I menu contestuali dell immagine Si attivano con il clic del tasto destro sugli assi di ciascuna delle due immagini. Per l immagine di sinistra viene attivato un menu contestuale di due voci: il comando Open apre la stessa finestra che si ottiene con il comando Open image del menu file; Il comando Zoom apre una nuova finestra contenente l immagine fortemente ingrandita. Questa nuova finestra consente anche di salvare l immagine. Il menu contestuale dell immagine di destra, invece, contiene solo la voce Zoom con la stessa funzione di aprire una nuova finestra contenente l immagine risultante ingrandita. kcluster.m La funzione kcluster produce una immagine suddivisa, mediante i colori, in un numero di classi passato come parametro. L immagine in uscita, presenterà i pixel riconosciuti come generati dalle diverse classi in diversi colori. La funzione apprende l immagine in ingresso e la ridimensiona, dimunuendo del 50% le dimensioni originali per fare in modo che l algoritmo lavoro meglio. La posizione dei centri delle gaussiane e l appartenenza di un dato ad una determinata classe sono tornati dalla funzione kmeans presente nel toolbox Netlab di Matlab. In base al vettore che riporta l appartenenza di un dato ad una certa classe la figura viene clusterizzata e riportata in uscita per essere stampata sullo schermo. kmeans.m Questa funzione è presente nel toolbox Netlab ed è utilizzata per inizializzare le k classi in base ai dati passati in ingresso. dist2.m Anch essa già presente in Netlab ed è utilizzata dalla funzione kmeans per calcolare il quadrato della distanza di due set di punti.

20 CAPITOLO 1. CLUSTERING DI IMMAGINI Come utilizzare l applicazione Per mettere in funzione l applicazione basta aggiungere la cartella contenente tutto il codice nell indirizzo delle cartelle di Matlab e mandare in esecuzione il file Domanda. Una volta terminata l applicazione, per ripeterla, bisogna tornare nella cartella più esterna poichè, nell eseguire l applicazione, Matlab si sposterà all interno delle sottocartelle contenute nella cartella principale.

21 Bibliografia [1] Christophe Andrieu, Nando De Freitas, Arnaud Doucet, Michael I.Jordan. An introduction to mcmc for machine learning. [2] Cesare Guariniello. Clusterizzazione di prati e alberi secondo misture di gaussiane con parametri appresi tramite algoritmp em. [3] Neil Alldrin, Andrew Smith, Doug Turnbull. Clustering with em and k-means. [4] Fiora Pirri. Dispense del corso di Apprendimento e Visione e Percezione distribuite durante i corsi agli studenti. 20