Miglioramento dell analisi di immagine in GRASS tramite segmentazione

Transcript

1 Segmentazione in GRASS Miglioramento dell analisi di immagine in GRASS tramite segmentazione Alfonso Vitti e Paolo Zatelli Dipartimento di Ingegneria Civile ed Ambientale Università di Trento Italy FOSS4G-it 2010 A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

2 Segmentazione in GRASS Outline 1 Analisi del segnale 2 Un accenno alla teoria 3 Il software 4 Applicazioni 5 Conclusioni e sviluppi futuri A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

3 Segmentazione in GRASS Analisi del segnale Introduzione É spesso utile estrarre da una mappa o da un immagine una sua versione semplificata, in cui le regioni uniformi sono lisciate ed i loro contorni ben definiti. Un possibile approccio a questo problema é dato dalla segmentazione. La segmentazione può essere intuitivamente immaginata come il processo per la partizione di un dominio in regioni omogenee e distinte, secondo criteri prefissati. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

4 Segmentazione in GRASS Analisi del segnale Introduzione Un esempio di segmentazione di immagini Un immagine di ciottoli e la sua segmentazione A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

5 Segmentazione in GRASS Analisi del segnale Segmentazione L output della segmentazione consiste in: un insieme di regioni omogenee un insieme di contorni A seconda dell applicazione, uno o entrambi gli insiemi sono interessanti. Il problema consiste nell identificare le caratteristiche principali del segnale, lisciando i dati di input, preservando al tempo stesso la struttura del segnale (e le sue discontinuità). A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

6 Segmentazione in GRASS Un accenno alla teoria Segmentazione con approccio variazionale Uno dei possibili modi per formulare il processo di segmentazione dal punto di vista matematico é l approccio variazionale, che identifica un insieme di quantità la minimizzazione delle quali porta alla soluzione cercata, che dipende ovviamente dalle caratteristiche di queste quantità. Queste quantità sono termini di penalizzazione legati alle caratteristiche che si richiedono alla soluzione. I coefficienti assegnati a questi termini sono il mezzo per controllare il processo. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

7 Segmentazione in GRASS Un accenno alla teoria Modello variazionale di Mumford e Shah Il modello variazionale di Mumford e Shah segue questo approccio, richiedendo che: 1 la soluzione sia più vicina possibile ai dati di input 2 la soluzione sia più liscia possibile all interno di ogni regione omogenea 3 la lunghezza dei contorni sia la minima possibile MS(u, K ) = Ω\K u g 2 dx + λ u 2 dx + αh 1 (K ) Ω\K where Ω R n é un intervallo limitato aperto, g L inf (Ω) rappresenta i dati, λ e α sono parametri positivi, H 1 é la misura di Hausdorff e K l insieme dei contorni delle regioni. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

8 Segmentazione in GRASS Un accenno alla teoria Modello variazionale di Mumford e Shah Ω i rappresenta una regione uniforme, g rappresenta i dati, u la sua approssimazione e K é l insieme dei contorni delle regioni. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

9 Segmentazione in GRASS Un accenno alla teoria Modello variazionale di Mumford e Shah I principali problemi con questa formulazione sono: sono presenti contemporaneamente integrali di superficie (2D) di linea (1D) il dominio di integrazione é una delle incognite del problema (free discontinuity problem) in questa forma non é possibile trovare una soluzione. Quindi la formulazione é modificata in modo che sono presenti solo integrali di superficie (2D) (formulazione debole) la Γ convergence é usata per riscrivere il termine che controlla le discontinuità si scrive il sistema di equazioni di Eulero associato alla nuova formulazione, la soluzione é iterativa A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

10 Segmentazione in GRASS Un accenno alla teoria Estensione del modello di Mumford e Shah Anche se la nuova formulazione rende l implementazione del modello possibile, rimangono alcuni problemi per la sua applicazione a segnali reali: controllare la regolarità attraverso le derivate prime può portare a sovrasegmentazione ( ramp effect ) le curve che rappresentano le discontinuità possono solo terminare con una estremità libera o con una giunzione tripla le discontinuità possono incontrare il confine del dominio solo ortogonalmente gli angoli non possono essere descritti da questo modello A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

11 Segmentazione in GRASS Un accenno alla teoria Estensione del modello di Mumford e Shah É possibile rappresentare angoli modificando il funzionale ( MS k (u) := u g 2 dx + λ u 2 dx + α + βk 2) ds Ω Ω S u dove k é la curvatura del contorno. Ora i parametri α e β controllano rispettivamente l elasticità e la rigidità delle curve: se α 0 ogni pixel tende a diventare una singola regione se α é troppo grande i cerchi collassano, gli angoli retti sono smussati e si ottiene una singola regione se λ la soluzione tende ad essere costante a tratti A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

12 Segmentazione in GRASS Il software La libreria seglib É stata sviluppata in C una nuova libreria che implementa un set di funzioni per la segmentazione. La libreria, chiamata seglib, implementa sia il modello originale di Mumford-Shah che il modello di Mumford-Shah con il termine di curvatura. Per entrambi i modelli la libreria implementa i metodi iterativi non lineari di Jacobi Gauss-Seidel per risolvere il problema della valutazione del gradiente discreto ( discrete gradient descent problem ) associato alla discretizzazione alle differenze finite delle equazioni di Eulero. Il codice é rilasciato con licenza GNU3 General Public License. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

13 Segmentazione in GRASS Il software Il modulo r.seg per GRASS Il modulo di GRASS r.seg fornisce l accesso in ambiente GRASS alle funzioni per la segmentazione di immagini contenute nella libreria seglib. La scelta di sviluppare un modulo di GRASS piuttosto che un programma separato dipende principalmente dai vantaggi che si hanno integrando questo tipo di analisi in un GIS. Il codice é rilasciato con licenza GNU3 General Public License. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

14 Segmentazione in GRASS Il software L interfaccia del modulo di GRASS r.seg A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

15 Segmentazione in GRASS Il software Parametri del modulo di GRASS r.seg I I parametri del modulo di GRASS r.seg sono: il nome della mappa raster di input da segmentare i nomi delle mappe di output che contengono il raster segmentato e i contorni individuati i nomi delle mappe contenenti i valori iniziali delle funzioni u e z il valore del parametro λ, che controlla la regolarità delle regioni nella mappa segmentata il valore del parametro α, che controlla la lunghezza dei contorni delle regioni il valore del parametro β, che controlla la rigidità dei contorni delle regioni (la flag Activate MSK flag deve essere selezionata) il valore della Convergence tolerance che definisce la massima tolleranza, sull intero dominio, tra i valori della soluzione (raster segmentato) a due passi successivi A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

16 Segmentazione in GRASS Il software Parametri del modulo di GRASS r.seg II il numero massimo di massimo di iterazioni (Max number of iterations) dopo le quali il processo si ferma (se non ha raggiunto la convergenza prima) la flag Do not use GS method disattiva l uso del metodo di Gauss-Seidel e attiva quindi il metodo di Jacoby; questa opzione é utile solo per test A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

17 Segmentazione in GRASS Il software Mappe di input per il modulo r.seg Due mappe iniziali sono necessarie per innescare l algoritmo iterativo: la mappa per i valori iniziali della funzione u può essere uguale alla mappa da segmentare (in input) la mappa per i valori iniziali della funzione z deve contenere valori (anche uniformi constante) nell intervallo [0-1] La mappa per i valori iniziali della funzione z può essere creata con il modulo r.mapcal di GRASS. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

18 Segmentazione in GRASS Applicazioni Test Il modulo r.seg é stato usato per analizzare alcune immagini di prova e alcune immagini tipiche usate in ambiente GIS, per filtrare il rumore e per pre processare le immagini prima della loro classificazione. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

19 Segmentazione in GRASS Applicazioni Pre-processamento di immagini Ortofoto del colle di Tenna tra i laghi di Levico e Caldonazzo in Trentino, bande RGB, ris. 1m A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

20 Segmentazione in GRASS Applicazioni Image pre-processing Immagine segmentata e discontinuità. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

21 Segmentazione in GRASS Applicazioni Classificazione di immagini Classificazione unsupervised: immagine originale e segmentata. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

22 Segmentazione in GRASS Applicazioni Classificazione di immagini Segmentazione e classificazione dell alveo di un braided river : immagine originale e segmentata, la parte bagnata é in ciano. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

23 Segmentazione in GRASS Applicazioni Estrazione di contorni Estrazione di contorni: i contorni dei canali sono in ciano. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

24 Segmentazione in GRASS Conclusioni e sviluppi futuri Conclusioni e sviluppi futuri L applicazione dei modelli di Mumford-Shah per la segmentazione fornisce buoni risultati con immagini di tipo diverso. La nuova libreria seglib ed il modulo r.seg sono affidabili e veloci. L uso di questo nuovo strumento come pre-processore di immagini e la sua combinazione con altre procedure per l analisi di immagini disponibili in GRASS fornisce un evidente miglioramento rispetto alle procedure standard. Sono in corso di svolgimento test numerici per valutare quantitativamente i benefici di questo approccio e per dare indicazioni sulla scelta dei parametri λ, α e β. A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25

25 Segmentazione in GRASS Conclusioni e sviluppi futuri Conclusioni e sviluppi futuri Sviluppi futuri: segmentazione diretta di immagini multibanda studio del funzionale di Blake e Zisserman (che controlla le derivate seconde, cioè la curvatura) in 2D per l estrazione di features dai Digital Surface Models (ad esempio tetti di edifici) estensione del funzionale di Mumford e Shah con l introduzione di un termine che controlla l esistenza ed il comportamento di punti di estremità delle linee che rappresentano i contorni delle regioni Il codice sorgente della versione attuale (di sviluppo, senza quasi documentazione!) della libreria e del modulo di GRASS é disponibile qui c 2010 Alfonso Vitti e Paolo Zatelli, disponibile come A. Vitti P. Zatelli Università di Trento FOSS4G-it / 25