Preprocessamento di immagini per la classificazione in GRASS

Transcript

1 Preprocessamento di immagini in GRASS Preprocessamento di immagini per la classificazione in GRASS Marco Ciolli 1, Clara Tattoni 2, Alfonso Vitti 1, Paolo Zatelli 1 1 Dipartimento di Ingegneria Civile, Ambientale e Meccanica Università di Trento 2 Museo delle Scienze - Trento Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 1 / 31

2 Preprocessamento di immagini in GRASS Outline 1 Introduzione 2 Segmentazione 3 Sperimentazione m - Monocromatica m - RGB m - RGB+IR 7 Conclusioni Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 2 / 31

3 Preprocessamento di immagini in GRASS Introduzione Classificazione Lo scopo della classificazione è ricavare da una immagine informazioni sulla superficie in modo più automatico possibile. Si confronta una firma spettrale di una classe di copertura con il contenuto dell immagine. Volo Italia 2008 Classificazione a 9 classi Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 3 / 31

4 Preprocessamento di immagini in GRASS Introduzione Classificazione Esistono diversi approcci (supervisionata - non supervisionata - ibrida) ed algoritmi (massima verosimiglianza, reti neurali, ecc.) per la classificazione di immagini. Tutti questi approcci risentono in modo determinante della presenza di rumore sull immagine. Volo Italia particolare Zoom sul prato in alto a dx Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 4 / 31

5 Preprocessamento di immagini in GRASS Introduzione Rumore Stabilito che si vuole rimuovere il rumore 1, o almeno minimizzarne l impatto sulla classificazione, sono disponibili diverse possibilità: applicazione di filtri, tipicamente passa-basso, sull immagine prima della classificazione uso di bande artificiali aggiuntive (es. texture) uso di classificatori contestuali (i.smap) segmentazione di immagini 1 il rumore di qualcuno è spesso il segnale di qualcun altro Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 5 / 31

6 Preprocessamento di immagini in GRASS Segmentazione Segmentazione La segmentazione può essere intuitivamente intesa come la partizione di un dominio in regioni omogenee disgiunte secondo criteri predefiniti. Immagine di ciottoli e sua segmentazione Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 6 / 31

7 Preprocessamento di immagini in GRASS Segmentazione Segmentazione L output della segmentazione consiste in: un insieme di regioni omogenee un insieme di discontinuità (confini delle regioni) Nel caso di classificazione di immagini si usa il primo insieme, ma per altre applicazioni è importante il secondo. Il problema è identificare le caratteristiche del segnale lisciando l input preservando la struttura del segnale e le sue discontinuità. Uno dei possibili approcci è quello variazionale, in cui si minimizza la somma somma di termini di penalizzazione che rappresentano caratteristiche della soluzione, i cui coefficienti consentono il controllo del processo da parte dell utente. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 7 / 31

8 Preprocessamento di immagini in GRASS Segmentazione Modello variazionale di Mumford and Shah Il modello variazionale di Mumford and Shah variational segue questo approccio, richiedendo che: 1 la soluzione sia più vicina possibile ai dati di input 2 la soluzione sia più liscia possibile in ogni regione considerata omogenea 3 la lunghezza totale dei confini delle regioni sia più corta possibile MS(u, K ) = Ω\K u g 2 dx + λ u 2 dx + αh 1 (K ) Ω\K dove Ω R n è un insieme chiuso, g L inf (Ω) rappresenta i dati di input, λ e α sono parametri positivi, H 1 è la misura di Hausdorff e K l insieme dei confini delle regioni. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 8 / 31

9 Preprocessamento di immagini in GRASS Segmentazione Modello variazionale di Mumford and Shah Ω i rappresenta una regione uniforme, g rappresenta i dati in input, u la loro approssimazione e K l insieme dei confini delle regioni. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 9 / 31

10 Preprocessamento di immagini in GRASS Segmentazione Estensione modello variazionale di Mumford and Shah E possibile modellare angoli modificando il funzionale ( MS k (u) := u g 2 dx + λ u 2 dx + α + βk 2) ds Ω Ω S u dove k è la curvatura dei contorni. Qui i parametri α e β controllano rispettivamente la lunghezza e la rigidità delle curve: se α 0 ogni pixel tende a diventare una singola regione se α è troppo grande i cerchi collassano, gli angoli retti sono arrotondati e si arriva ad un unica regione se λ la soluzione tende a diventare costante a tratti Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 10 / 31

11 Preprocessamento di immagini in GRASS Segmentazione Segmentazione in GRASS Questo approccio è implementato nella libreria seglib, che in GRASS è utilizzabile attraverso il modulo r.seg. I parametri che l utente deve impostare per usare r.seg sono: α che controlla la lunghezza dei confini delle regioni β che controlla la rigidità dei confini delle regioni (la flag Activate MSK flag deve essere attiva) λ che controlla l omogeneità delle regioni nella mappa segmentata Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 11 / 31

12 Preprocessamento di immagini in GRASS Segmentazione Determinazione dei parametri Volendo preprocessare un immagine con segmentazione si devono scegliere i valori di α, [β] e λ, ma le variabili in gioco sono molto di più: numero di bande risoluzione numero di classi E importante il numero massimo di iterazioni dell algoritmo di segmentazione, per valori alti dei parametri l algoritmo potrebbe non essere arrivato a convergenza. Non esistono metodi diretti per ricavare i valori di α, [β] e λ (se non per alcuni casi monodimensionali): sono quindi stati sperimentati diversi set di parametri per diversi tipi di immagini. Il giudizio è dato per ogni set di parametri valutando il coefficente k. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 12 / 31

13 Preprocessamento di immagini in GRASS Sperimentazione Immagini Sono state usate immagini diverse per risoluzione geometrica e numero di bande: Immagine Risol. [m] Bande N. classi Volo PAT Toni di grigio 4 Volo Italia RGB 5 Volo Italia RGB+IR 6 che rappresentano la stessa area del Trentino orientale. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 13 / 31

14 Preprocessamento di immagini in GRASS Sperimentazione Immagini Volo PAT 1994 Volo Italia 2000 Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN Volo Italia / 31

15 Preprocessamento di immagini in GRASS Sperimentazione Procedura segmentazione parametri segmentazione Banda 1 Banda s1 training map control map Immagine Banda 2 Banda s2 Gruppo Firma spett. Uso suolo Kappa Banda 3 Banda s3 i.gensig i.maxlik r.kappa r.seg i.group La procedura è inserita in due cicli su α e λ, la segmentazione è eseguita in parallelo sulle bande. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 15 / 31

16 Preprocessamento di immagini in GRASS Sperimentazione Test su area limitata I primi 120 test sono stati fatti su un area limitata con un set di parametri ampio: α={ } e λ={ }. Il numero di iterazioni massimo è pari a 100. L immagine non segmentata è stata classificata con 4 classi (prato, bosco al sole, ombra e roccia) con k= I grafici seguenti si riferiscono al sottoinsieme (di 42 test) α={ } e λ={ }. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 16 / 31

17 Preprocessamento di immagini in GRASS Sperimentazione Test su area limitata La segmentazione può peggiorare la classificazione. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 17 / 31

18 Preprocessamento di immagini in GRASS Sperimentazione Test su area limitata NB il limite sul numero di iterazioni è fondamentale: ad es. con α=100000e λ=1000, a 100 iterazioni k= (il peggiore!), a 5000 iterazioni k= (il migliore!) Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 18 / 31

19 Preprocessamento di immagini in GRASS Sperimentazione Test su area limitata Volo Italia particolare Segmentazione con α=200000, λ=1000 Segmentazione migliore con α=100000, λ=200 Uso suolo a 4 classi (K=0, da 0,967426) Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 19 / 31

20 Preprocessamento di immagini in GRASS m - Monocromatica Immagine monocromatica 1 banda, risol. 1m, 4 classi (bosco al sole, bosco in ombra, urbano e prato) test con α={ } e λ={ } Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 20 / 31

21 Preprocessamento di immagini in GRASS m - Monocromatica Distribuzione di k k minimo: originale: massimo: Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 21 / 31

22 Preprocessamento di immagini in GRASS m - Monocromatica Distribuzione di k Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 22 / 31

23 Preprocessamento di immagini in GRASS m - RGB Immagine RGB 3 bande, risol. 1m, 5 classi (bosco al sole, ombra, roccia, lago e prato) test con α={ } e λ={ } Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 23 / 31

24 Preprocessamento di immagini in GRASS m - RGB Distribuzione di k k minimo: originale: massimo: Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 24 / 31

25 Preprocessamento di immagini in GRASS m - RGB Distribuzione di k Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 25 / 31

26 Preprocessamento di immagini in GRASS m - RGB+IR Immagine RGB+IR 4 bande, risol. 1m, 6 classi (bosco al sole, ombra, neve, roccia, lago e prato) test con α={ } e λ={ } Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 26 / 31

27 Preprocessamento di immagini in GRASS m - RGB+IR Distribuzione di k k minimo: originale: massimo: 0, Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 27 / 31

28 Preprocessamento di immagini in GRASS m - RGB+IR Distribuzione di k Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 28 / 31

29 Preprocessamento di immagini in GRASS Conclusioni Conclusioni I I test effettuari hanno permesso di verificare che: come atteso, valori grandi dei parametri α e λ rendono le regioni segmentate più omogenee e aumentano la differenza di valori tra le aree all aumentare del valore dei parametri aumenta il numero di iterazioni dell algoritmo di segmentazione e quindi il carico computazionale i tempi impiegati sono: immagine a 3 bande, risol. 1m ( celle): circa 2 ; immagine a 4 bande, risol. 0.5m ( celle): circa 20 se le diverse classi sono mescolate con proporzioni simili il preprocessamento con segmentazione può peggiorare la classificazione; in questo caso si devono usare valori bassi dei parametri α e λ Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 29 / 31

30 Preprocessamento di immagini in GRASS Conclusioni Conclusioni II è fondamentale scegliere le aree campione in modo coerente con la regolarità desiderata per la mappa classificata dalle sperimentazioni effettuate i valori che danno risultati migliori sono α 10 5 e λ 200 Sono necessarie ulteriori sperimentazioni con immagini con numero maggiore di bande e soprattutto con maggiore rumore. Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 30 / 31

31 Preprocessamento di immagini in GRASS Appendice Licenza Questa presentazione è c 2013 Paolo Zatelli, disponibile come Paolo Zatelli - Marco Ciolli, Clara Tattoni, Alfonso Vitti UniTn - MTSN 31 / 31