Dott. Maciel ZORTEA RELAZIONE SULL'ATTIVITA' E LE RICERCHE SVOLTE ALLA CONCLUSIONE DEL TERZO ANNO DEL XIX CICLO DEL CORSO DI DOTTORATO DI RICERCA IN SCIENZE E TECNOLOGIE DELL INFORMAZIONE E DELLA COMUNICAZIONE, INDIRIZZO: SCIENZE ED INGEGNERIA DELLO SPAZIO 1. TEMATICHE DI RICERCA Le tematiche da me sviluppate hanno avuto per oggetto: 1) Sviluppo di un metodo basato su regressione Support Vector Machine (SVM) per la stima della temperatura superficiale del mare da dati remoti ottenuti da sensori passivi; 2) Sviluppo di un metodo basato su classificatori multipli SVM per la classificazione di dati telerilevati ottici ad elevata risoluzione spaziale. 1.1. Sviluppo di un metodo basato su regressione Support Vector Machine (SVM) per la stima della temperatura superficiale del mare da dati remoti ottenuti da sensori passivi L attività relativa all'applicazione di schemi di regressione SVM su problemi di analisi di immagini satellitari è stata proseguita e completata con lo sviluppo di una architettura di regressione basata su SVM per la stima della temperatura superficiale del mare (Sea Surface Temperature, SST) da dati AVHRR (sensore ottico, in banda infrarosso). La temperatura della superficie del mare (SST) è un parametro di grande rilevanza ed interesse scientifico. La SST svolge un importante ruolo nel capire numerosi processi naturali, è, per esempio, un potenziale indicatore dei cambiamenti climatici. Inoltre, la SST è una variabile chiave nello studio degli scambi di umidità, calore e flussi energetici oceani. Una stima di parametri superficiali che sia basata su dati misurati da sensori remoti offre vantaggi in quanto le misure in situ sono limitate e l eterogeneità spaziale è elevata. Da oltre 20 anni, i dati acquistati dai sensori a bordo di piattaforme satellitari permettono misure relativamente accurate di SST a livello globale. In questo contesto, dati telerilevati acquisiti da sensori passivi, ad esempio il sensore ottico Advanced Very High Resolution Radiometer (AVHRR), presentano potenzialità rilevanti per la misurazione remota della temperatura superficiale del mare. L obiettivo primario è stato lo sviluppo e validazione, tramite utilizzo di misure in situ (a livello globale) di temperatura (acquisite da boe), di una metodologia che consente il miglioramento delle stime di SST ottenute rispetto alle prestazioni ottenibili con metodi classici proposti in letteratura (tipicamente approcci di tipo split window ). Si è cercata un alternativa che fosse meno dipendente da una particolare scelta ad doc di una equazione di stima. A tal fine, è stato condotta una serie di sperimentazioni per valutare la possibilità di utilizzare, al posto dei metodi classici impiegati per la stima della SST, un'architettura di regressione innovativa basata su Support Vector Machine (ε-svr). L'approccio SVM esprime la soluzione di un problema di regressione come combinazione lineare di funzioni-kernel centrate sui campioni di training, con coefficienti non-nulli solo per un numero limitato di campioni (detti "support vector"), ottimizzati mediante procedure di programmazione quadratica, dalla strategia di regolarizzazione adottata in fase di apprendimento. Per la valutazione sperimentale della tecnica sono state utilizzate le misure disponibili nella versione 19 del data set NOAA/NASA SST Pathfinder Match-up, disponibile on-line in http://podaac.jpl.nasa.gov/sst/. Nel data set è disponibile una serie di informazioni, fra queste la temperatura acquisita da boe e le corrispondenti misure ( match-ups ) di radianza nei canali 3, 4, 5 rilevate dal sensore AVHRR/2, a bordo del satellite NOAA14, in una finestra di 5x5 pixel centrata sulla boa. Il periodo di analisi comprende tutto il periodo di 1998 e 1999. La distribuzione spaziale delle boe è globale (in generale fra le latitudini comprese tra il 60ºN e 45ºS). Le feature che sono state considerate come ingresso allo stimatore SVM sono: f1 = secante del angolo di scansione Θ del sensore; f2 = T4; f3 = T4-T5;
f4 = T3; f5 = SST first guess, la Reynolds Weekly Optimally Interpolated SST (OISST) [3], con risoluzione spaziale 1 x 1 grado, si è considerato il valore corrispondente al punto della griglia più vicino alla boa. dove T3, T4 e T5 sono la mediana dei 9 pixel all interno di una finestra 3x3, centrata nella finestra di estrazione delle temperature di brillanza dei canali 3, 4, e 5, rispettivamente, e rappresentano una statistica robusta delle radianze acquisite dal sensore AVHRR. Nel valutare l utilizzo della feature f5, lo stimatore SVM viene costruito considerando non soltanto le misure radiometriche acquisite dal sensore AVHRR, ma anche una stima first guess della SST da stimare (dato ancilary ). In termini applicativi, questa first guess può essere generata da un algoritmo che utilizza il dato AVHRR come partenza (ad esempio, tramite uno degli algoritmi classici split windows proposti in letteratura) oppure, generato da dati acquisiti da altri sensori, ad esempio, quelli a microoonde passive. L utilizzo della feature f5 è ispirato nell approccio split windows non lineare utilizzato dal algoritmo NOAA/NASA AVHRR Pathfinder SST [3], la cui formulazione risulta: SST = a + bt4 + c(t4-t5)sstguess + d(t4-t5)(sec(θ)-1) La non linearità dell algoritmo NOAA/NASA avviene mediante l introduzione del termine first guess (SSTguess) del pixel la cui temperatura si desidera stimare e dall utilizzo di quattro costanti (a,b,c,d) che vengono ottimizzate tramite procedure di regressione [3] a livello mensile (utilizzando le misure delle boe), per due regimi atmosferici diversi: (T4-T5) 0.7 e (T4-T5)>0.7. Si è focalizzata la selezione dei kernel (lineare e gaussiano) e diverse combinazioni di insiemi di feature fornite all ingresso dello stimatore. La ricerca dei parametri ottimali per i kernel è stata eseguita mediante procedura di ricerca a griglia. Nella Tab. 1 vengono presentati alcuni dei risultati ottenuti al variare il numero di campioni di training e test (disgiunti), acquisiti nel 1998. Tab. 1. Accuratezze di SST utilizzando campioni di training e test (disgiunti) nel 1998. Nella Tab. 1 vengono presentati l errore quadratico medio (RMSE), l errore medio assoluto (MAE), e la percentuale di campioni con errore di stima inferiore a 0.25 K fino a 1.00 K. Nella maggioranza delle combinazioni di feature esaminate, il kernel gaussiano (RBF) fornisce accuratezze di SST superiori all SVM con kernel lineare (Linear). Inoltre, si osserva che con la presenza della feature f5 (OISST) e utilizzando il Kernel RBF, le prestazione superano quelle ottenute con l approccio non lineare utilizzato nel algoritmo NOAA/NASA. Gli altri algoritmi classici utilizzati come confronto, in particolare il Multi-Channel Sea Surface Temperature (MCSST) [3] e il OISST [3], forniscono prestazioni inferiori a quelle del NOAA/NASA. I risultati suggeriscono che la feature f4 (T3) (non utilizzata negli algoritmi classici presentati) apporta un contributo valido alla miglioria delle stime di SST. I risultati riguardanti l analisi dell influenza del numero di campioni di traning utilizzati per generare gli stimatori SVM e la possibilità di utilizzo degli stimatori ottenuti su un orizzonte temporale più ampio (ma senza riadestramento dello stimatore SVM, ossia, un approccio non supervisionato ) vengono presentati nelle Fig. 1 e 2. A titolo di brevità, le accuratezze ottenute con gli algoritmi MCSST e OISST, e il kernel Lineare, essendo inferiori a quelle del NOAA/NASA, non vengono presentate.
Fig. 1. RMSE utilizzando i campioni di test corrispondente all anno 1999 (disgiunti). I risultati sono ottenuti usando il Kernel RBF, al variare le feature di ingresso. Il numero di campioni di training è variabile (come indicato) e corrisponde ai campioni di 1998. Le accuratezze sono valutate utilizzando 42741 campioni (quando f5 = 0, [ 111*0]) e 3789 (quando f5 = 1, [ 111*1]) di 1999. Fig. 2. Percentuale di campioni di test con errore assoluto inferiore a 0.25K-1K. Risultati ottenuti utilizzando il Kernel RBF e l'insieme di features [11101]. Il numero di campioni di training è variabile (come indicato) e corrisponde ai campioni dall'anno 1998. Le prestazioni sono valutate utilizzando 3789 campioni di test acquisiti in dicembre del 1999 (spazialmente e temporaneamente disgiunti). In particolare, si verifica che le accuratezze di stima SST, ottenute con l architettura SVM, non sono fortemente dipendenti dal numero di campioni di training considerati. L approccio SVM richiede pochi parametri da ottimizzare (tre parametri per il kernel RBF: C, ε, σ). I risultati suggeriscono che lo stimatore può essere applicato ad orizzonti temporali più ampi, senza il riaddestramento o modifiche dello stimatore. Nello specifico, per ottenere le stime SST per i due anni (1998 e 1999), l algoritmo NOAA/NASA utilizza 2 anni x 12 mesi x 8 parametri al mese = 192 parametri. Per lo stesso periodo di analisi, il metodo SVM proposto utilizza soltanto 3 parametri (senza utilizzo di dati di training corrispondenti all 1999). I buoni risultati ottenuti, utilizzando dati AVHRR, acquisiti a livello globale, suggeriscono l efficacia del metodo proposto. 1.2. Sviluppo di un metodo basato su classificatori multipli SVM per la classificazione di dati telerilevati ottici ad elevata risoluzione spaziale Nel corso del terzo anno di dottorato, è stata introdotta un'ulteriore linea di ricerca, dedicata alla classificazione di immagini ottiche ad alta risoluzione spaziale. I dati satellitari ad elevata risoluzione spaziale (HR), commercialmente disponibili (ad esempio, i sensori IKONOS, Quickbird) presentano elevata potenzialità per la discriminazione di piccole strutture e dettagli all interno dell immagine. Tale particolarità risulta molto interessante, ad esempio, nel contesto dell analisi delle aree urbane. Ad esempio, per integrare questi dati HR nella pianificazione urbana, fornire una risposta in situazioni di emergenza, o per la sorveglianza di un area, le strutture presenti in una immagine devono essere accuratamente classificate. Rispetto ai dati ottenuti da sensori a bassa e moderata risoluzione spaziale (Landsat, Spot, Aster, ecc.), i dati HR presentano classi tematiche fortemente eterogenee. All interno di una stessa classe tematica, si possono trovare diverse sottoclassi con differenti risposte spettrali. Nel contesto HR, i metodi di classificazione basati sulla risposta spettrale dei singoli pixel risultano poco efficienti, mentre acquista maggiore rilevanza l informazione contestuale.
Il metodo proposto consiste nel utilizzo di un approccio basato su classificatori multipli (emsemble classifiers). Tipicamente, nella combinazione di classificatori di accuratezze moderate, non fortemente correlati, gli errori di classificazione possono essere rimossi (almeno parzialmente) utilizzando una procedura di voting, ottenendosi un risultato finale di classificazione potenzialmente elevato. Il metodo proposto, come nell approccio Random Forest [6], addestra ogni classificatore selezionando un sottoinsieme random fra i campioni di training disponibili per ogni singola classe (). Diversamente, invece di selezionare un sottoinsieme random delle feature originali per ogni classificatore (con l obbiettivo di aumentare ulteriormente la diversità dei classificatori), il metodo proposto utilizza tutta l informazione spettrale disponibile (nessuna perdita) e introduce una quantità random aggiuntiva di informazione di tipo contestuale, mediante l utilizzo di tessiture. In particolare, nel considerare le tessiture, sono state utilizzate le matrici di GLCM (Grey-Level Co-occurrence Matrix). Ci si aspetta che l informazione proveniente dalle tessiture consenta di rendere i classificatori potenzialmente diversi fra loro e, allo stesso tempo, di fornire ai singoli classificatori maggior poter discriminante. Diversamente dall approccio classico Random Forest, dove il classificatore base è un classificatore ad albero (tipicamente il CART), il metodo proposto utilizza classificatori base di tipo SVM. Gli SVM sono noti per l elevata capacità di generalizzazione e robustezza [4]. In particolare, il metodo proposto utilizza il kernel Radial Basis Function (RBF, kernel di tipo non lineare). Una ricerca esaustiva di C, parametro interno dell approcio SVM, legato alla capacità di generalizzazione del modello, e σ, la larghezza del kernel, non è computazionalmente fattibile. Una ottimizzazione tramite procedura classica di ricerca a griglia dei parametri anche renderebbe il tempo di calcolo particolarmente elevato. La soluzione adottata consiste nella definizione ed utilizzo di una stratified mini grid. Nello specifico, per ridurre il tempo di calcolo senza una perdita significativa di accuratezza, definito un intervallo accettabile delle possibili variazioni dei parametri del kernel, lo spazio dei parametri (in questo caso bidimensionale, C e σ) viene diviso uniformemente in i x j = i.j cellule. Un punto selezionato random all interno di ogni cellula della griglia viene considerato (stratified random sampling). Selezionata la combinazione di parametri che massimizza le prestazioni di accuratezza all interno della mini griglia, tramite una procedura di tipo K-fold cross-validation, ci si aspetta un classificatore SVM parzialmente ottimizzato, comunque, con accuratezze accettabili. I campioni di training out of sono utilizzati per valutare l accuratezza media delle classi (ρ); utilizzata per valutare il peso del contributo di ogni singolo classificatore (pa di classificazione). Diversamente dell approccio Random Forest, la pa finale viene generata mediante combinazione pesata delle n pe (weighted majority voting). Ogni pa viene pesata come log(ρ/(1 ρ)) [8]. La Fig. 3 presenta il diagramma a blocchi del metodo proposto. training all spectral textures SVM # 1 ρ1 # 1 weighted voting final SVM # n # n prob. ρn Fig. 3. Diagramma a blocchi del metodo proposto. Date m possibili features GLCM, k bande spettrali originali e w un vettore con possibili dimensioni delle finestre di tessitura, con l obbiettivo di aumentare la diversità dei classificatore, il metodo proposto seleziona, per ogni singolo classificatore n, un sottoinsieme random di m features (1 m m), con probabilità uniforme. Ogni feature viene generata da una delle k bande spettrali disponibili (scelta random), con una dimensione di finestra scelta tra il vettore w (scelta random). Il metodo proposto (HR-ensemble SVM) è stato validato sperimentalmente su una immagine 700x400 pixels HR composta da 3 bande ottiche a 4m di risoluzione spaziale, acquisita dal satellite IKONOS (Fig. 4) vicino ad Itaipu, prossimo al confine tra Brasile e Paraguai. Sono state definite 8 classi tematiche: ω1 = urban,
ω2 = low vegetation, ω3= high vegetation,, ω4 = sparse vegetation, ω5 = water, ω6 = sand, ω7 = wood, e ω8 = bare soil, per un totale di 4565 pixels de training e 4212 pixels di test. I risultati HR-SVM ensemble sono stati comparati con quelli ottenuti mediante (a) un classificatore MAP supponendo che le distribuzioni condizionate alle classi tematiche siano gaussiane (GMAP standard, non contestuale), (b) SVM (standard, non contestuale, kernel RBF, parametri del kernel ottimizzati tramite ricerca a griglia classica ), (c) Random Forest (standard, non contestuale, utilizzando 66% dei campioni di training per classe, 2 feature spettrali per ogni singolo classificatore), (d) classificatore MRF-ICM (approccio contestuale che utilizza Markov Random Fields, [7]), (e) SVM (contestuale, kernel RBF, 8 tessiture per i tre canali RGB, finestra 7x7, parametri del kernel ottimizzati tramite ricerca a griglia classica ) (f) Random Forest modificato (approccio contestuale, adottando l architettura proposta (Fig. 3), e cambiando il classificatore base per il CART) (Tab. 2). Tab. 2. Accuratezze di classificazione utilizzando il metodo proposto (HR-SVM ensemble) ed altri metodi di confronto. * average results for 9 repetitions, ensemble size n = 70. Fig. 4. (A sinistra) Composizione RGB dell immagine originale; (centro) pa di classificazione utilizzando il metodo proposto (HR-SVM ensemble) con una mini grid 3x3 e un insieme di 70 classificatori con 50 campioni di training per ogni classe (). L insieme di candidate tessiture (GLCM) considerate sono mean, variance, homogeneity, contrast, dissimilarity, entropy, second moment e correlation, con possibile dimensione di finestra w = [3,5,7,9], con passo GLCM (1,1). La classe ω1 = urban viene presentata in viola; (a destra) corrispondente pa di voting (quanto più chiaro maggiore la concordanza tra i classificatori). Come nel approccio Random Forest, un parametro intrinseco del metodo è la definizione del numero di classificatori n da utilizzare. Anche il metodo proposto non è molto sensibile a questo parametro, come si può verificare sperimentalmente nella Fig. 5. Average accuracy TE 95,0 94,5 94,0 93,5 93,0 92,5 92,0 91,5 91,0 90,5 90,0 25 50 150 2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62 66 70 ensemble size Average Std TE [ 2,0 1,8 1,6 1,4 1,2 1,0 0,8 0,6 0,4 0,2 0,0 25 50 150 2 6 10 14 18 22 26 30 34 38 42 46 50 54 58 62 66 70 ensemble size Fig. 5. (a sinistra) Accuratezze di classificazione media (average) utilizzando il metodo proposto (HR-SVM ensemble) al variare il numero di campioni di training utilizzati per il (25, 50 e 150); (a destra) la standard deviation. (9 ripetizioni). Le buone prestazioni ottenute suggeriscono l applicabilità del metodo proposto per la classificazione di immagine HR.
Bibliografia: [1] P. J. Minnett, Radiometric measurements of the sea-surface skin temperature: The competing roles of the diurnal thermocline and the cool skin. Int. J. of Remote Sensing, v 24, n 24, 2003, p 5033-5047. [2] E.P. McClain, W.G. Pichel and C.C. Walton. 1985. Comparative performance of AVHRR-based multichannel sea surface temperatures. Journal of Geophysical Research 90: 11,58711,601. [3] J. Vazquez, K. Perry, K. Kilpatrick. NOAA/NASA AVHRR Oceans Pathfinder Sea Surface Temperature Data Set. User's Reference Manual. Version 4.0. April 10, 1998 (JPL Publicattion D-14070, 1998). [4] V. Vapnik. The Nature of Statistical Learning Theory. New York: Springer-Verlag (1995). [5] S. B., Serpico, M. De Martino, G. Moser, M. Zortea, "Land Surface Temperature Estimation from Infrared Satellite Data using Support Vector Machines", Proc. IGARSS-2006, Denver, USA. [6] L. Breiman, Random forests, Machine Learning, v 45, n 1, 2001. [7] F. Causa, G. Moser, S. B. Serpico, A novel MRF model for the detection of urban areas in optical high spatial resolution images," AIT Italian Journal of Remote Sensing, 2006 (to appear). [8] L. Kuncheva, Combining Pattern Classifiers, John Wiley & Sons, 2004. 2. ELENCO DELLE PUBBLICAZIONI M. Zortea, M. De Martino, G. Moser, S. B. Serpico, "A SVM ensemble approach for spectralcontextual classification of optical high spatial resolution imagery, submitted to IEEE International Geoscience and Remote Sensing Symposium 2007, Barcelona, Spain, 23-27 July 2007. M. Zortea, S. B. Serpico, "On Improving Global Estimation Of Sea Surface Temperature from AVHRR Data Using Support Vector Machines," Proc. of IEEE Gold Conference on Remote Sensing 2006, Bari, Italia, 4-5 December 2006. S. B. Serpico, M. De Martino, G. Moser, M. Zortea, "Land Surface Temperature Estimation from Infrared Satellite Data using Support Vector Machines," Proc. of IEEE International Geoscience and Remote Sensing Symposium 2006, Denver, USA, 31 July - 4 Agosto 2006. M. Zortea, M. De Martino, G. Moser, S. B. Serpico, "Land Surface Temperature Estimation from Infrared Satellite Data using Support Vector Machines," submitted to Remote Sensing of Environment. M. Zortea, V. Haertel, R. Clarke, Feature Extraction in Remote Sensing High-Dimensional Image Data, IEEE Geoscience and Remote Sensing Letters (to appear). 3. PIANO DI STUDI 3.1. Primo anno Corso di Machine Learning, Prof. M. Muselli; Corso di Statistical Modeling and Design of Experiments, Prof. C. Cervellera; Corso di Telerilevamento e Diagnostica Elettromagnetica, Prof. M. Pastorino; Corso di Teoria dei Segnali, Prof. S. B. Serpico; 3.2. Secondo anno Corso di Challenges and Solutions for Real-Time Inmersive Video Communication, Prof. Oliver Schreer; Corso di Time Frequency Analysis, Prof. Leon Cohen; Corso di Teoria dei Giochi", Prof. F. Patrone; Corso di Reti Neurali per l Ottimizzazione", Prof. M. Sanguineti; 3.3. Terzo anno Corso di Le Equazioni Differenziali alle Derivate Parziali nei Modelli per l Ingegneria, Prof. Mauro Parodi. Corso di Teoria e Tecniche del Riconoscimento 1, Prof. S. B. Serpico. 4. PARTECIPAZIONE A SCUOLE, CORSI, ecc. La Stazione Spaziale Internazionale: un programma tecnologico di collaborazione internazionale a cura dell Agenzia Spaziale Europea e del Dottorato di Ricerca in Scienze e Ingegneria dello Spazio, Genova, 3 5 Maggio 2004. 5. PERIODI DI FORMAZIONE SVOLTI ALL'ESTERO -