Dott. FEDERICO CAUSA 1. TEMATICHE DI RICERCA

Transcript

1 Dott. FEDERICO CAUSA RELAZIONE SULL'ATTIVITA' E LE RICERCHE SVOLTE ALLA CONCLUSIONE DEL SECONDO ANNO DEL XVIII CICLO DEL CORSO DI DOTTORATO DI RICERCA IN SCIENZE E INGEGNERIA DELLO SPAZIO 1. TEMATICHE DI RICERCA La principale tematica di ricerca condotta, durante il secondo anno di dottorato, ha riguardato l analisi di dati telerilevati mediante tecniche non-parametriche. In particolare, il primo obiettivo ha riguardato l implementazione di un algoritmo di classificazione ottimizzato, dal punto di vista computazionale, basato sulla regola di decisione dei K-Nearest Neighbors (K-NN). Il K-NN rappresenta una tecnica frequentemente adottata in letteratura quale strumento di paragone nell ambito delle tecniche non parametriche, tuttavia il suo principale svantaggio è rappresentato dall eccessivo onere computazionale. La tecnica implementata consente una notevole riduzione dei tempi di calcolo mediante opportuna strutturazione ad albero, basata su Kd-Tree, dei dati da classificare. La struttura ad albero Kd-Tree fornisce un efficace strumento per esaminare solo i campioni più vicini al campione da classificare, risparmiando così sul tempo relativo al calcolo delle distanze. Il secondo argomento di ricerca ha invece interessato lo sviluppo e l implementazione di una tecnica di feature reduction di tipo non-parametrico ottenuta dall estensione del metodo Nonparametric Discriminant Analysis (NDA) proposto da Fukunaga. Il metodo NDA, basato sul calcolo delle matrici di scatter inter ed intra classe, svolge tuttavia l analisi dei dati in un contesto parzialmente non parametrico. A differenza dell NDA, la tecnica sviluppata calcola entrambe le matrici di scatter mediante un approccio totalmente non parametrico basato sulla tecnica K-NN. Sempre nel contesto della tematica di feature reduction è stato implementato un ulteriore algoritmo non parametrico di stima delle densità di probabilità (ddp) basato sul metodo Reduced Parzen Estimation (RPE). Tale metodo, basato sul calcolo delle stime delle ddp mediante il metodo delle finestre di Parzen, è mirato alla selezione del sottoinsieme ottimale dei dati di training in corrispondenza del quale la relativa stima delle ddp approssima al meglio quella ottenuta usando l intero insieme di training. Inoltre, nel corso del secondo anno, ho contribuito alle attività del progetto applicativo Survey and Evaluation on Ecological Environment in Select Areas of Central China. In tale contesto, sono attivamente coinvolto nell analisi (interpretazione ed elaborazione) dei dati telerilevati per la produzione delle mappe tematiche di copertura del suolo e di rivelazione dei cambiamenti. Attualmente, l attività di classificazione delle coperture del suolo nelle regioni considerate è terminata, mentre è in fase di conclusione l attività per la generazione di mappe di cambiamenti.

2 1.1. Algoritmo di classificazione K-NN ottimizzato mediante adozione di struttura Kd-Tree dei dati Il metodo K-Nearest Neighbors (K-NN) rappresenta una tra le più intituitive regole di classificazione non-parametriche, tuttavia fu dimostrato in [1] che questa semplice tecnica offre una probabilità di errore asintotica (al crescere del numero dei campioni di training) pari, al massimo, al doppio della probabilità di errore associata alla regola di Bayes. Il K-NN costituisce un classificatore di riferimento nell ambito delle tecniche non parametriche, spesso richiamato in letteratura quale strumento per il confronto dei risultati al fine di validare le prestazioni di nuove tecniche di classificazione. Tuttavia il suo principale svantaggio è rappresentato dall eccessivo onere computazionale, dovuto al calcolo di una grande mole di distanze, nello spazio delle feature, per la ricerca dei K campioni più vicini. La tecnica implementata, derivante dallo studio presente in [2], consente una notevole riduzione dei tempi di calcolo mediante opportuna strutturazione ad albero (Kd-Tree) dei dati di training. Successivamente, la classificazione di un generico campione (la cui classe non è nota) viene svolta analizzando l albero, al fine di individuare i K campioni più vicini al campione in esame. La struttura dati KdTree fornisce un efficace strumento per esaminare solo i campioni di training più vicini al campione da classificare, risparmiando così sul tempo relativo al calcolo delle distanze. Un Kd-Tree è sostanzialmente un albero binario bilanciato, dove ad ogni nodo è associato un insieme di campioni. La costruzione dell albero avviene mediante l adozione di una procedura ricorsiva. L intero insieme di dati è associato al nodo radice. Ciascuno dei due nodi figli contiene un sottoinsieme degli elementi associati al nodo genitore. La terminazione dell albero nei nodi foglia avviene fissando a priori la cardinalità di tali nodi terminali. I nodi non terminali sono suddivisi ricorsivamente in due nodi figli. L operazione di splitting di un nodo avviene sulla base della feature a massima dispersione f* individuata dai campioni di quel nodo, la separazione nei due nodi figli avviene considerando il valore mediano di tale feature: il nodo figlio sinistro contiene tutti gli elementi che hanno un valore della feature f* minore del suo valore mediano, mentre il figlio destro contiene gli elementi con valore maggiore (ciascun nodo figlio contiene un sottoinsieme con cardinalità pari circa alla metà di quella dell insieme del nodo genitore). Analogamente all algoritmo per la costruzione dell albero, anche la ricerca dei K campioni di training più vicini al campione incognito è realizzabile con una procedura ricorsiva. Tale compito viene svolto applicando specifici test di verifica, mediante l uso di operatori di intersezione ed unione, ai nodi dell albero. I test coinvolgono sia i limiti geometrici dei sottoinsiemi di campioni associati ad ogni nodo (iper-rettangoli nello spazio delle feature), sia la distanza tra il campione incognito e il K-esimo campione più vicino finora trovato (ipersfera centrata nel campione incognito). In particolare, la verifica sui nodi non terminali consente di escludere a priori tutti i suoi nodi successori, risparmiando così rilevanti tempi di calcolo. L algoritmo è stato testato su un insieme di dati reali telerilevati. I dati sono costituiti da 20 features, campioni di training (usati per la generazione del Kd-Tree) e di test (usati per il calcolo dei tempi di computazione e dell accuratezza di classificazione). I risultati, in termini di tempo di calcolo, sono stati confrontati con quelli relativi all implementazione classica del K-NN il cui algoritmo era già disponibile (vedi Fig.1 e 2).

3 log(tempo [s]) Kd-Tree K-NN 1000 log(tempo [s]) Kd-Tree K-NN #features K Fig.1: Confronto, in termini di tempo di computazione, tra Kd- Tree e K-NN fissando K=7 e variando il numero di feature da 1 a 20; i risultati, rappresentati su scala logaritmica, sono relativi al tempo [secondi] necessario alla classificazione dell intero test set Fig.2: Confronto, in termini di tempo di computazione, tra Kd- Tree e K-NN fissando il numero di feature a 8 e variando K; i risultati, rappresentati su scala logaritmica, sono relativi al tempo [secondi] necessario alla classificazione dell intero test set 1.2. Algoritmo di feature reduction basato su approccio non parametrico La feature reduction (mediante trasformazione o selezione) costituisce una tematica di grande interesse nell ambito dell analisi sia di dati multispettrali integrati con altre tipologie di informazione (omogenee e non), sia di dati iperspettrali. In generale, e con maggior enfasi sulla seconda tipologia di dati, la presenza della problematica nota come maledizione della dimensionalità necessita l adozione di tecniche che riducano la dimensione dello spazio dei parametri e, nel contempo, siano in grado di estrarre l informazione discriminante contenuta nei dati di partenza. In particolare, la feature reduction non parametrica si presta ad essere applicata a dati multisorgente, dove oltre al problema sopra citato riguardante l elevata dimensionalità, consente di trattare, in modo più appropriato, il problema dell eterogeneità dell informazione rispetto alle tecniche di riduzione di tipo parametrico. L algoritmo sviluppato di feature reduction di tipo non parametrico, rappresenta una estensione del metodo Nonparametric Discriminant Analysis (NDA) [3, 4]. L NDA estrae l informazione di scatter, ottenuta calcolando la matrice inter-classe in modo non parametrico, mentre quella intra-classe in modo parametrico come matrice di covarianza adottata da un classificatore LD. Il metodo sviluppato differisce dall NDA nella definizione della matrice di scatter intra-classe, calcolata ora in completa analogia a quella inter-classe mediante un approccio non parametrico basato su K-NN. In particolare, il metodo proposto opera la riduzione delle feature mediante una opportuna trasformazione lineare ottenuta a partire dalle matrici di scatter, tuttavia, definendo un opportuno funzionale dipendente dall informmazione di scatter, è possibile svolgere anche la selezione di feature. Il metodo è stato testato su un data set multisorgente costituito da sei bande ottiche e nove SAR (Synthetic Aperture Radar). I risultati sperimentali ottenuti sono stati comparati con quelli relativi al metodo originario e al metodo Nonparametric Weighted Feature Extraction (NWFE) [5], proposto di recente in letteratura. La Fig. 3 mostra i risultati, in termini di accuratezza totale di classificazione (OA), ottenuti dalla semplice trasformazione di feature (cioè, senza

4 riduzione della dimensionalità) dei tre metodi, comparandoli inoltre con quelli forniti dal classificatore K-NN. La Fig. 4 mostra i risultati di OA, fissando K=37, al variare della dimensione (numero di feature trasformate) dello spazio delle feature trasformate. OA 92% 91% NDA-n NWFE NDA K-NN OA NDA-n NDA NWFE K-NN 95% 90% 90% 85% 89% 80% 88% 75% 87% 70% 86% 65% 85% 60% 84% 83% 55% m % Fig. 3: Confronto, in termini di OA, tra NDA-N (metodo proposto), NDA e NWFE, usando un classificatore K-NN; gli andamenti dell accuratezza sono espressi in funzione del valore K Fig. 4: Confronto, in termini di OA, tra NDA-N (metodo proposto), NDA e NWFE, usando un classificatore 37-NN; gli andamenti dell accuratezza sono espressi in funzione del numero di feature trasformate [1]. T. Cover, P. Hart, Nearest neighbor pattern classification, IEEE Trans. On Information Theory, IT-13, 1997, pp [2]. J. H. Friedman, J. L. Bentley, An algorithm for finding best matches in logarithmic expected time, ACM Trans. On Mathematical Software, vol. 3, n. 3, 1977, pp [3]. K. Fukunaga, Introduction to Statistical Pattern Recognition, San Diego, CA: Academic, [4]. K. Fukunaga, M. Mantock, Nonparametric discriminant analysis, PAMI, vol.5, 1983, pp [5]. B. Kuo, D. A. Landgrebe, Nonparametric Weighted Feature Extraction for Classification, IEEE Trans. On Geoscience and Remote Sensing, vol. 42, no. 5, 2004, pp Classificazione e rivelazione dei cambiamenti di immagini multispettrali relative ad aree della Cina Nell ambito della cooperazione internazionale sulla protezione ambientale tra il Ministero italiano dell Ambiente e della Tutela del Territorio e l Agenzia per la protezione ambientale cinese, sono attivamente coinvolto nel progetto Survey and Evaluation on Ecological Environment in Select Areas of Central China, il cui obiettivo principale è l aggiornamento di un sistema informativo territoriale orientato al controllo e alla gestione del territorio. Nello specifico del progetto, sono coinvolto nell analisi (interpretazione ed elaborazione) dei dati telerilevati per la produzione delle mappe tematiche di copertura del suolo e di rivelazione dei cambiamenti.

5 Attualmente, è stata portata a termine l attività di classificazione delle aree d indagine mentre è in fase di conclusione l attività per la generazione delle mappe di cambiamenti. 2. ELENCO DELLE PUBBLICAZIONI F. Causa, M. De Martino, S.B. Serpico, Classification of Optical High Spatial Resolution Images in Urban Environment Using Spectral and Textural Information, Proceedings of IGARSS-2003 Conference - Special Session on Optical Very High Resolution Image Processing. 3. PIANO DI STUDI (SECONDO ANNO) 3.1. Corsi di: Analisi di Fourier Prof. F. De Mari, Comunicazioni Ottiche 1 Prof. A. Trucco, Distribuited Detection and Data Fusion" Prof. P.K. Varshney Corsi di: Machine Learning Prof. M. Muselli, Trattamento dei Segnali Multimediali Prof. S. Dellepiane.