Tesina per il corso di Intelligenza Artificiale

Transcript

1 Tesina per il corso di Intelligenza Artificiale Missing Data Manipulation with MDT realizzato da Alfonso Isola & Filippo Grassia Prof. Ing.. Alberto Faro

2 Introduzione (1.1) L obiettivo del nostro lavoro è quello di effettuare uno studio sulle più avanzate tecniche di manipolazione dei dati mancanti. Spesso nei problemi reali di misurazione di grandezze fisiche(elettriche,termiche,ecc.) si possono verificare dei malfunzionamenti dei dispositivi di misurazione (sensori,ecc.) a causa della loro usura o per l azione di agenti esterni, questo comporta la perdita di misure indispensabili per il monitoraggio in Real-Time di un generico processo.

3 Introduzione (1.2) Nel monitoraggio di un generico processo la fase di Preprocessing dei dati è essenziale per la corretta elaborazione dei dati misurati. Quindi si rende necessario l utilizzo di moderne tecniche di interpolazione in Real-Time dei dati mancanti.

4 Introduzione (1.3) Questo è possibile mediante l utilizzo di modernissimi algoritmi e tools realizzati appositamente per queste problematiche. In particolare è stato di recente sviluppato un potente toolbox per Matlab 6.5 (ed eventuali versioni successive) il quale permette di effettuare l Interpolazione dei dati mancanti mediante i metodi :

5 Introduzione (1.4) Interpolazione Lineare Interpolazione Spline Interpolazione DRand Interpolazione Pchip Interpolazione Nearest NeighBour Interpolazione Som Interpolazione Mlp

6 Introduzione (1.5) L applicativo che permette tali elaborazioni è il toolbox : M.D.T. (Missing Data Toolbox)

7 Missing Data Toolbox (2.1)

8 Missing Data Toolbox (2.2) Riportiamo di seguito alcuni confronti tra le interpolazioni possibili con il Toolbox MDT:

9 Esempio di Studio (3.1)

10 Esempio di Studio (3.2) Il Comune di Catania insieme con Omnitel hanno sviluppato il primo progetto mondiale di monitoraggio permanente dei campi elettromagnetici denominato Cassiopea; l obiettivo è quello di attivare un servizio semplice, affidabile, in grado di acquisire ed elaborare un insieme di dati comprensibili dalla cittadinanza, e di fornire ai cittadini una maggiore informazione grazie all apporto dei mass media; attraverso tali rilevazioni, infatti, potrà essere verificata l uniformità alla normativa nazionale vigente dei livelli di campo elettromagnetico presenti nell area urbana.

11 Esempio di Studio (3.3) Il sistema consiste di 15 centraline di monitoraggio dei campi elettromagnetici in prossimità di luoghi ad alto transito e all interno di edifici pubblici e privati dove si possano verificare prolungate permanenze. I dati rilevati dai siti di monitoraggio, in funzione 24 ore su 24, verranno quindi inviati attraverso la tecnologia GSM, ad un server gestito dal Comune di Catania che, a sua volta li renderà pubblici tramite i canali di informazione verso la cittadinanza (internet, stampa,televideo, etc).

12 Esempio di Studio (3.4) Il sistema di monitoraggio CASSIOPEA è composto da 10 postazioni indoor e da 5 postazioni outdoor. Le postazioni di misura sono state localizzate presso 8 scuole elementari e/o materne, 1 scuola media, 3 parchi gioco e/o giardini pubblici, 3 ospedali. Nella totalità dei casi le sorgenti di emissione (in particolare impianti di telefonia cellulare) si trovano "a vista" rispetto alle postazioni dove sono collocati i sensori, o comunque a distanze dell'ordine di poche centinaia di metri.

13 Esempio di Studio (3.5) Un sistema di gestione dati, con un modem GSM provvedono alla trasmissione periodica dei dati raccolti, mentre un apposito software di gestione archivia ed elabora i dati acquisiti all interno di un database Microsoft Access. I dati elementari che vengono raccolti per ogni stazione sono pari a 24 valori orari giornalieri. Viene riportato come livello di riferimento quello pari a 6 V/m previsto come limite per i luoghi dove sostano persone per periodi superiori a 4 ore (Decreto Interministeriale n.381n del 10/9/1998).

14 Problema (4.1) La postazione scelta per il nostro lavoro è stata quella presente all interno di Villa Bellini. Le postazioni di rilevamento sono attrezzate con sensori (Wavetek( Wandel Goltermann Italia modello EMR 30) con campo di misura da 27 a 2000 MHz.. Può capitare per i motivi precedentemente accennati che vi siano mancanze di dati dovute a problemi di trasmissione dei dati del sistema GSM oppure a malfunzionamenti del sensore succitato.

15 Problema (4.2) La Direzione dello Sviluppo Sistemi Informati del Comune di Catania ci ha gentilmente fornito un database Access di misure relativo all anno 1999, il quale presenta numerosi dati mancanti. Il nostro studio consiste nello scegliere l opportuna tecnica di interpolazione a seconda del tipo di gap dei dati mancanti. Dove per tipo di gap intendiamo la lunghezza dell intervallo di dati mancanti.

16 Formattazione Dati per MDT Come detto le misure da elaborare sono memorizzate in Database Access. Per la loro elaborazione si è presentato il problema di dover convertire i dati in un formato riconosciuto dall MDT. Abbiamo realizzato un applicativo che svolgesse tale funzione: MDT FileMaker

17 MDT FileMaker (5.1)

18 MDT FileMaker (5.2) La funzione di questo applicativo è quella di inserire il tag di dato mancante (es. NaN) ) all interno del file testo che verrà elaborato successivamente dall MDT, e inoltre permette di creare un file di Log in cui sono presenti date e orari in cui si sono verificate anomalie di funzionamentodel sistema di misura o di trasmissione. Come illustrato di seguito:

19 MDT FileMaker (5.3) In figura è mostrato il database Access contenente le misure, come si vede viene evidenziato un intervallo di misure mancanti da interpolare.

20 MDT FileMaker (5.4) Nella figura accanto si riporta il risultato ottenuto mediante l elaborazione con MDT FileMaker, sotto si riporta il relativo file di Log.

21 Grafico delle Misure (6.1) Riportiamo di seguito il grafico delle misure non interpolate:

22 Grafico delle Misure (6.2) Riportiamo di seguito uno zoom delle misure non interpolate nella fascia peggiore (Giugno 1999):

23 Tecniche di Interpolazione (7.1) Ecco la pagina di impostazione delle tecniche di interpolazione presenti in MDT:

24 Tecniche di Interpolazione (7.2) Interpolazione Lineare L interpolazione lineare è il procedimento mediante il quale si calcola il valore di una grandezza y, dipendente da un altra grandezza x, in corrispondenza di valori della x (x1,, xn) ) diversi da quelli per i quali sono noti i valori di y (y1,, yn). In senso stretto, il termine interpolazione indica il calcolo di valori di y per valori di x compresi tra i valori anzidetti. Se si pensa x, y come coordinate cartesiane, il problema dell interpolazione si traduce graficamente nel problema di tracciare una curva regolare, detta ta curva interpolatrice, passante per i punti di coordinate (xi( xi, yi).

25 Tecniche di Interpolazione (7.3) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione lineare dei dati :

26 Tecniche di Interpolazione (7.4) Interpolazione Spline L'interpolazione mediante Spline prevede un approccio diverso al problema dell'interpolazione. Le Spline sono funzioni polinomiali a tratti che interpolano quindi la funzione tenendo fisso il grado del polinomio ma dividendo l'intervallo di interpolazione in intervalli più piccoli e considerando un polinomio diverso per ognuno di questi sottointervalli.

27 Tecniche di Interpolazione (7.5) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione Spline dei dati :

28 Tecniche di Interpolazione (7.6) Interpolazione DRand L'interpolazione mediante DRand prevede un approccio del tutto casuale al problema dell'interpolazione. I dati mancanti vengono sostituiti da valori creati all interno del range delle misure.

29 Tecniche di Interpolazione (7.7) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione DRand dei dati :

30 Tecniche di Interpolazione (7.8) Interpolazione PChip Questo tipo di interpolazione viene effettuata sfruttando il i Polinomio di Hermite, note alcune misure permette di ricavare i dati mancanti. Riportiamo di seguito la formula del Polinomio di Hermite:

31 Tecniche di Interpolazione (7.9) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione Pchip dei dati :

32 Tecniche di Interpolazione (7.10) Interpolazione Nearest Neighbour L'interpolazione mediante Nearest Neighbour effettua un interpolazione dei punti utilizzando il valore del punto di dati più vicino. Perciò, questo metodo non genera punti di dati nuovi.

33 Tecniche di Interpolazione (7.11) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione Nearest Neighbour dei dati :

34 Tecniche di Interpolazione (7.12) Interpolazione MLP (Multilayer( Perceptron) Un multilayer perceptron è un esempio di rete con uno o piu strati di neuroni tra i nodi input e quelli output (unità nascoste o hidden units). Lo strato nascosto riceve gli ingressi dallo strato precedente, e dipendentemente dai pesi produce un uscita che prosegue nello strato successivo. Per quanto riguarda il numero di nodi da inserire, in linea generale, i neuroni dello strato nascosto devono essere almeno quante sono le classi di input presentate durante l apprendimento.

35 Tecniche di Interpolazione (7.13) Ogni neurone ha un uscita non lineare continua, data dalla funzione sigmoidale, essa è necessaria per correggere gli errori durante l apprendimento.

36 Tecniche di Interpolazione (7.14) L aumento delle potenze di calcolo degli elaboratori risvegliò l interesse, negli anni ottanta, verso queste reti. Si riuscì infatti ad applicare con successo l algoritmo di apprendimento del tipo backpropagation, ancora oggi uno dei metodi più utilizzati. L apprendimento è il processo mediante il quale vengono determinati i parametri di una rete. Si può distinguere tra apprendimento supervisionato e apprendimento non supervisionato.

37 Tecniche di Interpolazione (7.15) Nel primo caso i parametri vengono costruiti sulla base di un insieme di esempi (il training set) consistenti in coppie di ingresso/uscita desiderate. Lo scopo dell addestramento è quello di costruire un modello del processo che genera i dati. Nel secondo caso la rete è dotata di una capacità di auto-organizzazione ed è in grado di classificare gli ingressi autonomamente. il caso delle reti neurali di Kohonen (Mappe SOM), che verranno analizzate nel seguito.noi abbiamo invece utilizzato entrambe le tecniche per effettuare l interpolazione delle misure mancanti.

38 Tecniche di Interpolazione (7.16) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione MLP dei dati :

39 Tecniche di Interpolazione (7.17) Interpolazione mediante Mappe SOM Nell esempio del perceptron, e nelle reti da esso derivate, era necessaria l implementazione di un insegnante che sapesse a priori la classificazione dei pattern di input nel training set. L obiettivo era quindi la generalizzazione da questi ad altri input mai analizzati esplicitamente, lasciando il compito alla rete di decidere la risposta più corretta. Nelle reti di tipo non supervisionato, si lascia il compito alla rete stessa di ricercare una classificazione logica dei dati di ingresso.

40 Tecniche di Interpolazione (7.18) Le Reti di Kohonen (T. Kohonen, 1983) nascono dallo studio della topologia della corteccia del cervello umano. Queste reti tengono conto non solo delle connessioni sinottiche tra neuroni ma anche dell influenza che può avere un neurone sul vicino. stato osservato che, nel caso biologico, i neuroni che sono fisicamente vicini a neuroni attivi hanno i legami più forti, mentre quelli ad una particolare distanza hanno legami inibitori.

41 Tecniche di Interpolazione (7.19) A questa caratteristica Kohonen attribuisce uno sviluppo nella capacità di realizzare delle mappe topologiche (ovvero che mantengono le relazioni di vicinanza) localizzate nel cervello. Questa caratteristica è stata modellata da Kohonen restringendo la variazione dei pesi soltanto ai neuroni giudicati vicini ad un neurone.

42 Tecniche di Interpolazione (7.20) Una rete di Kohonen è costituita da una serie di neuroni di input (come per le reti multi-strato) e da una griglia n- dimensionale di neuroni. Ciascun neurone di input è connesso a tutti i neuroni della griglia: la risultante matrice dei pesi viene usata per propagare l ingresso della rete ai neuroni della mappa. Inoltre, tutti i neuroni della mappa sono connessi tra loro. Queste connessioni servono per influenzare i neuroni adiacenti al neurone con la più alta attivazione, dipendentemente dalla distanza da esso.

43 Tecniche di Interpolazione (7.21) Riportiamo di seguito i risultati ottenuti effettuando l interpolazione Mappe SOM dei dati :

44 Conclusioni (8.1) Da un attenta analisi dei dati, abbiamo notato che i risultati ottenuti utilizzando le varie tecniche d interpolazione variano a seconda del gap di dati presente nelle misure. Ciò vuol dire che prima di utilizzare una qualunque tecnica d interpolazione è necessario capire quale sia la tecnica migliore da applicare a seconda dei tipi di gap presenti all interno dei nostri dati reali.

45 Conclusioni (8.2) Abbiamo effettuato una classificazione del gap in: Corto (gap di ampiezza inferiore a 4 misure mancanti) Medio (gap di ampiezza tra 4 e 20 misure mancanti) Lungo (gap di ampiezza superiore a 20 misure mancanti) N.B. Le ampiezze di tali gap si possono considerare variabili a secondo del problema reale affrontato.

46 Conclusioni (8.3) Gap Corto Dalle prove effettuate abbiamo notato che in questi casi si possono ritenere soddisfacenti i risultati ottenuti con tutte le tecniche di interpolazione prese in considerazione, fatta eccezione per l interpolazione lineare la quale risulta soddisfacente nei casi più banali.

47 Conclusioni (8.4) Gap Lungo Dalle prove effettuate abbiamo notato che in questi casi solo alcune tecniche più sofisticate di interpolazione come quella delle Mappe Som e del MLP permettono di ottenere risultati sufficenti. Comunque il fatto che i risultati si possano considerare sufficenti dipende fortemente dal caso reale che si sta studiando.

48 Conclusioni (8.5) Gap Medio Nel nostro problema reale per questo tipo di gap abbiamo ottenuto ottimi risultati con le tecniche di interpolazione mediante Mappe Som, MLP e Pchip.

49 Sviluppi Futuri Quanto trattato nel nostro lavoro, ovvero la possibilità di potere scegliere la tecnica di interpolazione più corretta a secondo del tipo di gap, è possibile implementarlo modificando l applicativo MDT FileMaker da noi realizzato. Più precisamente si potrebbe realizzare una funzione che effettui una scansione delle misure reali e consigli a seconda dei casi la migliore tecnica di interpolazione da eseguire. Oppure realizzare una funzione che sezioni l insieme delle misure utilizzando per lo stesso set di dati più tecniche d interpolazione (se necessario).

50 Ringraziamenti Approfittiamo per ringraziare la a Direzione dello Sviluppo Sistemi Informati del Comune di Catania che ci ha gentilmente fornito le misure da elaborare.