Analisi di segnali fisiologici mediante reti neurali

Transcript

1 POLITECNICO DI TORINO III Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica Tesi di Laurea Specialistica Analisi di segnali fisiologici mediante reti neurali Relatori: Prof.ssa Elena Baralis Ing. Tania Cerquitelli Candidato: Piera Gueli Anno accademico

2 II

3 Con immenso amore alla mia famiglia e a Luigi... III

4 IV

5 Sommario Negli ultimi anni, anche in ambito sportivo si sta via via diffondendo l utilizzo di concetti e tecniche di data mining per l analisi di quegli stessi dati, raccolti anche in passato, ma sfruttati solo superficialmente con gli strumenti tradizionali di analisi. Infatti, la maggior parte delle organizzazioni sportive memorizzano informazioni relative ai giocatori, alle squadre e alle gare, che, successivamente, possono essere esaminate mediante tecniche di data mining, con lo scopo sia di effettuare analisi statistica sia di predire risultati futuri. A tal fine, a partire dai dati raccolti, è importante ottenere conoscenza utile in modo che i manager e gli allenatori possano prendere le giuste decisioni per migliorare l allenamento, comprendere la potenzialità dagli avversari e sfruttare al meglio le capacità di ciascun giocatore. Di solito, negli ambienti sportivi, per misurare la resistenza dell atleta, vengono effettuati esami cardiopolmonari, utilizzando test incrementali, con lo scopo di valutare le performance dell atleta. Questa tipologia di test si basa sul sottoporre ciascun atleta ad un carico di lavoro (workload) via via crescente, da cui deriva il nome incrementale. Tale workload è un segnale relativo a ciascun step definito da due parametri: l incremento del carico ad ogni step, indicato con W step e la durata di ogni step, indicata con t step, nel quale il carico rimane costante. Questi due parametri definiscono il protocollo di test, denotato con W step t step, che indica, che ogni t step minuti il workload aumenta di W step Watt. Il protocollo è settato prima di cominciare il test e rimane costante per tutta la durata dello stesso. Ciascun atleta è caratterizzato dai dati fattuali, quali età, BMI (indice di massa corporea), BSA (area di superficie corporea), che rappresentano le sue caratteristiche antropomorfiche, e dai dati dinamici, che includono diversi segnali fisiologici campionati durante il test. Tali segnali fisiologici descrivono le funzioni respiratorie dell atleta e vengono monitorati per analizzare la reazione del corpo dell atleta allo sforzo crescente. Il problema di questa tipologia di test è che viene richiesto un grande sforzo fisico all atleta, per cui potrebbe verificarsi anche un sovraccarico cardiopolmonare, con conseguenze sulla V

6 salute dell atleta. Il più alto valore di workload raggiunto nell ultima fase del test rappresenta il massimo carico di lavoro sotto al quale l atleta è in grado di lavorare. Tale valore, indicato con W peak, è un informazione fondamentale per gli allenatori per pianificare le sessioni di allenamento di ciascun atleta, poiché corrisponde al migliore adeguamento cardiopolmonare, in termini di ritmo cardiaco e ventilazione per l individuo monitorato. Lo scopo di questa tesi di laurea specialistica è stato quello di individuare un approccio, che a partire dai dati raccolti durante i test incrementali, fosse in grado di predire il valore di W peak raggiunto fin dai primi step del test incrementale. L approccio utilizzato analizza sia la risposta del corpo dell atleta, mediante i dati fisiologici monitorati sia le caratteristiche dell atleta mediante i dati fattuali, e predice il valore di W peak, in modo da permettere l interruzione prematura del test, evitando così la sua intera esecuzione e quindi limitando al minimo lo sforzo dell atleta e minimizzando il rischio di sovraccarico cardiopolmonare. Per analizzare i dati fisici e fisiologici degli atleti, predire e classificare le loro performance è stata utilizzata come tecnica di analisi quella delle reti neurali (ANN). In particolare è stata utilizzata l implementazione disponibile in uno dei maggiori tool open source del data mining, RapidMiner. Inoltre, i risultati ottenuti sono stati confrontati con quelli prodotti da una tecnica di classificazione istance-based, nota come K-Nearest Neighbor (K-NN). Le reti neurali, ispirate alla struttura del cervello umano, sono costituite da nodi, unità di elaborazione che simulano il comportamento dei neuroni, collegati mediante archi, ciascuno avente il proprio peso. In particolare, nelle reti neurali sono presenti tre tipi di nodi: nodi d input, uno o più livelli di nodi nascosti e nodi d output. Ciascun livello è connesso con quello immediatamente successivo, per cui i valori prodotti ad un livello costituiscono l input di quello successivo. Infatti, tramite il livello d input la rete neurale riceve i dati d ingresso, che vengono passati ai nodi dei livelli nascosti, elaborati in base al valore dei pesi su ciascun arco, facendo uso di una funzione di attivazione e infine passati al livello d output per essere trasmessi in uscita. Esistono varie funzioni di attivazione, tra cui la sigmoide, che è stata usata anche nel modello di rete neurale del presente lavoro. L obiettivo della mia tesi è stato quello di consentire fin dai primi minuti la predizione del massimo valore di carico di lavoro che un atleta sia in grado di eseguire, limitando l errore di predizione. Tale errore è utilizzato per valutare le prestazioni della rete neurale ed è definito, per ciascun test, come la differenza tra il valore predetto di W peak e quello reale. In realtà si tiene conto del valore assoluto di tale differenza, che è appunto chiamato VI

7 errore di predizione assoluto. Per valutare l errore di predizione è stata usata la leave-oneout cross-valitation, per cui ogni volta che viene incrementato il workload, è selezionato il sottoinsieme di atleti che stanno ancora eseguendo il test e un record per volta viene usato come test set e i rimanenti come training set. Una volta effettuata la predizione per tutti gli atleti del dataset e avendo ottenuto, così, gli errori di predizione di ciascun atleta è possibile misurare il Mean Absolute Error, al tempo t p come media di tutti gli errori di predizione assoluti calcolati per tutti i test. Sono stati eseguiti vari esperimenti, utilizzando due insiemi di test incrementali raccolti dal CSA Sport Training Test Center, usando due protocolli comuni per testare la resistenza degli atleti: 25 2 e 5 2. Ciascun record appartenente ai due dataset D 25 2 e D 5 2 è costituito sia dai dati fattuali sia da quelli dinamici, che sono stati forniti alla rete neurale usando due approcci: nel primo si utilizza un indice, creato da studenti laureatesi precedentemente, chiamato CardioPulmonary Efficient Index(CPE), che riassume la risposta polmonare e cardiaca all esercizio dell atleta, mentre nel secondo approccio sono stati considerati direttamente i campioni dei segnali fisiologici monitorati durante ciascuno step del test. Per entrambi gli approcci è fondamentale che si tenga conto di tutta la storia passata di quell atleta. Negli esperimenti basati sul CPE, la storicità delle informazioni è mantenuta proprio in esso, poiché per sua costruzione si tiene conto dei dati fisiologici ottenuti fino ad un certo istante, mentre negli esperimenti in cui non si utilizza il CPE ad ogni step si tiene conto anche dei campioni relativi ai dati fisiologici, non solo dello step corrente ma di tutti quelli precedenti. Dunque, la sezione sperimentale è divisa in due parti: nella prima parte sono analizzati gli esperimenti, i cui dati dinamici degli atleti sono rappresentati per mezzo del CPE, nell altra gli esperimenti in cui si utilizzano direttamente dei campioni di segnali fisiologici. Inoltre, dato che i dataset utilizzati presentano atleti con caratteristiche eterogenee e con capacità sportive diverse, si è pensato di effettuare una segmentazione, separando gli atleti in due categorie, ciascuna contenente individui con valori di W peak vicini tra di loro, per poi rieseguire la classificazione degli atleti mediante la stessa rete neurale, con lo scopo di confrontare i risultati con quelli precedentemente ottenuti. Inizialmente, sono stati eseguiti degli esperimenti con entrambi i dataset con lo scopo di trovare la giusta configurazione dei parametri da utilizzare nella rete neurale. Una volta scelti i parametri, è stato possibile effettuare gli esperimenti di nostro interesse. Per quanto riguarda gli esperimenti con il CPE, è emerso che per entrambi i dataset se si effettuata la segmentazione prima della classificazione si ottengono risultati migliori, poichè è possibile interrompere prematuramente il test, con un errore di predizione limitato VII

8 ad un solo step. Inoltre, confrontando i risultati della rete neurale, fornendo come input i dataset con e senza segmentazione, con quelli ottenuti mediante l utilizzo di una tecnica istance-based, nota come K-Nearest Neighbor (K-NN), si osserva che per il dataset D 25 2 nei primi step le prestazioni migliori sono offerte dal K-Nearest Neighbor (K-NN), ma andando avanti nell esecuzione del test la predizione con la rete neurale è più accurata. Per quanto riguarda il dataset D 5 2, nonostante con il K-NN si ottengano buoni risultati, l errore di predizione commesso con la rete neurale è nettamente inferiore rispetto a quello ottenuto usando il K-NN, per cui anche con questo dataset la rete neurale è più accurata. Per quanto concerne gli esperimenti senza CPE, si è scelto di utilizzare prima due campioni dei segnali fisiologici, poi tre, cinque e infine sette. Dai risultati ottenuti si evince che sia per il D 25 2 sia per D 5 2, al crescere del numero di campioni usati, decresce la quantità dell errore di predizione commesso. Inoltre, confrontando tali risultati con quelli ottenuti effettuando prima la segmentazione e poi la classificazione, si osserva che, com era prevedibile, per tutta la durata del test l errore di predizione degli esperimenti con segmentazione assume valori inferiori rispetto a quelli senza. I risultati ottenuti con la rete neurale, dando come input i campioni di segnali fisiologici, sono stati confrontati con quelli ottenuti facendo uso del K-NN, fornendo come input per ciascun step diversi valori di CPE. Dall analisi dei risultati sperimentali, si osserva che all aumentare del numero di CPE utilizzati per il D 5 2 migliora la predizione del sistema, in quanto decresce l errore commesso nella predizione, mentre per il D 25 2 non c è nessun miglioramento. Infine, confrontando i risultati della rete neurale usando i dati fisiologici e il CPE, si evince che per il D 25 2 sia per fascia di atleti, aventi lo stesso W peak, che nel totale, va meglio la predizione senza l uso del CPE, mentre per il D 5 2 si osserva che per classi di atleti, con lo stesso W peak, non esiste molta differenza tra l errore di predizione ottenuto usando i dati fisiologici e il CPE. L approccio proposto in questo lavoro di tesi si è dimostrato capace di predire il valore di W peak, con un limitato errore di predizione, per cui è possibile ridurre la durata del test proteggendo l atleta da un eventuale sovraccarico cardiopolmonare. Inoltre, riducendo la durata del test, si aumenta il numero di test eseguibili giornalmente. Dati i buoni risultati ottenuti, il presente approccio potrebbe essere sfruttato anche in ambito clinico per analizzare sia le funzioni del cuore dei pazienti affetti da malattie cardiache croniche che le funzionalità dei soggetti con patologie polmonari croniche. Inoltre, l approccio di predizione presentato può essere riutilizzato per costruire un predittore per i parametri fisiologici fondamentali per l allenamento. VIII

9 IX

10 Indice Sommario V 1 Introduzione 1 2 Reti neurali Data mining Data Mining Task Clustering Regole di associazione Classificazione Reti neurali Percettrone Reti neurali multi-livello Algoritmo di apprendimento ANN Costruzione rete multi-livello supervisionata Punti di forza e punti di debolezza delle reti neurali K-Nearest Neighbor Classification Regressione Descrizione dell approccio usato RapidMiner Introduzione Caratteristiche principali Manipolazione dei dati e metadati Operatori per il Data mining Estendibilità di RapidMiner Diversi modi di usare RapidMiner X

11 3.7 Net Neural e Apply Model Operatore Net Neural Parametri Apply Model operator Processo apprendimento Test protocol Dataset Dati fattuali Dati dinamici CardioPulmonary efficient Index (CPE) Pre-processamento dei dati Predizione del valore di W peak Leave-one-out Analisi esperimenti con CPE Errore di predizione Dataset usati Risultati classificazione Configurazione: training cycles = 5, learning rate =.3, momentum =.2, hidden layer = Configurazione: training cycles = 5, learning rate =.3, momentum =.2, hidden layer = Configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = Configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = Configurazione: training cycles = 5, learning rate =.4, momentum =.2, hidden layer = Esperimenti con diversi valori di training cycles Conclusioni Segmentazione Confronto con il K-NN Regressione XI

12 6 Analisi esperimenti con i campioni dei segnali fisiologici Campionamento segnali fisiologici Risultati Classificazione Esperimenti con due campioni di segnali fisiologici Esperimenti con tre campioni di segnali fisiologici Esperimenti con cinque campioni di segnali fisiologici Esperimenti con sette campioni di segnali fisiologici Conclusioni Segmentazione Dataset D Dataset D Confronto con il K-NN con più valori di CPE Confronto e conclusioni risultati rete con CPE e con i campioni dei segnali fisiologici Confronto e conclusioni risultati dataset segmentato con CPE e con i campioni dei segnali fisiologici Conclusioni e sviluppi futuri Conclusioni Risultati sperimentali Sviluppi futuri Bibliografia 17 XII

13 Elenco delle tabelle 2.1 Esempio di matrice di confusione Segnali fisiologici monitorati Caratteristiche del dataset D Caratteristiche del dataset D XIII

14 Elenco delle figure 2.1 Knowledge discovery in databases Clustering Esempio di regole di associazione Reti neurali biologica e Rete Neurale artificiale Esempio di percettrone Esempio di rete neurale artificiale multilayer feed-forward Tipi di funzioni di attivazioni nelle reti neurali: segno(a), lineare(b), sigmoide(c), tanh(d) Net Neural e Apply Model operator Sintesi dei dati dinamici collezionati durante il test Esempio di andamento di CPE[t] e CPE peaks [t] Processo Net Neural Esempio di modello di Net Neural Risultati configurazione default di D Risultati configurazione default di D Risultati del dataset D 25 2 con la seguente configurazione: training cycles = 5, learning rate =.3, momentum =.2, hidden layer = Risultati del dataset D 5 2 con la seguente configurazione: training cycles = 5, learning rate =.3, momentum =.2, hidden layer = Risultati del dataset D 25 2 con la seguente configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = Risultati del dataset D 5 2 con la seguente configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = Risultati del dataset D 25 2 con la seguente configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = XIV

15 5.8 Risultati del dataset D 5 2 con la seguente configurazione: training cycles = 5, learning rate =.2, momentum =.3, hidden layer = Risultati del dataset D 25 2 con la seguente configurazione: training cycles = 5, learning rate =.4, momentum =.2, hidden layer = Risultati del dataset D 5 2 con la seguente configurazione: training cycles = 5, learning rate =.4, momentum =.2, hidden layer = Risultati del D 25 2 con segmentazione con frontiera = 3W (Categoria A (b), Categoria B (a) ) Confronto risultati esperimenti del dataset D 25 2 segmentato e non Risultati del D 5 2 con segmentazione con frontiera = 35W (Categoria A (b), Categoria B (a)) Confronto risultati esperimenti del dataset D 5 2 segmentato e non MAE con K-NN del dataset D Confronto dell andamento del MAE relativo al D 25 2 con un classificatore K-NN : a) totale b) suddiviso per fasce di W peak MAE con K-NN del dataset D Confronto dell andamento del MAE relativo al D 5 2 con un classificatore K-NN : a) totale b) suddiviso per fasce di W peak MAE ottenuto mediante l utilizzo della tecnica di K-NN sul dataset D 25 2 con segmentazione, frontiera = 3W (Categoria A (a), Categoria B (b)) Confronto dell andamento del MAE relativo al D 25 2 segmentato con un classificatore K-NN MAE ottenuto mediante l utilizzo della tecnica di K-NN sul dataset D 25 2 con segmentazione, frontiera = 35W (Categoria A (a), Categoria B (b)) Confronto dell andamento del MAE relativo al D 5 2 segmentato con un classificatore K-NN MAE del dataset D 25 2 mediante l utilizzo della tecnica di regressione Risultati esperimenti con 2 campioni di segnali fisiologici del dataset D Risultati esperimenti con 2 campioni di segnali fisiologici del dataset D Risultati esperimenti con 3 campioni di segnali fisiologici del dataset D Risultati esperimenti con 3 campioni di segnali fisiologici del dataset D Risultati esperimenti con 5 campioni di segnali fisiologici del dataset D Risultati esperimenti con 5 campioni di segnali fisiologici del dataset D Risultati esperimenti con 7 campioni di segnali fisiologici del dataset D Risultati esperimenti con 7 campioni di segnali fisiologici del dataset D XV

16 6.9 Risultati esperimenti con segmentazione del dataset D 25 2 a) Categoria B, b) Categoria A Confronto risultati esperimenti del dataset D 25 2 segmentato e non Risultati esperimenti con segmentazione del dataset D Confronto risultati esperimenti del dataset D 5 2 segmentato e non Risultati KNN del dataset D 5 2 con più valori di CPE: a) 2 valori di CPE, b) 7 valori di CPE Confronto risultati esperimenti del dataset D 25 2 con e senza CPE: a) totale, b)per fasce di atleti Confronto risultati esperimenti del dataset D 5 2 con e senza CPE: a) totale, b)per fasce di atleti Confronto risultati esperimenti del dataset D 25 2 segmentato con e senza CPE: a) totale, b)per fasce di atleti Confronto risultati esperimenti del dataset D 5 2 segmentato con e senza CPE: a) totale, b)per fasce di atleti XVI

17 Capitolo 1 Introduzione Il data mining è una disciplina che ha come obiettivo l estrazione di conoscenza e informazione utile da grandi volumi di dati. I continui progressi tecnologici delle tecniche di raccolta e memorizzazione dei dati, hanno permesso alle organizzazioni di accumulare enormi quantità di dati, in grandi basi di dati, chiamati data warehouse. Di conseguenza, l interesse verso il data mining è aumentato in maniera significativa sia in ambito aziendale sia in tante discipline scientifiche. Infatti, questa enorme quantità di dati è difficilmente gestibile utilizzando solamente le tecniche classiche di analisi, mentre il data mining combina tecniche tradizionali della statistica, quali campionamento, stima, testing, con algoritmi sofisticati di ricerca, riconoscimento di pattern, tecniche di modellazione e teorie di apprendimento dell intelligenza artificiale, con l obiettivo di processare enormi volumi di dati, estraendo informazioni implicite, non banali e non note in precedenza. Il data mining trova applicazioni in tutti quei settori in cui è disponibile una grande quantità di dati, che necessita di essere analizzata. Infatti, la scoperta di pattern sconosciuti e la predizione di nuovi andamenti, che sono alcuni degli aspetti salienti di questa disciplina, hanno attratto una grande attenzione in moltissimi ambiti, quali ad esempio la gestione aziendale, il controllo di produzione, la progettazione ingegneristica, il text mining, la bioinfomatica. Anche in ambito sportivo si sta via via diffondendo l utilizzo di concetti e tecniche di data mining per l analisi di quegli stessi dati, raccolti anche in passato, ma sfruttati solo superficialmente con gli strumenti tradizionali di analisi. Infatti, la maggior parte delle organizzazioni sportive memorizzano informazioni relative ai giocatori, alle squadre e alle gare, che, successivamente, possono essere esaminate mediante tecniche di data mining, 1

18 1 Introduzione con lo scopo sia di effettuare analisi statistica sia di predire risultati futuri. A tal fine, a partire dai dati raccolti, è importante ottenere conoscenza utile in modo che i manager e gli allenatori possano prendere le giuste decisioni per migliorare l allenamento, comprendere la potenzialità dagli avversari e sfruttare al meglio le capacità di ciascun giocatore. Di solito, negli ambienti sportivi, per misurare la resistenza dell atleta, vengono effettuati esami cardiopolmonari, utilizzando test incrementali, con lo scopo di valutare le performance dell atleta [9]. Questa tipologia di test si basa sul sottoporre ciascun atleta ad un carico di lavoro (workload) via via crescente, da cui deriva il nome incrementale. Durante l esecuzione del test, vengono rilevati diversi segnali fisiologici, che descrivono le funzioni respiratorie dell atleta e vengono monitorati per analizzare la reazione del corpo dell atleta allo sforzo crescente. Il problema di questa tipologia di test è che viene richiesto un grande sforzo fisico all atleta, per cui potrebbe verificarsi anche un sovraccarico cardiopolmonare, con conseguenze sulla salute dell atleta. Il più alto valore di wokload raggiunto nell ultima fase del test rappresenta il massimo carico di lavoro sotto al quale l atleta è in grado di lavorare. Tale valore, indicato con W peak, è un informazione fondamentale per gli allenatori per pianificare le sessioni di allenamento di ciascun atleta, poiché è un significativo indicatore della potenza aerobica dell atleta. Lo scopo di questa tesi di laurea specialistica è stato quello di individuare un approccio, che a partire dai dati raccolti durante i test incrementali, fosse in grado di predire il valore di W peak raggiunto. L approccio utilizzato analizza sia la risposta del corpo dell atleta, mediante i dati fisiologici monitorati sia le caratteristiche dell atleta mediante i dati fattuali, e predice il valore di W peak, in modo da permettere l interruzione prematura del test, evitando così la sua intera esecuzione e quindi limitando al minimo lo sforzo dell atleta e minimizzando il rischio di sovraccarico cardiopolmonare. Per effettuare la predizione è stata utilizzata una delle tecniche predittive di data mining: la classificazione, che si basa sulla generazione di un modello, che rappresenti nel miglior modo possibile la relazione tra l insieme degli attributi indipendenti dei record e l attributo target, chiamato etichetta di classe, in modo da predirne correttamente il valore per quei record, la cui etichetta di classe è sconosciuta. Esistono varie tecniche per la classificazione, quali alberi di decisione, reti neurali, modelli istance-based, reti di bayes, support vector machine ecc., ciascuna avente caratteristiche più adatte ad un contesto rispetto ad un altro. Nel presente lavoro, per analizzare i dati fisici e fisiologici degli atleti, predire e classificare le loro performance è stata utilizzata come tecnica di analisi le reti neurali (ANN)[11]. In particolare è stata utilizzata l implementazione disponibile in uno 2

19 dei maggiori tool open source del data mining, RapidMiner [1]. Inoltre, i risultati ottenuti sono stati confrontati con quelli prodotti da una tecnica di classificazione istance-based, nota come K-Nearest Neighbor (K-NN). Le reti neurali, ispirate alla struttura del cervello umano, sono costituite da nodi, unità di elaborazione che simulano il comportamento dei neuroni, collegati mediante archi, ciascuno avente il proprio peso. In particolare, nelle reti neurali sono presenti tre tipi di nodi: nodi d input, uno o più livelli di nodi nascosti e nodi d output. Ciascun livello è connesso con quello immediatamente successivo, per cui i valori prodotti ad un livello costituiscono l input di quello successivo. Infatti, tramite il livello d input la rete neurale riceve i dati d ingresso, che vengono passati ai nodi dei livelli nascosti, elaborati in base al valore dei pesi su ciascun arco, facendo uso di una funzione di attivazione e infine passati al livello d output per essere trasmessi in uscita. Esistono varie funzioni di attivazione, come ad esempio la funzione segno, la funzione lineare, la tangente iperbolica e la sigmoide, che è stata usata anche nel modello di rete neurale del presente lavoro. L obiettivo della rete neurale è quello di trovare una corretta configurazione dei pesi, in modo da minimizzare la somma totale degli errori quadratici relativi al valore di uscita. Per costruire una rete neurale multilivello inizialmente viene fatta un assegnazione con valori casuali dei pesi, poi per ciascuna istanza del training set si propaga il valore fino ad ottenerne l output, lo si confronta con quello atteso, si calcola l errore e infine si applica l algoritmo di backpropagation per propagare all indietro l errore e così ricalcolare i pesi. Il processo di apprendimento va avanti fino a quando si raggiunge la soglia di accuratezza stabilita oppure si ottiene un valore di errore al di sotto della soglia stabilita oppure si raggiunge il numero massimo di epoche stabilite. In questo lavoro sono stati seguiti due approcci: 1. fornendo i dati antropomorfici e dei campioni dei segnali fisiologici; 2. riutilizzando una nuova misura, realizzata da altri studenti laureatesi precedentemente, chiamata CardioPulmonary Efficiency Index (CPE) [3], che riassume sia la risposta polmonare all esercizio che quella cardiaca, insieme sempre ai dati antropomorfici. L obiettivo della mia tesi è stato quello di consentire fin dai primi minuti la predizione del massimo valore di carico di lavoro che un atleta sia in grado di eseguire, limitando l errore di predizione. Questo approccio presenta i seguenti vantaggi: 3

20 1 Introduzione minore stress del corpo dell atleta: l approccio presentato potrebbe ridurre la durata del test, limitando, così, lo stress a cui è sottoposto il corpo dell atleta e proteggendolo da un eventuale sovraccarico cardiopolmonare. minor costo dei test: per valutare le funzionalità respiratorie degli atleti vengono monitorati i segnali durante il test e successivamente viene utilizzato un analizzatore di gas per effettuare le analisi chimiche sui dati raccolti. Se si riesce a ridurre la durata del test, si riduce anche la quantità di analizzatore di gas necessario, diminuendo, così, i costi del test. uso efficiente dell attrezzatura del test: i test con durata maggiore limitano il numero di test che possono essere effettuati usando la stessa attrezzatura nello stesso giorno, per cui riducendo la durata del test, si aumenta il numero di test eseguibili giornalmente e di conseguenza si riesce a ottimizzare la gestione dell attrezzatura. Il resto del presente documento è organizzato nel modo che segue. Il capitolo 2 fornisce una panoramica sulle principali tecniche di data mining, ponendo maggiore attenzione alla descrizione delle reti neurali e successivamente introduce le caratteristiche dell approccio realizzato. Il capitolo 3 descrive le caratteristiche generali di RapidMiner e il processo generato mediante questo software per la realizzazione delle reti neurali. Una descrizione dettagliata dell approccio realizzato viene fornita nel capitolo 4. Il capitolo 5 fornisce un analisi approfondita dei risultati ottenuti con l utilizzo della rete neurale, fornendo in input anche il CPE, mentre nel capitolo 6 vengono analizzati i risultati ottenuti quando in input si hanno campioni di segnali fisiologici. Le conclusioni e gli sviluppi futuri sono sottolineati nel capitolo 7. 4

21 Capitolo 2 Reti neurali 2.1 Data mining Il data mining è una disciplina che ha come obiettivo l estrazione automatica di informazione utile da grandi volumi di dati. Infatti combina tecniche classiche della statistica, quali campionamento, stima, testing, con algoritmi di ricerca, tecniche di modellazione e teorie di apprendimento dell intelligenza artificiale, riconoscimento di pattern e apprendimento automatico, per ottenere informazioni implicite, non banali e sconosciute in precedenza. Il data mining, inoltre, adotta varie idee da differenti aree, quali l ottimizzazione, la teoria dell informazione, il processamento e la visualizzazione dei segnali, e utilizza contributi provenienti da altre aree, quali i sistemi di database, che mettono a disposizioni efficienti meccanismi di memorizzazione, di indicizzazione e di interrogazione, il calcolo parallelo, per velocizzare le operazioni sui grandi dataset, e tecniche distribuite che sono essenziali quando i dati non possono essere mantenuti in un unica locazione. Il data mining è una parte dell intero processo di analisi dei dati, chiamato Knowledge discovery in databases (KDD), che a partire dai dati grezzi estrae pattern potenzialmente utili [5]. Tale processo, come è illustrato nella figura 2.1, consiste in diversi fasi: selection: selezione dei dati realmente utili tra tutti quelli presenti nel database e/o data warehouse; preprocessing-trasformation: trasformazione dei dati grezzi in un formato appropriato per l analisi, unendo dati provenienti da molteplici sorgenti, pulendo dati per rimuovere i duplicati e il rumore e selezionando solo i record e i relativi attributi che sono rilevanti per la fase di data mining; 5

22 2 Reti neurali data mining: applicazione di una delle possibili tecniche per individuare regolarità nei dati, ottenendo così dei pattern, correlazioni tra i dati; interpretation/evaluation: interpretazione corretta delle correlazioni ottenute al passo precedente ed eventualmente integrazione di tali pattern in un sistema di supporto di decisione. A volte prima delle integrazioni è richiesta una fase di post-processing che assicura che vengano considerati solo i risultati utili e validi. [11] Figura 2.1. Knowledge discovery in databases 2.2 Data Mining Task Le attività di data mining sono generalmente divise in due categorie: predittive: hanno lo scopo di predire il valore di un particolare attributo, chiamato target o variabile dipendente, basandosi sui valori degli altri attributi, noti come explanatory o variabili indipendenti; descrittive: hanno l obiettivo di ricavare pattern (correlazioni) che riassumano le relazioni tra i dati. Spesso, tali attività sono esplorative, per cui necessitano di una fase di post-processing per validare i risultati. Esistono diverse tecniche per ciascuna delle categorie sopra elencate. In particolare classificazione, regressione e deviation detection sono tecniche predittive, mentre l estrazione di regole di associazioni, scoperta di pattern sequenziali e clustering sono tecniche descrittive [6]. Di seguito riportiamo una breve descrizione della tecnica di clustering e delle regole di associazione, mentre la classificazione e la regressione saranno trattate nel paragrafo seguente. 6

23 2.2 Data Mining Task Clustering Il clustering è una tecnica descrittiva, che si occupa di raggruppare oggetti che sono simili in un unico cluster e oggetti dissimili in cluster diversi. Il clustering è una tecnica di classificazione non supervisionata, per cui a differenza della classificazione, il dataset non presenta un attributo di cui si vuole predire il valore, ma ha come obiettivo quello di segmentare l intero dataset in sottogruppi relativamente omogenei o cluster, dove, come mostra la figura 2.2, è massimizzata la similarità dei record dentro il cluster e minimizzata la similarità dei record appartenenti a cluster diversi. Dunque, il clustering è un insieme di cluster. [11] Figura 2.2. Clustering Esistono due categorie di algoritmo di clustering: clustering partizionale: realizza una suddivisione dei dati in cluster non sovrapposti, per cui ciascun elemento del dataset appartiene esclusivamente ad un sottoinsieme(un esempio di clustering partizionale è K-Means); clustering gerarchico: suddivide i record dei dataset in un insieme di cluster annidati, organizzati come un albero gerarchico. In base alla categoria di clustering usata, si ottengono tipi di cluster diversi: wellseparated, center-based, contiguous, density-based, ecc.. Con il passare del tempo il clustering ha trovato applicazione in varie aree, quali ad esempio biologia, medicina, ricerca di mercato. 7

24 2 Reti neurali Regole di associazione La tecnica delle regole di associazione è una tecnica descrittiva e ha come obiettivo l estrazione delle correlazioni frequenti o pattern nei database transazionali. Le regole di associazione vengono espresse nella forma A,B C dove A,B è il corpo della regola e C è la testa della regola. Queste regole vanno intese come co-occorenza e non causalità. Data la natura probabilistica delle regole, vengono usate due misure, supporto e confidenza, per permettere la valutazione di pattern frequenti e ricavare, così, le regole corrette. Infatti, dato un insieme di transazioni, l algoritmo di estrazione delle regole di associazione estrae le regole, il cui supporto e la confidenza superino i rispettivi valori di soglia definiti. Il supporto è il rapporto tra il numero di transazioni che includono sia il corpo che la testa della regola e il numero totale di transazioni, la confidenza è la probabilità condizionata di trovare la testa della regola avendo trovato il relativo corpo [11]. Esistono numerosi algoritmi per la generazione delle regole, ma alcuni tra questi, come Apriori, FP-Growth ecc, si occupano di estrarre gli itemset frequenti, per cui sarà, poi, necessario un ulteriore step per l estrazione delle regole. Figura 2.3. Esempio di regole di associazione La tecnica delle regole di associazione è ampiamente utilizzata nella cosiddetta market basket analysis, per trovare regolarità nelle abitudini di acquisto nei clienti dei negozi, ma può essere applicata anche in numerosi altri campi, come diagnosi mediche, scoperta di frodi fiscali, ecc. 2.3 Classificazione La classificazione è una tecnica di apprendimento automatico supervisionata, che genera un modello per rappresentare nel miglior modo possibile la relazione tra l insieme degli 8

25 2.3 Classificazione attributi indipendenti dei record e l attributo target, chiamato etichetta di classe, in modo da predirne correttamente il valore per quei record che non sono stati ancora classificati. Dunque per la costruzione del modello è indispensabile la presenza del training set, che è l insieme dei record, ciascuno caratterizzato da una lista di attributi e dall etichetta di classe, un attributo discreto conosciuto a priori, mentre per valutarne le prestazioni si utilizza un insieme dei dati, chiamato test set, di cui si vuole predire il valore dell etichetta di classe di ciascun elemento, poichè non è conosciuto a priori. Essenzialmente la classificazione è una tecnica predittiva, che consiste nel dividere gli elementi del dataset, in modo che ad ognuno di essi venga assegnata una tra le tante categorie mutuamente esaustive ed esclusive, chiamate classi. Naturalmente prima di usare il classificatore realizzato è buona norma stimare le sue performance, calcolando il numero di record predetti correttamente e non. Questi valori vengono tabulati nella matrice di confusione, che, come è possibile osservare dall esempio mostrato in figura 2.1, contiene tante righe e tante colonne quante sono le etichette di classe e ciascuna entry f ij rappresenta il numero di record della classe i predetti come record della classe j. Predicted Class Class = 1 Class = Actual Class Class = 1 f 11 f 1 Class = f 1 f Tabella 2.1. Esempio di matrice di confusione Sebbene la matrice di confusione dia molte informazioni per valutare il lavoro svolto dal classificatore, si preferisce utilizzare un unica misura, che riassuma le informazioni contenute nella matrice di confusione in un unico numero, chiamato accuratezza, che è definita nel seguente modo: accuratezza = f 11 + f numero di predizioni corrette = f 11 + f 1 + f 1 + f numero di predizioni Esistono varie tecniche per la classificazione, quali ad esempio alberi di decisione, reti neurali, modelli istance-based, reti di bayes, support vector machine. Infatti non esiste un singolo classificatore che lavora bene con tutti i tipi di problemi, poiché ciascuna tecnica di classificazione è caratterizzata dai propri punti di forza e di debolezza, valutati in base all accuratezza della predizione, all efficienza, alla scalabilità, alla robustezza, alla comprensibilità e alla compatezza del modello. 9

26 2 Reti neurali I problemi di classificazione si presentano in molte applicazioni di data mining, quali ad esempio medicina, geostatica, identificazione biometrica, classificazione dei documenti, riconoscimento pattern, credit scoring. 2.4 Reti neurali Le reti neurali artificiali, abbreviati come ANN, sono un modello matematico/informatico di calcolo, che simulano il comportamento delle reti neurali biologiche. Queste sono costituite dall interconnessione di unità elementari, i neuroni, per mezzo di fili chiamati assoni, che si occupano di trasmettere l impulso elettrico ricevuto da un neurone ad un altro. Ciascun neurone è connesso agli assoni degli altri neuroni per mezzo delle estensioni del suo corpo chiamato denditri, il cui punto di contatto con un assone è chiamato sinapsi. I neurologi hanno scoperto che in base all energia delle sinapsi nella connessione tra neuroni il cervello apprende in maniera diversa lo stesso segnale d input ricevuto. In maniera del tutto analoga le reti neurali sono costituite da un insieme di unità (nodi) collegate ad altre unità per mezzo di collegamenti diretti (archi), in modo che in presenza di uno stimolo (input) proveniente dalle unità antecedenti ad essa, si attivino e inviino il segnale alle unità collegate. Anche nelle reti neurali artificiali, i collegamenti hanno la capacità di attenuare il segnale, in modo che questo viaggi secondo percorsi diversi e/o non raggiunga tutti i nodi dei livelli successi, per cui è possibile modificare l energia, più opportunamente chiamato peso, dei collegamenti per ottenere apprendimenti differenti. 1

27 2.4 Reti neurali Figura 2.4. Reti neurali biologica e Rete Neurale artificiale 11

28 2 Reti neurali Percettrone Il modello più semplice di rete neurale artificiale è il percettrone, introdotto nel 1958 da Rosenblatt [13]. Esso, come mostra l esempio in figura 2.5, consiste in due tipi di nodi, quelli di input e quelli di output, interconnessi per mezzo di collegamenti pesati, usati per emulare l energia che è presente nelle sinapsi che collegano i neuroni. Il valore di output viene calcolato come funzione segno della somma pesata degli input, a cui verrà sottratto il valore soglia, in formula: ŷ = sign(w d x d + w d-1 x d-1 + w d-2 x d w 2 x 2 + w 1 x 1 - t) dove w 1,w 2,...,w d sono i pesi dei link di input, x 1,x 2,...,x d sono i valori degli attributi in ingresso e sign agisce da funzione di attivazione. Figura 2.5. Esempio di percettrone Dunque, l output assume valore pari a +1, se l argomento della funzione di attivazione è positivo, o in caso contrario valore pari a -1. In maniera più compatta l output può essere espresso come: ŷ = sign(w x) dove w = t, x = 1, x rappresenta il vettore degli input, w il vettore dei pesi. Inoltre, durante la fase di apprendimento di un modello con percettrone, il vettore w dei pesi viene modificato fino a quando l output ottenuto diventa consistente con l effettivo valore di output dell insieme dei record usati come training set. 12

29 2.4 Reti neurali Il percettrone è un modello lineare nei suoi parametri w e x, per cui converge ad una soluzione ottimale solo per i problemi in cui è possibile realizzare una classificazione lineare: in particolare, Minsky e Papert [4] mostrarono che il percettrone non era in grado di apprendere nemmeno l elementare funzione logica XOR. Dato che nella realtà è difficilissimo trovare istanze di training che sono separabili perfettamente si utilizzano le reti neurali multi-livello, la cui struttura è molto più complessa del percettrone Reti neurali multi-livello Le reti neurali multi-livello (MLP), come mostrato in figura 2.6, sono costituite da tre livelli di nodi: Figura 2.6. Esempio di rete neurale artificiale multilayer feed-forward livello d input, che rappresenta il primo strato ed è in contatto diretto con i dati in ingresso; livello nascosto (hidden), che rappresenta lo strato intermedio, non ha contatti diretti con l esterno, ma riceve i dati dai nodi di input o dal livello hidden precedente e li trasmette, dopo averli opportunamente modificati, al livello hidden successivo o a quello di uscita; output layer, che rappresenta lo strato d uscita, riceve i dati dai nodi del livello hidden e li trasmette in uscita. 13

30 2 Reti neurali Nelle reti recurrent possono esserci collegamenti tra nodi dello stesso livello o tra nodi di un livello e di quello dei livelli precedenti, mentre nelle reti neurali feed-forward [11], come mostrato in figura 2.6, i nodi di un livello sono connessi solo con i nodi del livello successivo. In quest ultimo tipo di reti neurali i singoli livelli di nodi sono dei percettori, con eccezione dei nodi di output, che eseguono operazioni molto più complicate di quelle fatte di solito dai percettori. Inoltre, la ANN usa come funzione di attivazione, non solo la funzione sign usata nei percettori, ma anche altre funzioni, come quella lineare, la sigmoide e la tangente iperbolica, permettendo così ai nodi appartenenti al hidden layer e a quelli appartenenti all output di produrre valori di uscita che siano non lineari rispetto ai parametri di input. Nella figura 2.7 sono mostrate le tipiche funzioni di attivazioni della rete neurale. (a) (b) (c) (d) Figura 2.7. Tipi di funzioni di attivazioni nelle reti neurali: segno(a), lineare(b), sigmoide(c), tanh(d) Un altro aspetto altrettanto importante nelle reti neurali è rappresentato dai pesi che vengono attribuiti agli archi che collegano i vari nodi, per cui è necessario un efficiente 14

31 2.4 Reti neurali algoritmo che converga alla corretta configurazione dei pesi quando viene fornita una certa quantità di dati per il training. In base all algoritmo utilizzato è possibili identificare tre tipi di MLP [8]: 1. MLP con pesi fissati: di fatto, non contemplano una fase di apprendimento, ma i pesi vengono determinati sulla base di informazioni a priori. Questo approccio è davvero poco usato, perché presuppone una conoscenza a priori sul corretto output dei livelli nascosti; 2. MLP con apprendimento supervisionato: qualora si disponga di un insieme di dati per l addestramento (o training set) comprendente esempi tipici di ingressi con le corrispondenti uscite, la rete può apprendere quale sia la relazione che li lega. Successivamente, la rete è addestrata mediante un opportuno algoritmo, il quale usa tali dati allo scopo di modificare i pesi ed altri parametri della rete stessa in modo tale da minimizzare l errore di previsione relativo all insieme d addestramento. La supervisione consiste proprio nel conoscere che risposta ci si aspetta da un determinato input. Se l addestramento ha successo, la rete impara a riconoscere la relazione incognita che lega le variabili d ingresso a quelle d uscita, ed è quindi in grado di fare previsioni anche laddove l uscita non è nota a priori; in altri termini, l obiettivo finale dell apprendimento supervisionato è la previsione del valore dell uscita per ogni valore valido dell ingresso, basandosi soltanto su un numero limitato di esempi di corrispondenza (vale a dire, coppie di valori input-output); 3. MLP con apprendimento non supervisionato: anche note come Self Organizing Maps o Mappe di Kohonen, dal nome di chi le ha introdotte, non prevedono la definizione di un target nel training set, ma dividono gli input in opportuni cluster rappresentativi dei dati stessi, facendo uso tipicamente di metodi topologici o probabilistici, creando, così, una mappa degli input mettendo vicini tra di loro quelli simili Algoritmo di apprendimento ANN L obiettivo dell algoritmo di apprendimento è quello di determinare un insieme di pesi w che minimizza la somma totale degli errori quadratici [11]: E(w) = 1 2 N (y i ŷ i ) 2 i=1 15

32 2 Reti neurali Notiamo che tale somma dipende da w, poiché l etichetta di classe predetta ŷ è una funzione dei pesi assegnati nei nodi di livello hidden e in quelli di output. Inoltre, la maggior parte dei valori di output, a causa delle funzione di attivazione scelta, sono ottenuti usando una funzione non lineare, per cui diventa davvero complicato ottenere una soluzione per w che sia globalmente ottimale. Per risolvere tale problema sono stati utilizzati vari algoritmi Greedy, basati sul metodo gradient descent e sviluppati con lo scopo di risolvere efficientemente il problema dell ottimizzazione. Tali algoritmi utilizzano la seguente formula per aggiornare il valore dei pesi w: w j w j λ E(w) w j dove λ è il learning rate (velocità di apprendimento), per cui il peso dovrebbe crescere in una direzione opposta rispetto a quella che riduce l errore totale. Tuttavia, poiché la funzione errore non è lineare, si può verificare che il metodo gradient descent si blocchi in un minimo locale e soprattutto con questo metodo risulta difficile calcolare il termine dell errore E(w) w j, poiché non si conoscono i loro corretti valori di output. Per risolvere questo problema è stata sviluppato un algoritmo di apprendimento chiamato backpropagation [7]. Esso è suddiviso in due fasi: forward phase, durante la quale i pesi ottenuti dalla precedente iterazione sono usati per calcolare il valore di output di ogni neurone nella rete, per cui il valore dell output del livello k-esimo è calcolato prima di quello del livello (k+1)-esimo backward phase, durante la quale la formula per il calcolo dell aggiornamento dei pesi è usata nella direzione opposta, per cui i pesi del livelli k+1 sono aggiornati prima dei pesi di livello k. Dunque, la formula che regola la variazione dei pesi nell addestramento della rete neurale con l algoritmo backpropagation è: w (s) ji = λ E(w)(s) (s) y w (s) i j dove s indica lo step corrente, y i (s) indica l uscita della rete allo step s e λ è il learning rate. Il learning rate è un parametro definito dall utente, prima di cominciare l apprendimento, che può influenzare in modo drastico la capacità di apprendimento di una rete neurale. Nel caso sia troppo elevato viene amplificato il catastrofic forgetting e si ottiene una rete con pesi oscillanti che tendono ad imparare solamente le ultime cose dette. Nel caso di un learning rate troppo basso, invece, la rete apprende molto lentamente e in 16