Corso di Laurea in Biotecnologie Industriali A.A. 2002/2003

Transcript

1 Corso di Laurea in Biotecnologie Industriali A.A. 2002/2003

2 Cenni storici. Le radici dell'artificial Life possono essere rinvenute negli automi cellulari di John Von Neumann e Arthur W. Burks. Von Neumann cercava un tipo di organizzazione logica sufficiente ad un automa per riprodurre se stesso, ma non tentò di simulare l'autoriproduzione di un sistema naturale a livello genetico e biochimico, bensì voleva astrarre dal problema naturale dell'autoriproduzione la sua forma logica." (Burks, 1970). Il formalismo che permise la realizzazione di un tale sistema, fu proposto da Stan Ulam, con il nome di Automa Cellulare. Un automa cellulare è semplicemente un sistema che può avere un numero finito di stati ed il cui stato è determinato dallo stato di altri automi che lo circondano. Il comportamento degli automi cellulari diventa interessante proprio perché formano una rete di interazioni, il cui comportamento globale, nel tempo, non è prevedibile; anche se le leggi che governano i passaggi di stato per ogni singolo automa sono semplici e ben determinate. Lo stato di ogni automa di questa rete, in ogni istante di tempo, è determinato dallo stato posseduto, nell'istante precedente, dagli automi che lo circondano. Con gli automi cellulari, Von Neumann impostò un sistema capace di autoreplicarsi e stabilì che, qualunque sistema capace di fare ciò, doveva fare uso delle informazioni contenute nella sua descrizione in due modi fondamentalmente differenti: sia interpretando, che non interpretando. Interpretate le informazioni dovevano tradursi in azioni da compiere per realizzare il replicante, non interpretate dovevano essere soltanto copiate, perché sarebbero state l'analoga descrizione per il replicante. Quando, in seguito, si scoprì la struttura ed il funzionamento del DNA emerse che erano proprio i modi in cui la cellula fa uso delle informazioni contenute in esso durante i suoi processi di trascrizione e traduzione da una parte e replicazione dall'altra. Fino agli anni ottanta possiamo dire che l'unico filone di ricerca sull'artificial life è stato questo degli automi cellulari. In seguito si è avuto quell'interesse convergente in questo campo da vari ambiti cui abbiamo fatto cenno sopra. Proprio per unificare gli sforzi e fare il punto della situazione, nel settembre del 1987 si è tenuta a Santa Fe la prima conferenza sull'artificial Life (che è considerata l'atto di nascita ufficiale di questa nuova scienza), organizzata da Chris Langton del Santa Fe Institute. Ad essa parteciparono non solo scienziati che, con vari approcci, lavoravano alla costruzione di robot, o scienziati cognitivi, ma anche filosofi, chimici e biologi. In seguito si è tentato di definire meglio le competenze dell' Artificial Life e di formalizzarne i confini e gli ambiti. Si sono avute altre conferenze negli Stati Uniti ed in Europa, oltre a sempre più frequenti pubblicazioni. Oggi possiamo distinguere due grossi filoni che si intrecciano tra loro: quello della robotica e quello delle simulazioni. Un altro tipo di distinzione che si può fare, che è in realtà molto più profonda e destinata ad approfondirsi, è tra gli approcci che potremmo definire top-down, quali quelli della tradizione cognitiva o dell'intelligenza Artificiale, e quelli bottom-up nel quale troviamo connessionismo (in particolare il filone degli agenti situati) e automi cellulari. Per quanto riguarda l'apprendimento, possiamo distinguere un apprendimento genetico ed uno individuale, proprio come negli esseri viventi reali. In genere oggi si tende ad utilizzare o l'uno o l'altro, ma con un uso integrato di entrambe le forme di apprendimento si potrà fare, tra l'altro, ulteriore chiarezza su una questione antropologicamente molto rilevante: quanta parte del comportamento di un organismo è attribuibile al suo patrimonio genetico e quanto all'apprendimento nella sua vita. La questione ormai ha raggiunto un sufficiente grado di chiarezza con il riconoscimento del contributo integrato di entrambe le componenti, ma si ripropone ogni volta la proporzione e, soprattutto, la natura delle predisposizioni genetiche quando si parla di comportamenti o di attività mentali. Nelle simulazioni che si fanno in questo campo, si utilizzano in genere alternativamente strategie che possiamo considerare ispirate all'apprendimento in vita (tramite backpropagation principalmente, ma anche con l'apprendimento competitivo, con la regola di Hopfield, o comunque apprendimenti basati 2

3 sulla modifica dei valori delle connessioni tra neuroni); oppure all'apprendimento su base genetica, che si compie di generazione in generazione (algoritmi genetici). Ultimamente si sta diffondendo enormemente soprattutto l'uso di questa ultima strategia. Ciò è logico, se si considera, al di là di un'analisi più circostanziata, che, in questa fase iniziale, potrebbe essere una buona strategia, quella di lasciare sviluppare le specie più adatte ai vari scopi che si propongono i diversi ricercatori. E' comunque auspicabile che si arrivi presto all'utilizzo complementare di ambedue la strategie. Gli algoritmi genetici consistono fondamentalmente in varie tecniche, che portano alla selezione degli algoritmi che danno (in base ad un determinato criterio) i risultati migliori ed alla ricombinazione casuale di alcune loro porzioni e/o alla mutazione di alcune loro parti. In genere si parte con una certa popolazione di automi che hanno leggere differenze tra loro e si fanno agire in un ambiente per un certo numero di cicli. In seguito quelli che si saranno comportati meglio avranno la possibilità di riprodursi. Cioè si prenderà, ad esempio, il venti per cento della popolazione che si è comportato nel modo migliore e da questi, con mutazioni casuali e ricombinazioni, si otterrà anche il restante ottanta per cento di automi; con questa nuova popolazione si farà un altra sessione di cicli, al termine dei quali, si ripeterà lo stesso procedimento. All'interno di questo schema generale, le effettive realizzazioni degli algoritmi possono essere molto diverse: da programmi in vari linguaggi, a valori di connessioni di reti neurali. L'apprendimento ontogenetico, invece, può utilizzare varie strategie per la modifica delle connessioni, sia con un supervisore sia senza. Negli apprendimenti supervisionati, lo sperimentatore (o una memoria di tipo statico), in caso di risposta diversa da quella ritenuta più opportuna, fornisce la risposta desiderata, mentre nelle strategie di apprendimento non supervisionato, è la rete stessa che propone le risposte e modifica le connessioni. Anche se abbiamo diversi tipi di reti che possono apprendere, quelle che effettivamente si sono rivelate adatte, a far apprendere ad un automa senza supervisore un certo compito, sono quelle basate sulla backpropagation e sull'apprendimento competitivo. Bisogna considerare che, in questi primi tentativi di realizzare automi in grado di modificare il proprio comportamento in modo da ottimizzare un certo risultato, l'importanza che hanno i metodi di apprendimento effettivamente utilizzati è molto relativa. Infatti possiamo ottenere risultati piuttosto simili, sia utilizzando una strategia "filogenetica", come gli algoritmi genetici, che una "ontogenetica", come la modifica delle connessioni in base al risultato delle azioni. Quello che effettivamente si sta sperimentando, non sono tanto queste teorie "parziali" dall'apprendimento, quanto proprio la strategia globale di organizzazione del proprio comportamento da parte di questi sistemi. Queste limitazioni vengono però superate se si aggiunge almeno un altro strato tra quello di ingresso e quello di uscita. Una rete a tre o più strati può classificare in qualunque modo si voglia. Una regola per la modifica dei coefficienti di connessione, in questi casi in cui gli strati sono più di due, è stata proposta nel 1986 da Rumelhart, Hinton e Williams. La regola è la celeberrima error backpropagation, consistente, appunto, nella propagazione dell'errore a ritroso. Vengono prima modificati i coefficienti delle connessioni tra il penultimo e l'ultimo strato e poi si risale, di strato in strato, fino a modificare quelli delle connessioni tra il primo ed il secondo strato. Data la possibilità di far apprendere ad una rete a tre o più strati qualunque tipo di associazione, o criterio di categorizzazione, oggi reti di questo tipo sono molto usate nei campi più disparati. Un difetto di queste reti è l'enorme mole di calcoli che devono essere fatti, in fase di apprendimento, dopo la presentazione di ogni stimolo, prima che la rete converga verso un valore dei coefficienti relativamente definitivo. Tra l'altro non è detto che questi valori siano i migliori possibili in assoluto, potrebbe trattarsi, infatti, di un minimo locale. In altre parole la regola della backpropagation è fatta in modo da far diminuire, dopo ogni iterazione, la differenza che, a livello di connessioni, si ha tra l'uscita prodotta e quella voluta; ma ciò non garantisce che si ottengano i valori migliori in assoluto. Questo 3

4 progressivo approssimarsi a dei valori delle connessioni che ottimizzano l'errore, potrebbero portare a delle connessioni che non danno il migliore "compromesso" possibile in modo da ottenere, in tutti i casi memorizzati fino a quel momento, la migliore combinazione possibile di risposte. Questo pericolo è particolarmente concreto nel caso di utilizzo di queste reti nel modo più naturale, detto "on line", cioè quando le modifiche alle connessioni sono apportate dopo ogni iterazione. L'altro metodo (batch) prevede, invece, il solo calcolo delle variazioni dei coefficienti, finché non è stato presentato l'intero set di rappresentazioni che la rete deve apprendere, è solo a questo punto che le connessioni vengono effettivamente modificate. Il metodo batch, oltre a non poter essere proposto come modello dell'apprendimento umano, (infatti la variazione delle connessioni, o qualunque altro processo sia alla base dell'apprendimento umano, si verifica dopo la presentazione di ogni elemento di una sequenza da classificare) è anche più lento, ma ha il vantaggio di essere meno soggetto al pericolo di incorrere in minimi locali ed è quindi preferito nelle applicazioni pratiche che lo permettono. Sono state proposte anche delle modifiche alla regola di Rumelhart, Hinton e Williams che permettono una convergenza più veloce, con un minor numero di iterazioni, come la quickpropagation, ma non è ancora stato risolto il problema dell'evitamento dei minimi locali. Con i progressi fatti in questo ambito, si sono moltiplicate anche le utilizzazioni pratiche delle reti (in particolare proprio della backpropagation). Esse si utilizzano oggi nell'interpretazione di segnali radar e sonar, nel riconoscimento della voce, nel riconoscimento della scrittura naturale, nella visione artificiale, nella robotica, per risolvere vari problemi di ottimizzazione. Vi sono anche altre soluzioni, al problema di modificare le connessioni di reti multistrato in modo tale che si abbia apprendimento. Tali reti utilizzano vari tipi di apprendimento competitivo ed hanno appunto in comune il fatto di "aumentare i valori dei coefficienti di connessione eccitatori associati alle linee che, dallo strato immediatamente inferiore, inviano segnali alle unità che hanno vinto la competizione" (Pessa, 1993; pag.195). Queste reti hanno connessioni eccitatorie con le unità dello strato superiore e connessioni di tipo inibitorio tra unità che appartengono allo stesso strato. Le più utilizzate realizzazioni di questo principio, prevedono uno dei seguenti criteri per la propagazione del segnale: 1) La strategia con più vincitori. Si fa una media delle somme pesate degli ingressi ad ogni neurone ed emettono un'uscita solo quelle che in cui essa è superiore alla media. 2) La strategia Winner Takes All. In questo caso emette un'uscita solo l'unità che ha la più alta somma pesata degli ingressi. 3) Le strategie a bolla. In queste si immaginano i neuroni disposti su una griglia, in modo tale che ci siano vicinanze e distanze tra i vari elementi. Le unità che si considerano vincenti sono tutte quelle che si trovano in un opportuno intorno spaziale di quella che ha ottenuto la più alta somma pesata degli ingressi. La prima è stata proposta da Kohonen, ma in seguito egli stesso ed altri ne hanno proposte molte diverse versioni. In seguito vengono modificati i coefficienti delle unità vincitrici o, in alcuni casi, anche di quelle che non hanno vinto la competizione. Parallelamente a queste linee di ricerca, lo studio delle possibilità delle reti neurali, si è sviluppato in altre direzioni. Oltre a reti a strati, in cui uno strato ha funzioni di input ed un altro di output, ce ne sono molti altri tipi composti da un solo strato ed altri aventi architetture più complesse. 4

5 Reti di Caianello Ritornando alle prime reti che sono state proposte (McCulloch e Pitts), esse sono state generalizzate nel 1961 da Caianello, il quale ha proposto delle equazioni in cui lo stato di attivazione di ogni neurone non dipende solo da quello di tutti gli altri nell'istante precedente (il tempo anche in queste reti è discreto), ma dipende anche dallo stato di attivazione che si è avuto negli istanti precedenti. Questa modifica permette di catturare maggiormente la realtà del funzionamento neuronico, sappiamo infatti che i neuroni reali rispondono non solo in conseguenza della stimolazione che ricevono in un dato istante, ma anche dipendentemente da quelli precedenti, variando le disponibilità dei diversi neurotrasmettitori in conseguenza della frequenza di risposta. In realtà con questa modifica non si è preteso di riprodurre tutta la ricchezza di possibilità che sta dietro la scarica di un neurone reale, ma ci si è spostati comunque in direzione di quella maggiore complessità. Più importante, dal punto di vista teorico, gli studi di Caianello hanno permesso di trovare un algoritmo che permette di risolvere (almeno in linea di principio, data la grande mole di calcoli necessaria in caso di reti composte da moltissimi neuroni) le equazioni che governano lo sviluppo di una rete di questo tipo, in maniera da poter sempre sapere in partenza come si evolverà una data rete (quali sono i suoi punti di equilibrio ed il suo ciclo) ed anche progettare una rete che abbia le caratteristiche dinamiche desiderate. Oggi sono disponibili molti tipi di reti, adatte a vari scopi, con caratteristiche molto differenti, sviluppatesi nel tentativo di superare alcune delle limitazioni delle reti. Il problema più importante che si ha con le reti neurali e quello dell'«interferenza catastrofica». Cioè il problema dato dal fatto che, una rete addestrata ad un certo set di stimoli, se viene poi addestrata a rispondere ad un altro set di stimoli, può non rispondere più adeguatamente al set di stimoli a cui era addestrata precedentemente. Questi effetti negativi possono essere in parte limitati agendo sulla plasticità della rete. Così, se si desidera che la rete mantenga comunque l'apprendimento di un primo gruppo di elementi, si può rendere meno plastica, meno soggetta a modificarsi ulteriormente per effetto degli stimoli successivi. D'altra parte ciò comporta una ridotta capacità di adattarsi e, nei casi in cui ciò è importante, si può rendere comunque più plastica considerando più importanti le ultime cose via via apprese. Un importante tentativo di superare questo problema sono le reti ART (adaptive resonance teory) sviluppate da Grossberg. Esse sono in grado di mantenere la flessibilità che permette di apprendere nuove classificazioni e, nello stesso tempo, di non perdere le classificazioni fatte in precedenza. Questo è ottenuto con un procedimento che prende a modello ciò che effettivamente avviene nel riconoscimento effettuato da soggetti umani. Infatti lo stimolo proposto non dà il via ad un passivo convergere verso una risposta, ma alla proposta di un'ipotesi basata su le classificazioni effettuate in precedenza. A questo punto, se si ha una convergenza soddisfacente tra l'ipotesi e lo stimolo reale, questo viene classificato nel modo previsto, altrimenti si crea una nuova categoria. Illustrare tutti i tipi di reti oggi esistenti sarebbe molto lungo ed esulerebbe dagli scopi di questa illustrazione sommaria delle possibilità delle reti. Più importante può essere, invece, un confronto tra le possibilità e le limitazioni delle reti rispetto alle possibilità offerte dal paradigma dell'intelligenza artificiale tradizionale. L'interesse attuale per le reti ed il crescere di importanza del paradigma connessionistico, sono dati non solo e non tanto dalle migliori prestazioni delle reti attuali rispetto a quelle di qualche anno fa, ma soprattutto dalla necessità di trovare nuove strade per risolvere le due limitazioni più grandi mostrate dall'approccio simbolico: la scarsi flessibilità di fondo; e la separazione irriducibile tra il livello astratto e quello "reale". Questi problemi hanno fatto si che fosse molto difficile riprodurre molte capacità umane di base all'apparenza elementari come la percezione, la capacità di sorvolare su alcune 5

6 imprecisioni nello stimolo, la capacità di apprendere dalla realtà, o quella di comprendere il linguaggio naturale. Nel paradigma simbolico tutto deve essere previsto in anticipo, una situazione leggermente diversa da quella conosciuta è, a tutti gli effetti, una situazione nuova. Sono stati ottenuti dei risultati notevoli, soprattutto con i sistemi esperti, ma un piccolo errore di inferenza, una deduzione, può falsare completamente la soluzione di un problema e per ottenere questi risultati, è stato necessario prevedere il maggior numero possibile di possibilità e sfumature. Le reti neurali presentano proprio queste caratteristiche di flessibilità e di auto adattamento. Sono in grado di richiamare o riconoscere delle informazioni anche se queste sono degradate, oppure in presenza di rumore. Inoltre non è necessario fornirle di una base dati di partenza perché svolgano un dato compito, sono invece in grado di apprendere autonomamente dai propri errori, o comunque dall'ambiente e di generalizzare questi apprendimenti. D'altra parte l'apprendimento, che sostituisce la programmazione e la creazione di una base dati, oltre ad essere molto lungo e laborioso, necessita di molti esempi che devono essere forniti in modo efficace. Inoltre la capacità di ricostruire stimoli parziali, ha come rovescio della medaglia la scarsa precisione e accuratezza; in alcuni campi, come nella contabilità, è importante che il dato sia riprodotto con precisione e non "approssimato". Un altro difetto che possiamo individuare, è dato dal fatto che rimane oscuro ciò che effettivamente è avvenuto all'interno della rete come è giunta ad una determinata risposta e come potrebbe essere modificata per migliorarne un determinato aspetto. 6

7 _ Reti Neurali in Generale Bisogna distinguere due motivazioni diverse nello studiare Reti Neurali Artificiali: 1. riprodurre (e quindi comprendere) il cervello umano, il che comprende : modellare tutto o almeno parti del cervello umano in modo affidabile riprodurre fedelmente fenomeni neurofisiologici verificare sperimentalmente se il modello proposto riproduce i dati biologici 2. estrarre i principi fondamentali di calcolo utilizzati dal cervello evincere quali sono i principi fondamentali di calcolo che il cervello umano utilizza semplificazioni ed astrazioni del cervello umano sono permesse, anzi, sono lo strumento principale di lavoro produrre un sistema artificiale che sia eventualmente diverso dal cervello umano ma che riproduca alcune delle sue funzioni, magari in modo pi `u veloce ed efficiente (metafora del volo: aereo contro uccello) I modelli di Reti Neurali Artificiali proposti nel secondo caso sono molteplici e con scopi diversi. Ad esempio, esistono modelli per: l apprendimento supervisionato (Classificazione, Regressione, Serie Temporali,...); l apprendimento non supervisionato (Clustering, Data Mining, Self-Organization maps,...); realizzare Memorie Associative; _ Tali modelli, in generale, differiscono per: topologia della rete funzione calcolata dal singolo neurone algoritmo di apprendimento modalità di apprendimento (utilizzo dei dati di apprendimento) Le Reti Neurali Artificiali si ispirano al cervello umano; Il cervello umano è costituito da circa neuroni fortemente interconnessi fra loro; ogni neurone possiede un numero di connessioni che va da circa 10 4 a circa 10 5 ed il tempo di risposta di un neurone è circa secondi; Considerando che per riconoscere il contenuto di una scena un umano impiega circa 0.1 secondi, ne consegue che il cervello umano sfrutta pesantemente il calcolo parallelo: infatti, in questo caso, non può effettuare più di 100 calcoli seriali [0.1/0.001=100]. 7

8 Il Neurone Biologico Il modello a cui ci si è ispirati per poter sviluppare gli attuali sistemi basati su reti neurali è il neurone biologico. Il segnale (input) arriva alla cellula grazie ai dendriti che si innervano nel soma. L informazione decodificata dalla cellula è determinata dalla somma degli n input trasmessi dai singoli dendriti. La cellula così eccitata trasferirà lo stimolo attraverso l assone, permettendo la trasmissione dell impulso alle cellule effettrici (Output). 8

9 Il sistema effettore viene attivato grazie al rilascio da parte del terminale pre-sinaptico di molecole neuro-trasmettitrici, la cui quantità e durata del rilascio è determinata dalle caratteristiche dello stimolo proveniente dal neurone. 9

10 Gli impulsi elettrici propri dei neuroni sono segnali stereotipati, caratterizzati da una soglia oltre la quale si scatena il potenziale d azione. Questo tipo di segnalazione si ritrova nel percettrone, in cui il segnale di attivazione del neurone artificiale è costituito da una funzione a gradino caratterizzato da un segnale di output binario. Rete Neurale Biologica Come nella rete neurale biologica la forza delle giunzioni sinaptiche determina l intensità del segnale effettore, così nelle reti neurali artificiali i pesi tra le connessioni influenzano il segnale di output. 10

11 Il Neurone Artificiale L ingresso di un input in un neurone artificiale darà luogo ad un valore di eccitazione dato dalla somma pesata degli ingressi (x 1, x 2, x 3,,x n ) con i pesi (w 1, w 2, w 3,.,w n ). I valori di uscita vengono valutati in base ad un valore di soglia. Il tipo di risposta di ciascun neurone può essere diverso da rete a rete; tale tipo di risposta è regolato dalla funzione di attivazione. nel primo caso si ha una funzione di attivazione a gradino, cioè una funzione discontinua tipica di un sistema Crisp.Questa funzione permette la discriminazione lineare dei dati di ingresso in due classi. Questo tipo di funzioni però limita l output a fornire solo un bit in uscita (acceso/spento) e non è quindi adatto nel risolvere problemi di una certa complessità: i neuroni necessari alla rete sarebbero troppi. Il secondo caso è caratterizzato da una sigmoide, funzione di attivazione continua utilizzata nei sistemi Fuzzy e permette la discriminazione non-lineare dei dati di ingresso. Reti Neurali Artificiali Una Rete Neurale Artificiale è un sistema costituito da unità interconnesse che calcolano funzioni (numeriche) non-lineari: le unità di input rappresentano le variabili di ingresso; le unità di output rappresentano le variabili di uscita; le unità nascoste (se ve ne sono) rappresentano variabili interne che codificano (dopo l apprendimento) le correlazioni tra le variabili di input relativamente al valore di output che si vuole generare. Sulle connessioni fra unità sono definiti pesi adattabili (dall algoritmo di apprendimento). 11

12 Reti Neurali Feed-forward (un solo livello nascosto) Questo tipo di reti sono in grado di svolgere funzioni complesse, quali il riconoscimento di forme qualsiasi e la estrapolazione di correlazioni tra insiemi di dati apparentemente casuali. Le reti neurali feed forward sono unidirezionali nel senso che i segnali si propagano solamente dall'input verso l'output senza retroazioni, i neuroni possono assumere valori reali (compresi tra 0.0 e 1.0) e non più valori booleani 0 e1 per cui la flessibilità della rete risulta nettamente migliorata nella applicabilità a problemi reali. Ogni neurone di ogni strato sarà collegato ad ogni neurone dello strato successivo, mentre non vi saranno collegamenti tra i neuroni dello stesso strato. Quella nella figura è la configurazione più semplice di rete multistrato, dotata di un solo strato intermedio normalmente chiamato "hidden layer": gli strati decisionali di tale rete sono lo strato intermedio e lo strato di output. lo strato di neuroni di input non ha potere decisionale poichè ciò che una rete neurale impara sta proprio nel valore dei pesi che collegano i neuroni opportunamente modificato in base ad una legge di apprendimento su un set di esempi; pertanto lo strato di input non è uno strato decisionale perche non ha pesi modificabili in fase di apprendimento sui suoi ingressi. Back Propagation Il metodo di Back-propagation è applicabile a qualsiasi rete multistrato, con un numero qualunque di connessioni ed è facilmente utilizzabile su reti con strutture molto disparate. La peculiarità di questo meccanismo sta nel metodo con cui la rete reagisce ogni volta che effettua un errore: tali errori vengono infatti propagati da ogni strato attraverso le connessioni sinaptiche e sommati per ciascuna unità da cui ricevono segnale. Grazie a questo metodo la rete è molto efficace nel raggiungimento di risultati validi ed a generalizzare le soluzioni per esempi che non gli sono stati presentati durante l addestramento. Lo scopo della rete è naturalmente quello di minimizzare la differenza tra la risposta desiderata e quella fornita dalla rete stessa. Per fare in modo che la rete si migliori, i parametri vengono fatti variare lungo la superficie dell errore verso la direzione di massima pendenza negativa, applicando cioè quello che è definito come metodo di discesa del gradiente; L errore è, in altre parole, propagato all indietro da uno strato a quello precedente. 12

13 Questa metodica contrappone ad una serie di vantaggi, alcuni problemi nell applicare tale metodo agli esperimenti. Il primo è dovuto all attivazione non lineare dei nodi che provoca un andamento assai complicato della funzione di errore: la superficie presenta un grande numero di minimi locali in cui la rete può restare "intrappolata" ed una serie di superfici piatte che rallentano l apprendimento. Il secondo problema riguarda invece la lentezza di tale algoritmo che può richiedere alcuni giorni per un singolo allenamento. Attualmente, vi sono numerosi metodi si apprendimento per le RN. Nessuno può dire esattamente quanti siano in tutto. Ogni settimana ne escono fuori di nuovi (o quanto meno come varianti di metodi già esistenti). Nelle righe che seguono vi è una raccolta dei metodi maggiormente conosciuti, senza alcuna pretesa di completezza. La principale classificazione di questi metodi si rifà alla distinzione tra apprendimento supervisionato e non supervisionato: Nell'apprendimento supervisionato, vi è un "insegnante" che nella fase di apprendimento "dice" alla rete quanto bene sta funzionando ("apprendimento rinforzato") o quale sarebbe dovuto essere il comportamento corretto ("apprendimento totalmente supervisionato"). Nell'apprendimento non supervisionato, la rete è autonoma: non appena i dati vengono esaminati,la rete cerca alcune delle proprietà del set di dati e impara a riferirle ai suoi output. Quali esattamente queste proprietà siano, che la RN possa apprendere a riconoscere, dipende dal particolare modello di rete e dal metodo di apprendimento. Molti di questi metodi di apprendimento sono strettamente connessi a una topologia di rete. Appartenenti a quest ultimo tipo sono le SOM (self organizing maps) di Kohonen che di cui vedremo una applicazione. Tipi di reti neurali Esistono molti tipi di reti neurali che sono differenziati sulla base di alcune caratteristiche fondamentali: tipo di utilizzo algoritmo di apprendimento architettura dei collegamenti tipo di apprendimento :supervisionato/non supervisionato Quest ultima è la divisione fondamentale: nel primo caso si addestra la rete con degli esempi che contengono un input e l 'output associato desiderato, mentre nel secondo caso la rete deve essere in grado di estrarre delle informazioni di similitudine tra i dati forniti in input (senza associazioni con output desiderati) al fine di classificarli in categorie. 13

14 Tipo di utilizzo Dal punto di vista del tipo di utilizzo possiamo distinguere tre categorie basilari: Memorie associative possono apprendere associazioni tra patterns (insieme complesso di dati come un insieme dei pixels di una immagine) in modo che la presentazione di un pattern A dia come output il pattern B anche se il pattern A è impreciso o parziale(resistenza al rumore). Esiste anche la possibilità di utilizzare la memoria associativa per fornire in uscita il pattern completo in risposta ad un pattern parziale in input. Simulatori di funzioni matematiche complesse(e non conosciute) sono in grado di comprendere la funzione che lega output con input in base a degli esempi forniti in fase di apprendimento. Dopo la fase di apprendimento, la rete è in grado di fornire un output in risposta ad un input anche diverso da quelli usati negli esempi di addestramento. Ne consegue una capacità della rete di interpolazione ed estrapolazione sui dati del training set. Tale capacità è facilmente verificabile addestrando una rete con una sequenza di dati input/output proveniente da una funzione nota e risulta, invece, utile proprio per il trattamento e la previsione di fenomeni di cui non sia chiaro matematicamente il legame tra input e output.in ogni caso la rete si comporta come una "black box", poiché non svela in termini leggibili la funzione di trasferimento che è contenuta al suo interno. Di questo tipo fa parte la rete a retropropagazione dell errore o error back propagation che è quella attualmente più utilizzata per efficacia e flessibilità. Classificatori con essi è possibile classificare dei dati in specifiche categorie in base a caratteristiche di similitudine. In questo ultimo tipo di rete esiste il concetto di apprendimento non supervisionato o "autoorganizzante", nel quale i dati di input vengono distribuiti su categorie non predefinite. Reti neurali autoorganizzanti Un tipico problema è quello di cercare classi di dati aventi caratteristiche similari(per cui associabili) all interno di un gruppo disordinato di dati. Questo problema può essere affrontato con una rete neurale autoorganizzante, cioè in grado di interagire con i dati, addestrando se stessa senza un supervisore che fornisca soluzioni in punti specifici nello spazio delle variabili. Si parla in questo caso di apprendimento "non supervisionato Il principale utilizzo delle reti autoorganizzanti è precisamente quello di analisi di dati al fine di riscontrarne gruppi aventi similitudini (preprocessing di dati) o classificazione di forme come riconoscimento immagini o segnali. 14

15 Rete di Kohonen E costituita da due strati: Input Output o strato di Kohonen: i neuroni sono connessi, ciascuno,con un "vicinato " di neuroni secondo un sistema di inibizione laterale definito a "cappello messicano". I neuroni dei due strati sono completamente connessi tra loro. I pesi dei collegamenti intrastrato dello strato di output o strato di Kohonen non sono soggetti ad apprendimento ma sono fissi e positivi nella periferia adiacente ad ogni neurone. Nello strato di output un solo neurone che risulta "vincente" (con il massimo valore di attivazione) per ogni input pattern che viene fornito alla rete. In pratica il neurone vincente identifica una classe a cui l'input appartiene. Il collegamento a cappello messicano, nella versione originale di questo tipo di rete, tende a favorire il formarsi di "bolle di attivazione" che identificano inputs simili. Lo scopo di una rete di Kohonen è quello di avere, per inputs simili, neuroni vincenti vicini, così che ogni bolla di attivazione rappresenta una classe di inputs aventi caratteristiche somiglianti. Il comportamento sopra descritto si 15

16 _ _ raggiunge dopo la presentazione di molti inputs per un certo numero di volte alla rete, modificando, per ogni presentazione di input solo i pesi che collegano il neurone vincente(kohonen layer) con i neuroni dello strato di input (apprendimento autoorganizzante). Quando viene impiegata una rete autoorganizzante, la matrice di neuroni(detti anche neurodi, da neurone e nodo) di output si presenta con un insieme di bolle di attivazione che corrispondono alle classi in cui la rete ha suddiviso gli inputs per similitudine. Se noi addestriamo una rete con dati di cui conosciamo a priori la appartenenza a specifiche classi, potremo associare ciascuna delle bolle di attivazione a ognuna di queste classi. Più bolle di attivazione possono rappresentare una classe di inputs Le Reti Neurali Artificiali sono studiate sotto molti punti di vista. In particolare, contributi alla ricerca in questo campo provengono da: Biologia (Neurofisiologia) Informatica (Intelligenza Artificiale) Matematica (Ottimizzazione, Proprietà di approssimazione) Statistica (Regressione, Classificazione) Ingegneria (Pattern Classification, Teoria del Controllo) Economia (Studio di serie temporali) Fisica (Sistemi Dinamici) Psicologia (Apprendimento e Scienze Cognitive) Applicazioni già attivate - Previsione del passaggio ad HIV conclamato - Eliminazione dinamica dei disturbi nelle telecomunicazioni (GSM...) - Valutazione del rischio nelle ipoteche - Individuazione bombe al plastico - Controllo di qualità nella produzione di lampadine - Riconoscimento di vocaboli - Previsione di problemi ai motori delle auto - Comprensione e classificazione dei risultati nella ricerca scientifica - Classificazione di segnali sonar - Previsione della vulnerabilità all'eroina - Identificazione ed inseguimento di oggetti mobili - Compressione di immagini e di dati 16

17 - Riconoscimento di caratteri scritti a mano - Validazione di firme - Controllo di qualità nei processi di automazione industriale - Reti neurali per la ricostruzione e la classificazione di immagini tattili - Predizione delle proprietà dei filati nella tecnologia dei processi chimici. - Riconoscimento di giacimenti di gas sfruttabili - Modelli delle dinamiche di mercato nei settori dei prodotti alimentari, di consumo e finanziari. - Predizione delle vendite dei giornali - Qualificazione dei dispositivi anti shock nelle automobili - Diagnosi sui punti di saldatura - Progettazione automatica di apparecchiature per la produzione di contenitori - Rilevamento di frode nelle transazione tramite carta di credito - Gestione dell'approvvigionamento di acqua potabile - Riconoscimento testi nelle domande di assunzione, negli ordini di vendita, nei questionari per la sicurezza sociale - Predizione delle vendite nei supermercati - Sistema do controllo automatico della qualità nella produzione di tegole - Controllo della qualità ed incremento dell'efficienza nei progetti medici - Ottimizzazione degli impianti per la polimerizzazione - Classificazione dei difetti nei metanodotti - Nuova metodica per la predizione assistita al computer delle metastasi linfonodali nel carcinoma gastrico - Selezione e classificazione materiali specifici - Ottimizzazione della regolazione di essiccatoi - Applicazione delle reti neurali per la valutazione dello stato di reattività dei fermenti produttori di penicillina - Sostituzione degli analizzatori nelle colonne di distillazione - Puntamento ottico nella produzione industriale - Previsioni del tempo a breve termine - Monitoraggio di dighe - Controllo di accesso utilizzando il riconoscimento automatico del viso - Controllo di fornaci - Analisi dei dati di volo di elicotteri Applicazioni in fase di attivazione Generali - Valutazione probabilistica della presenza di petrolio in formazioni geologiche - Identificazione dei canditati per una qualifica specifica all'interno di una ditta - Minimizzazione di database in imprese - Miglioramento del rapporto posti/prezzo per i biglietti aerei - Valutazione dei premi assicurativi - Selezione di team specializzati - Modelli di simulazione di sviluppo urbano - Previsioni sulla mobilità lavorativa - Previsioni del tempo - Previsioni sul grado di inquinamento 17

18 - Analisi dei movimenti migratori Biologia - Funzionamento di un cervello danneggiato - Modelli di funzionamento della retina e della coclea - Studi sul DNA (identificazione dei siti che codificano per l'insulina...) - Simulazione di nuove molecole (affinità recettoriali..). Finanza - Analisi del rischio nei crediti - Identificazione delle perdite - Lettura e validazione di schede compilate a mano - Analisi dei tassi di investimento e del portfolio - Previsione e simulazione degli scenari del cambio monetario - Previsioni su titoli ed obbligazioni - Simulazione di scenari economici - Analisi della evasione e della elusione fiscale Manifattura - Automazione in robotica e sistemi di controllo multiparametrici - Controllo dei processi di produzione - Supervisione nel controllo di qualità - Selezione di parti per linee di montaggio Campo sanitario e sociale - Analisi del linguaggio nel trattamento della sordità grave - Diagnosi e prescrizione di trattamenti partendo da sintomi - Monitorizzazione di interventi chirurgici - Previsione di effetti collaterali di alcuni farmaci in determinati soggetti - Interpretazione radiografie - Comprensione delle cause dei fenomeni epilettici - Previsione della vulnerabilità alla schizofrenia - Previsione della mancata frequenza scolastica. Sicurezza e campo militare - Analisi dei dati durante conflitti, battaglie e/o rivolte - Classificazione dei segnali radar - Creazione di arme intelligenti - Riconoscimento di azioni - Miglioramento delle risorse carenti - Identificazione ed ancoraggio di oggetti mobili - Identificazione di denaro riciclato nel riciclo di società - Simulazione di operazioni ad alto rischio - Analisi di attentati terroristici - Interrogazione intelligente di grossi database - Analisi delle testimonianze - Strategie di investigazione Campo giuridico 18

19 - Valutazione dell'evidenza - Valutazione delle sospensioni delle concessioni edilizie - Miglioramento delle strategie di instruzione dei processi 19

20 1) Una applicazione allo studio delle strutture proteiche La predizione delle strutture proteiche - Il problema: Le proteine costituiscono la componente di gran lunga preponderante fra le macromolecole costituenti le cellule. Questo sia dal punto di vista ponderale che in considerazione dell'importanza e varietà delle funzioni svolte. Capire in che modo tali funzioni siano legate alla struttura molecolare costituisce uno degli argomenti centrali dell'odierna ricerca in Biologia Molecolare, Biochimica e Biofisica [Branden and Tooze, 1992]. Le proteine sono polimeri lineari formati da centinaia di unità elementari, gli aminoacidi, caratterizzati da una estremità carbossilica (acida) ed una amminica (basica) ed esistenti in natura in 20 diverse varietà (Finestra 3.3). Lo studio della organizzazione strutturale delle proteine avviene a 4 diversi livelli : - Struttura Primaria: corrisponde alla sequenza degli aminoacidi e alla posizione dei legami disolfuro, quando ve ne sono, e riflette quindi l insieme dei legami covalenti di una proteina. - Struttura Secondaria: si riferisce alla disposizione nello spazio dei residui di aminoacidi adiacenti nella sequenza lineare. Alcune di queste relazioni steriche sono di tipo regolare e danno origine a strutture periodiche: l α-elica e la struttura β sono elementi di struttura secondaria. Quando le relazioni non sono di tipo regolare, esse si dicono random-coil. - Struttura Terziaria: riguarda la disposizione nello spazio dei residui di aminoacidi lontani fra loro nella sequenza lineare. La linea di divisione fra struttura secondaria e terziaria non è netta. - Struttura Quaternaria: le proteine che contengono più di una catena polipeptidica hanno un ulteriore livello di organizzazione strutturale: ciascuna catena polipeptidica viene chiamata subunità e la struttura quaternaria si riferisce alla disposizione nello spazio di queste subunità. Predire l'arrangiamento tridimensionale delle proteine, cioé le loro strutture secondaria e terziaria, dalla sequenza lineare degli aminoacidi componenti (struttura primaria), è diventato un argomento di grande attualità da quando le tecniche di biologia molecolare (DNA ricombinante) consentono di accumulare informazione sulle strutture primarie ad una velocità molto maggiore di quanto non facciano, relativamente alle strutture tridimensionali, le tecniche spettroscopiche (diffrazione dei raggi X, NMR, etc.). Bisogna inoltre considerare che per le proteine cosidette "intrinseche di membrana", molte delle quali svolgono un ruolo chiave in processi fondamentali come la respirazione (citocromi b, c1, a, etc.) o il riconoscimento (complesso maggiore di istocompatibilità, etc.) cellulare, l'uso delle tecniche diffrattometriche é fortemente ostacolato dalla difficile cristallizzabilità. D'altra parte,i data-base su cui si fondano le tecniche predittive sono costituite nella quasi totalità da proteine solubili: ci si trova insomma nella sfavorevole situazione per cui proprio laddove dei metodi predittivi si avrebbe più bisogno (proteine di membrana), essi sono meno efficienti per la squilibrata composizione dei data-base. 20