Algoritmi di controllo per la navigazione basati su spiking networks CRISTIANO ALESSANDRO
Outline Neurone biologico Neurone Spiking Learning ed esperimento di Pavlov Spike Timing Dependent Plasticity (STDP) Applicazione per il Path Planning con Obstacle Avoidance
Neurone Biologico Potenziale di membrana Potenziale pre-sinaptico Efficacia sinaptica Potenziale post-sinaptico
Neurone Biologico (Funzionamento) Meccanismo di trasmissione dell informazione quasi completamente di natura elettrica. Il potenziale di membrana è la differenza di potenziale negativa presente fra l interno e l esterno della cellula. Tale potenziale è soggetto a variazioni dovute alla trasmissione di informazioni con altri neuroni: iperpolarizzanti: fanno aumentare il potenziale di membrana; depolarizzanti: fanno diminuire il potenziale di membrana. Il Neurite è l unica parte della cellula capace di GENERARE segnali: spike o potenziali di azione. Si tratta di segnali impulsivi della durata di 1-2 ms non graduabili (digitali). Le sinapsi sono connessioni unidirezionali tra l uscita di un neurone e l ingresso dell altro. Esse modulano l ampiezza del segnale trasmesso in base alla loro efficacia sinaptica (pesi delle sinapsi). VARIABILE NEL TEMPO!
Neurone Biologico (Funzionamento) Il potenziale pre-sinaptico è il segnale presente prima della sinapsi. Il potenziale post-sinaptico rappresenta il segnale di uscita al neurone, ovvero il potenziale pre-sinaptico modulato dalla efficacia sinaptica. L ingresso del generico neurone è, quindi, la sommatoria di tutti i potenziali post-sinaptici dei neuroni che lo precedono. Questo viene tradotto in una variazione del suo potenziale di membrana: se l efficacia sinaptica è eccitatrice, il potenziale post-sinaptico causa una depolarizzazione altrimenti, in caso di efficacia inibitrice, causa una iperpolarizzazione.
Neurone Biologico (Funzionamento) Se il potenziale di membrana supera una certa soglia di innesca un processo autonomo di depolarizzazione che determina nell assone la formazione di uno spike. In risposta ad esso viene generato un segnale (potenziale pre-sinaptico) in accordo con la seguente funzione. ε ( t) = t e τ 0 t 1 τ if if t t > 0 0 Ingresso al neurone j x ( t) = w ε ( t t ) j i Γ j ij i
Neurone Spiking Modello di Izhikevich v = 0.04v 2 + 5v u = a( bv u) + 140 u + I if v + 30 mv v c u u + d v = Potenziale di membrana u = Variabile di recupero
Neurone Spiking Possono essere definiti vari tipi di neuroni in base alla scelta di a,b,c,d. Class 1 excitable: la frequenza di spike aumenta proporzionalmente del segnale in ingresso. Informazione contenuta nella frequenza con cui gli spike vengono emessi.
Learning Sinapsi di Hebb L efficacia sinaptica non è statica e rappresenta la capacità di memorizzazione di una rete neurale biologica (plasticity). Le sinapsi di Hebb variano la loro efficacia in funzione dello sfasamento temporale fra due impulsi: se lo spike pre-sinaptico avviene prima del post-sinaptico essa viene rinforzata, viceversa viene indebolita. Classical Conditioning Permette di sviluppare associazioni fra stimoli incondizionati a stimoli condizionati.
Learning (Classical conditioning) Stimoli incondizionati (US) Stimoli condizionati (CS) US UR CS CR
Learning (Hebb) PRE POST L attività del neurone PREsinaptico (sensoriale) attivato dal suono del campanello si accoppia all attività del neurone POSTsinaptico (effettore) attivato dalla presenza di cibo.
Spike Timing Dependent Plasticity Valore dinamico dell efficacia W A + exp( t ) τ + = A exp( t ) τ if if t t < 0 0 t = t pre synaptic t post synaptic decay-rate Sistema adattativo
Spike Timing Dependent Plasticity Generalizzando, nel caso in cui vi siano n e m spike, rispettivamente pre e post sinapsi... δw ij tij A+ exp( ) τ + = t ij A exp( ) τ if if t < 0 t, 0 1 i n ;1 j m W = n m i= 1 j= 1 δ w ij
STDP Problema irrisolto: come trattare le n*m coppie di spike? All-to-All interaction Nearest-neighbor interaction Postsynaptic-centric interaction Presynaptic-centric interaction
Applicazione Realizzazione di un algoritmo di controllo bioispirato per la navigazione di robot Robot (sensori) Ambiente (target e ostacoli) Local Navigation
Applicazione Ambiente dinamico, soggetto a cambiamenti Algoritmo adattativo biologicamente ispirato struttura (Modello di Izhikevich) apprendimento (STDP)
Applicazione Behavior del Robot: Path Planning per il raggiungimento di target Camera CS Sensori di target - US Obstacle Avoidance Sensori di distanza - CS Sensori di contatto - US
Applicazione
Applicazione MNL MNR Terzo livello Secondo livello RFL RFR CDL CDR TDL TDR Primo livello
Applicazione (Esperimento 1) Prima......Dopo
Applicazione (Esperimento 1)
Applicazione (Esperimento 2)
Applicazione (Esperimento 2)
Sviluppi futuri Implementazione di un algoritmo di navigazione basato non solo sulle informazioni sensoriali che il robot riceve istantaneamente dall ambiente, ma anche su una rappresentazione topologica e metrica dello stesso, che permetta di pianificare la traiettoria da compiere per il raggiungimento di un determinato obbiettivo. Way-finding Navigation
Bibliografia P. Arena, L. Fortuna, M. Frasca, L. Patanè, C. Alessandro, D. Barbagallo, Learning high sensors from reflexes via spiking networks in roving robots, 8th international IFAC symposium on robot control, IFAC Syrco 06-06/08/2006 Bologna, Italy.. Algoritmi di controllo per la navigazione basati su spiking networks. Tesi di laurea Relatori: Paolo Arena, Mattia Frasca, Luca Patanè DIEES University of Catania Donato Barbagallo. Un ambiente per la simulazione di algoritmi di navigazione basati sulla visione. Tesi di laurea Relatori: Paolo Arena, Mattia Frasca, Luca Patanè DIEES University of Catania Fabio Danieli. STDP per il controllo della navigazione. Tesi di Laurea DIEES University of Catania Paolo Arena, Luigi Fortuna, Mattia Frasca, Luca Patanè. Navigation Control based on Spiking Networks. DIEES University of Catania E.M. Izhikevich. Simple Model of Spiking Neurons, IEEE Transactions on Neural Networks, Vol 14, n 6, pages 1569-1572, 2003. http://www.nsi.edu/users/izhikevich/ Dominique Luzeaux, Andrè Dalgalarrondo. Hybrid Architecture for Autonomous Robots, Based on Rappresentation, Perception and Intelligent Control. Recent Advances in Intelligent Paradigms and Application. Pages 37-39, 2002 Oliver Trullier. Biologically-based Artificial Navigation System: Review and prospects. Progress in Neurobiology, pages 1-10. U. R. Karmarkar,M. T. Najarian, and D. V. Buonomano, Mechanismus and significance of spiketiming dependent plasticity, Biol. Cybern., vol. 87, pp. 373 382, 2002.