A Neuromorphic VLSI System for Modeling Spike Based Cooperative Competitive Neural Networks

Transcript

1 Diss. ETH No A Neuromorphic VLSI System for Modeling Spike Based Cooperative Competitive Neural Networks A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY (ETH ZURICH) for the degree of Doctor of Natural Sciences presented by ELISABETTA CHICCA Dipl.-Phys. Università di Roma La Sapienza born April 1, 1972 citizen of Rome, Italy accepted on the recommendation of Prof. Dr. Rodney J. Douglas, examiner Dr. Giacomo Indiveri, co-examiner Dr. Daniel Kiper, co-examiner 2006

2 Abstract Neuromorphic engineering is an emerging research field which explores methodologies for implementing biologically inspired systems in hardware. It has a key role in neuroscience as a means for testing hypotheses concerning the computation carried out by the brain, while at the same time it promotes the development of artificial systems capable of achieving performance figures comparable to those of biological neural systems. I am interested in applying neuromorphic engineering methods as a tool for understanding cortical computation and its relation to recurrent intra-cortical connectivity. This thesis describes the development and testing of a neuromorphic VLSI implementation of a spiking recurrent cortical network model and the hardware/software infrastructure required to operate it. The local connectivity of my neural network is an abstract representation of the cooperative competitive connectivity observed in cortex, which is believed to play a major role in shaping cortical responses and selecting the relevant signal among distractors and noise. The hardware/software infrastructure allows us to build multi chip systems, to configure the inter chip and intra chip connectivity, to provide external stimuli to the multi chip system and to monitor the activity of all chips, providing a highly flexible tool for testing complex systems. I performed software simulations and real time experiments with the working chip to demonstrate that the spiking network exhibits the complex behaviors predicted by well known theoretical studies on more abstract models (e.g. dynamic field theory, rate model) of similar architectures. I carried out experiments with both artificially generated, well controlled stimuli and real sensory data generated by a silicon retina chip. In the latter case, I implemented (in collaboration with my collegue Patrick Lichtsteiner) and tested a two chip vision based system for exploring computational models of feature selectivity in a realworld scenario, and so demonstrated the feasibility of real-time inter-chip communication through our hardware/software infrastructure. Such a feasibility proof is a necessary step for evolving the neuromorphic systems developed so far into complex and scalable systems endowed with sophisticated computational capabilities. The VLSI spiking recurrent network and the hardware/software infrastructure described in this thesis provide a highly flexible platform to test the computational properties of cooperative competitive neural networks in real time, and allows us to test the role of spike timing with real world stimuli. The insights gained through with this work, the technology developed and the methodologies derived provide an important stepping stone toward the understanding and practical application of recurrent, cooperative competitive neural networks. i

3 ii Abstract Keywords: neuromorphic, VLSI, neural networks, Integrate and Fire (I&F) neuron, Address Event Representation, cooperative competitive networks, orientation selectivity.

4 Prefazione L ingegneria neuromorfa è un campo di ricerca emergente che esplora le metodologie per progettare sistemi fisici prendendo ispirazione dalla biologia. Essa ha un ruolo fondamentale come mezzo per valutare ipotesi riguardo la computazione eseguita dal cervello e, allo stesso tempo, promuove lo sviluppo di sistemi artificiali capaci di raggiungere prestazioni confrontabili a quelle dei sistemi neurali biologici. Il mio interesse principale riguarda l utilizzo delle metodologie dell ingegneria neuromorfa come strumento per comprendere i processi computazionali che avvengono nella corteccia cerebrale e la loro relazione con la connettività ricorrente corticale. Questa tesi descrive lo sviluppo e l analisi di una trasposizione in VLSI neuromorfo di un modello di rete ricorrente corticale e l infrastruttura hardware/software per farla funzionare. La connettività locale della rete neurale rappresenta in modo astratto la connettività di natura cooperativa e competitiva presente nella corteccia cerebrale, la quale si pensa abbia un ruolo fondamentale nel plasmare l attività corticale e nell amplificare i segnali che codificano l informazione, sopprimendo quelli che derivano da distrattori e rumore. L infrastruttura hardware/software sviluppata ci permette di costruire sistemi multi chip, configurare la connettività inter chip ed intra chip, fornire stimoli esterni al sistema multi chip e monitorare l attività di tutti i chip, fornendo così uno strumento flessibile per testare sistemi complessi. In questo lavoro ho eseguito simulazioni software ed esperimenti con il chip in tempo reale per dimostrare che la rete neurale artificiale esibisce gli stessi comportamenti complessi descritti da studi analitici su modelli di architetture simili. In questi esperimenti la rete ricorrente è stata stimolata sia con stimoli generati artificialmente sia con stimoli percettivi reali generati da una retina artificiale. In quest ultimo caso, ho realizzato e caratterizzato (in collaborazione con Patrick Lichtsteiner) un sistema visivo composto da due chip per studiare possibili modelli computazionali per la selettività a caratteristiche dello stimolo visivo (come ad esemprio, orientamento) in uno scenario realistico. Questo sistema dimostra la funzionalità della comunicazione tra chip in tempo reale attraverso l infrastruttura sviluppata. Questa prova di funzionalità rappresenta un passo fondamentale per lo sviluppo di sistemi neuromorfi in architetture complesse e scalabili dotate di proprietà computazionali elaborate. La rete VLSI ricorrente realizzata con neuroni integrate and fire e l infrastruttura hardware/software descritte in questa tesi costituiscono uno strumento flessibile per indagare le proprietà computazionali delle reti neurali, cooperative e competitive, in tempo reale e permette di verificare ipotesi riguardo al ruolo delle temporizzazioni tra gli impulsi iii

5 iv Prefazione neuronali attraverso l uso di stimoli realistici. I risultati ottenuti con questo lavoro, la tecnologia sviluppata e la metodologia proposta rappresentano un ulteriore passo verso la comprensione e l applicazione pratica delle reti neurali competitive e cooperative. Parole chiave: neuromorfo, VLSI, reti neurali, neurone Integrate and Fire (I&F), Address Event Representation (AER), reti cooperative e competitive, selettività all orientamento.