Memoria associativa e dinamica del riconoscimento: introduzione al modello di Hopfield

Transcript

1 Verona - 10 Giugno 2008 (Seminario integrativo del corso di MMB, titolare M. Squassina, A.A. 2007/2008) Memoria associativa e dinamica del riconoscimento: introduzione al modello di Hopfield Antonio Ponno Università degli Studi di Padova Dipartimento di Matematica Pura ed Applicata ponno@math.unipd.it Homepage: ponno

2 MINI - ESPERIMENTO SULLA DINAMICA DEL RICONOSCIMENTO

3

4

5

6

7

8

9 Neuroni: struttura e funzionamento Un modello di rete neurale Memoria associativa il problema degli attrattori Il modello di Hopfield Dinamica del riconoscimento

10 DENDRITI Il Neurone INPUT SINAPSI OUTPUT SOMA (ELABORAZIONE) ASSONE

11 La d.d.p. di membrana di un neurone a riposo è V r = V int r V est r 70mV ; pompa sodio/potassio: eccesso di ioni Na + all esterno e ioni K + all interno. Quando è stimolato il neurone può depolarizzarsi e il potenziale di membrana raggiunge una intensità di picco V a +40mV (potenziale d azione). Si genera cosí un onda di depolarizzazione (impulso elettrico) che si propaga (1-100 m/s) lungo l assone e si ramifica attraverso le sinapsi (giunzioni chimiche) raggiungendo i dendriti o il soma di altri neuroni. Il neurone si depolarizza se una opportuna somma pesata dei potenziali postsinaptici ( V ps 1mV da ogni neurone presinaptico) che lo raggiungono supera una soglia specifica (circa 10 mv), altrimenti non risponde allo stimolo.

12 Regione pre sinaptica Regione post sinaptica V ps V a V ps V ps giunzione sinaptica

13 Corteccia cerebrale: circa neuroni suddivisi in circa 10 7 microreti fortemente connesse, ognuna contenente circa 10 4 neuroni ed avente dimensione lineare di 1mm. Ogni neurone della microrete riceve da molti dei neuroni componenti. La connettività tra microreti è minore. Tra lo sparo di un neurone e la ricezione del segnale da parte dei neuroni ad esso connessi in uscita passa un intervallo di tempo τ di qualche millisecondo, durante il quale il neurone non può operare di nuovo: è il periodo refrattario (assoluto). Dunque l attività cerebrale ha frequenza limitata (meno di 1 KHz) e la dinamica neuronale è a tempo discreto (multipli di τ).

14 Topologia delle connessioni È conveniente introdurre la cosí detta matrice di adiacenza del grafo di rete: ε ij = 1 se j afferisce ad i, altrimenti ε ij = 0; in particolare ε ii = 0. La matrice ε definisce completamente la topologia delle connessioni. Ad esempio essa individua le due componenti pre- e post-sinaptica: e C pre (i) = {j {1,..., N} : ε ij = 1} C post (i) = {j {1,..., N} : ε ji = 1}. Il neurone i riceve segnali in ingresso dai neuroni in C pre (i) e quando è attivo invia un segnale di uscita ai neuroni di C post (i).

15 Esempio di rete rete a 6 neuroni asimmetrica =64 configurazioni possibili 6 ε 12 = ε 16 =1 ε 21 = ε 23 = ε 26 =1 ε 36 =1 ε 43 = ε 45 = ε 46 =1 5 ε 54 =1 ε 61 = ε 65 =

16 Modellizzazione Introduciamo le seguenti definizioni V i (t): la d.d.p. (tra interno ed esterno) del neurone i-esimo al tempo t. V i può assumere solo due valori: V a (depolarizzazione) o V r (riposo). v i (t) d.d.p. post-sinaptica del neurone i al tempo t; v i può assumere due valori: 0 (i a riposo) oppure V ps 1mV (i attivo). h i ( v 1,..., v N ): funzione di integrazione sinaptica del neurone i (o campo locale i-esimo), differenziabile vicino a (0,...,0) e t.c. h i (0,...,0) = S i < 0.

17 Per i = 1,..., N si ha V i (t + τ) V r = ( V a V r ) Θ(h i (t)) dove Θ(x) = 1 se x > 0 e Θ(x) = 0 se x 0. Se h i (t) 0 V i (t + τ) = V r e il neurone non risponde allo stimolo, mentre se h i (t) > 0 allora V i (t + τ) = V a e il neurone spara. Le d.d.p. post-sinaptiche v i sono piccole, quindi h i ( v 1,..., v N ) S i + j K ij v j a meno di un resto O( j v 2 j ) (Taylor). Le K ij sono le componenti della matrice sinaptica. Dalle ipotesi fatte sulle connessioni K ij ε ij : h i dipende da v j sole se j C pre (i).

18 Introduciamo variabili dicotomiche simmetriche, definite per ogni i = 1,..., N da V i (t) V r ( V a V r ) σ i(t) + 1 2, v i (t) V ps σ i (t) + 1 2, σ i (t) = 2 V i(t) V r V a V r 1 = = 2 v i(t) V ps 1. σ i (t) = +1 se i è attivo ( V i = V a, v i = V ps ); σ i (t) = 1 se i è a riposo ( V i = V r, v i = 0).

19 In termini di variabili di spin σ i = ±1 le equazioni del modello diventano σ i (t + τ) = sign(h i (t)) h i (t) = j J ij σ j (t) s i per i = 1,..., N, dove sign(x) = +1 se x > 0 e sign(x) = 1 se x 0. J ij 1 2 K ij V ps s i S i j J ij ridefiniscono matrice sinaptica e soglia rispettivamente. Una semplificazione ragionevole (?): s i = 0 cioè S i = 1 2 j K ij V ps : la soglia è metà di quello che il neurone riceve se i suoi afferenti (pre-sinaptici) sono tutti attivi.

20 Il modello dinamico di rete è descritto da σ i (t + τ) = sign j J ij σ j (t) per i = 1,..., N. Se è nota la matrice sinaptica J ij (N N) di ogni neurone i, resta definita una mappa S : { 1,+1} N { 1,+1} N : σ S[σ] Lo stato della rete al tempo nτ è dato dalla iterata n-esima di S calcolata nello stato iniziale σ(0): σ(nτ) = S n [σ(0)] n volte {}}{ (S S)[σ(0)] Lo spazio degli stati { 1,+1} N può essere visualizzato come l insieme dei vertici di un cubo N-dimensionale di spigolo lungo 2. Ad ogni iterata, ovvero ad ogni passo temporale (τ) si salta da un vertice ad un altro.

21 Per l esempio di rete a 6 neuroni (v. figura): σ 1 (t + τ) = sign[j 12 σ 2 (t) + J 16 σ 6 (t)] σ 2 (t + τ) = sign[j 21 σ 1 (t) + J 23 σ 3 (t) + +J 26 σ 6 (t)] σ 3 (t + τ) = sign[j 36 σ 6 (t)] σ 4 (t + τ) = sign[j 43 σ 3 (t) + J 45 σ 5 (t) + +J 46 σ 6 (t)] σ 5 (t + τ) = sign[j 54 σ 4 (t)] σ 6 (t + τ) = sign[j 61 σ 1 (t) + J 65 σ 5 (t)]

22 Memoria ed attrattori Problema Il modello deve includere una memoria contenente oggetti (parole, immagini, suoni...), ogni oggetto corrispondente ad un determinato stato di attività della rete: un oggetto = stringa di N bit = ξ 1,..., ξ N = una configurazione della rete; ξ i = ±1: neurone i-esimo attivo o a riposo Evidentemente matrice sinaptica e memoria devono essere legate. Regola di Hebb: J ij = ε ij N p µ=1 ξ (µ) i ξ (µ) j = ε ij N p µ=1 [ ξ (µ) ( ξ (µ)) T ] ij Dunque p stringhe ξ (µ) = ξ (µ) 1,..., ξ(µ) N (µ = 1,..., p) di N bit ciascuna (oggetti in memoria) e una assegnata matrice di adiacenza (struttura delle connessioni) determinano la matrice sinaptica: questo è il modello di Hopfield.

23 Le stringhe ξ (µ) che determinano la matrice sinaptica sono attrattori per il sistema dinamico se σ(nτ) n ξ (ν) per qualche ν = 1,..., p che dipende dallo stato iniziale σ(0) della rete. In questo caso parliamo di memoria associativa: ad una classe di stati iniziali di attività viene associato (dalla dinamica) uno stesso stato di attività asintotico della rete, stato che quindi rappresenta la classe di dati di partenza. Il modello matematicamente piú semplice da trattare è quello in cui ξ (µ) i e ξ (ν) j sono variabili aleatorie indipendenti (per i j e/o µ ν) e suscettibili di assumere i valori ±1 con la stessa probabilità a priori. In questo caso il riconoscimento ha ovvio carattere probabilistico.

24 Perchè la regola di Hebb? Vogliamo che un dato pattern ξ risulti punto fisso di S: S[ξ] = ξ, ovvero ξ i = sign j J ij ξ j. ( ) Se J ij = cε ij ξ i ξ j (un solo pattern memorizzato), con c > 0, allora j J ij ξ j = j [cε ij ξ i ξ j ]ξ j = = card[c pre (i)] cξ i, j ε ij cξ i di segno ξ i, cioè la ( ), se esiste almeno un neurone presinaptico. Quando si memorizzano piú pattern e la matrice J è somma di proiettori, ci si aspetta l esistenza di punti fissi in senso probabilistico.

25 Esistenza di punti fissi Proposizione 1 Per il modello di Hopfield con p patterns di memoria aleatori ξ (µ), µ = 1,..., p, e matrice di adiacenza assegnata, vale, per ogni i = 1,..., N e ogni µ = 1,..., p, la stima P ξ (µ) i = sign j J ij ξ (µ) j dove A i = card[c pre (i)]. Dimostrazione j J ij ξ (µ) j 1 p 1, A i = A i N ξ(µ) i + R i, in cui il resto R i ha valore di aspettazione nullo: E(R i ) = 0. Osserviamo ( inoltre che se R i < A i /N, allora sign j J ij ξ (µ) ) j = ξ (µ) i.

26 Quindi: P ξ (µ) i = P P [ [ ξ (µ) i = 1 P = sign j = sign R i < A i N [ ] = R i A i N J ij ξ (µ) j = ( Ai N ξ(µ) i + R i )] ] 1 E(R2 i ) (A i /N) 2 = 1 p 1 A i. Osservazione: se A i N e p/n 0 quando N +, si dimostra che P [ ξ (µ) = S [ ξ (µ)]] 1 per N +, per ogni pattern µ.

27 Proposizione 2 Dinamica I Se J ij = J ji (cioè ε ij = ε ji ) allora σ(nτ) = S n [σ(0)] tende, per n, ad un punto fisso di S oppure ad un ciclo binario (orbita periodica di periodo 2τ). Dimostrazione Definiamo, per t τ, E(t) N i,j=1 J ij σ i (t)σ j (t τ) E(t) N(N 1)sup ij { J ij }. Inoltre E(t + τ) E(t) = i [σ i (t + τ) σ i (t τ)] j( i) J ij σ j (t) = = [σ i (t + τ) σ i (t τ)]h i (t) 0 i e il segno di uguaglianza vale se e solo se σ i (t + τ) = σ i (t τ) per ogni i.

28 Dinamica II (Riconoscimento ad un passo) Proposizione 3 Sia σ i (0) = η i ξ (µ) i (i = 1,..., N), dove η i = 1 con probabilità q < 0.5 ed η i = 1 con probabilità 1 q (meno del 50% dei bit di partenza sbagliati rispetto alla stringa µ). Se A i N per ogni i e p/n 0 per N +, allora per N +. P [ S[σ(0)] = ξ (µ)] 1

29 D. J. Amit, Modellizzare le funzioni del cervello, Cedam, Padova, B. Tirozzi, Modelli matematici di reti neurali, Cedam, Padova, J. J. Hopfield, Brain, neural networks, and computation, Review of Modern Physics 71 S431 (1999).