1. Il cognitivismo classico 2. L approccio innatistamodulare. 3. L approccio connessionista 4. Il neurocostruttivismo

Transcript

1 Lezione 3 Connessionismo MODULO 3 Le teorie dell elaborazione delle informazioni 1. Il cognitivismo classico 2. L approccio innatistamodulare 3. L approccio connessionista 4. Il neurocostruttivismo Argomenti Dalla metafora del computer alla metafora del cervello L architettura dei modelli connessionisti Il funzionamento delle reti neurali L apprendimento delle reti neurali Apprendimento per associazione Apprendimento guidato dall errore Risposta alle domande evolutive Limiti del connessionismo

2 Dalla metafora del computer alla metafora del cervello Limiti della metafora del computer Disinteresse per il substrato neurale L hardware non si modifica nel corso dello sviluppo Raramente si usa il computer per le simulazioni L approccio connessionista Uso generalizzato della simulazione Modelli basati sul funzionamento del cervello e più in generale sui sistemi dinamici complessi funzionamento del cervello rappresentazioni dominio-specifiche, come alcuni contenuti di conoscenza relativi a domini particolari sarebbero presenti alla nascita.

3 Il metodo della simulazione Per i cognitivisti La mente manipola simboli Procede in modo seriale Per i connessionisti Spiegare il funzionamento della mente in base alle proprietà del cervello Uso della simulazione Vantaggi della simulazione Controllo sulle variabili Osservare cambiamenti che avvengono in tempi lunghi Ontogenesi Filogenesi Definizione precisa dei concetti impiegati

4 L architettura dei modelli connessionisti: le reti neurali Le reti neurali sono dei modelli teorici e metodologici che consentono di studiare nello stesso tempo il sistema nervoso e il comportamento Rete neurale Unità di elaborazione Connessioni Le connessioni sono caratterizzate da pesi specifici, eccitatori o inibitori Le reti neurali possono essere organizzate in strati Strato di input Strato delle unità nascoste Strato di output

5 La rete neurale come modello del cervello RETE NEURALE Unità di elaborazione Connessioni Propagazione dell attivazione tra le unità Attivazione di un unità in base alla somma di connessioni eccitatorie e inibitorie che giungono all unità Soglie di attivazione delle unità Apprendimento come aumento/diminuzione dei pesi delle connessioni Danneggiamento graduale CERVELLO Neuroni o popolazioni di neuroni Connessioni sinaptiche Trasmissione dell attività nervosa Funzione integrativa del sisyema nervoso Soglie di attivazione dei neuroni Rafforzamento/indebolimento dei collegamenti sinaptici Plasticità cerebrale

6 Rete neurale: esempio Esempio: percepire la parola LEONE Lo strato di input vede la parola LEONE Lo strato nascosto comprime in qualche modo le informazioni Lo strato di output esprime la risposta motoria della rete all input ricevuto

7 Il funzionamento delle reti neurali Il firing di un singolo neurone è lento (dura millisecondi) La velocità ed efficienza vengono ottenute tramite l attivazione in parallelo di molti neuroni Analogamente avviene per le reti neurali: Elaborazione in parallelo Modelli PDP (Parallel Distributed Processing) Ogni unità possiede una soglia di attivazione Il funzionamento delle unità segue un andamento non lineare Per l attivazione si deve superare la soglia Una volta superata la soglia l attivazione non aumenta all aumentare della somma degli input

8 Proprietà delle reti neurali SUBSIMBOLI Ogni unità elabora frammenti di informazione più piccoli di un simbolo Es. memorizzare un quadrato blu Ogni subsimbolo acquista significato se integrato con altri subsimboli RAPPRESENTAZIONI DISTRIBUITE Le rappresentazioni nella rete corrispondono Non a singole unità Ma a configurazioni di connessioni tra unità Esempio: percezione e discriminazione di parole Input segmenti della lettera Nascosto lettere

9 Vantaggi delle rappresentazioni distribuite Una stessa configurazione di unità può rappresentarsi concetti diversi ( pesi) Si attiva anche in presenza di una rilevazione incompleta dell oggetto Es. leggere una parola priva di una lettera Il danneggiamento di alcune unità non compromette il funzionamento complessivo della rete Pur essendo continue e graduate le rappresentazioni della rete possono manifestare proprietà binarie e categoriali

10 Apprendimento nelle reti neurali Le reti neurali hanno la capacità di modificare attraverso l apprendimento la loro struttura Attraverso le simulazioni connessioniste è possibile studiare quali meccanismi consentono l apprendimento e lo sviluppo All inizio i pesi della rete possono essere assegnati a caso Successivamente cambiano in base all algoritmo di apprendimento impiegato Le principali tecniche impiegate Apprendimento per associazione (Hebbian learning o unsupervised learning) Apprendimento guidato dall errore (error-driven learning o supervised learning)

11 L apprendimento per associazione Prevede che le connessioni tra le unità deputate alla codifica di stimoli che si presentano frequentemente nell ambiente tendono a rafforzarsi Mentre le connessioni tra unità deputate alla codifica di stimoli che si presentano raramente tendono a indebolirsi Esempio: apprendimento di fonemi La rete impara ad organizzare in modo categoriale le informazioni estrazione di regolarità statistiche Le informazioni ambientali che cooccorrono con maggiore frequenza hanno una pù alta probabilità di essere connesse

12 Apprendimento guidato dall errore Algoritmo della retropropagazione Durante il periodo di apprendimento, per un dato input si confronta l output fornito dalla rete con quello desiderato Si calcola la discrepanza e si modificano i pesi in base alla regola e di backpropagation Si ripete il ciclo fino a portare a zero l errore Esempi: discriminare i numeri: pari/dispari volti di persone giovani/anziane Verbi: regolari/irregolari Apprendimento di regole grammaticali Concordanza di genere e numero tra nome e aggettivo, o tra nome e verbo

13 Apprendimento e sviluppo nelle reti neurali Elman ha osservato che la capacità della rete di modificare la propria configurazione risulta vincolata dall apprendimento precedente relativo a stringhe più corte Le nuove informazioni modificano continuamente la struttura della conoscenza già esistente

14 Cosa e come si sviluppa? Nel corso del tempo si modifica la struttura stessa della rete attraverso l apprendimento Recupero della visione costruttivista piagetiana Modificazione delle rappresentazioni che la rete si costruisce dell ambiente

15 Lo sviluppo cognitivo è un processo dominio-generale o dominio-specifico? Da un lato i modelli connessionisti usano gli stessi algoritmi di apprendimento per categorie di input diverse Dall altro ogni rete codifica una sola categoria di input in relazione a uno specifico compito Esempio Acquisizione del linguaggio Conoscenza del numero Conoscenza dell oggetto Le reti neurali sono dominio-specifiche da un punto di vista rappresentazionale dominio-generali dal punto di vista delle risoorse

16 Natura ed esperienza Posizione anti-innatista nel connessionismo classico Assegnazione di pesi arbitrari Recupero di posizioni innatiste pesi preassegnati numero di strati e/o di unità per strato La velocità con la quale i pesi si modificano Rivalutazione dei periodici critici: the importance of starting small Esempio, l acquisizione di regole grammaticali (Elman, 1993) Disporre della capacità di elaborare un ridotto numero di informazioni, facilita la rete nell individuare semplici regolarità statistiche presenti nell ambiente

17 Continuità/discontinuità L apprendimento è l unico fattore dello sviluppo Procede in modo continuo e graduale Segue però traiettorie non lineari (cambiamento stadiale) Esempio: compito della bilancia di Siegler Le reti neurali spiegano Cambiamenti stadiali Cambiamenti evolutivi a U Es ipercorrettismi come nel caso del participio passato Comportamento linguistico come risultato di meccanismi distinti Insorgenza di disordini evolutivi Emergenza di processi di specializzazione

18 Limiti del connessionismo Limiti della metodologia della simulazione Le reti connessionistiche simulano il funzionamento del cervello solo metaforicamente Le competenze procedurali delle reti le conoscenze e le rappresentazioni nelle reti neurali rimangono sempre a un livello implicito Le reti neurali sanno fare molte cose ma non hanno nessuna idea su come riescano a farlo (Mandler, 1988)

19 Analogie tra rete neurale e cervello CONCETTI DEL CONNESSIONISMO

20 Elementi di una rete neurale Unità di elaborazione Connessioni Eccitatorie Inibitorie Pesi delle connessioni Strati Input Unità nascoste output Soglia di attivazione Funzione non lineare CONCETTI DEL CONNESSIONISMO

21 Subsimbolo Rappresentazione distribuita CONCETTI DEL CONNESSIONISMO attività rappresentativa nelle reti neurali

24 CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali Apprendimento associativo Estrarre regolarità Apprendimento guidato dall errore Retropropagazione

25 Apprendimento associativo Estrarre regolarità CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali

26 Apprendimento associativo Estrarre regolarità CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali

27 Apprendimento guidato dall errore Retropropagazione CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali

28 Apprendimento guidato dall errore Retropropagazione CONCETTI DEL CONNESSIONISMO apprendimento nelle reti neurali

29 Modificazioni nella struttura della rete Traiettorie non lineari Cambiamento stadiale Curva a U CONCETTI DEL CONNESSIONISMO connessionismo e cambiamento evolutivo