Reti Neurali. Giuseppe Manco. References: Chapter 4, Mitchell Chapter 1-2,4, Haykin Chapter 1-4, Bishop. Reti Neurali

Transcript

1 Giuseppe Manco References: Chapter 4, Mitchell Chapter 1-2,4, Haykin Chapter 1-4, Bishop

2 Perceptron Learning Unità neurale Gradiente Discendente Reti Multi-Layer Funzioni nonlineari Reti di funzioni nonlineari Backpropagation dell errore L algoritmo backpropagation problematiche Ottimi locali Overfitting

3 Il cervello umano Tempo di switch di un neurone: ~ (10-3 ) secondi Numero di neuroni: ~ miliardi ( ) connessioni per neurone: ~ ( ) Tempo di classificazione: ~0.1 secondi artificiali a system composed of many simple processing elements operating in parallel whose function is determined by network structure, connection strengths, and the processing performed at computing elements or nodes. - DARPA (1988) Proprietà Molti neuroni Molte interconnessioni pesate Computazione distribuita I pesi si costituiscono automaticamente

4 Input: dati numerici di alta dimensionalità Esempio: input da sensori Rumore Output: nominale/numerico/vettoriale Funzione di forma ignota Risultato: leggibilità meno importante delle performances Performance misurata in termini di accuratezza Leggibilità: capacità di spiegare l inferenza Esempi Classificazione di immagini Predizione finanziaria

5

6 Dimensionalità

7 + + x x Dato x, vogliamo trovare h(x) consistente con c(x) h(x) può essere approssimata con una funzione lineare y y = 1: h(x) = + y = 0: h(x) = - Qual è una possibile istanziazione di y? generalizzazione?

8 x 1 x 2 x n w 1 w 2 w n x 0 = 1 w 0 Σ Perceptron: modello neuronale singolo Input definito come una combinazione lineare Output: funzione di attivazione basata su una soglia sull input (threshold θ = w 0 )

9 + x 2 + x x x 1 Esempio A Esempio B Il perceptron può rappresentare alcune funzioni Emulazione di porte logiche ESERCIZIO: Quali pesi rappresentano g(x 1, x 2 ) = AND(x 1, x 2 )? OR(x 1, x 2 )? NOT (x)? Alcune funzioni non sono rappresentabili Non linearmente separabili

10 Regola di learning del Perceptron (Rosenblatt, 1959) Idea: un target può aggiornare I pesi in modo tale da produrre l output desiderato dove t = c(x) è il valore di output atteso, o è il valore di output calcolato η è il tasso di learning

11 Algorithm Train-Perceptron (D {<x, t(x) c(x)>}) inizializza tutti I pesi w i a valori random WHILE non tutti i valori sono predetti correttamente DO FOR EACH istanza x D Calcola l output o(x) FOR i = 1 to n w i w i + η(t - o)x i

12 Teorema di convergenza Se esiste un insieme di pesi consistente con i dati (cioè: I dati sono linearmente separabili), l algoritmo converge Complessità computazionale Regioni non linearmente separabili Se le regioni non sono linearmente separabili, l algorimo entra in un loop infinito Cicla sugli stessi pesi

13 Unità lineari Consideriamo l unità più semplice: Obiettivo: trovare il migliore adattamento a D Algoritmo di approssimazione Minimizzare l errore sul training set D Funzione dell errore: Somma dei quadrati (SSE) Come si minimizza? Ottimizzazione semplice Ci muoviamo in direzione del più ripido gradiente nello spazio pesi-errore

14 Vogliamo trovare una sequenza di pesi w(1), w(2),, w(t) tali che Metodo: Giustificazione: Sviluppo in serie di Taylor al primo ordine Sostituendo, Quando η è positivo, il secondo addendo è sempre negativo

15 Il gradiente Regola di learning

16 Algorithm Gradient-Descent (D, r) Ogni istanza ha la forma <x, t(x)>, dove x è il vettore di input e t(x) è il valore di output. r è il tasso di learning (ad esempio, 0.05) Inizializza i pesi w i a valori random WHILE la condizione di terminazione non è soddisfatta, DO Inizializza ogni Δw i a 0 FOR each <x, t(x)> in D, DO Calcola o(x) FOR each w i, DO FOR each w i, DO RETURN w Δw i Δw i + r(t - o)x i w i w i + Δw i

17 + + x x x x x x 1 Esempio A Esempio B Esempio C Concetti Linearmente Separabili: classificazione ottimale esempio A: Convergenza Concetti Non-LS: approssimazione esempio B: non LS; la delta rule converge, ma non è ottimale esempio C: non LS; buona generalizzazione Vettore w = somma dei x D misclassificati Perceptron: minimizza w Delta Rule: minimizza errore distanca dal separatore

18 Funzione di base: Classificazione binaria Separabilità lineare Due estensioini: K classi Relazioni nonlineari

19 K classi Relazioni nonlineari

20 Unità nonlineari Funzione d attivazione (originaria): sgn (w x) Attivazione nonlinare: generalizzazione di sgn Output Layer Hidden Layer o 1 o 2 h 1 h 2 h 3 h 4 v 42 Reti Multi-Layer Multi-Layer Perceptrons (MLPs) Input Layer u 11 x 1 x 2 x 3 Una rete multi-layer feedforward è composta da uno strato di input, uno strato intermedio (nascosto) e uno strato di output Gli strati di output è intermedi sono perceptrons (unità nonlineari) MLPs in teoria Le reti (di 2 or o più strati) possono rappresentare qualsiasi funzione MLPs in pratica Trovare la topologia giusta è difficoltoso La fase di training è molto dispendiosa

21 x 1 x 2 x n w 1 w 2 w n x 0 = 1 w 0 Σ Funzione sigmoidale Funzione di attivazione a threshold: sgn (w x) Funzione nonlineare: generalizzazione di sgn σ è la funzione sigmoidale utile per ottenere l update dal gradiente per Una unità Reti Multi-layer Funzione iperbolica

22

23 Obiettivo: minimizzazione dell errore Utilizzando Dobbiamo calcolare

24 Per un peso di output, otteniamo:

25 riassumendo: Regola di aggiustamento:

26 Su un peso interno, otteniamo:

27 riassumendo: Regola di aggiustamento:

28 Idea: Riportiamo l effetto dell errore ai layers successivi Algorithm Train-by-Backprop (D, r) Ogni istanza ha la forma <x, t(x)>, dove x è il vettore di input e t(x) è il valore di output. r è il tasso di learning (ad esempio, 0.05) Inizializza tutti i w i a valori random UNTIL la condizione di terminazione non è ottenuta, DO FOR EACH <x, t(x)> in D, DO calcola o(x) = σ(net(x)) FOR EACH unità k di output, DO FOR EACH unità j interna, DO Output Layer Hidden Layer o 1 o 2 h 1 h 2 h 3 h 4 v 42 Aggiorna ogni w = w i,j (a = x j ) o w = v j,k (a = z k ) Input Layer w 11 x 1 x 2 x 3 w start-layer, end-layer w start-layer, end-layer + Δ w start-layer, end-layer Δw start-layer, end-layer ηδ end-layer a end-layer RETURN w, v

29 Gradiente Discendente Trova un ottimo locale Backprop in pratica Tipicamente, si tende ad includere il momento α Quanto generalizza su altri esempi? La fase di training è molto lenta: migliaia di iterazioni (epoche) Inferenza (applicazione della rete) estremamente veloce

30 x 1 x 2 x 1 x 2 x 1 x 2

31 Representational (i.e., Expressive) Power 2-layer feedforward ANN Funzioni booleane Ogni funzione continua limitata 3-layer feedforward ANN: Qualsiasi funzione Inductive Bias Spazio delle ipotesi continuo Spazio euclideo n-dimensionale (spazio dei pesi) Preference bias: interpolazione tra gli esempi positivi Non ancora compreso a fondo

32 Unità interne e Feature Extraction I valori interni rappresentano le proprietà essenziali dell input esempio

33 error D (o k ) z j ( ), 1 j 3

34 u i1, 1 i 8 w 0 converge a 0 Cambiamneti dopo le prime 1000 epoche

35 Overfitting h peggio di h su D train, meglio su D test Overtraining Overfitting dovuto a troppe iterazioni

36 Altre possibili cause Il numero di nodi interni è fissato Troppo pochi ( underfitting ) Troppi Approcci La rete non riesce a riassumere Analogia: sistemi di equazioni non determinati (troppe variabili rispetto alle equazioni) La rete non generalizza analogia: approssimare una parabola con un polinomio di grado >> 2 Prevenzione: selezione degli attributi aggiramento Hold out o k-fold cross-validation Weight decay: decrementiamo ogni peso di un certo fattore ad ogni epoca recovery: aggiunta o cancellazione di unità interne

37 sinistra fronte destra su 30 x 32 Inputs