Metodi incrementali. ² Backpropagation on-line. ² Lagrangiani aumentati

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Metodi incrementali. ² Backpropagation on-line. ² Lagrangiani aumentati"

Raffaella Corradi
8 anni fa
Visualizzazioni

1 Metodi incrementali ² Backpropagation on-line ² Lagrangiani aumentati 1

2 Backpropagation on-line Consideriamo un problema di addestramento di una rete neurale formulato come problema di ottimizzazione del tipo: X P min w E(w) = E p (w); p=1 w 2 R n in cui E p µe l'errore relativo al pattern p mo del training set. La versione on-line del metodo di backpropagation, (che µe la versione piµu usata nella letteratura neurale), consiste nell'aggiornare w in corrispondenza a ogni termine di errore E p (o ad ogni blocco di termini), senza prima formare la funzione E come nei metodi batch. Ciµo corrisponde all'iterazione w k+1 = w k kre p (w k ); dove k µe la learning rate. L'algoritmo di addestramento del perceptron µe un metodo on-line. Nella letteratura statistica ciµo corrisponde al metodo di approssimazione stocastica. 2

La versione on-line del metodo di backpropagation, (che µe la versione piµu usata nella letteratura neurale), consiste nell'aggiornare w in corrispondenza a ogni termine di errore E p (o

3 Le motivazioni principali sono: ² l'insieme di addestramento puµo essere molto grande e ridondante ² a (grande) distanza da una soluzione puµo non essere conveniente impiegare molto tempo a calcolare tutta la funzione e le sue derivate, ma µe preferibile ridurre rapidamente un qualsiasi termine di errore ² la tecnica on-line introduce una certa randomicitµa che fa sfuggire dall'attrazione di punti di minimo locale irrilevanti ² i dati di addestramento possono non essere disponibili al momento in cui viene avviato l'addestramento (on-line learning) I fondamenti statistici dei metodi on-line sono oggetto di un intensa attivitµa di ricerca nella letteratura neurale. D.Saad(ed.), On-line learning in neural networks, Cambridge University Press,

dall'attrazione di punti di minimo locale irrilevanti ² i dati di addestramento possono non essere disponibili al momento in cui viene avviato l'addestramento (on-line learning) I

4 Da un punto di vista deterministico, se si suppone che tutti i dati siano disponibili, i metodi on-line si possono vedere come metodi incrementali (Bertsekas), in cui ad ogni iterazione si usano solo informazioni parziali sull'obiettivo. Dal punto di vista teorico, se si suppone che i termini di E siano considerati ciclicamente µe possibile stabilire sotto opportune condizioni la convergenza della backpropagation on-line, che µe stata studiata sia in termini probabilistici che in termini deterministici (White, Luo, Mangasarian and Solodov, Gaivoronski, Tseng). Se i gradienti re p soddisfano una condizione di Lipschitz e si suppone che la successione fw k g sia limitata, e che valgano le condizioni 1X k=0 k = 1; 1X k=0 ( k ) 2 < 1; si puµo dimostrare che ogni punto limite µe un punto stazionario di E. In particolare, se si assume k = c=k; per c>0, le condizioni precedenti sono soddisfatte. 4

Dal punto di vista teorico, se si suppone che i termini di E siano considerati ciclicamente µe possibile stabilire sotto opportune condizioni la convergenza della backpropagation on-line, che µe

5 In pratica, in presenza di training set molto grandi e ridondanti la BP online puµo essere piµu e±cace di metodi di ottimizzazione piµu so sticati di tipo batch, almeno nelle fasi iniziali del processo di minimizzazione. Numerosi criteri euristici per la scelta di k sono stati studiati nella letteratura neurale. µe anche molto utilizzata la versione on-line del metodo momentum, in cui w k+1 = w k kre p (w k )+ (w k w k 1 ): Tuttavia, la principale limitazione del metodo BP-online consiste nel fatto che non µe possibile fornire criteri adattativi per la scelta del passo, se non imponendo a priori che il passo tenda a zero con una legge pre ssata, in quanto non si suppone nota una funzione obiettivo a cui far riferimento. 5

µe anche molto utilizzata la versione on-line del metodo momentum, in cui w k+1 = w k kre p (w k )+ (w k w k 1 ): Tuttavia, la principale limitazione del metodo BP-online consiste

6 Lagrangiani aumentati (esatti) Una diversa de nizione di tecniche di tipo online puµo essere basata sulla trasformazione del problema di addestramento in un problema equivalente vincolato, che puµo essere riformulato attraverso funzioni Lagrangiane aumentate e risolto con tecniche di decomposizione. Supponiamo che i dati siano suddivisi in N P blocchi, e ride niamo una funzione obiettivo del tipo: dove F = F j (w) := X F j (w); p2p j E p (x); supponendo che per ogni j 2f1;:::;Ng siano soddisfatte le condizioni (C1) kw k k!1implica F j (w k )!1: (C2) F j 2 C 2 : 6

7 Il problema originario si puµo porre nella forma: min con i vincoli F j (v j ) v j u =0; j =1;:::;N u 2 R n ;v j 2 R n ; j =1;:::;N; dove u and v j, for j = 1;:::;N sono N +1 copie del vettore w. Vogliamo de nire un nuovo problema non vincolato nelle variabili u and v j,tale che, quando u µe ssato, il problema si decompone in N sottoproblemi indipendenti. (Bertsekas Tsitsiklis: caso convesso con metodo dei moltiplicatori). Sia con componenti j 2 R n un vettore di moltiplicatori e de niamo la funzione Lagrangiana L(v; ; u) := F j (v j )+ Tj (v j u): 7

Vogliamo de nire un nuovo problema non vincolato nelle variabili u and v j,tale che, quando u µe ssato, il problema si decompone in N

8 De niamo una funzione Lagrangiana aumentata esatta ponendo: (v; ; u; c) := dove h Fj (v j )+¼ j (v j ; j;u; c j ) i ; ¼ j := Tj (v j u)+[c j + k jk 2 ]kv j uk 2 + krf j (v j )+ jk 2 ; e c j,, sono parametri positivi. Ponendo: Á j (v j ; j;u; c j ):=F j (v j )+¼ j (v j ; j;u; c j ); si ottiene il problema non vincolato min (v; ; u; c) = (v; ; u) Á j (v j ; j;u; c j ): Se u µe ssato la minimizzazione rispetto a (v; ) si puµo decomporre in N sottoproblemi indipendenti, ciascuno corrispondente alla funzione obiettivo Á j (v j ; j;u; c j ) che richiede solo la conoscenza di F j. Di Pillo, Grippo,

Ponendo: Á j (v j ; j;u; c j ):=F j (v j )+¼ j (v j ; j;u; c j ); si ottiene il problema non vincolato min (v; ; u; c) = (v; ; u) Á j (v j ; j;u; c j

9 Assegnati i vettori (v j ; j), la minimizzazione rispetto a u richiede solo la considerazione della funzione := Tj (v j u)+(c j + k jk 2 )kv j uk 2 ; che non dipende dai dati del problema di training e si puµo interpretare come una misura del `disagreement' tra i diversi addestramenti `locali' relativi alle N diverse `copie' della rete. Le proprietµa di e la convergenza di schemi di decomposizione sono state studiate in un lavoro recente. Si dimostra che esistono valori niti dei coef- cienti di penalitµa c j, che assicurano una corrispondenza uno-a-uno, in un insieme di livello compatto S 0, tra punti stazionari e punti di minimo globale di con punti stazionari e punti di minimo globale di F. (Grippo, IEEE TNN,2000) 9

Le proprietµa di e la convergenza di schemi di decomposizione sono state studiate in un lavoro recente.

10 Si possono de nire schemi diversi, in relazione a: ² il criterio usato per sequenziare e terminare i processi di addestramento locale; ² gli algoritmi usati per le minimizzazioni locali e per l'aggiornamento di u; ² il criterio usato per l'aggiornamento (automatico) dei coe±cienti di penalitµa La de nizione di algoritmi convergenti si puµo basare sui risultati relativi alla convergenza delle tecniche di decomposizione rispetto alle variabili richiamati in precedenza. 10

usato per l'aggiornamento (automatico) dei coe±cienti di penalitµa La de nizione di algoritmi convergenti si puµo

11 Tra le strategie possibili ² decomposizione in 2 blocchi: (v; ) =) u (calcolo parallelo) ² minimizzazioni sequenziali v j =) j =) u ² minimizzazioni sequenziali (v j ; j) =) u (compromesso tra batch e online) ² minimizzazioni sequenziali* (v j ; j;u)=) (v j+1 ; j+1 ;u) (richiesto l'uso di metodi tipo proximal point) Algoritmi locali: metodo (Proximal) GS a blocchi, oppure metodi di discesa a blocchi. Manca un'esperienza computazionale signi cativa. 11

minimizzazioni sequenziali* (v j ; j;u)=) (v j+1 ; j+1 ;u) (richiesto l'uso di metodi tipo proximal point)

Documenti analoghi

Capitolo 4: Ottimizzazione non lineare non vincolata parte II. E. Amaldi DEIB, Politecnico di Milano

Capitolo 4: Ottimizzazione non lineare non vincolata parte II E. Amaldi DEIB, Politecnico di Milano 4.3 Algoritmi iterativi e convergenza Programma non lineare (PNL): min f(x) s.v. g i (x) 0 1 i m x S