Capitolo 3: Ottimizzazione non vincolata parte III. E. Amaldi DEI, Politecnico di Milano

Transcript

1 Capitolo 3: Ottimizzazione non vincolata parte III E. Amaldi DEI, Politecnico di Milano

2 3.4 Metodi di ricerca unidimensionale In genere si cerca una soluzione approssimata α k di min g(α) = f(x k +αd k ) α 0 Per garantire convergenza globale basta soddisfare opportune condizioni(wolfe, Goldstein). Risoluzione esatta troppo costosa dal punto di vista computazionale. Esistono vari metodi con e senza derivate. In genere 2 fasi: - si determina un itervallo [a, b] che contiene passi accettabili ( bracketing phase ) - si seleziona il passo riducendo l ampiezza dell intervallo ed effettuando un interpolazione di valori di g e g per stimare il minimo Interpolazione Si parte da [a,b] che contiene un minimo locale di g(α). Si interpola un polinomio del 3 o grado rispetto ai valori g(a), g(b), g (a), g (b). Sia α il minimo di questo polinomio su [a,b]. Si rimpiazza a o b con α a seconda del segno di g (α), e si ripete l iterazione. 1

3 Bisezione g C 1, g (0) < 0 perché d k direzione di discesa e α t.c. g (α) > 0 per α α Si parte da [α min,α max ] t.c. g (α min ) < 0 e g (α max ) > 0 e si riduce iterativamente secondo il principio di bisezione Iterazione: porre α = 1 2 (α min +α max ) se g ( α) > 0 α max := α se g ( α) < 0 α min := α altrimenti END Convergenza lineare con rapporto 1/2 Per trovare [α min,α min ] iniziale: 1) α min := 0 e s := s 0 (dato passo) 2) Calcolare g (s) se g (s) < 0 α min := s e s := 2s e GOTO 2) se g (s) > 0 α max := s END 2

4 Principio si può adattare per determinare un passo α k che soddisfa le condizioni di Wolfe Procedura: 0) Scegliere α > 0 e porre α min = α max = 0 1) Se α soddisfa Wolfe (3) GOTO 2) altrimenti α max := α e α := α min+α max 2 e GOTO 1) 2) Se α soddisfa Wolfe (4) α k = α STOP altrimenti α min := α e GOTO 1) α := { 2α min se α max = (α min +α max ) se α max > 0 Si può verificare: Proposizione: Se f C 1 e f è limitata inf. lungo il raggio {x k + αd k : α 0}, la procedura termina dopo un numero finito di iterazioni e fornisce un α k che soddisfa entrambe le cond. di Wolfe. 3

5 3.5 Metodo del gradiente Si cerca un punto stazionario di f : R n R con f C 1 Metodo del gradiente con ricerca 1-D esatta: Scegliere x 0 d k := f(x k ) α k > 0 tale che min α 0 g(α) = f(x k +αd k ) x k+1 := x k +α k d k Criteri di arresto: f(x k ) < ε o f(x k ) f(x k+1 ) < ε o x k+1 x k < ε Osservazione: Le direzioni successive sono ortogonali! Poiché α k t. c. min α 0 g(α) = f(x k +αd k ), g (α k ) = t f(x k +α k d k )d k = t f(x k+1 )d k = 0 e quindi d t k+1d k = t f(x k+1 )d k = 0 4

6 Esempio: traiettoria a zig zag, convergenza molto lenta Per studiare le proprietà di convergenza iniziamo con le funzioni quadratiche strettamente convesse. Caso importante perché qualsiasi funzione di classe C 2 può essere bene approssimata intorno ad un minimo locale/globale da una funzione quadratica. 5

7 Per funzione quadratica strettamente convessa f(x) = 1 2 xt Qx b t x con Q simmetrica e definita positiva (minimo globale è l unica soluzione di f(x) = Qx b = 0 e quindi di Qx = b) α k può essere determinato esplicitamente: g(α) = f(x k α f(x k )) = 1 2 (x k α f(x k )) t Q(x k α f(x k )) b t (x k α f(x k )) g (α) = t f(x k )Q(x k α f(x k ))+b t f(x k ) = 0 visto che t xf(x k ) = x t k Q bt implica b t = t f(x k )+x t k Q quindi t f(x k )Qx k +α t f(x k )Q f(x k )+( t f(x k )+x t kq) f(x k ) = 0 e in termini di d k : α k = t f(x k ) f(x k ) t f(x k )Q f(x k ) α k = dt kd k d t kqd k 6

8 Rapidità di convergenza: Spesso si considera la rapidità di convergenza con la quale f(x k ) f(x ) invece di x k x 0 quando k Se H(x ) definita positiva è facile verificare che x k x linearmente (superlinearmente) rispetto a f(x k ) f(x ) se e solo se converge nello stesso modo rispetto a x k x Infatti, vicino a x f(x) f(x )+ 1 2 (x x ) t H(x )(x x ) e intorno N(x ) tale che λ 1 x x 2 f(x) f(x ) λ n x x 2 x N(x ) con λ 1 = λ 1 ε > 0 e λ n = λ n +ε, dove ε > 0 e 0 < λ 1... λ n sono gli autovalori di H(x ) NB: In generale non esiste un equivalenza (e.g. metodo del sotto-gradiente) ma vale per funzioni quadratiche strettamente convesse 7

9 Per funzioni quadratiche strettamente convesse f(x) = 1 2 xt Qx b t x, si considera la norma pesata: x 2 Q := xt Qx Poiché Qx = b 1 2 x x 2 Q = 1 2 (x x ) t Q(x x ) = 1 2 xt Qx+ 1 2 x t Qx x t Qx = f(x) f(x ) Teorema: Seilmetododelgradienteconottimizzazione1-Desattavieneapplicatoadf C 1 quadraticastrettamente convessa, {x k } x per qualsiasi x 0 e dove 0 < λ 1... λ n sono gli autovalori di Q. x k+1 x 2 Q ( λ n λ 1 λ n +λ 1 ) 2 x k x 2 Q Dimostrazione: risultato di convergenza globale (Zoutendijk) + esercizio 2.5 Se λ 1 = λ n (Q = γi e curve di livello sono dei cerchi), metodo converge in una iterazione Aikake ha mostrato che questo limite superiore è raggiunto per certe scelte di x 0 8

10 Il tasso di convergenza dipende dal numero di condizionamento κ = λ n λ 1 di Q: r = ( λ n λ 1 λ n +λ 1 ) 2 = ( κ 1 κ+1 )2 r è tanto più piccolo quanto κ è vicino ad 1; se lo spettro di Q è molto ampio allora κ 1 e r 1. Funzioni non lineari generiche: Se f C 2 e metodo del gradiente con ricerca 1-D esatta converge a x con H(x ) definita positiva, allora f(x k+1 ) f(x ) ( λ n λ 1 λ n +λ 1 ) 2 [f(x k ) f(x )] dove 0 < λ 1... λ n sono gli autovalori di H(x ). In genere non ci si può aspettare convergenza migliore con ricerca 1-D inesatta Determinare α k che minimizza g(α) può non essere la scelta migliore, bisognerebbe cercare di estrarre informazioni del 2 o ordine su f(x) Ad esempio, per f quadratica strettamente convessa α k = 1/λ k+1 converge a x in al più n passi! 9

11 3.6 Metodo di Newton Siano f C 2 e H(x k ) = 2 f(x k ) Consideriamo l approssimazione quadratica intorno a x k : q k (x) := f(x k )+ t f(x k )(x x k )+ 1 2 (x x k) t H(x k )(x x k ) e scegliamo come x k+1 un suo punto stazionario ( x q k (x) = 0), ovvero tale che f(x k )+H(x k )(x k+1 x k ) = 0 Se H(x k ) non singolare, H 1 (x k ) esiste e x k+1 := x k H 1 (x k ) f(x k ) Se H(x ) è definita positiva, allora f C 2 implica H 1 (x) definita positiva su N(x ) e l iterazione è ben-definita in N(x ), altrimenti direzione potrebbe non essere di discesa Proprietà: Metodo invariante rispetto a cambio di coordinate affine non singolare (esercizio 2.4) Nel metodo di Newton puro α k = 1 per ogni k. Se f è una funzione quadratica strettamente convessa, il minimo globale si trova in un unica iterazione. 10

12 Osservazione: Per funzioni generiche convergenza locale molto rapida, ma non globale! Esempio 1-D: g(α) C 2 e si cerca α tale che g (α) = 0 All iterazione k, g (α) approssimata con la tangente in α k z = g (α k )+g (α k )(α α k ) α k+1 corrisponde all intersezione con asse di α: α k+1 = α k g (α k ) g (α k ) Caso di g(α) = exp( α 2 ) con g (α) = 2αexp( α 2 ) Interpretazione alternativa del metodo di Newton per la minimizzazione di funzioni non lineari: si determina un punto stazionario di f risolvendo il sistema non lineare f(x) = 0 mediante il metodo di Newton-Raphson (metodo delle tangenti per determinare gli zeri di una funzione) 11

13 Teorema: Supponiamo f C 2 e x tale che f(x ) = 0 e H(x ) definita positiva e H(x) H(y) L x y x,y N(x ) allora, per x 0 sufficientemente vicino al minimo locale x, i) {x k } x con rapidità di convergenza quadratica, ii) { f(x k ) } 0 quando k quadraticamente. Svantaggi: se H(x k ) è singolare il passo non è ben-definito se H 1 (x k ) non è definita positiva, la direzione di Newton può non essere di discesa per f anche se la direzione è di discesa il passo α k = 1 potrebbe aumentare il valore di f calcolo di H 1 (x k ) ad ogni iterazione ( complessità O(n 3 ) ) se x 0 non è abbastanza vicino al minimo locale la sequenza {x k } può non convergere (convergenza solo locale) poiché il metodo converge a partire da un intorno di un qualsiasi punto stazionario in cui 2 f(x k ) non è singolare, può convergere verso massimi locali 12

14 Modifiche del metodo di Newton Poiché il passo α k = 1 risulta a volte troppo lungo, si può effettuare una ricerca 1-D nella direzione d k (ma onere computazionale più elevato) Per garantire la convergenza globale, si può modificare la direzione di Newton considerando d k = D k f(x k ) con una matrice D k diversa da [ 2 f(x k )] 1. Se D k è simmetrica e definita positiva, d k è una direzione di discesa Compromesso tra direzioni di massima discesa e di Newton: D k := (ε k I + 2 f(x k )) 1 dove ε k > 0 sono i più piccoli valori tali che gli autovalori di (ε k I + 2 f(x k )) siano δ > 0. Esiste sempre un ε k che rende D k definita positiva Coincide con metodo puro di Newton quando ci si avvicina ad un minimo locale Altro tipo di varianti: metodi a passi ristretti in cui la direzione e il passo vengono determinati contemporaneamente minimizzando l approssimazione quadratica q k (x) intorno a x k corrente su una regione di confidenza ( trust region ) in cui q k fornisce una buona approssimazione di f. 13