SQP (Sequential Quadratic Programming ) La soluzione del problema min f o (x) g i (x) = 0, i I

Transcript

1 SQP (Sequential Quadratic Programming ) La soluzione del problema min f o (x) g i (x) = 0, i I e caratterizzata dalle condizioni f o (x) + i I μ i g i (x) = 0 e dall ammissibilita ( g i (x) = 0, i I ) Si tratta di un sistema non lineare [ euqazioni (numero vincoli+dimensione x ) incognite x e m=(μ 1,..., μ i ) ] Se F(x.m) =0 e il sistema non lineare corrispondente il punto di ottimo puo essere cercato risolvendo F(x,m) = 0 attraverso il metodo di Newton Noto (x,m) stima dell ottimo e dei moltiplicatori si cerca (x,m) + dalla soluzione della linearizzazione F(x,m) + J(x,m)(p x,p m ) = 0 La trasformazione F(x,m) ha come Jacobiano W(x,m) A t (x) A(x) 0 con W(x,m) = 2 f o (x)+ μ i 2 g i (x) ( = 2 x L(x,m) = Hessiano lagrangiana) e A(x) matrice di righe g i (x) Da (x,m) stima dell ottimo e dei moltiplicatori si ottiene il nuovo punto (x +,m + ) calcolando (p x, p m ) e ponendo x + = x + p x m + =m + p m Le equazioni per (p x, p m ) derivano da F(x,m) + J(x,m)(p x,p m ) = 0 ovvero J(x,m) (p x, p m ) = - F(x,m) e sono ( g(x) vettore di componenti g i (x) ) W(x,m) p x + A t (x) p m = -( f(x) + m i g i (x) ) = - f(x)- A t (x)m A(x)p x = -g(x) Per la stuttura della matrice J(x,m) e da m+ = m + p m le equzioni si possono scrivere come W(x,m)p x + f(x) + A t (x) m + = 0 A(x) p x = -g(x)

2 Si tratta delle condizioni di ottimo ( soluzione p x e moltiplicatori m + ) del problema quadratico min 1/2 p x t W(x,m)px + f(x) t p x con vincoli A(x)p x = -g(x) ( vincoli g i (x) + g i (x) p x = 0 i I ) Noto ( x, m) il metodo di Newton per generare (x +,m + ) equivale a 1) considerare il problema quadratico min 1/2 p x t W(x,m)px + f(x) t p x con vincoli g i (x) + g i (x) p x = 0 i I 2) risolvere il problema quadratico e porre x + = x + p x 3) considerare i moltiplicatori ottenuti dal problema quadratico come nuova stima ( = m + ) dei moltiplicatori per il problema originale Vicino alla soluzione la convergenza del metodo di Newton e quadratica Se i vincoli ( o parte di questi ) sono g i (x) 0 si puo i) identificare i soli vincoli attivi ( indici per cui alla soluzione = 0 ) e non considerare gli altri ( se vicini alla soluzione) ii) generare vincoli lineari e risolvere il problema quadratico con vincoli g i (x) p x -g i (x) [ g i (x) + g i (x) p x 0 ] La soluzione del problema quadratico cosi vincolato distingue comunque tra vincoli attivi ( μ i > 0 ) e vincoli superflui ( μ i = 0 ) N.B. Per trovare/avvicinare la soluzione si potrebbe anche considerare il problema sempre quadratico [approx quadratica di f o e lineare dei vincoli g i ] min 1/2 p x t 2 fo (x) p x + f(x) t p x A(x)p x = -g(x) [g i (x) + g i (x) p x = 0 i I ] ma la matrice 2 f o (x) in generale non ha buone proprieta (positiva definita ecc ) se f non e convessa.

3 In ipotesi ragionevoli vicino all ottimo la matrice W(x,m) soddisfa le condizioni per la programmazione quadratica ( 2 x L(x,m) positiva definita se g i (x) t w = 0 ) Il problema quadratico ha una soluzione e tale soluzione ha un chiaro significato ( = metodo di Newton) Si puo partire da qualunque coppia (x,m) (punto x) e proseguire Il vettore m serve per generare esplicitamente la matrice W(x,m) o per calcoli che usano L(x,m) Si risolve problema quadratico ad ogni passo. Occorre avere f(x), f(x) e per ogni vincolo g i (x) g i (x). La matrice (Hessiano lagrangiana) W(x,m) = 2 f(x) + m i 2 g i (x) puo essere approssimata attraverso tecniche tipo quasi newton ( serve solo l inversa) Il punto iniziale puo essere distante dalla soluzione Puo servire introdurre un vincolo p x < Δ [tipo trust region] sul passo p x e una qualche funzione (merit function) che controlli l andamento complessivo [La funzione f deve scendere e i vincoli non devono essere violati. Se in x (iniziale) sono violati la violazione deve scendere ] Vicino alla soluzione x* i valori p x correggono l approssimazione (passo di Newton ) e sono uno spostamento. [ ma possibile αp x con 0<α<1] Lontano dalla soluzione p x sono una direzione che puo essere seguita se il modello e ragionevole [ possibile αp x con 0< α <?, passi lunghi possibili ma passi brevi necessari se l andamento di f e g e diverso dal modello ] ecc Si puo introdurre una funzione (di semplice calcolo) che diminuisca spostandosi verso la soluzione. Si segue la direzione p x fino a che la funzione (merit function ) scende Merit function Potrebbe andare bene una funzione tipo lagrangiana o lagrangiana aumentata Sono piu utilizzate altre funzioni Caso 1 Dato il problema min 1/2 d t Qd + f(x) t d e vincoli g i (x)+ g i (x) t d=0, i I Se Q definita positiva la soluzione d individua una direzione di discesa per la funzione ( se p > p* ) P(x) = f(x) + p g(x) 1 dove g(x) 1 rappresenta la norma 1 del vettore g = (g 1 (x),,g i (x),... )

4 P(x) non e continuamente differenziabile ma si puo calcolare la derivata nella direzione d (soluzione problema quadratico) fissata. Infatti se g i (x) + g i (x) t d = 0 g i (x) = - g i (x) t d e per 0<α<1 g i (x+αd) = g i (x) + α g i (x) t d + 0(α 2 ) = (1-α) g i (x) + 0(α 2 ) Segue P(x+αd) = f(x+αd) + p g(x+αd) 1 = f(x) +α f(x) t d + p(1-α) g(x) 1 + 0(α2 ) Per ottimalita di d Qd+ f(x) + μ i g i (x) = 0 e Quindi f(x) t d = -d t Qd - μ i g i (x) t d = -d t Qd + μ i g i (x) α f(x) t d = α (-d t Qd + μ i g i (x) ) P(x+αd) = f(x) + α (-d t Qd + μ i g i (x) ) + p(1-α) g(x) 1 + 0(α2 ) E allora Siccome P(x+αd) = P(x) + α (- d t Qd + μ i g i (x) - p g(x) 1 ) +0(α 2 ) se p > max ( μ i ) μ i g i (x) max ( μ i ) g(x) 1 la derivata direzionale (- d t Qd + μ i g i (x) - p g(x) 1 ) e < 0 Caso 2 Con il problema min 1/2 d t Qd + f(x) t d e vincoli g i (x)+ g i (x) t d 0, i I Se Q e definita positiva la soluzione d individua una direzione di discesa per la funzione ( se p > p* )

5 dove g i (x) + = max {0, g i (x) } P(x) = f(x) + p g i (x) + In questo caso g i (x) t d g i (x) g i (x+αd) = g i (x) + α g i (x) t d + 0(α 2 ) (1-α) g i (x) +0(α 2 ) e g i (x) < 0 [ g i (x) + = 0 ] g i (x+αd) 0 [ g i (x+αd) + = 0 ] (localmente) Si pone J ={i I / g i (x) 0 } e vale P(x) = f(x) + p i J g i (x) P(x+αd) = f(x+αd) + p g i (x+αd) + e per piccoli α si ha P(x+αd) = f(x) +α f(x) t d + p i J (1-α) g i (x) + 0(α 2 ) Per ottimalita f(x) t d = -d t Qd - μ i g i (x) t d = - d t Qd + μ i g i (x) Alla soluzione μ i (g i (x)+ g i (x) t d) = 0 - μ i g i (x) t d = μ i g i (x) e f(x) t d = -d t Qd + μ i g i (x) -d t Qd + i J μ i g i (x) [ da μ i 0 ] e se α > 0 Quindi α f(x) t d α ( -d t Qd + i J μ i g i (x) ) P(x+αd) f(x) +α ( -d t Qd + i J μ i g i (x) ) + p i J g i (x) - α p i J g i (x) + 0(α 2 ) P(x+αd) P(x) + α (-d t Qd + i J μ i g i (x) - p i J g i (x) ) +0(α 2 ) e se p > max (μ i ) P(x+αd) < P(x) N.B. La funzione P(x) scende se Q e definita positiva. Si puo partire lontano dalla soluzione con Q arbitraria ( W(x,m) ). Le direzioni individuate producono una discesa di P(x) e possono essere seguite per un passo 0<α <α*. La discesa di P(x) garantisce che o la funzione o la violazione dei vincoli diminuisce. Il valore di p va scelto dalla definizione (= max ( μ i )+ δ o = max (μ i ) + δ con δ piccolo ) IMPORTANTE In alcuni casi la Merit function limita troppo il passo e riduce la velocita di convergenza ( effetto Maratos)

6 CALCOLO [ soliti metodi : da si ha W(x,m)p x + f(x) + A t (x) m + = 0 W(x,m) p x + A t (x)m + = - f(x) p x + W(x,m) -1 A t (x)m + = -W(x,m) -1 f(x) e quindi [A(x)W(x,m) -1 A t (x)] m + = g(x) -A(x)W(x,m) -1 f(x) da cui si ricava m + e p x per differenza Oppure si decompone A t in rango (A t ) e ker(a) Se Y = base rango A t e Z = base kera p x = Yp y + Zp z A p x = A(Yp y + Zp z ) = AYp y = -g(x) e W(x,m) (Yp y + Zp z ) + A t (x) m + = - f(x) e moltiplicando per Z t Z t W(x,m) (Yp y + Zp z ) + A t (x) m + = -Z t f(x) Z t W(x,m) Zp z = -Z t f(x) - Z t W(x,m)Yp y Per piccoli valori di p x ( prossimi alla soluzione ) l equazione W(x,m) p x +A t (x) m + = - f(x) e quasi A t (x) m + = - f(x) che si puo risolvere/stimare minimizzando A t (x) m + + f(x) 2 [ soluzione m + = -( A(x)A t (x) ) -1 A(x) f(x) ]