NLP KKT 1. Le condizioni necessarie di ottimo per il problema min f o (x) con vincoli g i (x) 0 i I h j (x) = 0 j J

Transcript

1 NLP KKT 1 Le condizioni necessarie di ottimo per il problema min f o (x) g i (x) 0 i I h j (x) = 0 j J sono, riferite ad un punto ammissibile x*, μ 0 f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 i I μ i g i (x*) = 0 In alcuni casi risultano anche condizioni sufficienti. Si suppone che il problema sia del tipo min f o (x) g i (x) 0 i I La semplice condizione di ottimo ( con μ 0 =1 ) f o (x*) + i I μ i g i (x*) = 0 i I μ i g i (x*) = 0, μ i 0 e detta condizione KKT (da Karush Kuhn Tucker) TEOREMA Se le funzioni f o e g i sono convesse, x* e ammissibile e vale i I μ i g i (x*) = 0 f o (x*) + i I μ i g i (x*) = 0, μ i 0 allora x* e' ottimo DIM Sia y un punto ammissibile, y x* e z = (1-λ) x* + λy con 0 λ 1 Per convessita i I g i (z) (1-λ) g i (x*) + λ g i (y) 0 e z e ammissibile. Inoltre da z = x* + λ(y-x*), g i (x*) + λ g i (x*) t (y-x*) g i (z) 0

2 NLP KKT 2 Se g i (x*) = 0 allora g i (x*) t (y-x*) 0 Le condizioni KKT assicurano che se μ i > 0 g i (x*) = 0 Quindi i I μ i g i (x*) t (y-x*) 0 da cui f o (x*) t (y-x*) 0 Ma f o (y) f o (x*) + f o (x*) t (y-x*) f o (x*) Per ogni y ammissibile vale f o (y) f o (x*) QED N.B. 1 Non servono tutte le proprieta' delle funzioni convesse. In realta' interessano due proprieta' 1) Se x e y sono ammissibili tutti i punti del segmento sono ammissibili cioe' g i (x* + λ(y-x*) ) = max (g i (y),g i (x*) ) In questo modo se μ i >0 & g i (x*) = 0 si pone G(λ) = g i (x* + λ(y-x*) ) e allora G'(0) = g i (x*) t (y-x*) 0 Basta che gli insiemi di livello delle varie funzioni g (x) siano insiemi convessi. Basta g i quasiconvessa (insiemi di livello convessi) [ Es. funzioni quasiconvesse sono t 3, sqrt(abs(t))...] 2) Se f o (x*) t (y-x*) 0 allora f o (y) f o (x*) Una funzione F che verifica la condizione F(x) t (p) 0 F(x+p) F(x) e' detta pseudoconvessa. [ Es: Se h: R R e'una funzione crescente con h'(t) > 0 e G di R n R e'una funzione convessa la funzione composta F = h(g) e' pseudoconvessa (es. arctg(t 2 ) ) F(x) t p 0 F(x+p) F(x) F(x) = h'(g(x)) G(x) e se F(x) t p 0 allora G(x) t p 0, per convessita' G(x+p) G(x) + G(x) t p G(x) quindi H(x+p) H(x) ] COROLLARIO Se vale ΚΚΤ, le funzioni g i sono quasiconvesse e f o e' pseudoconvessa il punto x* e'di minimo

3 NLP KKT 3 NOTA Ogni vincolo del tipo h(x) = 0 equivale se lineare (a t x - β = 0 ) ai due vincoli convessi { a t x - β 0 } & { a t x - β 0 a t x + β 0 }. Il problema min f o (x) ( f o convessa) g i (x) 0 i I (g i convesse) & vincoli lineari Ax = b ha come punti KKT (ottimi) i punti x* ammissibili per cui f o (x*) + i I μ i g i (x*) + At s = 0 i I μ i g i (x*) = 0, μ i 0 Il vettore A t s e somma di componenti λ j (a j ), a j riga di A. Se λ j >0 rappresenta il vincolo a j t x - b j 0, se λ j <0 rappresenta il vincolo -a t j x + b j 0. Se λ j >0 dalla dimostrazione ( confronto con punti ammissibili) si ha che f o (y) f o (x*) anche per tutti i punti (se ammissibili per gli altri vincoli) per cui a j t y - b j 0 e la soluzione non cambia se il vincolo { a j t x - b j =0} e modificato in { a j t y - b j 0}

4 NLP KKT 4 DUALITA Nel caso convesso (e convesso-lineare ) vale il risultato TEOREMA Se le funzioni f o e g i sono convesse, x & μ i 0 soddisfano la relazione f o (x) + i I μ i g i (x) = 0 [ f o (x*) + i I μ i g i (x*) + At s = 0] allora per ogni z ammissibile vale f o (x) + i I μ i g i (x) f o (z) DIM i I e in particolare se μ i >0 g i (x) + g i (x) t (z-x) g i (z) 0 [ a j t (z-x)=0 vincoli lineari ] Moltiplicando per μ i e sommando si ottiene i I μ i g i (x) + i I μ i g i (x) t (z-x) i I μ i g i (z) 0 [+s t A(z-x) = 0 vincoli lineari ] Quindi i I μ i g i (x) - i I μ i g i (x) t (z-x) = f o (x) t (z-x) [= vincoli lineari] Per convessita f o (x) + f o (x) t (z-x) f o (z) ovvero f o (x) t (z-x) f o (z) - f o (x) e i I μ i g i (x) f o (z) - f o (x) e quindi f o (x) + i I μ i g i (x) f o (z) QED

5 NLP KKT 5 Il teorema precedente permette alcune osservazioni OSSERVAZIONE 1 Se x* e ottimo esistono dei valori μ i * 0 per cui i I μ i *g i (x*) = 0 f o (x*) + i I μ i * g i (x*) = 0, μ i * 0 e allora f o (x*) + i I μ i *g i (x*) = f o (x*) Cioe f o (x*) e il massimo valore possibile ( e effettivamente raggiunto) per la quantita f o (x) + i I μ i g i (x) calcolata per punti x e valori μ i 0 per cui vale f o (x) + i I μ i g i (x) = 0 OSSERVAZIONE 2 Se per un punto x (non ottimo) e valori μ i 0 si ha f o (x) + i I μ i g i (x) = 0 sono possibili vari casi Se vale i I μ i g i (x) = 0 allora deve valere f o (x) f o (x*), e il punto x (non ottimo) non puo essere ammissibile (viola almeno un vincolo g i (x) 0 ( puo essere anche un vincolo con μ i =0) Se x e ammissibile i I μ i g i (x) 0 f o (x) + i I μ i g i (x) f o (x*) f o (x) Se i I μ i g i (x) >0 x non e ammissibile e f o (x) < f o (x) + i I μ i g i (x) f o (x*) In ogni caso la quantita i I μ i g i (x) e una misura di distanza dall ottimalita Si puo costruire un problema collegato al problema di partenza e alle sue condizioni di ottimo

6 NLP KKT 6 WOLFE DUAL Dato un problema min f o (x) (convessa) g i (x) 0 i I (convesse) si chiama duale (di Wolfe ) il problema [ variabili x, μ i ] max f o (x) + i I μ i g i (x) f o (x) + i I μ i g i (x) = 0 μ i 0 (si puo scrivere con piccole modifiche anche con ulteriori vincoli lineari Ax=b) Se x* e la soluzione del problema di minimo e μ i * 0 sono i moltiplicatori ottimi si ha che ( x*, μ i *) e ammissibile per il duale e valore max duale = min f o (x) = f o (x*) ESEMPIO (WOLFE DUAL) Per il Pb quadratico min (1/2) x t Qx p t x, Ax=b Vincolo duale : F = Qx-p + A t m = 0 Obbiettivo (1/2) x t Qx p t x + m t (Ax-b) = x t (Qx-p + A t m) -(1/2) x t Qx -b t m = -(1/2) x t Qx b t m [ lineare in m, concava in x + vincolo su (x,m) ] Dal vincolo duale x= Q -1 (p-a t m ) x t Qx =(1/2) (p-a t m) t Q -1 (p-a t m) b t m = -(1/2) m t AQA t m b t m +p t Q -1 A t Funzione concava, sole variabili m, punto di massimo F = -AQA t m + AQ -1 p- b m* = (AQ -1 A t ) -1 (AQ -1 p b) ( moltiplicatori ottimi ) x* si ricava dall equazione Qx*-p + A t m* = 0

7 NLP KKT 7 LAGRANGIANE Se le funzioni f o e g i sono convesse e x, μ i 0 soddisfano la relazione f o (x) + i I μ i g i (x) = 0 allora x minimizza la funzione f o (x) + i I μ i g i (x) (detta lagrangiana) Quindi il punto di ottimo si ottiene massimizzando sui vettori m, m = (μ 1,...,μ p ) con componenti μ i 0 la quantita' H(m) = min x { f o (x) + i I μ i g i (x) } Se x realizza il minimo per un vettore m e e x' per un vettore m' si ha f o (x) + i I μ i g i (x) f o (x') + i I μ i g i (x' ) e f o (x') + i I μ i g i (x') = f o (x') + i I μ i 'g i (x') + i I (μ i -μ i ')g i (x') cioe' H(m) H(m') + i I (μ i -μ i ')g i (x') e analogamente H(m') H(m) + i I (μ i '-μ i ')g i (x) Da tale formula si deduce che H(m) e' concava e che H(m) i = g i (x) H(m) va massimizzata : se non vale i I μ i g i (x) = 0 conviene (spostamento lungo il gradiente) aumentare μ i se g i (x) > 0 e diminuire μ i se g i (x) < 0 E possibile calcolare la sooluzione di un problema attraverso la massimizzazione della funzione H(m) (senza passare esplicitamente dal problema duale)

8 NLP KKT 8 ESEMPIO ( Programmazione Quadratica : massimizione in m ) Algoritmo : si fissa m (arbitrario), fissato m si minimizza rispetto a x, e si calcola x m punto di minimo si sposta m in direzione m = (A x m -b) con passo γ >0 m+= m+ γ (A x m -b) Si riparte con m= m+ e si continua sino a (ottimalita ) [ massimizzazione di m, ammissibilita di x m ] ( = valori ottimi ( x*,m*) Si puo applicare l algoritmo a problemi convessi (convesso-lineari). Nel caso del problema quadratico i conti sono molto semplici. Problema min (1/2) x t Qx p t x Ax=b Senza vincoli la soluzione e data da x 0 = Q -1 p con violazione del vincolo v 0 = AQ -1 p b Soluzione del problema vincolato ( x*,m*) e caratterizzata da (Lagrangiana) = 0 + ammissibilita Qx*- p + A t m* = 0 Ax* = b x* = Q -1 (p-a t m*) Ax* = AQ -1 (p-a t m*) = b Ax* = b AQ -1 A t m* = AQ -1 p b = v 0 Il vettore dei moltiplicatori m*corrisponde a m* = (A Q -1 A t ) -1 v 0

9 NLP KKT 9 Algoritmo : Fissato m si minimizza F = (1/2) x t Qx p t x +m t (Ax-b) F = Qx-p + A t m F = 0 se x m = Q -1 (p-a t m ) Si calcola il gradiente Ax m - b = A Q -1 (p-a t m ) - b = v 0 - AQ -1 A t m Se si modifica m come m+ = m + γ (A x m -b) si ha la formula m+ = m + γ (A x m -b) = m + γ ( v 0 - AQ -1 A t m) = ( I-γAQ -1 A t ) m + γ v 0 Si denota con K = I - γaq -1 A t Se m 0 arbitrario m 1 = K m 0 + γ v 0 m 2 = K (K m 0 +γ v 0 ) + γ v 0 = K 2 m 0 + K γ v 0 + γ v 0.. m 3 = K (K 2 m 0 + K γ v 0 + γ v 0) = K 3 m 0 + K 2 γ v 0 + K (γ v 0 ) + γ v 0 m n = K n m 0 + ( i=0..n-1 K i ) γ v 0 Se ρ( K)<1 K n 0 e, ( i=0..n-1 K i ) (I- K) -1 = (γaq -1 A t ) -1 = (γ) -1 (AQ -1 A t ) -1 Allora m n (AQ -1 A t ) -1 v 0 = m* x m = Q -1 (p-a t m n ) Q -1 (p-a t m*) = x* Se AQ -1 A t definita positiva [ Q definita positiva AQ -1 A t ] e γ [0, γ* ] gli autovalori di K sono <1 e ρ(k) < 1 il metodo converge alla soluzione m* partendo da qualsiasi vettore m 0 E necessaria una condizione (dipendente dal problema) sul passo γ.

10 NLP KKT 10 NOTA (possibile derivazione alternativa) Dato il problema min min f o (x) (convessa) g i (x) 0 i I Si puo sempre definire la funzione L(x,m) = f o (x) + i I μ i g i (x) con m = (μ 1,...,μ p ) e componenti μ i 0 Una coppia di valori (x*,m*) e un punto sella se m a componenti 0 x L(x*,m) L(x*,m*) L(x,m*) Da tale condizione segue ammissibilità: se si perturba la sola componente j di m e si ottiene (μ j * +1) g j (x*) μ j *g j (x*) g j (x*) = 0 2μ j *g j (x*) μ j *g i (x*), (1/2)μ j * g j (x*) μ j * g j (x*), μ j *g j (x*) = 0 Quindi f o (x*) = L(x*,m*) e per i punti x ammissibili f o (x*) L(x,m*) = f o (x) + i I μ i * g i (x) f o