Se x* e punto di minimo (locale) per la funzione nell insieme Ω, Ω = { x / g i (x) 0 i I, h j (x)= 0 j J } lo e anche per F(x) = f o (x) + c x x 2

Transcript

1 NLP -OPT 1 CONDIZION DI OTTIMO [ Come ricavare le condizioni di ottimo. ] Si suppone x* sia punto di ottimo (minimo) per il problema min f o (x) con vincoli g i (x) 0 i I h j (x) = 0 j J la condizione (necessaria) di ottimo e' (se x* punto di minimo) esistono pesi μ i 0, λ j per cui i I μ i g i (x*) = 0 e vale μ 0 f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 [Se μ 0 >0 equivale alla condizione f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 mentre se μ 0 =0 alla condizione (senza usare f o (x) ) i I μ i g i (x*) + j J λ j h j (x*) = 0 ] Una delle dimostrazioni possibili e' la seguente. Benche il metodo sia "costruttivo" e' numericamente instabile e non puo' essere brutalmente applicato come algoritmo di minimizzaione Dim Si suppone x* punto di ottimo per il problema min f o (x) con vincoli g i (x) 0 i I h j (x) = 0 j J Se x* e punto di minimo (locale) per la funzione nell insieme Ω, Ω = { x / g i (x) 0 i I, h j (x)= 0 j J } lo e anche per F(x) = f o (x) + c x x 2 In questo modo F(x*) = f o (x*), f o (x*) = F (x*) F(x) f o (x), lim x + F(x)= + Siccome c >0 e arbitrario si puo scegliere c in modo che x* sia minimo isolato e globale per F(x) Nel punto x* le condizioni (locali) per F sono le stesse che per f o.

2 NLP -OPT 2 Si puo suppporre che x* sia minimo isolato e globale, lim x + f o (x) = + k >0 si puo definire la funzione (di penalizzazione) P k (x) = f o (x) + i I k (g i (x) + ) 2 + j J k (h j (x)) 2 f o (x) P k (x) x, vale la condizione lim x + P k (x)= + P k ha un punto di minimo(assoluto) x k e in tale punto si ha P k (x k ) = 0 cioe f o (x k ) + i I 2k (g i (x k ) + ) g i (x k ) + j J 2k (h j (x k )) h j (x k ) = 0 [ N.B. g i (x) + = max {0, g i (x)}, (g i (x) + ) 2 = 2(g i (x)) + g i (x) se g i (x) 0, (g i (x) + ) 2 = 0, (g i (x) + ) 2 = 0 se g i (x) > 0, (g i (x) + ) 2 = g i (x) 2, (g i (x) + ) 2 = 2(g i (x)) g i (x) e quindi (g i (x) + ) 2 e' una funzione C 1 se cosi e' g i ] Nel punto x* si ha f o (x*) = P k (x*) k e necessariamente P k (x k ) f o (x*) = P k (x*) Si genera una successione x k Le due condizioni P k (x k ) f o (x*), lim x + f o (x) = + garantiscono la limitatezza di x k Per un estratta x k y Allora f o (x k ) + i I k(g i (x k ) + ) 2 + j J k(h j (x k )) 2 f o (x*) 0 i I (g i (x k ) + ) 2 + j J (h j (x k )) 2 (k -1 ) ( f o (x*) - f o (x k ) ) e al limite con k + 0 i I (g i (y) + ) 2 + j J (h j (y)) 2 lim k -1 ( f o (x*) - f o (x k ) ) = 0 cioe y e ammissibile.

3 NLP -OPT 3 Allora f o (x*) f(y) [x* minimo] ] lim ( i I k(g i (x k ) + ) 2 + j J k(h j (x k )) 2 ) lim (f o (x*) - f o (x k ) ) 0 e lim P k (x k ) = f(y), f(y) f o (x*) e y = x* ( x* unico minimo) Se tutte le quantita 2kg i (x k ) + i I, 2k h j (x k ) j J sono limitate allora 2k g i (x k ) + μ i 0, 2k h j (x k ) λ j Da P k (x k ) = 0 f o (x k ) + i I 2k g i (x k ) + g i (x k ) + j J 2k h j (x k ) h j (x k ) = 0 al limite f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 Se le quantita 2k g i (x k ) + i I, 2k h j (x k ) j J non sono limitate si pone σ k = max { 2kg i (x k ) + i I, 2k h j (x k ) j J } μ (i,k) = (σ k ) -1 2k g i (x k ) + λ (j,k) = (σ k ) -1 2k h j (x k ) Mentre σ k + i valori μ (i,k) e λ (j,k) sono limitati quindi μ (i,k) μ i 0 λ (j,k) λ j La condizione P k (x k ) = 0 si puo scrivere come (σ k ) -1 f o (x k ) + i I μ (i,k) g i (x k ) + j J λ (j,k) h j (x k ) = 0 e al limite i I μ i g i (x*) + j J λ j h j (x*) = 0 Ovviamente j J λ j h j (x*) = 0 Se g i (x*) < 0 lim g i (x k ) + = 0 e μ i = 0 Se μ i > 0 necessariamente g i (x k ) > 0 (o 0) e per ammissibilita' g i (x*) = 0 e quindi i I μ i g i (x*) = 0 I valori μ i, λ j sono indicati come moltiplicatori (di Lagrange) In questo modo le condizioni di ottimo vincolato si ottengono come estensione/applicazione delle condizioni di ottimo (non vincolato).

4 NLP -OPT 4 CONDIZIONI DI OTTIMO (cenno altro modo) Le condizioni di ottimo si possono ricavare anche secondo la seguente traccia 1) Se x* minimizza e se x n x* x n ammissibile allora (x n -x*)/ x n x v, v = 1 e necessariamente (da x n ammissibile, x* ottimo) g i (x*) t (v) 0 h j (x*) t (v) = 0, f o (x*)t (v) 0 { g i (x*) t (v) 0 per i vincoli attivi per cui g i (x*)= 0 } 2) Lo stesso risultato vale per vettori v+ ottenuti come limite di vettori v calcolati al punto precedente, somma di vettori v calcolati al punto precedente, multipli di vettori v calcolati al punto precedente 3) Se ogni vettore v del tipo g i (x*) t (v) 0 h j (x*) t (v) = 0 puo essere ottenuto da limiti di punti ammissibili x n x* o da limite di vettori cosi generati + operazioni al punto 2 allora vale la proprieta v per cui g i (x*) t (v) 0 h j (x*) t (v) = 0 si ha f o (x*)t (v) 0 4) Si considerano le matrici H (di righe h j (x*) ) e la matrice G (di righe g i (x*) ). Da considerazioni di algebra lineare, teoremi dell alternativa per matrici (lemma di Farkas), considerazioni di convessita (Coni +Coni duali) si ottiene che la condizione al punto 3 e equivalente a i I μ i g i (x*) = 0 μ 0 f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 con la condizione μ i 0

5 NLP -OPT 5 QUALIFICAZIONE DEI VINCOLI All ottimo risulta f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 oppure i I μ i g i (x*) + j J λ j h j (x*) = 0 e quindi in generale μ 0 f o (x*) + i I μ i g i (x*) + j J λ j h j (x*) = 0 Le condizioni che assicurano μ 0 > 0 sono dette qualificazioni dei vincoli. Se i vincoli sono g i (x) 0 i I h j (x) = 0 j J si denotano x con I(x) = { i I / g i (x) = 0 }, J(x) = { j J / h(x) =0 } e relativamente a x* (ottimo) con IA(x*) = { i I(x*) / μ i >0 } JA(x*) = { j J(x*) / λ j 0 } e con A(x*) = IA(x*) JA(x*) [COTTLE INDIPENDENZA LINEARE] Una condizione possibile e l indipendenza lineare i vettori { g i (x*) i IA(x*), h j (x*) j JA(x*) } sono linearmente indipendenti [MANGASARIAN-FROMOWITZ ] Una condizione piu debole e la seguente i vettori { h j (x*) j JA(x*) } sono linearmente indipendenti ed esiste v 0 t.c h j (x*) t v = 0 j JA(x*) e e g i (x*) t v > 0 i IA(x*) Se i vincoli g i (x) 0 sono tutti convessi l esistenza di v e garantita da un punto u tale che g i (u) < 0 per i vincoli i IA(x*) Infatti 0 > g(u) g i (x*) + g i (x*) t (u-x*) = g i (x*) t (u-x*) e g i (x*) t (x*-u) >0

6 NLP -OPT 6 [SLATER ] Se i vincoli g i (x) 0 sono tutti convessi e mancano i vincoli h j (x) = 0 l esistenza di un punto u tale che g i (u) < 0 e una qualificazione dei vincoli. Infatti da μ i 0 0 > i I μ i g i (u) i I μ i g i (x*) + i I μ i g i (x*) t (u-x*) Vale i I μ i g i (x*) = 0, se μ i >0 allora g i (x*)=0 Quindi 0 > i I μ i g i (x*) e i I μ i g i (x*) = 0 e impossibile NOTA Vi sono altre condizioni possibili. μ 0 > 0 implica che i I μ i g i (x*) + j J λ j h j (x*) = -μ 0 f o (x*) Se u e un punto interno (g i (u) 0, h j (u) = 0 ) al primo ordine si dovrebbe avere g i (x*) t (u-x*) 0, h j (x*) t (u-x*) = 0 e f o (u) f o (x*) cioe f o (x*) t (u-x*) 0 Se vale per (u-x*) vale anche per h(u) = (u-x*)/ u-x* e per ogni direzione h limite di h(u). Se μ 0 = 0 significa che alcune direzioni (vettori h) sembrano interni g i (x*) t h 0, h j (x*) t h = 0 ma non lo sono ( & non obbligano f o (x*) t h 0)

7 NLP -OPT 7 ESEMPIO ( : Calcolo esplicito condizioni di ottimo attraverso penalizzazione) Si considera min F(x) = (1/2) x t Qx p t x Ax = b [ Q definita positiva & righe A l.i.] Funzione penalizzata P σ = (1/2) x t Qx p t x +σ/2 Ax-b 2 [ P σ = F + Α t σ (Ax-b) ] P σ = Qx-p + σ (Α t Α)x - σa t b Ottimo unico a σ fissato x σ = (Q+σ Α t Α) -1 ( p+σ A t b ) (Q+σ Α t Α) definita positiva Se σ + si deve avere x σ x* (soluzione del problema ) A x σ - b 0 (A x σ b) ( ammissibilita x* ) σ (A x σ - b) m* (vettore moltiplicatori ) Serve una formula per (Q+σ Α t Α) -1 :si usa la Formula ( Shermann Morrison (esatta)) (Q+σ Α t Α) -1 = Q -1 -σ Q -1 A t H -1 AQ -1 con H = (I + σ AQ -1 A t ) = σ (AQ -1 A t ) ( (σ) -1 (AQ -1 A t ) -1 + I ) da cui H -1 = (σ) -1 ( (σ) -1 (AQ -1 A t ) -1 + I ) -1 (AQ -1 A t ) -1 Si pone M = (AQ -1 A t ) se σ + ρ (M -1 /σ) < 1 (definitivamente ) e ( (σ) -1 M -1 + I ) -1 = I (σ) -1 M -1 + (σ) -2 M -2 - (σ) -3 M ) ( serie convergente)

8 NLP -OPT 8 (formula per (Q+σ Α t Α) -1 ) = Q -1 -σ Q -1 A t H -1 AQ -1 = Q -1 - Q -1 A t ( (σ) -1 M -1 + I ) -1 M -1 AQ -1 = Q -1 - Q -1 A t ( I (σ) -1 M -1 + (σ) -2 M -2 ) M -1 AQ -1 ( tralasciati termini (σ) -3 o superiori ) = Q -1 - Q -1 A t M -1 AQ -1 + (σ) -1 (Q -1 A t M -2 AQ -1 ) - (σ) -2 (Q -1 A t M -3 AQ -1 ) Moltiplicando per ( p+σa t b ) si ottiene x σ (= coefficienti delle potenze (σ) -j, j = -1, n di x σ ) Coeff. di σ (Q -1 - Q -1 A t M -1 AQ -1 ) (A t b) = 0 Termine noto (Q -1 - Q -1 A t M -1 AQ -1 )p + (Q -1 A t M -2 AQ -1 ) A t b = Q -1 p - Q -1 A t M -1 AQ -1 p + Q -1 A t M -1 b = lim x σ = x* [ A x* () = A(Q -1 p - Q -1 A t M -1 AQ -1 p + Q -1 A t M -1 b )= AQ -1 p - AQ -1 p + b =b ] Termine (σ) -1 [ lim σ (A x σ - b) lim = σ (Αx*+Αc1(σ) -1 +Ac2(σ) -1 - b ) = c1 ] (Q -1 A t M -2 AQ -1 ) p- (Q -1 A t M -3 AQ -1 ) (A t b) = (Q -1 A t M -2 (AQ -1 p b) e moltiplicando per A M -1 (AQ -1 p b) e m* = M -1 (AQ -1 p b) = (AQ -1 A t ) -1 (AQ -1 p b) m* sono i veri moltiplicatori: Per x* = Q -1 p - Q -1 A t M -1 AQ -1 p + Q -1 A t M -1 b F = Qx*-p = p A t M -1 AQ -1 p + A t M -1 b) p = -A t (M -1 AQ -1 p - M -1 b) = -A t m*

9 NLP -OPT 9 Il punto x* e ottimo : se y altro punto ammissibile A(x*-y)=0 e da Qx*-p+A t m* = 0 (x*-y) t (Qx*-p+A t m*) = (x*-y) t (Qx*-p ) = 0, [ x* t Qx*-y t Qx* = -p t y +p t x* ] F(y)-F(x*) = (1/2) y t Q y p t y - (1/2) x* t Q x* +p t x* = (1/2) y t Q y - (1/2) x* t Q x* + x* t Qx*-y t Qx* = (1/2) y t Q y + (1/2) x* t Q x* -y t Qx* = (1/2) (x*-y) t Q(x*-y) > 0 Possibile ricavare le condizioni di ottimo Calcolo esplicito ( fissare σ e calcolare numericamente x σ ) problematico (Q + σ Α t Α) mal condizionata Fissato σ formula per l inversa inesatta (richiede la serie) x σ risulta ammissibile solo al limite ( come avere una soluzione? ) m* e limite di forma (+ )(0) (come approssimare m*? )