5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate. min f(x) s.v. c i (x) 0 i I c i (x) = 0 i E (1) x R n

Transcript

1 5.6 Metodo di penalità e metodo basato sulle funzioni lagrangiane aumentate Consideriamo il generico problema di PNL min f(x) s.v. c i (x) 0 i I c i (x) = 0 i E (1) x R n dove f e le c i sono di classe C 1 o C 2, e I e E sono gli insiemi di indici dei vincoli di disuguaglianza e uguaglianza. Notazione, esempi, dimostrazioni: capitolo 17 di J. Nocedal, S. Wright, Numerical Optimization, Springer, 1999, p e

2 5.6.1 Metodo di penalità Idea: Introdurre i vincoli nella funzione obiettivo mediante un moltiplicatore che ne penalizzi la violazione e risolvere una sequenza di tali problemi non vincolati. Descriviamo il metodo con funzioni di penalità quadratica per problemi con solo vincoli di uguaglianza: min f(x) s.v. c i (x) = 0 i E = {1,..., m} (2) x R n Definizione: Problema di penalità quadratica associato al problema (2) 1 min Q(x, µ) = f(x) + c 2 x Rn i (x) (3) 2µ i E dove µ > 0 è il parametro di penalità. Si considera {µ k } k 1 con lim k µ k = 0 e, per ogni k, si determina un minimo approssimato x k di Q(x, µ k ) mediante un metodo di ottimizzazione non vincolata. 2

3 Esempio: min x 1 + x 2 s.v. x x = 0 con soluzione ottima ( 1, 1) t e problema di penalità quadratica min Q(x, µ) = x x R x µ (x2 1 + x 2 2 2) 2. Per µ = 1 minimo di Q vicino a ( 1.1, 1.1) t, per µ = 0.1 minimo di Q molto più vicino a ( 1, 1) t. 3

4 Schema 0) Scegliere µ 0, succesione di tolleranze {τ k } k 0 con τ k > 0 e lim k τ k = 0 Scegliere un punto di partenza x s 0 e porre k := 0 1) Determinare minimo approssimato x k di Q(x, µ k ) partendo da x s k e terminando quando Q(x, µ k) τ k 2) If condizione di arresto finale è soddisfatta (e.g, f(x k 1 ) f(x k ) < ε) then Stop else scegliere µ k+1 (0, µ k ), scegliere soluzione iniziale x s k+1, porre k := k + 1 e goto 1) Scelte: Per i risultati di convergenza basta che la successione {τ k } k 0 soddisfi lim k τ k = 0. Successione {µ k } k 0 generata in modo adattativo partendo da µ 0 : se minimizzazione di Q(x, µ k ) difficile porre µ k+1 = 0.7µ k, altrimenti porre µ k+1 = 0.1µ k. Punto di partenza ragionevole per l ottimizzazione non vicolata ad ogni iterazione: ad esempio x s k+1 := x k. 4

5 Convergenza Teorema 1: Supponiamo che x k sia un minimo globale di Q(x, µ k ) e che lim k µ k = 0, allora ogni punto limite della successione {x k } k 0 generata secondo lo schema precedente (con τ k = 0 per ogni k 0) è un minimo globale del problema (2). Dimostrazione Poiché in genere i problemi non vincolati vengono risolti in modo approssimato, il seguente risultato è più rilevante dal punto di vista pratico. Teorema 2: Se nello schema precedente le tolleranze τ k soddisfano lim k τ k = 0 i parametri di penalità soddisfano lim k µ k = 0, allora ogni punto limite x della successione {x k } k 0 in cui i gradienti dei vincoli c i (x ) sono linearmente indipendenti è un punto di KKT del problema (2). Per tali punti, la sottosuccessione definita da K con lim k K x k = x soddisfa lim c i(x k ) = u i i E, (4) k K µ k dove u è il vettore di moltiplicatori che soddisfa con x le condizioni di KKT del problema (2). 5

6 Osservazione: (4) implica che i) il minimo approssimato x k di Q(x, µ k ) non soddisfa esattamente c i (x) = 0, i E, ma approssimativamente c i (x k ) = µ k u i, i E, quindi µ k va ridotto a 0 per ottenere una soluzione ammissibile; ii) in certe circostanze c i(x k ) µ k forniscono una stima dei moltiplicatori di Lagrange u i. Ricordiamo che la funzione di Lagrange associata al problema (2) è m L(x, u) = f(x) u i c i (x) (5) e che le condizioni di KKT richiedono, oltre a c i (x) = 0 per ogni i E, che x L(x, u) = f(x) Confrontando il gradiente della funzione di penalità quadratica (3) m u i c i (x) = 0. (6) x Q(x, µ) = f(x) + 1 c i (x) c i (x) (7) µ e della funzione Lagrangiana (5), ossia (6), appare che c i(x) µ è stato sostituito da u i. i E Si può dimostrare che se τ k 0 allora x k x e c i(x k ) µ k u i i = 1, 2,..., m. 6

7 Approccio semplice ma purtroppo Osservazione: Quando µ k tende a 0 il problema di penalità quadratica (3) diventa mal condizionato. 2 xxq(x, µ k ) = 2 f(x) + 1 µ k A t (x) A(x) + 1 µ k m c i (x) 2 c i (x) (8) dove A t (x) = [ c 1 (x),..., c m (x)] e A è m n e di rango pieno m n, con in genere m < n. Quando x vicino al minimo di Q(., µ k ) e le ipotesi del Teorema 2 sono soddisfatte, (4) implica 2 xxq(x, µ k ) 2 xxl(x, u ) + 1 µ k A t (x) A(x). (9) Poiché 2 xxl(x, u ) non dipende da µ k e 1 µ k A t (x) A(x) ha n m autovalori di valore 0 e m autovalori di valore O(1/µ k ), vi possono essere problemi numerici quando µ k 0. 7

8 Per problemi con sia vincoli di uguaglianza che di disuguaglianza si considera il problema di penalità quadratica dove [y] denota max( y, 0). 1 min Q(x, µ) = f(x) + c 2 x Rn i (x) + 1 2µ 2µ i E ([c i (x)] ) 2 (10) Non è detto che Q sia C 2 anche se f e le c i lo sono (e.g., se x i 0 min(x 2, 0) non è C 2 ). i I 8

9 5.6.2 Metodo basato sulle funzioni lagrangiane aumentate Idea: Cercare di ridurre la possibilità di mal condizionamento dei sottoproblemi non vincolati nel metodo di penalità introducendo delle stime esplicite dei moltiplicatori di Lagrange. Consideriamo problemi con solo vincoli di uguaglianza: min f(x) s.v. c i (x) = 0 i E = {1,..., m} (11) x R n Definizione: La funzione di Lagrange aumentata associata al problema (11) L A (x, u, µ) = f(x) m u i c i (x) + 1 2µ m c 2 i (x) = L(x, u) + 1 2µ m c 2 i (x) (12) dove u è il vettore di moltiplicatori e µ il parametro di penalità. N.B.: Combinazione della lagrangiana L(x, u) e della funzione di penalità quadratica Q(x, µ). Poiché le condizioni di KKT di (11) richiedono che x L(x, u ) = 0 e c i (x ) = 0 per ogni i E, all ottimo L A coincide con la lagrangiana L, e µ non deve quindi tendere a 0. 9

10 Approccio simile: ad ogni iterazione si determina un minimo approssimato x k di L A (x, u k, µ k ) mediante un metodo di ottimizzazione non vincolata, dove u k è una stima aggiornata. Differenziando rispetto a x, si ottiene x L A (x, u, µ) = f(x) m (u i c i(x) µ ) c i(x) Argomenti simili a quelli usati per dimostrare il Teorema 2 permettono di stabilire Schema u i u k i c i(x k ) µ k i E. (13) 0) Scegliere µ 0 > 0, succesione di tolleranze {τ k } k 0 con τ k > 0, x s 0 e u 0 iniziali, porre k := 0 1) Determinare minimo approssimato x k di L A (x, u k, µ k ) partendo da x s k e terminando quando x L A (x, u k, µ k ) τ k 2) If condizione di arresto finale è soddisfatta (e.g, f(x k 1 ) f(x k ) < ε) then Stop else porre scegliere µ k+1 (0, µ k ) e soluzione iniziale x s k+1 porre k := k + 1 e goto 1) u k+1 i = u k i c i(x k ) µ k per i E (14) 10

11 L aggiunta di un termine relativo ai moltiplicatori di Lagrange in L A porta a notevoli miglioramenti rispetto al metodo di penalità quadratica. Esempio: min x 1 + x 2 s.v. x x = 0 con soluzione ottima ( 1, 1) t, moltiplicatore di Lagrange ottimo u = 0.5 e sottoproblema non vincolato associato min L A(x, u, µ) = x 1 + x 2 u(x 2 x R x 2 2 2) + 1 2µ (x2 1 + x 2 2 2) 2. Supponiamo che µ k = 1 e stima corrente del moltiplicatore u k = 0.4. La rappresentazione delle curve di livello di L A (x, 0.4, 1) sono simili a quelle di Q(x, 1) ma il minimo x k ( 1.02, 1.02) t di L A (x, 0.4, 1) è molto più vicino ad ( 1, 1) t del minimo di Q(x, 1) che è ( 1.1, 1.1) t. cf. J. Nocedal, S. Wright, Numerical Optimization, Springer, 1999,

12 Teorema 3: Sia x un minimo locale di (11) nel quale i gradienti dei vincoli c i (x ) sono linearmente indipendenti e le condizioni sufficienti del secondo ordine sono soddisfatte per u = u. Allora esiste un valore µ > 0 tale che per ogni µ (0, µ], x è un minimo locale stretto di L A (x, u, µ). Il seguente risultato riguarda il caso più realistico in cui u u. Fornisce condizioni sotto le quali esiste un minimo di L A vicino a x e dei limiti sull errore di x k e di u k+1. Teorema 4: Supponiamo che le ipotesi del Teorema 3 siano soddisfatte in x e u, e sia µ > 0 la relativa soglia. Allora esistono degli scalari δ > 0, ε > 0, e M tali che i) Per ogni u k e µ k che soddisfano u k u δ/µ k, µ k µ, (15) il problema min L A(x, u k, µ k ) x R n : x x ε ha una unica soluzione x k. Inoltre x k x Mµ k u k u. 12

13 ii) Per ogni u k e µ k che soddisfano (15), abbiamo dove u k+1 dato dalla formula (14). u k+1 u Mµ k u k u, iii) Per ogni u k e µ k che soddisfano (15), la matrice 2 xxl A (x k, u k, µ k ) è definita positiva e i gradienti dei vincoli c i (x k ), i E, sono linearmente indipendenti. Problemi con anche vincoli di disuguaglianza: Si possono introdurre variabili di scarto e sostituire c i (x) 0, i I, con c i (x) s i = 0, s i 0, i I, oppure eliminare le variabili di scarto s i, i I, direttamente dalla procedura di ottimizzazione. Codice LANCELOT tratta esplicitamente i limiti sulle variabili ( bounds ) nel sottoproblema min l inf x l sup L A (x, u k, µ k ) 13