Outline. 1 Teorema dei moltiplicatori di Lagrange. 2 Uso pratico dei moltiplicatori di Lagrange. 3 Derivazione alternativa dei moltiplicatori

Transcript

1 Outline Minimi Vincolati (Metodi Matematici e Calcolo per Ingegneria) Enrico Bertolazzi DIMS Università di Trento anno accademico 2006/ Derivazione alternativa dei moltiplicatori 4 Minimi Vincolati 1 / 27 Teorema (dei moltiplicatori di Lagrange) Sia data : R n R e una mappa di vincoli h(x) : R n R m. Sia x un minimo locale di soddisfacente i vincoli (cioè h(x ) = 0). Se h(x ) è di rango massimo allora esistono m scalari λk tali che f(x ) λk hk(x ) = 0 T inoltre per ogni z R n che soddisfa h(x )z = 0 vale la diseguaglianza ) z ( T 2 f(x ) λk 2 hk(x ) z 0 (B) in altre parole la matrice 2 x( f(x ) λ h(x ) ) è semi-definita positiva nel Kernel di h(x ). (A) Minimi Vincolati 2 / 27 Dimostrazione (1/11) Se x è minimo locale allora esiste ɛ > 0 tale che f(x ), per ogni x tale che: x x ɛ ed h(x) = 0 Consideriamo quindi la successione di funzioni fk(x) = + k h(x) 2 + α x x 2, α > 0 e la successione di minimi locali (non vincolati) in B = {x x x ɛ} fk(xk) fk(x) per ogni x B dimostreremo il teorema usando le condizioni di minimo non vincolato e sfruttando il fatto che xk x Minimi Vincolati 3 / 27 Minimi Vincolati 4 / 27

2 Dimostrazione (2/11) Passo 1: il ite della successione xk sta sul vincolo Poiché la successione xk è contenuta nella palla compatta B allora esiste al più una sotto-successione x B. Per semplificare assumiamo xkj che xk x B. Consideriamo xk dalla sua definizione avremo e inoltre per cui avremo fk(xk) fk(x ) = f(x ) + k h(x ) 2 + α x x 2 fk(xk) f(x ) fk(xk) = f(xk) + k h(xk) 2 + α xk x 2 f(x ) k h(xk) 2 + α xk x 2 f(x ) min = C < + x B da questo segue cioè h( x) = 0 k h(xk) 2 = 0 Minimi Vincolati 5 / 27 Dimostrazione (4/11) Passo 3: costruzione dei moltiplicatori Poiché gli xk sono minimi locali non vincolati per fk(x) allora avremo cioè ricordiamo che fk(xk) = 0 T f(xk) + k h(xk) 2 + α xk x 2 = 0 x 2 = (x x) = 2x T, da cui segue (facendo i trasposti delle matrici) h(x) 2 = (h(x) h(x)) = 2h(x) T h(x) f(xk) T + 2k h(xk) T h(xk) + 2α(xk x ) = 0 Dimostrazione (3/11) Passo 2: il ite della successione xk è x Consideriamo da cui segue fk(xk) = f(xk) + k h(xk) 2 + α xk x 2 f(x ) α xk x 2 f(x ) f(xk) k h(xk) 2 f(x ) f(xk) passando al ite per k e sfruttando la continuità delle norme k α xk x 2 α x x 2 f(x ) f( x) poiché h( x) = 0 e x è il minimo in B che rispetta il vincolo avremo cioè x = x. α x x 2 f(x ) f( x) 0 Minimi Vincolati 6 / 27 Dimostrazione (5/11) Passo 3: costruzione dei moltiplicatori Moltiplicando a sinistra per h(xk) otteniamo h(xk) f(xk) T + 2k h(xk) h(xk) T h(xk) + 2α h(xk)(xk x ) = 0 poiché h(x ) R m n ha rango massimo da un certo k in poi per continuità tutte le h(xk) hanno rango massimo e quindi h(xk) h(xk) T R m m sono matrici quadrate invertibili, da cui 2kh(xk) = ( h(xk) h(xk) T ) 1 h(xk) [ f(xk) T + 2α(xk x ) ] e passando al ite per k definendo k 2kh(xk) = ( h(x ) h(x ) T ) 1 h(x ) f(x ) T λ = ( h(x ) h(x ) T ) 1 h(x ) f(x ) T Minimi Vincolati 7 / 27 Minimi Vincolati 8 / 27

3 Dimostrazione (6/11) Passo 3: costruzione dei moltiplicatori Dimostrazione (7/11) Poiché gli xk sono minimi locali non vincolati per fk(x) allora le matrici Definendo λ = ( h(x ) h(x ) T ) 1 h(x ) f(x ) T sostituendo nella f(xk) T + 2k h(xk) T h(xk) + 2α(xk x ) = 0 il ite di 2kh(xk) con λ otteniamo f(x ) T h(x ) T λ = 0 2 fk(xk) sono semi-definite positive, cioè z T 2 fk(xk)z 0, z R n inoltre 2 fk(xk) = 2 f(xk) + k 2 h(xk) 2 + 2α (xk x ) m = 2 f(xk) T + k 2 hi(xk) 2 + 2αI osserviamo che 2 hi(x) 2 = (2hi(x) hi(x) T ) = 2 hi(x) T hi(x) + 2hi(x) 2 hi(x) Minimi Vincolati 9 / 27 Dimostrazione (8/11) Minimi Vincolati 10 / 27 Dimostrazione (9/11) La diseguaglianza precedente vale per ogni z R e sostituendo n quindi anche per ogni successione zk, cioè 2 hi(x) 2 = 2 hi(x) T hi(x) + 2hi(x) 2 hi(x) 0 zk T 2 f(xk)zk + 2α zk 2 + 2k h(xk)zk 2 + (2khi(xk))z T k 2 hi(xk)zk nella espressione dell Hessiano otteniamo Consideriamo ora una generica successione zk z e passando al ite 2 fk(xk) = 2 f(xk) + 2αI + 2k hi(xk) T hi(xk) + 2k hi(xk) 2 per k hi(xk) 0 z T 2 f(x )z + 2α z 2 + 2k h(xk)z 2 k e per z R n abbiamo 0 z T 2 fk(xk)z = z T 2 f(xk)z + 2α z 2 + 2k h(xk)z 2 + (2khi(xk))z T 2 hi(xk)z + (2khi(xk)) [ z T 2 hi(x )z ] k ricordando che k (2khi(xk)) = λi abbiamo 0 z T 2 f(x )z + 2α z 2 [ λi z T 2 hi(x )z ] + 2k h(xk)zk 2 k Minimi Vincolati 11 / 27 Minimi Vincolati 12 / 27

4 Dimostrazione (10/11) se valesse h(xk)zk = 0 tenendo conto che α > 0 può essere scelto arbitrariamente piccolo otterremmo 0 z T 2 [ f(x )z λi z T 2 hi(x )z ] Consideriamo quindi zk come la proiezione di z nel Kernel di h(xk) cioè infatti zk = z h(xk) T [ h(xk) h(xk) T ] 1 h(xk)z h(xk)zk = h(xk)z h(xk) h(xk) T [ h(xk) h(xk) T ] 1 h(xk)z = h(xk)z h(xk)z = 0 Resta ora da dimostrare che k zk = z se z è nel kernel di h(x ). Minimi Vincolati 13 / 27 Dimostrazione (11/11) Consideriamo il ite zk = z [ k k h(xk)t h(xk) h(xk) T ] 1 h(xk)z = z h(x ) T [ h(x ) h(x ) T ] 1 h(x )z e quindi se z è nel kernel di h(x ) cioè h(x )z = 0 abbiamo e questo conclude la dimostrazione. k zk = z Minimi Vincolati 14 / 27 Quando si affronta un problema di minimo vincolato del tipo: soggetta ai vincoli Conviene definite la Lagrangiana minimizzare: h(x) = 0 L(x, λ) = λ h(x) In modo che i punti di minimo/massimo sono i punti stazionari di L(x, λ) cioè xl(x, λ) = x λ T xh(x) = 0 λl(x, λ) = h(x) = 0 Consideriamo una coppia (x, λ) che soddisfa e la matrice xl(x, λ) = 0 λl(x, λ) = 0 2 xl(x, λ) = 2 x λk 2 xhk(x) allora le condizioni necessarie e sufficienti per avere un minimo/massimo locali sono le seguenti: (prossimo lucido) Minimi Vincolati 15 / 27 Minimi Vincolati 16 / 27

5 Se x è punto di minimo locale allora xl(x, λ) è semi-definita positiva nel Kernel di h(x )), cioè z T xl(x, λ)z 0, z Ker( h(x )) Se x è punto di massimo locale allora xl(x, λ) è semi-definita negativa nel Kernel di h(x ), cioè z T xl(x, λ)z 0, z Ker( h(x )) Se xl(x, λ) è definita positiva nel Kernel di h(x ), cioè z T xl(x, λ)z > 0, z Ker( h(x )) \ {0} allora x è punto di minimo locale. Analogamente se xl(x, λ) è definita negativa nel Kernel di h(x ), cioè z T xl(x, λ)z < 0, z Ker( h(x )) \ {0} allora x è punto di massimo locale. Minimi Vincolati 17 / 27 Derivazione alternativa dei moltiplicatori Derivazione alternativa dei moltiplicatori Teorema della funzione implicita Teorema Sia A R n+m aperto e h C 1 (A,R m ) sia inoltre 1 (x0, y0) A; 2 h(x0, y0) = 0; 3 h(x0,y0) y non singolare. Allora esistono due aperti U R n e V R m e una funzione φ : U V tali che y0 = φ(x0); h(x, y) = 0 e solo se y = φ(x) (per x U e y V ); φ C 1 (U, V ) e vale xφ(x) = ( yh(x, φ(x))) 1 xh(x, φ(x)) Minimi Vincolati 18 / 27 Derivazione alternativa dei moltiplicatori Riconsideriamo minimizzare: f(z), h(z) = 0 Se h(z) ha rango massimo possiamo (eventualmente riordinando le coordinate) partizionare z = (x;y) in modo da soddisfare per h(x, y) il teorema della funzione implicita ottenendo (almeno localmente) il problema non vincolato equivalente minimizzare: I punti stazionari devo quindi soddisfare cioè f(x, φ(x)) f(x, φ(x )) = 0 T Usando l espressione della derivata di φ xφ(x ) = ( yh(x, φ(x ))) 1 xh(x, φ(x )) otteniamo xf(x, φ(x )) yf(x, φ(x )) ( yh(x, φ(x ))) 1 xh(x, φ(x )) = 0 T definiamo ora i moltiplicatori λ come λ = ( yh(x, φ(x ))) T yf(x, φ(x )) T e quindi avremo xf(x, φ(x )) λ T xh(x, φ(x )) = 0 T xf(x, φ(x )) + yf(x, φ(x )) φ(x ) = 0 T Minimi Vincolati 19 / 27 Minimi Vincolati 20 / 27

6 Derivazione alternativa dei moltiplicatori ricordiamo l espressione dei moltiplicatori λ = ( yh(x, φ(x ))) T yf(x, φ(x )) T sostituendola nella espressione: yf(x, φ(x )) λ T yh(x, φ(x )) otteniamo 0 T e quindi unendo le due espressioni xf(x, φ(x )) λ T xh(x, φ(x )) = 0 T yf(x, φ(x )) λ T yh(x, φ(x )) = 0 T e tornando alle coordinate z = (x ; λ) zf(z ) λ T zh(z ) = 0 T I moltiplicatori di Lagrange precedentemente considerati sono utili nel calcolo di minimi vincolati nel caso di vincoli di uguaglianza. Queste condizioni non sono valide nel caso si considerino anche vincoli unilateri (diseguaglianze). permettono di caratterizzare i punti di massimo e minimo del problema Con vincoli hk(x) = 0, k = 1, 2,..., p gk(x) 0, k = 1, 2,..., q che è la condizione cercata. Minimi Vincolati 21 / 27 Trasformazione dei vincoli di diseguaglianza Minimi Vincolati 22 / 27 Aggiungendo una variabili ausiliarie ɛk per ogni diseguaglianza del problema Con vincoli hk(x) = 0, k = 1, 2,..., p gk(x) 0, k = 1, 2,..., q questo viene trasformato nel problema di minimo vincolato dove Con vincoli lk(x, ɛ) = 0, k = 1, 2,..., p + q lk(x, ɛ) = { hk(x) gk p(x) ɛ 2 k per k = 1, 2,..., p per k = p + 1, p + 2,..., p + q Dato il problema Con vincoli lk(x, ɛ) = 0, k = 1, 2,..., p + q possiamo usare le condizioni precedentemente sviluppate per caratterizzare i punti di massimo e minimo vincolato. Sfruttando la struttura del problema si possono scrivere le condizioni al primo e secondo ordine in modo che la variabili slack (gli ɛk) non compaiono nella formulazione. Queste condizioni prendono il nome di condizioni KKT (di Karush-Kuhn-Tucker) Minimi Vincolati 23 / 27 Minimi Vincolati 24 / 27

7 Condizioni al primo ordine Condizioni necessarie al secondo ordine Data la lagrangiana p q L(x, λ, µ) = λkhk(x) µkgk(x) Se x è un punto di minimo (o massimo) locale vincolato allora valgono le le condizioni KKT xl(x, λ, µ) = 0 hk(x ) = 0 gk(x ) 0 k = 1, 2,..., p k = 1, 2,..., q µk 0 k = 1, 2,..., q Sia x è un punto di minimo (o massimo) locale vincolato allora devono valore le condizioni KKT al primo ordine e inoltre per ogni direzione d tale che deve anche soddisfare hk(x )d = 0 k = 1, 2,..., p gk(x )d = 0 se gk(x ) = 0 d T xxl(x, λ, µ)d 0 µk gk(x ) = 0 k = 1, 2,..., q Minimi Vincolati 25 / 27 Minimi Vincolati 26 / 27 Condizioni sufficienti al secondo ordine Sia x è un punto che soddisfa le condizioni KKT al primo ordine e inoltre per ogni direzione d 0 tale che soddisfa anche hk(x )d = 0 k = 1, 2,..., p gk(x )d = 0 se gk(x ) = 0 d T xxl(x, λ, µ)d > 0 e inoltre se gk(x ) = 0 abbiamo µk > 0 allora x è un punto di minimo locale. Minimi Vincolati 27 / 27