LEZIONE ICO

Transcript

1 LEZIONE ICO Argomento. Rassegna dei metodi numerici utilizzabili per la soluzione di problemi di ottimizzazione statica. Metodi del gradiente e di Newton e loro derivati. Metodi di penalita e di barriera per problemi vincolati. Lucia Marucci marucci@tigem.it

2 Formulazione del problema min,max f ( x) G G l i i x ( x) = 0 ( x) 0 x x x u f(x) è la funzione obiettivo o di costo G i (x) sono le funzioni vincolari del problema x L <x<x u vincoli scalari

3 Problemi di ottimizzazione Problemi di programmazione lineare (LP) f(x) e G(x) sono funzioni lineari Problemi di programmazione quadratica (QP) f(x) è quadratica con G(x) vincoli lineari Problemi di programmazione non lineare (NP) f(x) e G(x) sono funzioni non lineari delle variabili di progetto

4 1: Ottimizzazione non vincolata (Unconstrained Optimization) f : R n R Data convessa e due volte derivabile: min f(x)?? x p= f(x) valore ottimo

5 1) f( x) = 0 2 2) f( x) ± 0 f () x 2 f() x f() x = 2 f() x = x x x i i j vettore, nx1 matrice, nxn

6 Algoritmi iterativi o numerici Si determina una sequenza di punti {x (0),x (1) } tale che: lim k f ( x k ) = p * L algoritmo termina f(x k )-p* ε per uno specificato errore ε>0

7 Metodi di discesa (Line Search) Ad ogni step dell algoritmo, si ottiene x k (current point) nella direzione di ricerca d k x k+1 =x k +α k d k cercando di ottenere il decremento di f(x) lungo x k +α k d k attraverso interpolazioni polinomiali

8 Algoritmo di discesa generico Dato un punto iniziale: 1)verificare che il punto non soddisfi le condizioni di ottimalità; se ciò avviene terminare: una soluzione è stata determinata; 2) altrimenti determinare una direzione di discesa; 3) determinare un passo di discesa; 4) aggiornare il punto di iterazione con il nuovo punto determinato, poi tornare al passo 1.

9 Differenza tra un metodo e l altro: 1. scelta del passo α k lungo la direzione di discesa 2. scelta della direzione di discesa dk Steepest descent method Metodo di Newton Quasi-Newton Method

10 Metodi di discesa - passo La lunghezza di step α (step-size) soddisfa: Condizione di sufficiente riduzione T f ( x + α d ) < f( x ) + γα f( x ) d k k k k k k k 0< γ < 1 Condizione di Wolfe T T f ( x + α d ) > c f( x ) d k k k k k γ < c < 1 La prima impone che αk decrementi sufficientemente la funzione f(x) e la seconda che la lunghezza del passo non sia troppo piccola.

11 Steepest descent method Punto iniziale: (k=0). Step 1: se f x R 0 ( x ) = k la direzione di ricerca n 0 fermati, altrimenti calcoliamo Step 2: calcoliamo lo step-size minimizzare in modo da Step 3: poniamo x k+1 =x k +α k d k k=k+1 go to step 1

12 Limiti dell algoritmo Lentezza di convergenza, soprattutto se la curvatura della funzione e molto variabile. Convergenza locale. Regola implicita di step size (richiede tempo computazionale) Inefficienza di calcolo della soluzione nel caso di funzioni che presentano elevata convessità.

13 Rosenbrock function MINIMO = 0 CHE SI OTTIENE PER (x1, x2) = (1, 1)

14 1000 iterazioni; punto iniziale: (-1.9,2)

15 Metodo di Newton x R Punto iniziale: (k=0). f 0 Step 1: se fermati, altrimenti calcoliamo il gradiente e l Hessiano di f(x) : f ( x k n ( x ) = k ) 0 2 f ( x k ) Step 2: calcolo del passo di Newton: d k = 2 f ( x k ) 1 f ( x k ) Step 3: poniamo x = x + k+1 k d k k=k+1 go to step 1

16 Vantaggi e limiti Vantaggi: Convergenza locale veloce Se f(x) è una funzione quadratica, una soluzione stazionaria è raggiunta in poche iterazioni Svantaggi Convergenza locale Calcolo dell hessiano ad ogni iterazione Complessità computazionale

17 Quasi-Newton Method Scopo: evitare il calcolo numerico dell hessiano (elevata complessità computazionale) Come? Calcolando una sequenza che rimpiazzi l Hessiano Algoritmo: x R punto iniziale: (k=0). 0 n Step 1: Calcoliamo, se è =0 allora fermati, altrimenti calcola Step 2: la direzione di ricerca e lo step-size d k = H k f (x k ) α : = min f ( x k + αdk ) α Step 3: x k+1 =x k +α k *d k k=k+1 go to step 1

18 Condizione di quasi-newton Il problema chiave è trovare una matrice H k+1 che soddisfi (*) e che sostituisca (*) con Variazione gradiente Variazione punti

19 Metodi Numerici per H k+1 L idea è quella di aggiornare il valore di H k usando le informazioni del gradiente a x k+1 e x k Diversi metodi numerici: Metodo di Broydens Metodo DFP (Davidson, Flatcher, Powell) Metodo BFGS (Broyden, Flatcher, Goldfarb, Shanno)

20 140 iterazioni!!!!

21 2: Ottimizzazione vincolata (Constrained Optimization) min,max f ( x) G G l i i x ( x) = 0 ( x) 0 x x x 2 obiettivi: 1) Minimizzare la funzione obiettivo; 2) Minimizzare le violazioni dei vincoli. u

22 Metodi di penalità Questi metodi usano funzioni di penalità usando una sequenza di minimizzazioni non vincolate EXTERIOR PENALTY esempio Definisco la penalty function come Assume un valore positivo quando vincolo violato

23 r = penalty parameter L'idea è che se x devia troppo lontano dalla regione ammissibile, il termine di penalty (r, P(x)) diviene grande quando r è grande. Al crescere di r, la tendenza sarà indirizzare i minimi non vincolati verso la regione fattibile per ridurre il valore della penalty.

24 SCELTA DELLA PENALTY FUNCTION

25 Algoritmo Una volta scelta la funzione da minimizzare T (x) si fissa un r, ad esempio r 1 = 10 e si ottiene una prima soluzione x 1 ; Usiamo x 1 come scelta iniziale per il minimo di T(x), aumentiamo r (r 2 = 100) ed si ottiene x 2 ; Usiamo poi x 2 come un punto iniziale per ottenere il minimo di T (x) con r 3 = 1000, e così via; Fermiamo il processo quando la violazione del vincolo è piccola e quando le variazioni in f con le x risultanti sono insignificanti.

26 Difficoltà del metodo 1. La scelta iniziale di r non è facile. 2. Per r grande, la funzione T(x) è molto non lineare. Trovare direttamente il suo minimo a partire da un punto iniziale x0 è molto difficile, a meno che T(x) è di semplice struttura (una funzione quadratica, come nell esempio).

27 INTERIOR PENALTY Questi metodi cercano il minimo a partire dall interno della regione di ricerca. E applicabile a problemi con soli vincoli di disuguaglianza. La funzione barriera B deve avere queste proprietà: 1. B è continua; 2. B(x) 0 3. B(x) quando x si avvicina al limite della regione ammissibile.

28 SCELTA DELLA BARRIERA Due scelte tipiche sono: Funzione inversa Funzione logaritmica

29 Aumentando r, la funzione T è più vicina alla funzione di costo originale f eccetto vicino il confine dove g si avvicina a zero. La minimizzazione libera di T (x), per valori in aumento di r, dà luogo ad una sequenza di punti che convergono al minimo dall'interno della regione ammissibile.