Metodi di Ottimizzazione

Transcript

1 Metodi di Ottimizzazione Stefano Gualandi Università di Pavia, Dipartimento di Matematica

2 Metodi di Ottimizzazione Metodi di Ottimizzazione I metodi numerici per il calcolo di minimi di una funzione obiettivo sono di tipo iterativo: a partire da un dato punto iniziale x 0 R n generano una successione di punti x k convergente ad un punto stazionario. SCHEMA GENERICO DI ALGORITMO ITERATIVO 1 Sia dato x 0 e un valore di tolleranza numerica toll while( f (x k ) >toll) (Verifica C.N. I ordine) 3 il metodo genera un vettore h k 4 x k+1 = x k + h k (aggiornamento dell iterata) 5 end La scelta fatta del vettore h k differenzia il metodo usato.

3 Demo web DEMO WEB: http: //

4 Calcolo della radice quadrata di un numero Sia data la funzione f : R R seguente: f (x) = x 3 3 rx di cui si deve trovare un punto stazionario utilizzando un metodo iterativo, ovvero un punto che realizza f (x) = 0 f (x) = x r = 0 Osservazione In pratica, stiamo cercando un metodo iterativo che permetta di approssimare al computer la radice quadrata di un numero. Se r =, stiamo cercando un approssimazione di.

5 Calcolo della radice quadrata di un numero Chiamiamo ora g(x) = x r e vediamo come possiamo trovare con un metodo iterativo un punto tale per cui g(x) = 0. (DEMO: NewtonIteration_Ani.gif) In pratica, approssimiamo la funzione g(x) in un punto x k con i primi due termini del polinomio di Taylor g(x k ) + g (x k )(x x k ) = 0 Il punto x che soddisfa l equazione precedente, viene usato come nuovo punto x k, che meglio approssima r. In pratica risolviamo da cui g(x k ) + g (x k )(x k+1 x k ) = 0 x k+1 = x k g(x k) g (x k )

6 Metodo Iterativo per il calcolo di k Abbiamo ora il nostro primo metodo iterativo: x k+1 = x k g(x k) g (x k ) Domande Possiamo garantire che il metodo converge ad un punto x? Possiamo garantire che il metodo converge proprio a r? Esercizio 1 Implementare uno script Matlab che calcola la radice quadrata di. (Prima di implementare, provare i conti a mano per trovare 36)

7 Esempio numerico Nel nostro caso, il metodo iterativo consiste nel calcolare x k+1 = x k g(x k) g (x k ) = x k x k r x k = x k x k + r x k = 1 (x k + r x k ) Esempio numerico per calcolare, ovvero con r = Iterata corrente x k Quoziente r x k 1 1 Media tra x k e r (1+) = = ( ) = = ( ) = x k

8 Stima dell errore Studiamo l errore del nostro metodo iterativo (senza conoscere il valore esatto di r). Sia E k l errore di approssimazione da cui E k = x k r x k = r + E k L errore alla prossima iterazione sarà E k+1 = x k+1 r = x k + r x k = x k + r x k = (x k r) x k r = E k x k r = x k rx k + r x k

9 Stima dell errore Dopo la prima iterata x 0, tutti gli errori successivi saranno sempre positivi. Inoltre l errore ad ogni iterazione diventa sempre più piccolo, in quanto da cui E k = x k r < x k e quindi 0 < E k x k < 1 E k+1 = E k = E k E k x k x k < E k Riassumendo..... abbiamo dimostrato che l errore del metodo iterativo diventa sempre più piccolo ad ogni iterazione in quanto 0 < E k+1 < E k < E k

10 Criterio d arresto basato sulla stima dell errore Dalle relazioni precedenti abbiamo che 0 < x k+1 r < x k r r < xk+1 < x k Riprendendo la definizione di errore al passo k ovvero E k = x k r = x k x k+1 + x k+1 r = (x k x k+1 ) + E k+1 < (x k x k+1 ) + E k E k+1 < E k < x k x k+1 In pratica, se si vuole una soluzione con un errore minore di ɛ > 0, basterà verificare la condizione: x k x k+1 < ɛ

11 Proprietà Affidabilità e convergenza Siamo interessati ad algoritmi affidabili e efficienti: L affidabilità è associata al concetto di convergenza: il metodo converge ad un punto stazionario? È anche un punto di minimo? L efficienza si misura in termini di velocità di convergenza e costo computazionale: con che velocità il metodo converge ad un punto stazionario? Quante risorse di calcolo consuma il metodo?

12 Convergenza Definition 1 (Convergenza locale) Un algoritmo di ottimizzazione converge localmente ad un punto di minimo x se per scelte di x 0 sufficientemente vicine a x la successione generata a partire da x 0, ovvero la successione {x k (x 0 )}, converge a x, ovvero se ρ > 0 tale che x 0 B(x, ρ) = {x : x x < ρ} {x k (x 0 )} x per k Definition (Convergenza globale) Un algoritmo di ottimizzazione converge globalmente ad un punto di minimo x se per ogni scelta di x 0 la successione generata a partire da x 0, {x k (x 0 )}, converge a x ovvero: x 0 R n {x k (x 0 )} x per k

13 Rapidità di Convergenza Definition 3 (Convergenza Q-lineare) Sia {x k } una sequenza di punti in R n che converge a x. Diciamo che la convergenza è Q-lineare se esiste una costante r (0, 1) tale per cui x k+1 x x k x r, per ogni k sufficientemente grande. (1) Fattore di riduzione Questo significa che la distanza dalla soluzione ottima x diminuisce ad ogni iterazione di almeno un fattore costante.

14 Rapidità di Convergenza Definition 4 (Convergenza Q-superlineare) La rapidità di convergenza viene detta Q-superlineare se x k+1 x lim k x k x = 0. Definition 5 (Convergenza Q-quadratica) Si parla di convergenza Q-quadratica quando x k+1 x x k x M, per ogni k sufficientemente grande, in cui M è una costante positiva, non necessariamente minore di 1.

15 Rapidità di Convergenza Definition 6 (Convergenza di ordine p) Una sequenza converge con ordine p (con p > 1) se esiste una costante M tale che x k+1 x x k x p M, per ogni k sufficientemente grande.

16 Esercizio 1 Esercizio 1 Dimostrare che 1 La successione {1 + 1 k } converge a 1 con rapidità Q-lineare. La successione {1 + k k } converge a 1 con rapidità Q-superlineare. 3 La successione { k } converge a 1 con rapidità Q-quadratica. Dopo aver dimostrato la velocità di convergenza indicata per ciascuna successione, usare Matlab per rappresentare graficamente la velocità di convergenza delle tre successioni.