Metodo del gradiente e metodo di Newton

Transcript

1 Metodo del gradiente e metodo di Newton Esercizio : implementazione dei metodi del gradiente e di Newton Si considerino il metodo del gradiente, con ottimizzazione unidimensionale esatta, ed il metodo di Newton. Sia ε > un valore di tolleranza fissato a priori. Si utilizzi, come criterio d arresto del metodo, la condizione f (x k ) < ε, dove f (x k ) è il gradiente della funzione f valutato in x k. a) Si implementi il metodo del gradiente. b) Si implementi il metodo di Newton. Traccia per le implementazioni File descentmethod.m: stub di un metodo di discesa. Trova un minimo locale x (con valore f(x) ) della funzione f a partire da un punto iniziale x, dati una tolleranza ε > e un limite sulle iterazioni. Restituisce il numero delle iterazioni svolte (counter) e la norma del gradiente f(x ) nell ultima soluzione (error). Le variabili xks e fks contengono la lista delle soluzioni trovate a ogni iterazione e i corrispondenti valori della funzione obiettivo (utili per rappresentare graficamente i risultati ottenuti). % Stub of a descent method function [xk, fk, counter, error, xks, fks] =... descentmethod(f, x, epsilon, maxiterations) xks = [x ]; fks = [feval(f,x)]; xk = x; counter = ; error = e3; while error > epsilon && counter < maxiterations counter = counter + ; % d = alpha = fminsearch(@(a) feval(f,xk + a*d),.); %exact -d opt xk = xk + alpha*d; error = norm(grad(f,xk)); fk = feval(f,xk); xks = [xks; xk ]; fks = [fks; fk]; %of function Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti.

2 File grad.m: stima numericamente il gradiente f(x) di f nel punto x. % Gradient of a function at a point function gradf = grad(f, x) h =.; n = length(x); gradf = zeros(n,); for i = :n delta = zeros(n, ); delta(i) = h; gradf(i) = ( feval(f, x+delta) - feval(f,x) ) / h; %of function Si scriva un metodo analogo per la stima dell Hessiana. Esercizio : funzione di Rosenbrock Si consideri la funzione di Rosenbrock f(x) = (x x ) +( x ). Si tratta di una funzione quadratica non convessa spesso utilizzata per testare sperimentalmente la convergenza di algoritmi di ottimizzazione nonlineare. Figura : Funzione di Rosenbrock. a) Se ne trovi analiticamente l unico ottimo globale. b) Si osservi il comportamento del metodo del gradiente, parto dalle soluzioni iniziali: x = (,), x = (,) e x = (,), utilizzando un massimo di 5, 5 e iterazioni. c) Si osservi il comportamento del metodo di Newton, parto dal punto (,) e si commenti la differenza tra le sequenze di punti trovate dai due metodi. Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti.

3 File contour stub.m: plotta le curve di livello della funzione bivariata myfunction sul dominio [x lb,x ub ] [y lb,y ub ]. f %plot the contour of the function [X,Y] = meshgrid(x_lb:x_step:x_ub, y_lb:y_step:y_ub); Z = zeros(size(x,),size(x,)); for i = :size(x,) for j = :size(x,) Z(i,j) = feval(f,[x(i,j);y(i,j)]); figure; contour(x,y,z,5); File f rosenbrock.m function f = f_rosenbrock(x) f = *(x()-x()^)^ + (-x())^; Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 3

4 Soluzione Esercizio : implementazione dei metodi del gradiente e di Newton a) File steepestdescent.m: metodo del gradiente. % Steepest descent method function [xk, fk, counter, error, xks, fks] =... steepestdescent(f, x, epsilon, maxiterations) xks = [x ]; fks = [feval(f,x)]; xk = x; counter = ; error = e3; while error > epsilon && counter < maxiterations counter = counter + ; d = -grad(f, xk); alpha = fminsearch(@(a) feval(f,xk + a*d),.); xk = xk + alpha * d; error = norm(grad(f,xk)); fk = feval(f,xk); xks = [xks; xk ]; fks = [fks; fk]; %of function Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 4

5 b) File newton.m: metodo di Newton. % Newton method function [xk, fk, counter, error, xks, fks] =... newton(f, x, epsilon, maxiterations) xks = [x ]; fks = [feval(f,x)]; xk = x; counter = ; error = e3; while error > epsilon && counter < maxiterations counter = counter + ; gradf = grad(f, xk); H = hes(f, xk); d = -inv(h)*gradf; alpha = ; xk = xk + alpha * d; error = norm(grad(f,xk)); fk = feval(f,xk); xks = [xks; xk ]; fks = [fks; fk]; File hes.m: stima numericamente l Hessiano f(x) di f nel punto x. % Hessian of a function at a point function H = hes(f, x) h =.; n = length(x); H = zeros(n,n); for i = :n delta_i = zeros(n, ); delta_i(i) = h; for j = :n delta_j = zeros(n, ); delta_j(j) = h; H(i,j) = (feval(f,x+delta_i+delta_j) - feval(f,x+delta_i)... - feval(f,x+delta_j) + feval(f,x)) / (h^); % of function Esercizio : funzione di Rosenbrock a) L ottimo globale della funzione è in x = (,), come si può osservare calcolando i punti in cui il gradiente è. b) Lo script run ex grad.m lancia (per il punto (,)) il metodo del gradiente sulla funzione in analisi per 5 iterazioni, indica la distanza in norma (optimality gap) dalla Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 5

6 soluzione x ottima e stampa la sequenza {x k } di punti trovata sul grafico delle curve di livello. Si modifichi lo script per effettuare tutti gli esperimenti indicati. clear all close all f [X,Y] = meshgrid(-3:.:3, -5:.:6); Z = zeros(size(x,),size(x,)); for i = :size(x,) for j = :size(x,) Z(i,j) = feval(f,[x(i,j);y(i,j)]); %plot the function figure; surf(x,y,z, FaceColor, interp, EdgeColor, none ) camlight left; lighting phong plot3(,,, *y ); %plot the contour of the function figure; contour(x,y,z,5); %optimize --for 5 iterations, starting rfom [-;]. Change the code for % the other cases eps =.; x = [-; ]; max_iter = 5; plot(x(),x(), o ); [xstar, xstar, counter, error, xks, fks ] =... steepestdescent(f, x, eps, max_iter); gap = norm(xstar-[; ]); plot(xks(:,), xks(:,), r ); plot(,, * ); La Tabella riporta la soluzione trovata con il metodo del gradiente, il numero di iterazioni effettuate e il gap per i punti iniziali indicati. I risultati sperimentali confermano quanto attestato dalla teoria: l algoritmo converge a una soluzione localmente ottima (in questo caso unica) per ogni x. Gode cioè della proprietà di convergenza globale. La rapidità di convergenza, come osservabile, è fortemente sensibile alla soluzione iniziale adottata. Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 6

7 Tabella : Risultati dati dal metodo del gradiente applicato alla funzione di Rosenbrock. x it x f (x ) x (,) f (x ) (-,) 5 (.38,.57) (,) 5 (.477,.8) (-,) 5 (.597,.795) (-,) 5 (.9744,.9493) (,) 5 (.9983,.9966) (-,) 5 (.8,.65) (-,) (.9744,.9493) (,) (.9983,.9966) (-,) (.8,.65) c) Lo script run ex newton.m lancia il metodo di Netwon sul problema in esame: f %plot the contour of the function [X,Y] = meshgrid(-:.:, -3.5:.:3); Z = zeros(size(x,),size(x,)); for i = :size(x,) for j = :size(x,) Z(i,j) = feval(f,[x(i,j);y(i,j)]); figure; contour(x,y,z,5); %optimize x = [-; ]; eps =.; max_iter = 5; %newton [xstar, fstar, counter, error, xks, fks ] =... newton(f, x, eps, max_iter); gap = norm(xstar-[; ]) plot(xks(:,), xks(:,), b ); plot(xks(:,), xks(:,), b* ); La Tabella riporta la soluzione trovata con il metodo di Newton, il numero di iterazioni effettuate e il gap per i punti iniziali indicati. La funzione in esame è quadratica ma non convessa. Le successioni {x k } generate dal metodo del gradiente e di Newton sono rappresentate nella Figura. Si noti come, considerando lo stesso punto iniziale x, le successioni {x k } Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 7

8 Tabella : Risultati dati dal metodo di Newton applicato alla funzione di Rosenbrock. x it x f (x ) x (,) f (x ) (-,) 7 (.975,.9437) (,) 4 (.975,.9438) (-,) 7 (.974,.9435) generate dai due metodi siano notevolmente diverse. Il metodo del gradiente fa molte iterazioni e converge al punto di minimo x molto lentamente. Il metodo di Newton converge al punto di minimo x in poche iterazioni, ma, nel caso dei punti x = (,) e x = (,), si nota che, in alcune iterazioni, la direzione d k non è di discesa (in questi casi, passando da x k a x k+, ci sposta in un punto del dominio in cui le curve di livello sono più chiare, dunque corrispondenti a valori più alti per la funzione obiettivo.) Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 8

9 Laboratorio 4 Prof. E. Amaldi Ottimizzazione (a) x = (, ), metodo del gradiente. (b) x = (, ), metodo di Newton (c) x = (, ), metodo del gradiente. (d) x = (, ), metodo di Newton (e) x = (, ), metodo del gradiente. (f) x = (, ), metodo di Newton. Figura : Comportamento del metodo del gradiente e di Newton sulla funzione di Rosenbrock: in rosso le iterazioni con indice minore di 5, in blu le iterazioni con indice da 5 a 5. Edizione 3 a cura di V. Danese. Edizione originale di L. Liberti. 9