7.1 The largest polygon. 7.2 Optimal control. Exercise session 7 Optimization Prof. E. Amaldi

Transcript

1 7.1 he largest polygon Give the mathematical programming formulation for the following problem: given a positive integer n, find the polygon with n edges with diameter (the maximum distance between two vertices) less or equal to 1, of maximum area. Hint. Use the polar coordinates. Note that, given the length a,b of two edges of a triangle and the angle α between them, the area of the triangle is 1 2absin(α). Note that, given two vectors, their lengths a, b and the angle α between them, their square Euclidean distance is a 2 +b 2 2abcos(α). 7.2 Optimal control A robot must move an object, whose mass is M, from the initial position x i R 3 to the final position x f R 3, avoiding a parallelepiped obstacle Y: the position and size of the obstacle, mass and initial and final position of the object are known. he movement must be performed in seconds, as shown in Figure 1. For the sake of simplicity, the time interval [0...) is divided into n time slots I k = [ (k 1) n, k n ) (k = 1...n) of equal length. We assume that the force to be applied on the object in each direction is constant during each time slot. Determine two input control sequences for the robot, which optimize the comfort of the movement and the overall work performed. Optimizing the comfort consists in minimizing the force variations between each time-slot and the next one. Hint. Represent the state of the system with two vectors, x and v, representing the position and the speed at the beginning of each time slot. he constraint which avoids collisions between the object and the obstacle can be relaxed, by applying the constraint only to such instants. Figure 1: Optimal robot control. Developed by L. Liberti and S. Coniglio 1

2 7.3 Optimizing along conjugate directions Apply two iterations of the conjugate directions method to the following problem minf(x 1,x 2 ) = 12x 2 +4x x 2 2 4x 1 x 2 starting from the initial point x 0 = ( 1 2,1) and from direction d 0 = (1,0). Let d 1 be a direction conjugated to d 0 with respect to the Hessian matrix of f. What happens if we optimize first along d 1 and then along d 0? What happens if we start from a different initial point? 7.4 Conjugate directions method for quadratic functions Consider the function q(x) = 1 2 x Qx b x where Q is symmetric and positive definite. Let x 0 R n be an initial point and {x k } a sequence of points generated by the conjugate gradient method with respect to Q-conjugated directions d 0,...,d n 1. Let α i be the step size computed by the exact line search at i-th iteration. Show that for each k = 1,...,n the point x k = x 0 + α i d i is the global minimum of q(x) on the affine subspace V k = {x R n : x = x 0 + v,v span{d 0,...,d k 1 }}. In particular, x n is the global minimum of q(x) on R n. Hint. Since q(x) is convex, it is sufficient to verify that q(x k ) is orthogonal to V k, due to the necessary and sufficient optimality conditions for convex problems. i=0 Developed by L. Liberti and S. Coniglio 2

3 7.5 Limited memory BFGS method A drawback of the quasi-newton methods for large size problems is the memory required. hus, methods which build quasi-newton directions d k = H k f(x k ) using only a limited number of vectors δ k = x k+1 x k and γ k = f(x k+1 ) f(x k ) (for instance, the last m) are needed. (a) Verify that the BFGS method updating equation can be written as where ( H k+1 = H k + 1+ γ ) H k k γ k δ k δ k H kγ k δ k +δ k γ k H k. (1) δ k γ k δ k γ k δ k γ k H k+1 = V k H k V k +ρ k δ k δ k V k = I ρ k γ k δ k ρ k = 1 γ k δ k. (b) Show how to compute the direction d k = H k f(x k ) using H 0 and all vectors δ i,γ i, with i {0,...,k 1}. c) o avoid storing all the δ i and γ i vectors, with i {0,...,k 1}, and keeping limited the required memory, an approximated value of H k can be computed using only the last m vectors, namely δ i and γ i with i {k m,...,k 1}. Write the approximated updating formula. It is worth noting that limited memory BFGS method provides results comparable to those provided by BFGS without memory limitation even for small value of m, such as m = 5. Developed by L. Liberti and S. Coniglio 3

4 Soluzione 7.1 Il poligono più grande Si vogliono scegliere le posizioni degli n vertici del poligono. In coordinate polari, questo significa scegliere un angolo φ i [0,2π) e una distanza r i 0 rispetto all origine per ogni vertice i = 1...n. L area del triangolo di vertici o,i,i+1, dove o rappresenta l origine e con i < n, formano un triangolo di area: A(i) = 1 2 r ir i+1 sin( φ i+1 φ i ). Possiamo togliere il valore assoluto per ogni coppia i,i+1 tranne che per n,1. Per quest ultima, riscriviamo φ 1 φ n = (φ 1 φ n ) = 1 2 r nr 1 sin(2π φ n +φ 1 ). L area totale è dunque: n 1 1 max 2 r ir i+1 sin(φ i+1 φ i )+ 1 2 r nr 1 sin(2π φ n +φ 1 ). Per imporre distanza inferiore a 1 per ogni coppia di vertici, introduciamo il vincolo r 2 i +r 2 j 2r i r j cos( φ i φ j ) 1 i,j = 1...n,j > i. Si noti che cos( φ i φ j ) = cos(φ i φ j ) = cos( φ i +φ j ), dato che il coseno è una funzione pari. Rimuoviamo dunque il valore assoluto per ogni coppia. Complessivamente, abbiamo la formulazione: max n r ir i+1 sin(φ i+1 φ i )+ 1 2 r nr 1 sin(2π φ n +φ 1 ) s.t. r 2 i +r 2 j 2r i r j cos(φ i φ j ) 1 i,j = 1...n,j > i φ i φ i+1 i = 1...n 1, dove l ultimo vincolo impone l ordinamento tra i vertici (usato per togliere il valore assoluto). 7.2 Controllo ottimo Supponendo che l oggetto si muova di moto rettilineo uniformemente accelerato, al termine di ogni intervallo temporale i abbiamo le equazioni: x i = x i 1 + n v i n 2 1 M F i 1 v i = v i 1 + n 1 M F i 1 i = 1...n i = 1...n. ApprossimiamoilcorpoY conuninsiemedipunti{y 1,...,y k }, perk sufficientementegrande. Indicando con d(x,y) la minima distanza tra il punto x ed ogni punto y Y, ossia d(x,y) := min y Y x y, Developed by L. Liberti and S. Coniglio 4

5 andiamo a imporre x y j > ǫ 2 j = 1,...,k, con ǫ costante sufficientemente piccola. Infine, è necessario imporre che le condizioni iniziali e finali siano rispettate: x 0 = x i x n = x f v 0 = 0 v n = 0 Se si intende minimizzare il lavoro totale la funzione obiettivo avrà la forma n minimize F i (x i x i 1 ). mentre se si intende ottimizzare il comfort la funzione obiettivo avrà la forma n minimize F 0 + F i F i Ottimizzazione lungo direzioni coniugate La matrice Hessiana è 2 f(x 1,x 2 ) = ( Partendo con d 0 = (1,0), d 1 = (a,b) deve essere tale che valga ) d 0 2 f(x 1,x 2 )d 1 = 8a 4b = 0, da cui abbiamo b = 2a. Le direzioni coniugate non sono uniche: una scelta può essere a = 1 e b = 2: d 1 = (1,2). Partiamo dal punto iniziale x 0 = ( 1 2,1). Minimizzando la funzione obiettivo f(x 1,x 2 ) lungo la direzione d 0, risolvendo min α f(x 1 +α,x 2 ) = 12x 2 +4(x 1 +α) 2 +4x 2 2 4(x 1 +α)x 2. Annullandone la derivata valutata in x 0 = ( 1 2,1) otteniamo α = 1. Raggiungiamo dunqe il punto x 1 = (1/2,1). Minimizziamo ora lungo d 1, risolvendo min α f(x 1 +α,x 2 +2α) = 12(x 2 +2α)+4(x 1 +α) 2 +4(x 2 +2α) 2 4(x 1 +α)(x 2 +2α) Developed by L. Liberti and S. Coniglio 5

6 Annullandone la derivata valutata in x 0 = ( 1 2,1) otteniamo α = 1 2. Raggiungiamo dunqe il punto x 2 = (1,2). È facile anche verificare che il comportamento del metodo sarebbe stato lo stesso ottimizzando prima lungo la direzione d 1 e poi lungo la direzione d 0 (da x 0 si raggiunge il punto x 1 = (0,2) e da x 1 il punto x 2 ). Inoltre, partendo dallo stesso punto iniziale, la lunghezza dei passi di ottimizzazione lungo le rispettive direzioni rimane la stessa. 7.4 Metodo delle direzioni coniugate per funzioni quadratiche Seguendo il suggerimento, mostriamo che q(x k ) è ortogonale a V k mostrandone l ortogonalità rispetto ai vettori d 0,...,d k 1 che generano il sottospazio. Partiamodall iterazionek econsideriamolafunzioneq(x k 1 +αd k 1 )comefunzionediα. Con ottimizzazioneunidimensionaleesatta,lasceltadelpassoα k 1 soddisfaα k 1 = argmin α q(x k 1 + αd k 1 ). Applicando le condizioni necessarie del primo ordine, sappiamo che α k 1 è un punto di minimo solo se q(x k 1 +αd k 1 ) α = q(x k 1 +α k 1 d k 1 ) d k 1 = 0. Ciò significa che, con ottimizzazione unidimensionale esatta, il gradiente della funzione nel punto x k = x k 1 +α k 1 d k 1 αk 1 è ortogonale alla direzione d k 1, ossia q(x k ) d k 1 = 0. Occorre ora dimostrare l ortogonalità rispetto alle direzioni precedenti d j, per j = 0,...,k 2. Abbiamo: ( q(x k ) = Qx k b = Q x 0 + α i d i ) b = i=0 j 1 Q x 0 + α i d i + α i d i b = i=0 Q x j + α i d i b = Qx j b+q α i d i = q(x j )+Q α i d i. Moltiplichiamo a sinistra per d j 1 entrambi i membri dell espressione sopra, ottenendo d j 1 q(x k ) = d j 1 q(x j )+ α i (d j 1Qd i ). Abbiamo già verificato che q(x j ) d j 1 = 0 (la verifica al paragrafo precedente vale per ogni k e, in particolare, per k = j). Dato che i vettori d i sono Q-coniugati, i termini nel secondo Developed by L. Liberti and S. Coniglio 6

7 addendo della parte destra dell equazione sono nulli. Abbiamo dunque q(x k )d j 1 = 0 per ogni j = 0,...,k Metodo BFGS a memoria limitata (a) Sia V = I ργδ, dove ρ = 1/(γ δ). Abbiamo: H k+1 = V H k V +ρδδ = (I ργδ ) H k (I ργδ )+ρδδ = H k ρ(h k γδ +δγ H k )+ρ 2 δγ H k γδ +ρδδ = H k H kγδ +δγ H k γ δ ( ) = H k + 1+ γ H k γ δδ δ γ + (γ H k γ)(δδ ) (γ δ) 2 + δδ γ δ δ γ H kγδ +δγ H k. δ γ (b) Usando ripetutamente la formula di aggiornamento per H derivata al punto precedente, H k = V k 1 H k 1 V k 1 +ρ k 1 δ k 1 δ k 1 = V k 1 (V k 2 H k 2 V k 2 +ρ k 2 δ k 2 δ k 2 )V k 1 +ρ k 1 δ k 1 δ k 1 = V k 1 V k 2 H k 2 V k 2 V k 1 +ρ k 2 V k 1 δ k 2 δ k 2 V k 1 +ρ k 1 δ k 1 δ k 1 =... = V k 1 V k 2 V 0 H 0 V 0 V k 2 V k 1 +ρ 0 V k 1 V 1 δ 0 δ 0 V 1 V k 1 +ρ 1 V k 1 V 2 δ 1 δ 1 V 2 V k ρ k 2 V k 1 δ k 2δ k 2 V k 1 +ρ k 1 δ k 1 δ k 1. Developed by L. Liberti and S. Coniglio 7