Laboratorio Complementi di Ricerca Operativa DEI, Politecnico di Milano. Stima di parametri

Transcript

1 Stima di parametri Il gestore di un sito turistico dove si pratica il bungee-jumping deve fornire alla sovrintendenza municipale un documento che riguarda la sicurezza del servizio fornito. Il documento chiede in particolare che siano stimate la costante di rigidità della corda (approssimata in questo caso a una molla) e il coefficiente di frizione dell aria durante la caduta (si assume che non ci sia vento). Il gestore dispone di un campionamento di 10 osservazioni (prese in vari istanti temporali) che riguardano posizione verticale, velocità e accelerazione di un corpo da 75kg in caduta, come da tavola seguente. Campione Posizione Velocità Accelerazione Si formuli un modello di programmazione matematica senza vincoli per risolvere il problema, e si risolva l istanza considerata per mezzo di Matlab. Documento preparato da Leo Liberti 1

2 Soluzione Le forze agenti sul corpo in caduta sono: la gravità F 1 (t) = mg (dove m è la massa del corpo e g è l accelerazione di gravità), la tensione della corda elastica (si assume l utilizzo della forza di Hooke con coefficiente k) F 2 (t) = kx(t) e l attrito dell aria con coefficiente f, che dipende dal quadrato della velocità: F 3 (t) = fv(t) 2, dove x(t) e v(t) sono la posizione verticale (si assume che la direzione positiva sia verso il basso) e la velocità del corpo al tempo t. L equazione di moto del corpo è: F (t) = 3 F i (t) = ma(t), dove a(t) è l accelerazione del corpo al tempo t. Di qui si ottiene ẍ = g k m x f mẋ2, dove ẋ = v e ẍ = a. Le costanti g, k, f sono tutte non negative. Il problema chiede di usare le osservazioni campionate per effettuare una stima di k e f. Riscriviamo l equazione di moto usando i simboli (x, v, a); otteniamo a + k m x + f m v2 g = 0. (1) In altre parole, le triple (x i, v i, a i ) campionate (per i n, con n = 10) devono obbedire approssimativamente al modello lineare (1). Avremo dunque, per ogni i n, a i + k m xi + f m (vi ) 2 g = ɛ i, dove ɛ i è un errore sperimentale. L errore accumulato su tutti i campionamenti è dato da ɛ = n ɛ i 2. Il problema da risolvere è quello di minimizzare l errore accumulato come funzione dei parametri da stimare k, f: min k,f n a i + k m xi + f m (vi ) 2 g 2. (2) Dato che la funzione norma è convessa (si veda il Riquadro 1), che il quadrato di una funzione non-negativa convessa è convesso (si veda il Riquadro 2) e che la somma di funzioni convesse è convessa (si veda il Riquadro 3), il problema (2) è un problema nonlineare convesso. Dato infine che in un problema convesso ogni ottimo locale è anche un ottimo globale (si veda il Riquadro 4), il problema può essere risolto mediante un algoritmo di ottimizzazione locale come per esempio il metodo di Newton (si veda il Riquadro 5). Dato che per ogni i n si ha che a i + k m xi + f m (vi ) 2 g 2 = = (a i g) 2 + 2xi m (ai g)k + 2(vi ) 2 m (ai g)f + (x i /m) 2 k 2 + ( 2xi (v i ) 2 m 2 )kf + ((v i ) 2 /m) 2 f 2, Documento preparato da Leo Liberti 2

3 Riquadro 1. Una funzione f : S R n R si dice convessa su S se per ogni x, y S e per ogni λ [0, 1] si ha: f(λx + (1 λ)y) λf(x) + (1 λ)f(y). (3) Geometricamente, questo significa che il segmento tra (x, f(x)) e (y, f(y)) si trova sopra il valore di f valutato per ogni punto del segmento. Consideriamo ora f(x) = x, dove è una norma (non si assume necessariamente la norma Euclidea). Si ha λx + (1 λ)y λx + (1 λ)y per la disuguaglianza triangolare; dato che la norma è lineare rispetto alla moltiplicazione scalare, si ha anche che prova la convessità della norma. λx + (1 λ)y λ x + (1 λ) y, Figura 1: Convessità della norma. Riquadro 2. Sia f : S R n R + una funzione convessa su S a valori non-negativi; si ha dunque che per x, y S e λ [0, 1], f(λx+(1 λ)y) λf(x)+(1 λ)f(y). Sia ora g : R R data da g(x) = x 2 (si dimostri, come esercizio, che g è convessa su R). Si consideri la funzione h data dalla composizione di g e f: dimostriamo che h = g f è una funzione convessa. Siano x, y S e λ [0, 1]. Per la convessità di f, si ha f(λx + (1 λ)y) λf(x) + (1 λ)f(y). Dato che f ha valori non-negativi, g è non decrescente (il quadrato di quantità positive è una funzione strettamente crescente), quindi mantiene la direzione delle disuguaglianze. In particolare, g(f(λx + (1 λ)y)) g(λf(x) + (1 λ)f(y)). Ora, dato che g è convessa, si ha g(λf(x) + (1 λ)f(y)) λg(f(x)) + (1 λ)g(f(y)). Dalle due disuguaglianze si desume che h(λx + (1 λ)y) λh(x) + (1 λ)h(y), che implica che h è convessa. Si noti che questa dimostrazione vale per ogni coppia di funzioni convesse f, g con g non descrescente e tali che la composizione g f possa essere definita. Figura 2: Il quadrato di una funzione convessa è convesso. la funzione obiettivo di (2) può essere scritta come F (k, f) = c 1 +c 2 k +c 3 f +c 4 k 2 +c 5 kf + c 6 f 2, dove c 1 = n (a i g) 2, c 2 = n c 4 = n (x i /m) 2, c 5 = n 2x i (a i g) m, c 3 = n 2x i (v i ) 2 2(v i ) 2 (a i g) m,, c m 2 6 = n (v i ) 4 /m 2. Dunque il problema min F (k, f) è un problema di minimizzazione della forma quadratica convessa in due variabili raffigurata in Fig. 7. Verifichiamo ora che il metodo di Newton può essere utilizzato per la soluzione del Documento preparato da Leo Liberti 3

4 Riquadro 3. Siano f, g : S R n R due funzioni convesse su S, e siano x, y S e λ [0, 1]. Si ha allora che f(λx + (1 λ)y) λf(x) + (1 λ)f(y) g(λx + (1 λ)y) λg(x) + (1 λ)g(y) da cui f(λx + (1 λ)y) + g(λx + (1 λ)y) λf(x) + (1 λ)f(y) + λg(x) + (1 λ)g(y), e quindi (f + g)(λx + (1 λ)y) λ(f + g)(x) + (1 λ)(f + g)(y), che dimostra la convessità di f + g. Figura 3: La somma di funzioni convesse è convessa. Riquadro 4. Sia f : S R n R una funzione convessa su S. Dimostriamo che se x S è un minimo locale, allora è anche un minimo globale. Il fatto che x sia un minimo locale di f rispetto a S implica che esiste una sfera B(x, ε) S (con centro in x e raggio ε > 0) tale che x B(x, ε (f(x ) f(x)). Si consideri ora un qualsiasi punto x S tale che x x. È facile verificare che possiamo scegliere un punto x x sul segmento tra x e x tale che x B(x, ε); cioè che esiste λ (0, 1] tale che x = λx + (1 λ)x. Per la convessità di f si ottiene f( x) λf(x ) + (1 λ)f(x), che può essere scritto come f(x) f( x) λf(x ). 1 λ Dato che x B(x, ε), per la minimalità locale di x, si ha f( x) f(x ), e quindi f(x) f(x ) λf(x ) 1 λ = f(x ). Abbiamo quindi mostrato che per ogni x x in S si ha f(x ) f(x), che prova che x è un minimo globale. Figura 4: Ogni ottimo locale di un problema convesso è anche globale. ( ) problema. L Hessiana è H = 2 2c4 c F = 5. Si ottengono facilmente i valori c 5 2c 6 numerici per c = (c 1,..., c 6 ) e per gli autovalori λ 1, λ 2 di H: c = (881.74, , , , , 0.221) λ 1 = λ 2 = , da cui si desume che l Hessiana è definita positiva (quindi il metodo di Newton converge per quanto detto nel Riquadro 5). Inoltre, dato che la funzione obiettivo è quadratica, è sufficiente effettuare una sola iterazione del metodo di Newton (Riquadro 6). Documento preparato da Leo Liberti 4

5 Riquadro 5. In generale, i metodi di programmazione nonlineare per problemi senza vincoli nella forma min x f(x) sono dei metodi iterativi in cui viene mantenuta una soluzione x all iterazione corrente, e la soluzione x all iterazione successiva viene definita come x = x γd f(x), (4) dove D è una matrice definita positiva. In questo modo, si ha che la retta tra x e x ha direzione d = D f(x). Dato che D è definita positiva, per ogni vettore v si ha v Dv > 0, e quindi ( f(x)) D f(x) > 0, da cui ( f(x)) d < 0, e quindi d è una direzione di diminuzione per il valore della funzione obiettivo. Il metodo così definito converge a un ottimo locale. L ordine di convergenza dipende dalla scelta della matrice D. Nel metodo di Newton si utilizza D = ( 2 f(x)) 1, ovvero l inversa dell Hessiana della funzione obiettivo. Se f è due volte differenziabile e convessa su S, si può dimostrare che l Hessiana è semidefinita positiva per ogni punto in S, ma non definita positiva; perciò il metodo di Newton potrebbe anche non convergere. Vedremo però che nel caso del problema (2) l Hessiana è definita positiva, e quindi il metodo di Newton converge. Figura 5: Metodo di Newton per problemi senza vincoli. Riquadro 6. Si dimostra inoltre che il metodo di Newton, con γ = 1, applicato a una funzione quadratica convessa, converge in una iterazione. Si consideri l espansione di Taylor al secondo ordine ˆf(x+d) = f(x)+ f(x) d+ 1 2 d ( 2 f(x)) 1 d di f a x. Se f è quadratica convessa, si ha che f(x + d) = ˆf(x + d). Le condizioni di ottimalità per f(x + d) sono f(x + d) = 0, che significa f(x) + 2 f(x)d = 0. Ne segue che d = ( 2 f(x)) 1 f(x); dunque d è tale che f ha un minimo a x + d. Dato che alla prima iterazione del metodo di Newton si ha l aggiornamento x x + d, la tesi è dimostrata. Figura 6: Convergenza del metodo di Newton per funzioni quadratiche convesse. A questo punto possiamo scrivere il codice Matlab. objfun.m: calcola il valore della funzione obiettivo in un punto x = (k, f). % objfun.m function F = objfun(x, c) c1 = c(1); cprime = [c(2) c(3)]; H = [2*c(4), c(5) ; c(5), 2*c(6)]; F = c1 + cprime*x * x *H*x; %end function gradobjfun.m: calcola il gradiente della funzione obiettivo in un punto x = (k, f). Documento preparato da Leo Liberti 5

6 f k Figura 7: La funzione obiettivo. % gradobjfun.m function gof = gradobjfun(x, c) gf1 = c(2) + 2*c(4)*x(1) + c(5)*x(2); gf2 = c(3) + c(5)*x(1) + 2*c(4)*x(2); gof = [gf1; gf2]; %end function newton.m: risolve il problema. % newton.m function [xstar, fstar, k] = newton(x) OPTIONS = [ ]; maxiterations = 1; c = [ ]; cprime = [c(2), c(3)]; H = [ 2*c(4), c(5) ; c(5), 2*c(6) ]; Hinv = H^(-1); termination = 0; counter = 1; while termination == 0 gradf = gradobjfun(x, c); d = -Hinv*gradF; if (counter > maxiterations) termination = 1; xstar = x; fstar = objfun(x, c); k = counter; else lambda = 1; x = x + lambda*d; counter = counter + 1; end end %end function Documento preparato da Leo Liberti 6

7 Scegliamo arbitrariamente il punto di partenza x = (0, 0); lanciamo il codice con il comando: [xstar, fstar, k] = newton([0;0]) Si ottiene xstar = fstar = k = 2 Quindi l ottimo 1 è x = (k, f ) = ( , ). Il valore della funzione obiettivo è negativo per via di errori numerici nei calcoli in floating point. 1 I dati sono stati ottenuti mediante una simulazione con k = e f = 22.5, dunque l errore è dell ordine di grandezza di Documento preparato da Leo Liberti 7