Gli approcci alla programmazione dinamica: alcuni esempi

Transcript

1 Gli approi alla programmazione dinamia: aluni esempi Franeso Menonin February, 2002 Ottimizzazione dinamia Il problema he qui si onsidera è quello di un soggetto he intende massimizzare (o minimizzare) il valore di una funzione obiettivo (qui hiamata U) perunerto periodo di tempo (qui supposto da t 0 fino a T on T>t 0 ). Si suppone he il mondo onsiderato nel problema sia desritto da alune variabili dette di stato ehequiinseriamonelvettorey. Il soggetto in questione può modifiare l evoluzione di dette variabili operando su altre variabili sotto il suo ontrollo (per iò dette di ontrollo ) he inseriamo nel vettore. Inpartiolare, la soluzione del problema è data dal valore di he massimizza la funzione obiettivo sull aro temporale onsiderato. Alla fine del periodo preso in esame (ioè in T ) si immagina he il soggetto valuti lo stato del sistema raggiunto (ioè il valore del vattore y al tempo T ) attraverso una funzione (K) hevienedefinita funzione terminale o, in termine anglosassone bequest funtion. Se il problema si studia in un ontesto disreto, l evoluzione delle variabili y è data da un sistema di equazioni alle differenze finitementre,inunonstesto ontinuo, l evoluzione di y è data da un sistema di equazioni differenziali. Si suppone he lo stato del mondo al momento iniziale (t 0 ) sia onosiuto on ertezza. Il problema di ottimo, dunque, si può srivere (per un aso di massimizzazione) nei due modi seguenti: Caso Disreto (P d ) Caso Continuo (P ) franeso.menonin@unipv.it TP ma tt 0 U (t, (t), y (t)) + K (T,y (T )) y (t +)f (t, y (t), (t)) y (t 0 )y 0 ma R T t 0 U (t, (t), y (t)) dt + K (T,y (T )) dy (t) f (t, y (t), (t)) dt y (t 0 )y 0

2 Nelle sezioni seguenti si analizzano i due approi utilizzati per la soluzione di detti problemi. 2 Approio di Bellman (asi disreto e ontinuo) Per entrambi i problemi si utilizza l approio di Bellman he si basa sull ipotesi he esista una funzione J (t, y) (detta funzione valore) tale da soddisfare la seguente ondizione: J (t, y) ma{u (t,, y) dt + J (t + dt, y (t + dt))}, () he, nel aso disreto, bisogna trasformare ponendo dt. Notiamohela ondizione al ontorno è data dalla funzione terminale K per la quale deve valere: J (T,y) K (T,y (T )). Nel aso disreto, dunque, si è di fronte ad una equazione alle differenze finite del primo ordine in J la quale viene, in genere, risolta tramite il metodo di iterazione he si vedrà in un esempio nelle sezioni seguenti. Continuando nel aso ontinuo la () si può semplifiare nel modo seguente: ma {U (t,, y) dt + J (t + dt, y (t + dt)) J (t, y)} 0, dividendo per dt si riava: ma ½ U (t,, y)+ e prendendone il limite per dt 0 si ha: ½ U (t,, y)+ ma ¾ J (t + dt, y (t + dt)) J (t, y) 0, dt ¾ dj (t, y) 0. (2) dt Riordiamo ora he il differenziale totale di J si può srivere: µ 0 dj (t, y) dt + dy, da ui: µ 0 dj (t, y) dy + dt dt. Sostituendo dj/dt nella (2), essa si può srivere ome: ( µ ) 0 dy ma U (t,, y) dt 2

3 Avendo a disposizione il valore di dy/dt (datonellastrutturastessadel problema P ) si può srivere: ( µ 0 ma U (t,, y)+ + f (t, y (t), (t))) 0, ( µ 0 +ma U (t,, y)+ f (t, y (t), (t))) 0, tale equazione alle derivate parziali viene definita equazione di Bellman mentre il termine da massimizzare viene definito Hamiltoniano. A questa equazione va poi aggiunta la ondizione finale: J (T,y) K (T,y (T )). E importante sottolineare he non esiste un metodo definito per risolvere questo tipo di equazione differenziale. Si proede, dunque, attraverso soluzioni di prova ed ipotesi partiolari riguardo la funzione J. In genere, tuttavia, si suppone he la funzione valore erediti una erta forma dalla funzione K e le soluzioni di prova partono da una generalizzazione proprio della funzione K. 3 Approio di Pontriagin (aso ontinuo) L approio di Potriagin viene utilizzato solo nel aso ontinuo e si basa sullo stesso prinipio della massimizzazione tramite lagrangiano. Viene dunque definito il moltipliatore λ, questa volte dipendente dal tempo, e viene sritto l hamiltoniano nel modo seguente: H U (t,, y)+λ (t) 0 f (t, y, ), dove l apie india trasposizione. Tale hamiltoniano va massimizzato rispetto ad ottenendo, quindi: H U (t,, y)+λ (t) 0 f (t, y, ). Sul valore ottimo dell hamiltoniano, quindi, si riavano le seguenti ondizioni di Pontriagin: λ H, H λ, λ (T ) K (T ), he vengono definite sistema di Hamilton-Jaobi. 4 Aluni esempi Nella presente sezione si mostrano aluni esempi di programmazione dinamia siaintempodisreto(approiodibellman)siaintempoontinuo(approidi Bellman e Pontriagin). 3

4 4. Caso disreto: l ottimizzazione del onsumo Si supponga di dover deidere quanto onsumare della propria rihezza in un mondo deterministio dove la rihezza si evolve nel modo seguente: W (t +)(W (t) ) R (t). Qui si onsiderano: l ammontare di rihezza onsumato ed R (t) il fattore di montante (deterministio) tra il periodo t ed il periodo t +. Per semplifiare al massimo i aloli si suppone R (t) R. Il onsumo entra in una funzione di utilità avente la forma seguente U (t, ) β t dove β è un fattore di sonto psiologio he india ome un onsumatore dia sempre meno utilità ai onumi sempre più distanti nel tempo. Il problema, dunque, si può srivere nella forma seguente: TP ma β t t 0 tt 0 t + β T t 0 W T W (t +)(W (t) (t)) R, W (0) W 0. Abbiamo allora la seguente funzione di Bellman he, per sempliità, si suppone anora da sontare: β t t0 J (t, W ) ma β t t 0 t + β t+ t0 J (t +,W (t +)) ª, J (t, W ) ma t + β J (t +,W (t +)) ª. Il problema, dunque, diviene quello di trovare la funzione J he soddisfa a questa equazione alle differenze finite del primo ordine. La ondizione del primo ordine per la massimizzazione rispetto a si può srivere: t + β J (t +, (W (t) ) R) 0, ( ) J (t +) t β R W (t +) 0. Poihè si onose (dalla ondizione al ontorno) quanto deve valere la funzione valore al tempo T, partendo dal tempo T si può srivere: J (T,W T ) ma T + β J (T,W (T )) ª, J (T,W T ) ma T + β W ª T. Utilizzando l equazione alle differenze he desrive l andamento della rihezza si può anhe srivere: n J (T,W T )ma T + β (W T T ) R o, 4

5 dauisiriavalaondizionedelprimoordine: ( ) T β R ( )(W T T ) 0, T β R (WT T ), T β R W +β T, R la quale si può srivere nel modo seguente: T A W T, A β R. +β R Tale valore va sostituito nella formula di J (T,W) per ottenere: J (T,W T ) n ma T + β R (W T T ) o, J (T,W T ) A W T + β R ( A ) W T ³, J (T,W T ) A + β R ( A ) W T, dauisipuòsemplifiare il termine tra parentesi: µ! A + β R ( A ) +β R A A A µ! +β R A A +β R +β R ottenendo: +β R β R! β R ³+β R A +β R β R β R +β R!! J (T,W T )A W T. 5 +! A β R β R +β R A!! A

6 Il proesso di iterazione, quindi, si ripete uguale al passaggio preedente on la variante di avere un β 2 A β. Si può dunque srivere: J (T 2,W T 2 )ma n T 2 + β 2R (W T 2 T 2 ) o. Anora una volta la ondizione del primo ordine è data da: dauisipuòporre: ( ) T 2 β 2R ( )(W T 2 T 2 ) 0, T 2 β 2 R (WT 2 T 2 ), T 2 β 2 R W +β T 2, 2 R e, quindi: T 2 A 2 W T 2, A 2 β 2 R +β 2 R, J (T 2,W T 2 ) (A 2 W T 2 ) + β 2 R (W T 2 A 2 W T 2 ), ³ J (T 2,W T 2 ) A 2 + β 2 R ( A 2 ) W T 2, da ui si riava, tramite gli stessi passaggi visti preedentemente: J (T 2,W T 2 )A 2 W T 2. E piuttosto faile apire he esistono le seguenti relazioni riorsive: J (T s, W T s ) A s W T s, A s Da qui, riordando he deve valere: β s R +β s R β s A s β s, T s A s W T s. W T s W T s T s R, si può srivere, sostituendovi il valore ottimo del onsumo: W T s ( A s ) RW T s, W T s+ ( A s ) RW T s., 6

7 Questa è un equazione alle differenze finite del primo ordine omogenea; si può appliare la formula risolutiva: T s Y W T s W 0 R T s ( A T k ), edaquisiriava: k0 T s Y T s W 0 A s R T s k0 ( A T k ). Si sottolinea he la soluzione del problema dipende solo dai parametri e dalle ondizioni iniziali (qui date sempliemente dal valore iniziale della rihezza W 0 ). 4.2 Caso ontinuo: un problema lineare-quadratio Un problema è detto lineare-quadratio se l equazione di stato è lineare e la funzione obiettivo è quadratia. In partiolare si suppone di dover risolvere il seguente problema: R T ma ³ 2 t ay (s)2 2 b (s)2 ds k 2 y (T )2 dy (s) gy (s)+f(s), y (t) y, dove a, b, k, f, g sono ostanti positive. Vediamo ora ome risolvere questo problema attraverso i due approi di Bellman e di Pontriagin Soluzione di Bellman L equazione alle derivate parziali di Bellman si srive nel modo seguente: ½ ma 2 ay2 ¾ 2 b2 + + (gy + f) 0, da ui si ottiene la ondizione del primo ordine: b + f 0, f. b Sostituendo tale valore di ottime nell equazione di Bellman si ottiene: µ µgy + f 2 2 ay2 f 2 2 b gy 2 ay2 + f 2 2 b 7 0, b µ 2 0,

8 alla quale va aggiunta la ondizione al ontorno: J (T,y) k 2 y (T )2. Supponendo he la funzione J erediti la forma quadratia, he deve avere al tempo T, una soluzione di prova può essere: dalla quale si riava: J (t, y) 2 (t) y2 + γ (t), (t) γ (t) y2 +, 2 (t) y, µ 2 (t) 2 y 2. Sostituendo tale valori nell equazione di Bellman si ottiene: (t) y2 + 2 µ (t) 2 γ (t) (t) gy 2 2 ay2 + f 2 2 f 2 b (t)2 y 2 + (t) g 2 a + 2 b (t)2 y 2 0, γ (t) 0. Due polinomi sono uguali solo se il oeffiiente di ogni termine del primo è uguale al oeffiiente del termine orrispondente del seondo. In questo aso, tutti i oeffiienti devono essere nulli, ovvero abbiamo un sistema di equazioni differenziali: ( (t) 2 γ(t) (t) g 2 a + 2 0, f 2 b (t)2 0, in ui le inognite sono le funzioni (t) e γ (t) e per ui deve valere la ondizione al ontorno: (T ) k, γ (T ) 0. Si nota he il vinolo sulla funzione γ èrispettatosoloseessaèugualea zero in ogni istante t. Dunque si può porre γ (t) 0. La prima equazione (in ) è indipendente può essere risolta utilizzando il metodo della separazione delle variabili srivendo: d f 2 b 2 2g a dt 8

9 da ui: d ( ω )( ω 2 ) dt, r g ± ω,2 b f 2 g 2 + f 2 a b!. Ora, integrando tra t e T si riava: ln (s) ω 2 ω 2 ω (s) ω T t T t, ottenendo: ln (t) ω 2 ln k ω 2 (ω 2 ω )(T t). (t) ω k ω Daquisiriavaimmediatamenteilvaloredi (t) he onsente di trovare la funzione valore e da qui il ontrollo ottimo: f b J Soluzione di Pontriagin Analizziamo ora ome si risolva lo stesso problema preedente attraverso l approio di Pontriagin. L hamiltoniano si srive nel modo seguente: da ui la ondizione del primo ordine: H 2 ay2 2 b2 + λ (gy + f), b + λf 0, fλ b. Sostituendo tale valore nell hamiltoniano si ha: H 2 ay2 + f 2 λ 2 + λgy. 2 b Da qui si può alolare il sistema delle ondizioni di Hamilton-Jaobi: λ ( ay + λg), f 2 λ b + gy, λ (T ) ky (T ), riordando anhe he deve valere y (0) y 0. 9

10 Tale sistema di equazioni differenziali è lineare e si può srivere nella forma matriiale seguente: λ g a λ f 2. b g y Oorre, adesso, alolare gli autovalori ed autovettori della matrie dei oeffiienti ottenendo: " # r (b(bg2 +af v v 2 ))+bg f 2 b (bg2 + af 2 )λ, " # r (b(bg v 2 v 2 2 +af 2 ))+bg f 2 b (bg2 + af 2 )λ 2. Poihé tutti i parametri del problema sono positivi, si osserva immediatamente ome un autovalore sia positivo ed uno negativo (si ha, ioè, il aso di un equilibrio di sella). Esiste, dunque, un solo sentiero lungo il quale si onverge all equilibrio. La soluzione di questo sistema è data da: λ (t) y (t) A v e λ t + A 2 v2 e λ 2t, da ui si possono riavare i valori delle ostanti A e A 2 riordando le ondizioni al ontorno: ½ λ (T ) ky (T ), y (0) y 0, dovendo risolvere il sistema: ½ A v e λt + A 2 v 2 e λ2t ky (T ), A + A 2 y 0, e, sostituendo il valore di y (T ) derivante dall inserimento di t T nella soluzione y (t) si ha: ½ A v e λt + A 2 v 2 e λ2t k A e λt + A 2 e λ2t, A + A 2 y 0, ovvero: ½ A (v + k) e λ T + A 2 (v 2 + k) e λ 2T 0, da ui: A + A 2 y 0, y 0 (v 2 + k) e λ 2T A (v + k) e λ T (v 2 + k) e λ 2T, A 2 y 0 (v + k) e λt (v + k) e λ T (v 2 + k) e λ 2T. 0

11 Da qui si riava il valore ottimo del moltipliatore he, sostituito nella relazione: fλ b, porge: f A v e λt + A 2 v 2 e λ 2t. b