Sistemi Intelligenti Reinforcement Learning: Equazioni di Bellman

Dimensione: px

Iniziare la visualizzazioe della pagina:

Download "Sistemi Intelligenti Reinforcement Learning: Equazioni di Bellman"

Lidia Capelli
4 anni fa
Visualizzazioni

Intelligenti Applicti (AIS-Lb) Diprtimento di Scienze dell

1 Siemi Intelligenti Reinforcement Lerning: Equzioni di Bellmn Alberto Borghese Università degli Studi di Milno Lbortorio di Siemi Intelligenti Applicti (AIS-Lb) Diprtimento di Scienze dell Informzione /22 Sommrio Le equzioni di Bellmn lue function ottim 2/22

2 Il modello mrkovino Il comportmento dell mbiente è definito dllo to: S {s } Per ogni to l gente sceglie un zione: A(s) Policy di un gente: (s, ) è qunto dobbimo definire. L mbiente h un evoluzione ocic rppresentt d un MDP: P P t s + s' ' Pr{ s s' s s, } s t t+ t t s > s t+ Inoltre, d ogni inte fornisce un rewrd immedito ssocito ll trnsizione, imto ll inte t come: Rs > s' E{ rt + r' s, t, + s'} s S; A 3/22 L vlue function Null è detto sull policy: dto uno to, in qule nodo zione mi spoo? oglimo coruire genti lungimirnti. Stte-lue function: k E { Rt s} E γ rt + k + s k 0 Mssimizzo l ricompens lungo termine, (.). Dipende dll policy: 4/22 2

3 lue function e modelli mrkovini N _ zioni Pr ( s s ) Per ogni to devo vlutre: Più zioni. Più ti prossimi Rewrd ocici. 5/22 N _ ti k Pr ( s s s s'; ) t+ k t t Clcolo ricorsivo dell lue function k E { Rt s} E γ rt k 0 ( s') E { R + + t s '} + k + s + k E rt γ γ rt k k + 2 s 6/22 3

4 E Per ogni to devo vlutre: Più zioni. Più ti prossimi Rewrd ocici. (s) : primo termine ( s) P [ R ] { rt + s}, s s' s s' s' 7/22 E γ k 0 k γ r (s) : secondo termine 2 s E { Rt + + sk}pr( + sk s) k t+ k + Per ogni to devo vlutre: Più zioni. Più ti prossimi Rewrd ocici. 8/22 4

5 Clcolo ricorsivo dell lue function k E { Rt s} E γ rt k 0 ( s') E { R + + t s '} + k + s Policy Next-te P s s' s s, } k (, s) Ps s' Rs s + E rt + k + s ' γ γ 2 k 0 (, s) Ps s' [ R ' ( s') ] s s + γ s' s > s ' Pr{ t+ t t 9/22 t s Bellmn s eqution Esempio (possibile progetto) 0/22 5

6 Esempio di vlore di uno to t: s s t C y t + : s s s t+ C C + Dy p 0.25 r 0 C Dy p 0.25 r 0 C + Dx p 0.25 r 0 C p 0.25 r - x t + 2, +Dy -Dy C + Dy p 0.25 r - C r 0 C p 0.25 r 0 C -2Dy r 0 A p 0.25 r 0 C Dy+Dx r 0 C + Dy p 0.25 r - C Dy r - /22 t: s s t C Clcolo dell funzione vlore di uno to t + : s s s t+ I C + Dy p 0.25 r 0 II C Dy p 0.25 r 0 III C + Dx p 0.25 r 0 I C p 0.25 r - y x Per clcolre il vlore di s: (s), devo nlizzre il vlore di ogni s : C (s,) -- P s-> s -- R s->s -- (s ) lue of s. policy Rispo mbiente Rewrd 2/22 6

7 Reinforcement Lerning Problem Given: Repetedly Executed ction Observed te Observed rewrd Agent Lern ction policy : S A Mximizes life rewrd r 0 + γ r + γ 2 r 2... from ny rt te. Discount: 0 < γ< Stte Rewrd Action Environment Note: Unsupervised lerning Delyed rewrd 3/22 s 0 0 s s 2 2 s 3 r 0 r r 2 Gol: Lern to choose ctions tht mximize life rewrd r 0 + γ r + γ 2 r 2... Sommrio Le equzioni di Bellmn lue function ottim 4/22 7

8 . : S A How About Lerning the Policy Directly? 2. fill out tble entries for by collecting tiics on trining pirs <s, >. 3. Where does come from? Problem di ottimizzzione dell lue function, voglio determinre l policy che mi mssimizz l lue function. 5/22 Ottimizzzione lue function e policy Per ogni to scelgo le zioni secondo l policy: (s,). Posso ordinre l lue function (s) in funzione delle zioni scelte in s (policy). Si definisce un policy,, migliore di un ltr, 2, se e solo se: (s) > 2 (s) s. In prticolre si definisce un politic ottim,, se e solo se: (s) > k (s) s. 6/22 8

Clcolo ricorsivo dell lue function ottim s s' s s' + γ s' (, s) P [ R ( s') ] (s) di uno to, qundo viene scelt l policy ottim, deve essere ugule l vlore tteso del rewrd per l zione migliore per lo to

9 Clcolo ricorsivo dell lue function ottim s s' s s' + γ s' (, s) P [ R ( s') ] (s) di uno to, qundo viene scelt l policy ottim, deve essere ugule l vlore tteso del rewrd per l zione migliore per lo to s. mx Ps s' s' [ Rs s' + γ ( s') ] 7/22 Esempio di clcolo dell funzione vlore α0.6, β0., γ0.8, R serch 3, R wit Pr(, tehigh) [0.4, 0.6, 0] Pr(, te low) [0.4, 0.5, 0.] h 0.4xx[+0.8h] + 0.6x0.4x[3+0.8xh]+0.6x0.6x[3+0.8l] l 0.4xx[+0.8l] + 0.5x0.x[3+0.8xl]+0.6x0.9x[-3+0.8h]+ 0.xx[0+0.8h] Siem linere di 2 equzioni nelle 2 incognite: h e l 8/22 9

10 Esempio di clcolo dell policy ottim (high): te high, ction wit Q( high, wit) [ R te high, ction serch Q( high, serch) α[ R serch wit + γ ( high)] + γ ( high)] + ( α)[ R serch + γ ( low)] (low): te low, ction wit Q( low, wit) [ R te low, ction serch Q( low, serch) β[ R te low, ction rechr Q( low, rechr) γ ( h) 9/22 serch wit + γ ( low)] + γ ( low)] + ( β )[ 3+ γ ( high)] Utilizzo di (s) Siem di N equzioni non-lineri in N incognite (le entry dell tbell dell policy). Politic greedy rispetto ll lue function. Que politic greedy (d un psso) produce un politic ottim globlmente. engono vlutte le conseguente breve termine delle zioni (-ep) m non è un politc miope perché consente di ottenere un politic globlmente ottim. 20/22 0

11 Problemtiche legte l clcolo di (s) Soluzione vicin ll ricerc esuiv. Devo vlutre per ogni to tutte le possibili zioni (devo trovre il mssimo). Per tutte le possibili zioni devo clcolre l probbilità di trnsizione llo to successivo e di ottenere un cert rewrd. 3 ssunzioni: ) Conoscenz dell dinmic dell mbiente: P(s->s ) 2) Potenz di clcolo sufficiente 3) Proprietà Mrkovine dell mbiente (definizione di uno to). Soluzioni pprossimte. 2/22 Sommrio Le equzioni di Bellmn lue function ottim 22/22

Documenti analoghi

Sistemi Intelligenti Reinforcement Learning: Sommario

Sistemi Intelligenti Reinforcement Lerning: Itertive policy evlution Alberto Borghese Università degli Studi di Milno Lbortorio di Sistemi Intelligenti Applicti (AIS-Lb) Diprtimento di Scienze dell Informzione