Sistemi Intelligenti Reinforcement Learning: Sommario

Transcript

1 Siemi Inelligeni Reinforcemen Lerning: quzioni di Bellmn Albero Borghee Univerià degli Sudi di Milno Lbororio di Siemi Inelligeni Applici (AIS-Lb) Diprimeno di Scienze dell Informzione /35 Sommrio Deerminzione dell vlue funcion. empio. Le equzioni di Bellmn 2/35

2 Reinforcemen Lerning Problem Given: Repeedly xecued cion Oberved e Oberved rewrd Agen Lern cion policy : S A Mximize life rewrd r 0 γ r γ 2 r 2... from ny r e. Dicoun: 0 <γ< Se Rewrd Acion nvironmen Noe: Unupervied lerning Delyed rewrd 3/ r 0 r r 2 Gol: Lern o chooe cion h mximize life rewrd r 0 γ r γ 2 r Il noro filo logico L lue funcion ci erve per decidere l zione migliore. Per clcolre l lue funcion devo collezionre rewrd fuuro. Come e ne ece? Deerminzione lgebric dell lue Funcion Deerminzione eploriv dell lue Funcion Deerminzione dell lue Funcion e cel dell policy vi vi empre più inreccie r loro. 4/35 2

3 empio: AIBO erch Azioni: ) Rimnere fermo e pere che qulcuno gei nel ceino un lin vuo. 2) Muoveri ivmene in cerc di line. 3) Tornre ll u be (rechrge ion) e ricricri. So: ) Alo livello di energi. 2) Bo livello di energi. Policy: A( high) {Serch, Wi} A( low) {Serch, Wi, Rechrge} 5/35 Gol: collezionre il mggior numero di line. Funzionmeno del Robo Funzione So proimo: P > ' Pr{ ', } Se il livello di energi è lo ( lo): e celgo Wi lo. e celgo Serch, vrà un cer probbilià di divenre low. Phigh > low Serch Pr{ low high, Serch } Se il livello di energi è bo ( bo): e celgo Wi bo. e celgo Rechrge - lo. e celgo Serch, vrà un cer probbilià di fermri. Plow > low Serch Pr{ low low, Serch 6/35 α } β 3

4 Rewrd del Robo Funzione Rewrd: R erch rewrd e il robo cercndo. R wi rewrd e il robo cercndo. R die e occcorre porrlo ricricri. R > ' { r r',, '} R rechrge e il robo v uonommene ricricri. R erch > R wi.> R rechrge > R die 7/35 Form bellre P -> R -> l l ricerc α R erch l b ricerc - α R erch b l ricerc - β R die -3 b b ricerc β R erch l l e R wi l b e 0 R wi b l e 0 R wi b b e R wi b l ricric R rechrge 0 b b ricric 0 R rechrge 0 l Non eie ricric X X 8/35 4

5 Se Trniion Grph Probbiliic Finie Se Mchine 9/35 Policy L policy deve eere ncor deermin. Come f l gene deerminre l policy oimle? Archi mulipli fuoriuceni d un zione ono ocii ll probbilià di cegliere quel cmmino (mbiene ocico). Archi mulipli fuoriuceni d uno o, ono ocii ll policy. 0/35 5

6 lue funcion & policy Null è deo ull policy: do uno o, in qule nodo zione mi poo? oglimo coruire geni lungimirni. Se-lue funcion (funcion of he policy): ( ) { R 0 } γ r Mimizzo l ricompen lungo ermine, (.). Dipende dll policy: /35 lue funcion e modelli mrovini Anche l policy può eere ocic. N _ zioni Pr * ( ) Per ogni o devo vlure: Più zioni. Più i proimi Rewrd ocici. N _ i Pr ( '; ) 2/35 ( ) γ r 0 6

7 empio di clcolo dell lue funcion lue funcion Policy (high)? (high)? (low)? (low)? 3/35 empio di clcolo dell funzione vlore α0.4, β0., γ0.8, R erch 3, R wi h Pr(W)xx[0.8h] Pr(S)x0.4x[30.8xh]Pr(S)x0.6x[30.8l] Wi Serch -> high Serch -> low l Pr(W)xx[0.8l] Pr(S)x0.x[30.8xl]Pr(S)x0.9x[-30.8h] 0 [ 8h] Wi Pr(R)xx[00.8h] Serch -> High Rechrge Serch -> Low Siem linere di 2 equzioni nelle 2 incognie: h e l Come clcolo h e l? 4/35 7

8 empio di clcolo dell funzione vlore - I h Pr(W)xx[0.8h] Pr(S)x0.4x[30.8xh]Pr(S)x0.6x[30.8l] Wi Serch -> high Serch -> low l Pr(W)xx[0.8l] Pr(S)x0.x[30.8xl]Pr(S)x0.9x[-30.8h] Wi P(R) Pr(R)xx[00.8h] [008h] Serch -> High Rechrge Serch -> Low Devo pecificre un policy (ocic): high [Pr(W) 0.4 Pr(S) 0.6] low [Pr(W) 0.4 Pr(S) 0.5 Pr(R) 0.] h 0.4xx[0.8h] 0.6x0.4x[30.8xh]0.6x0.6x[30.8l] l 0.4xx[0.8l] 0.5x0.x[30.8xl]0.5x0.9x[-30.8h] 0.xx[00.8h] 5/35 empio di clcolo dell funzione vlore - II Devo pecificre un policy (ocic): high [Pr(W) 0.4 Pr(S) 0.6] low [Pr(W) 0.4 Pr(S) 0.5 Pr(R) 0.] h 0.4xx[0.8h] 0.6x0.4x[30.8xh]0.6x0.6x[30.8l] l 0.4xx[0.8l] 0.5x0.x[30.8xl]0.5x0.9x[-30.8h] 0.xx[00.8h] h l > h 6, l h 0.44 > l 32 3,2 Co i può concludere? h > l. M non molo lro. 6/35 8

9 empio di clcolo dell funzione vlore - III Devo pecificre un policy (ocic), robo più ivo: high [Pr(W) 0.2 Pr(S) 0.8] low [Pr(W) 0.2 Pr(S) 0.7 Pr(R) 0.] h 0.2xx[0.8h] 0.8x0.4x[30.8xh]0.8x0.6x[30.8l] l 0.2xx[0.8l] 0.7x0.x[30.8xl]0.7x0.9x[-30.8h] 0.xx[00.8h] h l > h l h 0.44 > l un policy peggiore. Come uilizzimo per deerminre l policy oimle? 7/35 empio di clcolo dell funzione vlore - I Se policy (ocic) m lro mbiene (robo che i cric più difficilmene): high [Pr(W) 0.4 Pr(S) 0.6] low [Pr(W) 0.4 Pr(S) 0.5 Pr(R) 0] 0.] α0.4, β0.9, γ0.8, R erch 3, R wi h 0.4xx[0.8h] 0.6x0.4x[30.8xh]0.6x0.6x[30.8l] l 0.4xx[0.8l] 0.5x0.9x[30.8xl]0.5x0.x[-30.8h] 0.xx[00.8h] h l > h 30, l h > l 6,904 8/35 9

10 Sommrio Deerminzione dell vlue funcion. empio. Le equzioni di Bellmn 9/35 Il modello mrovino Il compormeno dell mbiene è definio dllo o: S { } Per ogni o l gene ceglie un zione: () A { } Policy di un gene: (, ) è quno dobbimo definire. L mbiene h un evoluzione ocic rppreen d un MDP: P ' Pr{ ', } > Inolre, d ogni ine fornice un rewrd immedio ocio ll rnizione, imo ll ine come: R { ',, '} ' r r > S; A 20/35 0

11 Probbilià compoe Probbilià degli eveni. I i wy of expreing nowledge or belief h n even will occur or h occurred. I rnge beween 0 nd. Probbilià compo nel co di eveni indipendeni: Probbilià che due ddi dino 6 6 (probbilià congiun)? Probbilià che in un ce un mel i gill e bc? Probbilià che uno di due di di 2? (p(2) * p(2 2) p(2)p(22) 2/35 Probbilià condizion Probbilià condizion - coniderimo un mzzo di 40 cre: voglimo vlure qule i l probbilià che un cr er co i un re. voglimo vlure qule i l probbilià che un cr er co i un re, pendo di vere ero un figur. P(A) probbilià che i un re P(B) probbilià che i un figur p(a B) /3 p(a B) p(a B) / p(b) 4/40 / 2/40 /3 22/35

12 Probbilià Mrginle Probbilià ole di un cero eveno. p ( A) p( A ) Probbilià mrginle. B 23/35 L vlue funcion Null è deo ull policy: do uno o, qule zione cegliere? In qule o mi poo? oglimo coruire geni lungimirni. Se-lue funcion: ( ) { R } γ r 0 Mimizzo l ricompen lungo ermine, (.). Dipende dll policy: 24/35 2

13 lue funcion e modelli mrovini Anche l policy può eere ocic. N _ zioni Pr * ( ) Per ogni o devo vlure: Più zioni. Più i proimi Rewrd ocici. N _ i Pr ( '; ) 25/35 ( ) γ r 0 Come imre il vlore di ogni configurzione? (()) (()) α [(() () R] Tendo d vvicinre il vlore dell mi configurzione l vlore dell configurzione ucceiv rewrd locle. empio di emporl difference lerning. Diminuendo α con il numero di prie, l policy converge ll policy oim per un vverrio fio (cioè che uilizzi empre l regi, ovvero i l e diribuzione iic di moe). Diminuendo α con il numero di prie, m enendolo > 0, l policy converge ll policy oim nche per un vverrio che cmbi molo lenmene l u regi. 26/35 3

14 Clcolo ricorivo dell lue funcion ( ) { R } γ r 0 ( ') { R '} Relzione? ( ) r γ γ r ( ) r γ γ r 0 2 Io ermine IIo ermine 27/35 () : primo ermine ( ) P [ R ] { r }, ' ' ' Per ogni o devo vlure: Più zioni. Più i proimi Rewrd ocici nell rnizione d un po iione Siic: Probbilià di oenere il rewrd: R ' condizion ll rrivre nello o, che u vol è condizion llo cegliere l zione. 28/35 4

15 () : econdo ermine ( )... γ γ r 0 2 ( ') γ r 2 0 ' Per ogni o devo vlure: Più zioni. Più i proimi Rewrd ocici. Nell vluzione dello o, ono conideri con un peo opporuno e coni di γ, i rewrd lungo ermine che collezionerò prire di diveri i. 29/35 () : econdo ermine ( )... γ γ r 0 2 ( ') γ r 2 0 ' In confluirnno i rewrd lungo ermine di ui gli i proimi,, cicuno peo con l probbilià di pre d, ovveroi, in ermini iici, condizioni ll relizzzione dell rnizione di o, ->. γ 0 γ r 2 γ { γ r 2 ' l }Pr( ) 0 30/35 5

16 6 () : econdo ermine ) }Pr( ' { r r l γ γ γ γ 3/35 ( ) [ ] ') (, ' ' P γ r 0 2 γ γ Clcolo ricorivo dell lue funcion r R 0 } { ) ( γ '} { ') ( R Policy Nex-e }, ' Pr{ ' P > Legme? 32/35 ( ) r R P 0 2 ' ' ', ) ( γ γ ( ) [ ] { } l l l l R P ' ' ' ) ' (, ) ( γ Bellmn equion

17 Oervzioni () funz( ( )) Bcwrd in ime ( ) (, ) { P ' [ R ' γ ( l ')]} ' l l 33/35 l Confrono con il eing non ociivo Seing non ociivo Seing ociivo T Azioni Compormeni (cen di zioni) Rewrd Rewrd inneo Somm (con) dei rewrd collezioni lungo il. Mx Rewrd eo ull Rewrd del compormeno ingol zione Orizzone emporle del Finio ( zione) Finio / infinio per il ingolo Policy Socic Socic So Non definio Mrovino 34/35 7

18 Sommrio Deerminzione dell vlue funcion. empio. Le equzioni di Bellmn 35/35 8