APPRENDIMENTO MIMETICO Reinforcement Learning. (Apprendimento per rinforzo) (II parte)

Transcript

1 APPRENDIMENTO MIMETICO Reinforcemen Lerning (Apprendimeno per rinforzo) (II pre)

2 ovvero

3 Co è il R.L. Il RL riponde ll domnd di come un gene uonomo che percepice e gice in un mbiene può imprre cegliere le zioni oime per rggiungere i uoi obieivi. Eempi: Robo che pprende rggiungere il cric-berie Imprre cegliere le zioni che oimizzno l produzione in un ziend Imprre giocre Bcgmmon

4 Co è il R.L. (2) Si noino lcune creriiche dei problemi: Ricompene rirde: l gene deve pprendere l funzione che mpp lo o nell zione oim (), m non ono noi eempi di rining nell form <, ()>, m piuoo ono diponibili delle ricompene in ui o pre degli i. Opporunià di un eplorzione iv: l gene influenz l diribuzione di eempi di rining in be ll equenz di zioni cele. Sorge un problem di un rdeoff r l cel fvore dell eplorzione (explorion, per curre nuov informzione) e quell dell uilizzzione (exploiion, per mimizzre le ricompene ccumule).

5 Co è il R.L. (3) Poibilià che gli i ino przilmene oervbili. Ad eempio un robo fornio di elecmer dvni può non vedere co c è diero: i deve ffidre lle conocenze cquiie o deve ure zioni per migliorre l oervbilià dell mbiene? Può eere necerio imprre compii () mulipli con gli ei enori/uori. Ad eempio, un robo deve poer imprre ricricri, percorrere un corridoio, mneggire un mpne ler: come ure le eperienze e le conocenze già cquiie per ridurre l compleià qundo impr un nuovo?

6 Co è il R.L. (4) Un eempio: TD-Gmmon (Teuro, 1995): Apprende giocre Bcgmmon Ricompene immedie: 100 e vince -100 e perde 0 per ui gli lri i Addero giocndo 1.5 milioni di prie conro e eo. Aulmene gioc come un buon giocore umno

7 Co è un gene (in generle) Con gene i indic un progrmm progeo lmeno in pre u un modello umno o di un lro orgnimo nimle.

8 Co è un gene (in deglio)

9 Quli ipologie di geni Ageni SR o imolo-ripo: () f(()) Ageni SXR o imolo-o-ripo, in cui eie uno o x() e il compormeno dell gene può eere modello come: () f(x(), ()) x(1) g(x(), ()) Ageni Deliberivi: bno le loro deciioni u modelli complei dell mbiene e ul loro inpu enorile.

10 Apprendimeno per rinforzo L gene riceve delle enzioni dll mbiene rvero i uoi enori; In be lle ue enzioni, l gene decide che zioni effeure nell mbiene; In be l riulo immedio delle ue zioni l gene può eere premio.

11 Creriiche dello o Policy di un gene: (, ). Creriiche dello o, : Coniene gli imoli pre-elbori prire dgli imoli emplici miuri ull mbiene. Gli imoli pre-elbori nlizzno un equenz emporle di imoli emplici. Lo o deve poer eere miuro dll gene. Come rppreeno? Memorizzo l equenz emporle degli imoli emplici di ineree?

12 Rewrd e Obbieivi Il rewrd è eerno ll gene Mimizzre l ricompen lungo ermine, Vlue, cumulndo le ricompene innee: r (()) R. Definendo un ricompen che viene mimizz olmene qundo il gol viene rggiuno, poimo oenere che l geni impri il (rggiung il gol). Collegmeno r rewrd e gol. Il rewrd conene di comunicre COSA i vuole oenere, null è deo ul COME.

13 Vlue funcion Co i inende per ricompen lungo ermine? Que è rppreen dll Vlue funcion; co rppreen? Al empo, d un cer policy (, ), l ricompen rà un funzione dei rewrd negli ini di empo ucceivi, d eempio: R r 1 r 2 r 3 r T Terminl e Qundo è degu? Problemi d orizzone finio (epiodic, erminl e i defined). Problemi zionri.

14 Infinie horizon problem (coninuing ) Il conceo fondmenle è il dicoun. Dicouned rewrd o dicouned reurn: R r 1 γr 2 γ 2 r 3 i 0 Dove 0 γ 1 è il dicoun re Preen vlue of fuure rewrd. γ r ( 1) r R if r r 1 γ Relzione con il co non-zionrio nel eing non-ociivo?

15 Come decrivere l mbiene Se i vuole uilizzre un meodo di pprendimeno uomico biogn dre un decrizione formle dell mbiene. Non inere pere emene com è fo l mbiene, inere piuoo fre delle ipoei generli ulle proprieà che l mbiene h. Nell Apprendimeno per Rinforzo i ume di olio che l mbiene po eere decrio d un Proceo di Deciione Mrovino (Mrov Deciion Proce o MDP).

16 Come decrivere l mbiene (2) Un Proceo di Deciione Mrovino è formlmene definio d: un inieme finio di i S; un inieme finio di zioni A; un funzione di rnizione T (T: S x A Π(S)) che egn d ogni coppi o-zione un diribuzione di probbilià u S; un funzione di rinforzo (o rewrd) R (R: S x A x S R) che egn un vlore numerico d ogni poibile rnizione.

17 Inerzione gene-mbiene All ine l gene percepice l mbiene come S Sull be di decide di gire con A L mbiene riponde dndo ll gene un ricompen immedi (rewrd) r 1 r(, ) e producendo lo o ucceivo 1 δ(, ). Le funzioni δ e r ono pre dell mbiene e non ono necerimene noe ll gene (e poono eere non-deerminiiche).

18 L unzione dell ipoei Mrovin Ripeo ll pprendimeno per rinforzo i dice che un mbiene (un problem) oddif l ipoei Mrovin (Mrov Propery) qundo: P[ 1, r 1 r, ] P[ 1, r 1 r,, r, r 1, 0, 0 ] Quli ono le impliczioni dell ipoei Mrovin? Quello che uccede ll ine 1, ( 1, r 1 ) dipende olo d quello che è ucceo ll ine precedene (, r )! Non d uo ciò che è ucceo in precedenz (,, r, r 1, 0, 0 )

19 L unzione dell ipoei Mrovin (2) Se un problem oddif l ipoei Mrovin h un dinmic che può eere decri con un dinmic d un po. Rifleioni: un pri Poer è Mrovin? Cmminre r l foll che ece d un cinem e cercre di evire gli uri, che ipo di problem è? Se non vle l ipoei Mrovin i dice che l mbiene è non-mrov. Qul è l cle dei problemi non-mrov?

20 Eempio 1: Il pendolo invero (1) L obbieivo è di pplicre delle forze l crrello che i muove u un binrio in modo d enere in piedi l incernier l crrello. Si h un fllimeno e l ngolo dell ripeo ll vericle uper un ogli oppure e il crrello rggiunge un eremo del binrio. L è ripoizion in vericle dopo ogni fllimeno.

21 Eempio 1: Il pendolo invero (2) Queo può eere ro come epiodico, dove gli epiodi ono i ripeui enivi di bilncire l. L ricompen in queo co porebbe eere 1 per ogni po (ep) in cui non vviene un fllimeno, coì che il vlore reiuio d ogni empo (reurn) rebbe il numero di ep fino l fllimeno. Alernivmene i porebbe rre il bilncimeno dell come un coninuo, undo lo cono (dicouning). In queo co l ricompen porebbe eere -1 d ogni fllimeno e zero in ui gli lri empi. Il reurn cicun empo rebbe relivo -γ, dove èil numero di pi prim di un fllimeno. In enrmbi i ci, il reurn è mimizzo per enere l bilnci più lungo poibile.

22 Il pendolo invero come proceo Mrovino Per vere un proceo Mrovino biognerebbe conocere emene l poizione e l velocià del crrello, l ngolo r crrello ed, l velocià ngolre dell. In un iem crrello- idelizzo, quee informzioni dovrebbero eere ufficieni per predire emene il compormeno fuuro del crrello e dell, de le zioni pree dl conroller. In pric, uvi, non è poibile conocere emene quee informzioni per le diorioni e i rirdi inrodoi di enori di miur. Nei ci reli occorre ener cono di lri fori, quli gli rii, le inerzie, ecc. Tuvi i può ccere nche in queo co l pproimzione di proceo Mrovino, nche e i dicreizno le vribili (per l poizione del crrello i umono re vlori, inir, der e mezzo, e imilmene i procede per le lre re vribili di o). I meodi di reinforcemen lerning permeono di ignorre in mole iuzioni i degli più fini.

23 Il pendolo invero

24 Eempio 2: Recycling Robo Un robo mobile h il compio di rccogliere le line vuoe in un mbiene. Dipone di un enore per rilevre le line vuoe e di un brccio con pinz per rccoglierle. È fornio di un beri ricricbile. L gene che govern il robo deve decidere qundo il robo deve 1) cercre ivmene le line per un cero periodo di empo; 2) rere fermo e pere che qulcuno bui denro il uo coneniore delle line vuoe 3) ndre ricricre le proprie berie (in queo co non c è rccol). L gene dipone quindi di re zioni, è il uo o coincide con lo o dell beri. I rewrd ono: 1) zero per il più del empo; 2) poiivo qundo rccoglie line vuoe (coincide con il loro numero) 3) foremene negivo e l beri i cric complemene.

25 Recycling Robo Aibo

26 Recycling Robo MDP (1) Con lcune emplificzioni, il robo rccogliore può eere modello come Mrov deciion proce, ovvero MDP. So: S {high, low} Azioni: A {wi, erch, rechrge} Policy: A(high) {wi, erch} A(low) {wi, erch, rechrge} Gol: collezionre il mggior numero di line.

27 Recycling Robo MDP (2) Funzione o proimo: P Pr{ 1, } Se il livello di energi è high ( high): e celgo Wi, 1 high. e celgo Serch, 1 vrà un cer probbilià di divenre low. P high low Serch Pr{ 1 low high, Serch} α Se il livello di energi è low ( low): e celgo Wi, 1 low. e celgo Rechrge, 1 high. e celgo Serch, 1 vrà un cer probbilià di fermri. P low low Serch Pr{ 1 low low, Serch} β

28 Recycling Robo MDP (3) Funzione Rewrd: R E{r 1 r,, 1 } R erch rewrd e il robo cercndo. R wi rewrd e il robo fermo. -3 e occorre porrlo ricricri 0 e il robo v uonommene ricricri NB: R erch > R wi Il compormeno dinmico del robo rccogliore può eere rppreeno dl eguene rniion grph:

29 Se rniion grph del Recycling Robo In modo più nliico, i poono bellre le probbilià di rnizione e i rewrd ei come nell figur che egue:

30 Form bellre

31 Policy r L policy deve eere ncor deermin. Come f l gene deerminre l policy oim? Archi mulipli fuoriuceni d un zione ono ocii ll probbilià di cegliere quel cmmino (mbiene ocico). Archi mulipli fuoriuceni d uno o, ono ocii ll policy.

32 Vlue funcion Qui ui gli lgorimi di RL ono bi ull im delle vlue funcion: funzioni di i (o di coppie o-zione) che imno quno buono èper l gene eere in un do o (o quno buono è ure un d zione in un do o). L nozione di quno buono è qui defini in ermini di fuure ricompene che poono eere ee, più precimene in ermini di reurn ei. Le vlue funcion ono definie ripeo d un policy. Si rmmeni che un policy è un mpping d cicun o, S, e zione, A(), ll probbilià (, ) di prendere l zione nello o. Informlmene, l vlue dello o oo l policy, V (), è il reurn eo qundo i pre d e d lì i egue.

33 Vlue funcion (2) Formlmene, i definice l e-vlue funcion per l policy come V () E {R } E γ r 1 0 Si noi che l vlue di uno o erminle, e eie, è empre zero. Similmene i definice l cion-vlue funcion per l policy come Q (, ) E {R, } E γ r, 0 1

34 Vlue funcion (3) Le vlue funcion V e Q i imno dll eperienz. Se d eempio l gene egue l policy e mniene un medi, per cicun o inconro, degli effeivi reurn che ono eguii d quello o, llor l medi convergerà ll vlue degli i, V (), e il numero di vole che lo o è inconro ende d infinio. Anlogmene e vengono enue le medie epre per cicun zione pre in uno o, llor quelle medie convergernno lle e-cion vlue, Q (, ). I meodi di im di queo ipo ono dei meodi Mone Crlo, poiché involvono medie u cmpioni rndom degli effeivi reurn. Verrnno illuri in eguio.

35 Promemori: eorem di Bye P(A, B ) P(A B) P(B) Nel noro co: P(r,, ) P(r ) P( ) P() de le effeive dipendenze (ggiornmeno byeino).

36 Clcolo ricorivo dell Vlue funcion V () E {R } V ( ) E {R 1 1 } Relzione? r E 0 1 γ γ γ γ r r E ) ( V r r E ) ( V ermine 2 ermine

37 E V (): primo ermine { } [ ] r 1 ( j, ) P ' R ' j ' j j Per ogni o devo vlure: Più zioni Più i proimi Rewrd ocici r R Viione Byein: Probbilià di oenere il rewrd ' j condizion ll rrivre nello o, che u vol è condizion llo cegliere l zione j.

38 V (): econdo ermine r Per ogni o devo vlure: Più zioni Più i proimi Rewrd ocici γ γ r E... ) ( V 0 2 γ ' r E ) ' ( V ricordndo che: Nell vluzione dello o ono occorre coniderre, con un peo opporuno e coni di γ, i rewrd lungo ermine che collezionerò prire di diveri i.

39 V (): econdo ermine (2) r In confluirnno i rewrd lungo ermine di ui gli i proimi, cicuno peo con l probbilià di pre d, ovvero, in ermini Byeini, condizioni ll relizzzione dell rnizione di o γ γ r E... ) ( V 0 2 γ ' r E ) ' ( V ) ' Pr( ' r E r E γ γ γ γ

40 V (): econdo ermine (3) r [ ] ) ' ( V P, ) ( r E ' ' j j j γ γ γ 0 2 ) ' Pr( ' r E r E γ γ γ γ

41 Clcolo ricorivo dell Vlue funcion Meendo inieme i due riuli: [ ] { } ' ' ' 0 2 ' ' ' ') ( ), ( ) ( ), ( ) ( j j V R P V r E R P V j j j j j j γ γ γ Policy Nex-e Que ulim è l Bellmn equion

42 Oervzioni [ ] { } ' ' ' ) ' ( ), ( ) ( j V R P V j j j γ r V () funz(v ( )) Bcwrd in ime

43 Oervzioni (2) en wih V () probbiliy (,) Q (,), Q (,) r 1 r 2 r 3 V ( ) 1 2 3

44 Eempio di clcolo dell funzione vlore α 0.4, β 0.1, γ 0.8,R erch 3,R wi 1 Vh Pr(W)x1x[10.8Vh] Pr(S)x0.4x[30.8Vh] Pr(S)x0.6x[30.8Vl] Wi Serch high Serch low Vl Pr(W)x1x[10.8Vl] Pr(S)x0.1x[30.8Vl] Pr(S)x0.9x[-30.8Vh] Wi Serch high Serch low Pr(R)x1x[00.8Vh] Rechrge Siem di 2 equzioni nelle 2 incognie Vh e Vl. Come clcolrle?

45 Eempio di clcolo dell funzione vlore (2) Vh Pr(W)x1x[10.8Vh] Pr(S)x0.4x[30.8Vh] Pr(S)x0.6x[30.8Vl] Wi Serch high Serch low Vl Pr(W)x1x[10.8Vl] Pr(S)x0.1x[30.8Vl] Pr(S)x0.9x[-30.8Vh] Wi Serch high Serch low Pr(R)x1x[00.8Vh] Rechrge Devo pecificre un policy (ocic): high [Pr(W) 0.4 Pr(S) 0.6] low [Pr(w) 0.4 Pr(S) 0.5 Pr(R) 0.1] Vh 0.4x1x[10.8Vh] 0.6x0.4x[30.8Vh] 0.6x0.6x[30.8Vl] Vl 0.4x1x[10.8Vl] 0.5x0.1x[30.8Vl] 0.5x0.9x[-30.8Vh] 0.1x1x[00.8Vh]

46 Eempio di clcolo dell funzione vlore (3) Devo pecificre un policy (ocic): high [Pr(W) 0.4 Pr(S) 0.6] low [Pr(w) 0.4 Pr(S) 0.5 Pr(R) 0.1] Vh 0.4x1x[10.8Vh] 0.6x0.4x[30.8Vh] 0.6x0.6x[30.8Vl] Vl 0.4x1x[10.8Vl] 0.5x0.1x[30.8Vl] 0.5x0.9x[-30.8Vh] 0.1x1x[00.8Vh] Vh Vl Vh Vl Vh Vl 3.12 Che vluzione i può dre del riulo? In oluo, neun.

47 Eempio di clcolo dell funzione vlore (4) Cmbio l policy (ocic), robo più ivo: high [Pr(W) 0.2 Pr(S) 0.8] low [Pr(w) 0.2 Pr(S) 0.7 Pr(R) 0.1] Vh 0.2x1x[10.8Vh] 0.8x0.4x[30.8Vh] 0.8x0.6x[30.8Vl] Vl 0.2x1x[10.8Vl] 0.7x0.1x[30.8Vl] 0.7x0.9x[-30.8Vh] 0.1x1x[00.8Vh] Vh Vl Vh Vl Vh Vl 2.80 È un policy peggiore. Come individure V oimle (e quindi l policy oimle)?

48 Opiml Vlue funcion Riolvere un di RL ignific, groolnmene, rovre un policy che perme di ccumulre un cco di ricompene lungo ermine. Per un MDP finio, i può procedere coì. Le vlue funcion definicono un ordinmeno przile ulle policie. Un policy è defini eere migliore o ugule un policy e il uo reurn eo è mggiore o ugule quello di per ui gli i. In lri ermini: e e olo e V () V () Vi è empre un policy che è migliore o ugule ue le lre policie: è l poliic oim (opiml policy), * (porebbe eercene più di un).

49 Opiml Vlue funcion (2) Tue le poliiche oime condividono l e e-vlue funcion, de opiml e-vlue funcion, defini come: V *( ) mxv ( ),( S) Le poliiche oime condividono l e opiml cion-e funcion, deno come Q* e defini come: Q * (, ) mx Q (, ),( S, A( )) Per l coppi o-zione (, ), que funzione dà il reurn eo per l zione cel nello o e perno eguendo un poliic oim. Perno i può crivere Q* in ermini di V* coì: Q (, ) E{ r V * ( ), }. * 1 γ 1

50 Opiml Vlue funcion e equzione di Bellmn Poiché V* è l vlue funcion per un policy, deve oddifre lle condizioni di uo-conienz de dll equzione di Bellmn per gli e vlue. L equzione di Bellmn cri per V* diven l Bellmn opimliy equion. Inuiivmene, e eprime il fo che il vlore di uno o oo un policy oim deve eguglire il reurn eo per l migliore zione in quello o: V *( ) mx A( ) Q * (, )

51 Opiml Vlue funcion e equzione di Bellmn (2) { } { } [ ] ' ' ' 1 1 * * 0 1 * * * ) ( ') * ( mx, ) * ( mx, mx, mx, mx ), ( mx ) * ( A V R P V r E r r E r E R E Q V γ γ γ γ γ

52 Opiml Vlue funcion e equzione di Bellmn (3) Anlogmene, l Bellmn opimliy equion per Q* è: Q * (, ) P ' ' { } E r 1 γ mx Q *( 1, '), [ ' ] R γ mx Q *( ', ') ' '

53 Soluzione dell equzione di oimlià Per MDP finii, l equzione di oimlià di Bellmn V * ( ) mx P ' [ R γv * ( ' ] ' ) ' h un unic oluzione indipendene dll poliic. Infi l B.o.e. por d un iem di equzioni, un per cicun o, coì che e ci ono N i, vi ono N equzioni in N incognie. Se le dinmiche del iem ono noe (R ', P ' ), in line di mim i può riolvere queo iem di equzioni per V* undo un qulii meodo per l rioluzione di iemi di equzioni nonlineri. Anlog coniderzione vle per Q*.

54 Coniderzioni ull V* Un vol che i dipone di V*, è fcile deerminre l poliic oim: per cicun o, c è un zione (o più di un) che fornice il mimo nell equzione di oimlià di Bellmnn. Si iene quell (o quelle) e i pongono zero l probbilià oci lle lre zioni. Un policy che egn probbilià non null olo quelle zioni è un policy oim (ricerc d un po). Un lro modo di dire l e co è che ogni policy che è greedy ripeo ll funzione vlore oim V* è un policy oim (greedy ricerc locle). Il bello dell V* è che i eegue un ricerc locle m inieme i iene cono dei riuli lungo ermine. Avendo Q* l ricerc dell zione oim è ncor più fcile: per ogni o i è già memorizz l zione che mimizz Q*(,).

55 Eempio: he Recycling Robo V * ( ) mx P ' [ R γv * ( ' ] ' ) ' Vi ono olo due i: l equzione di oimlià di Bellmn conie in due equzioni:

56 Eempio: he Recycling Robo (2) L equzione per V*(h) può eere cri come:

57 Eempio: he Recycling Robo (3) Anlogmene per V*(l) l equzione è: Per ogni cel di R, R w, α, β e γ, con 0 γ 1, 0 α, β 1, vi è emene un coppi di numeri, V*(h) e V*(l) che imulnemene oddifno quee due equzioni nonlineri.

58 Alro eempio: he Gridworld L gene può muoveri nelle 4 direzioni, m e l direzione lo por fuori dll grigli, re nell e poizione. Per ue le poizioni ecceo A e B l ricompen è 0, ecceo qundo be conro il conorno, in qul co è -1. Nello o A ue le zioni porno l gene nell poizione A e l ricompen è 10, nello o B lo porno in B e l ricompen è 5.

59 Alro eempio: he Gridworld (2) L funzione vlore e l poliic oim, clcole con l equzione di Bellmn, ono:

60 Coniderzioni finli u Bellmn L uo direo dell equzione di oimlià di Bellmn è poco prico. Richiede: 1) di conocere ccurmene l dinmic dell mbiene; 2) di vere bbnz riore di clcolo; 3) che i ripe l proprieà di Mrov. Ad eempio il gioco del Bcgmmon h i: occorrerebbero milioni di nni nche con le poenze di clcolo ule per riolvere le equzioni di Bellmn. Occorre opre per meodi che imno l V* (o l Q*). Per rrivre quei, occorre pre per l progrmmzione dinmic (Dynmic Progrmming, DP). Gli lgorimi clici di DP ono di limi uilià nel RL (umono un modello perfeo e ono compuzionlmene oneroi), m ono imporni dl puno di vi eorico. Gli lgorimi uilizzi in pric nel RL ono enivi di rggiungere lo eo effeo dell DP, m con meno compuzione e enz umere un modello perfeo dell mbiene. L DP può eere u per clcolre l funzione vlore, e i è vio che i poono fcilmene oenere poliiche oime un vol noe le vlue funcion oime, V* e Q*, che oddifino ll equzione di oimlià di Bellmn.