Part I Reinforcement Learning. 1 Q-Learning. 1.1 Deterministico

Transcript

1 File distribuito con licenz Cretive Commons BY NC SA 2.5 IT Copyright 2007 Michele Trtr Prt I Reinforcement Lerning In un processo decisionle Mrkovino (MDP) l'gente può percepire lo stto s S in cui si trov e h disposizione un insieme A di zioni. A ogni intervllo discreto t di tempo, l'gente rilev lo stto ttule s t e decide di tture un'zione t A. L'mbiente risponde fornendo un ricompens (un rinforzo) r t = r(s t, t ) e portndosi nello stto s t+1 = δ(s t, t ). Le funzioni r e δ fnno prte dell'mbiente, dipendono unicmente dllo stto e dll'zione corrente (non dlle precedenti) e non sono necessrimente note ll'gente. Obiettivo del reinforcement lerning (pprendimento con rinforzo) consiste nel imprre un policy π : S A che, per ogni stto s S in cui si trov il sistem, indichi ll'gente un'zione A tle d mssimizzre il rinforzo totle ricevuto durnte tutt l sequenz di zioni compiut. Il rinforzo totle derivto dll policy π (discounted cumultive rewrd) è clcolto come V π (s t ) = r t + γr t+1 + γ 2 r t = γ i r t+1 e i vri rinforzi derivno dll successiv ppliczione dell policy π gli stti s t+1, s t+2,.... Si dice ottimle un policy π rgmxv π (s), ( s) π che mssimizz V π per tutti gli stti. In tl cso, V π viene dett V. Un policy ottimle può portre il rinforzo ottenuto nel compiere un singol zione d essere nche bsso (o ddirittur negtivo), purchè complessivmente questo conduc d ottenere un rinforzo mggiore. 1 Q-Lerning Algoritmo utile qundo è importnte l'enfsi sull coppi stto-zione, cioè qundo l'uso di un'zione piuttosto che di un'ltr port risultti notevolmente dierenti, prtire dllo stesso stto. È un lgoritmo di tipo Temporl Dierence nell'ccezione o-policy, cioè che vlut e miglior un policy non necessrimente ugule quell utilizzt per il controllo: ciò gli permette, d esempio, di pprendere un policy ottimle per sfruttre l conoscenz cquisit m, l tempo stesso, di utilizzrne un meno orientt llo sfruttmento e più ll'esplorzione, in modo di migliorre ulteriormente l policy futur. 1.1 Deterministico È uno dei metodi utilizzbili per clcolre l policy ottimle. Per ottenerl, si pss prim ttrverso il clcolo di un funzione denit su stti e zioni che esprime numericmente un vlutzione sugli stti (come d esempio V ), successivmente si implement l policy sull bse di tle funzione A prtire d V è possibile ottenere π secondo il seguente rgionmento: l'zione ottimle nello stto s è quell'zione che mssimizz l somm dell ricompens immedit r(s, ) e del vlore di V reltivo llo stto successore di s (cioè il vlore totle di tutte le ricompense future ttese) ridotto del coeciente γ (perchè clcolto prtire d uno stto s t+1 =δ(s, ) che è futuro), cioè π (s) = rgmx [r(s, ) + γv (δ(s, )) Purtroppo, questo pproccio è possibile solo qundo si conoscono r e δ, cioè un conoscenz ottimle dell'mbiente come nel cso dell Progrmmzione Dinmic. Negli ltri csi, invece di V si può usre l funzione Q L funzione Q L funzione Q è l mssim ricompens scontt ottenibile prtire d s, denit come Q(s, ) = r(s, ) + γv (δ(s, )) cioè come l somm dell ricompens immedit e dell mssim ricompens ottenibile prtire dl prossimo stto. 1 i=0

2 File distribuito con licenz Cretive Commons BY NC SA 2.5 IT Copyright 2007 Michele Trtr Algorithm 1 L'lgoritmo Q-Lerning, ssumendo ricompense e zioni deterministiche Per ogni s, inizilizz l csell ˆQ(s, ) dell tbell 0. Osserv lo stto ttule s Ripeti continumente: Scegli un'zione ed eseguil Ricevi un ricompens immedit r Osserv il nuovo stto s Aggiorn l csell ˆQ(s, ) come segue: ˆQ(s, ) r + γmx Q(s, ) s s L policy ottimle divent quindi π (s) = rgmxq(s, ) Anche se sembr un semplice riscrittur, è comunque importte perché mostr che non si h più dipendenz d r e δ. Inoltre, l contrrio che in V, l funzione Q non necessità di look-hed: è un semplice numero, che però rissume le informzioni su tutti gli stti futuri. L conoscenz di Q, quindi, corrisponde indirettmente ll conoscenz dell policy ottimle. Tuttvi, è necessrio or trovre il modo di pprendere Q, per il momento ncor ignot. Un lgoritmo per pprendere Q Dobbimo scoprire Q prtire dll'unico dto in nostro possesso, cioè le ricompense immedite che l'gente ottiene compiendo lcune zioni (che possono essere scelte cso). Considerndo che V è il mssimo vlore ottenibile di Q l vrire dell'zione compiut V = mx Q(s, ) possimo (per sostituzione) riscrivere l denizione di Q come Q(s, ) = r(s, ) + γmx Q(δ(s, ), ) ottenendo quindi un denizione ricorsiv. L'pprendimento di Q può quindi procedere prtire d un'ipotesi ˆQ, rppresentt come un tbell che, per ogni coppi stto-zione riport il vlore ipotizzto ˆQ(s, ). L tbell viene inizilizzt con vlori qulsisi (generlmente, tutti pri 0). L'gente, ripetutmente, osserv lo stto corrente s, esegue un'zione e osserv il risultto r = r(, s) e il nuovo stto s = δ(s, ). Aggiorn quindi il vlore ˆQ(s, ) seguendo l regol ˆQ(s, ) r + γmx ˆQ(s, ) Quindi, in breve, può essere descritto dll'algoritmo 1. Con questo lgoritmo, i vlori di ˆQ sono ssicurti convergere (dopo un numero sucientemente lto di iterzioni) i vlori di Q. È d notre che l'lgoritmo non specic come scegliere l'zione d compiere d ogni pssggio. L scelt è liber. Si potrebbe scegliere l'zione con il mssimo vlore di ˆQ, m questo porterebbe dre tropp importnz lle zioni esplorte ll'inizio dell'lgoritmo, mgri discpito di ltre migliori. Si preferisce quindi, generlmente, un pproccio probbilistico, in cui le zioni con ˆQ più lto sono scelte con mggiore probbilità (m non con certezz). Tle probbilità può essere nche clcolt in modo vribile con il tempo, per privilegire, inizilmente, l'esplorzione (esplortion) e, in tempi successivi, lo sfruttmento (esploittion). Tlvolt si struttur l'lgoritmo in modo tle d preferire lo sfruttmento solo nel cso in cui un'zione bbi probbilità prticolrmente elevt, usndo invece l'esplorzione in situzioni di qusi equivlenz. 2

3 File distribuito con licenz Cretive Commons BY NC SA 2.5 IT Copyright 2007 Michele Trtr 1.2 Indeterministico Qundo non si hnno certezze reltive l risultto [ di un'zione, deve cmbire il vlore V π in modo tle che si il vlore tteso del rinforzo cumultivo scontto: V π (s t ) = γ i r t+i i=0 Anlogmente l cso deterministico, è possibile rrivre denire l funzione Q come Q(s, ) = [r(s, ) + γ[v (δ(s, )) = [r(s, ) + γ s P(s s, )V (s ) dove P(s s, ) è l probbilità che compiendo l'zione nello stto s si rrivi llo stto s. Si può, nche in questo cso, riscriverl in form ricorsiv Q(s, ) = [r(s, ) + γ s P (s s, )mx Q(s, ) Bisogn, inne, riscrivere l funzione che ggiorn Q (perchè quell del cso deterministico non gli permetterebbe di convergere) in modo tle d dre un importnz sempre minore i nuovi dti ricevuti d un dt coppi (s, ) dove n è il numero dell'iterzione dell'lgoritmo e α n è ˆQ n (s, ) = (1 α n ) ˆQ n 1 (s, ) + α n [r + γmx ˆQn 1 (s, ) α n = visits n (s, ) con visits n (s, ) pri l numero di volte che l coppi (s, ) è stt visitt no ll'n-esim iterzione inclus. Quest è tuttvi solo un possibile descrizione di α n, se ne può usre nche un'ltr purchè α n 0 per t. In generle, α molto lto è dtto d mbienti prticolrmente dinmici, per fvorire l'dttmento dell policy ll'mbiente, mentre α bsso si prest ll'uso in mbienti sttici, in qunto permette di pprenderne l meglio le crtteristiche. 2 TD-lerning Gli lgoritmi di pprendimento di tipo Temporl Dierence si bsno sull riduzione delle discrepnze tr stime eseguite dll'gente in istnti dierenti. Q-lerning è un lgoritmo TD, m si bs sull dierenz tr stti in istnti immeditmente dicenti. TD è più generico e può considerre istnti e stti più lontni. È un combinzione delle idee del metodo Monte Crlo e dell Progrmmzione Dinmic. Può pprendere direttmente di dti grezzi, senz un modello delle dinmiche dell'mbiente (come MC). Aggiorn le stime bsndosi in prte su stime pprese in precedenz, senz ttendere il risultto nle (bootstrp, come DP). È dtto d pprendimento senz modello di mbienti dinmici. Converge (utilizzndo un policy π ss) se il psso temporle è sucientemente piccolo, o se si riduce col tempo. L'pprendimento è guidto dlle dierenze temporli nell predizione: V t (s t ) = α[r t+1 + γv t (s t+1 ) V t (s t ) dove V t (s t ) è l vrizione del vlore dello stto ttule s t, α è il coeciente di pprendimento, r t+1 è il rinforzo osservto (tteso) ll'istnte successivo, γ è il discount rte, V t (s t+1 ) è il vlore che si prevede ttulmente di ottenere dllo stto futuro s t+1. V t (s t ), il vlore ttule dello stto in cui ci si trov, è sottrtto per poter ottenere l dierenz (che è ciò che stimo clcolndo). Se Q-lerning clcol i propri vlori secondo l formul Q (1) (s t, t ) r t + γmx ˆQ(s t+1, ) con look-hed un psso, è possibile usre nche un formul due pssi o in generle con look-hed n pssi Q (2) (s t, t ) r t + γr t+1 + γ 2 mx ˆQ(s t+2, ) Q (n) (s t, t ) r t + γr t γ (n 1) r t+n 1 + γ n mx ˆQ(s t+n, ) 3

4 File distribuito con licenz Cretive Commons BY NC SA 2.5 IT Copyright 2007 Michele Trtr 2.1 TD(λ) Bsndosi su quest considerzione, Sutton h introdotto l'lgoritmo T D(λ) che combin tutte le Q con prospezioni di vrie lunghezze per mezzo di un costnte 0 λ 1 [ Q λ (s t, t ) (1 λ) Q (1) (s t, t ) + λq (2) (s t, t ) + λ 2 Q (3) (s t, t ) +... o equivlentemente in modo ricorsivo [ Q λ (s t, t ) = r t + γ (1 λ)mx ˆQ(s t, t ) + λq λ (s t+1, t+1 ) Con queste formule, ll'umentre di λ si considerno sempre di più cmpioni distnti. Se l'gente st seguendo un policy ottimle, per λ = 1 Q λ fornirà un stim perfett di Q nche se sono presenti delle imperfezioni in ˆQ. D'ltr prte, se l policy non è ottimle, le ricompense r t+i osservte troppo lontno nel futuro potrebbero essere molto inccurte. L'lgoritmo TD(λ) è utile per vlutre stti che bbino più o meno lo stesso vlore indipendentemente dll'zione svolt. F uso di eligibility trce, cioè clcol i vlori che gli interessno come medi pest (trmite λ) di tutte le prospezioni sugli stti futuri. 3 Progrmmzione Dinmic (DP) Insieme di lgoritmi utilizzbili per clcolre un policy ottimle dto un perfetto modello dell'mbiente sotto form di Mrkov Decision Process (MDP). Sono poco usti per il Reinforcement Lerning perchè richiedono un modello completo, m sono bbstnz ecienti e permetterebbero di rggiungere un soluzione in tempo poliniomile rispetto l numero di stti e zioni. Bootstrpping property L progrmmzione dinmic f uso dell tecnic del bootstrpping, che consiste nel gurdre vnti lungo un trnsizione di stto ed utilizzre le stime ttulmente disponibili dell'utilità di tle stto per migliorre l stim del vlore di utilità dello stto considerto. Co-convergenz Il secondo concetto presente nell DP consiste nell presenz di due processi simultnei che intergiscono: il primo rende il vlore degli stti consistente con l policy corrente, mentre il secondo miglior l policy bsndosi sui vlori ttuli. Nell'lgoritmo policy itertion le due fsi si lternno e ognun termin prim che cominci l'ltr. Nell'lgoritmo vlue itertion viene eseguit un singol iterzione di clcolo dei vlori tr ogni psso di migliormento dell policy. Nel lungo termine, il risultto dei due pprocci è lo stesso: si trtt sempre di Generl Policy Itertion. 3.1 Algoritmi Policy Itertion Prtendo d un policy csule π, l pplic per clcolre i vlori di utilità che produce (policy evlution), utilizzndo, per ogni stto, l formul V (s) s P ss [R ss + γv (s ) dove P ss è l probbilità di ndre dllo stto s llo stto s compiendo l'zione, Rss è il rinforzo ottenuto ndndo dllo stto s llo stto s compiendo l'zione, γ è il discount rte e V (s ) è il vlore di utilità dello stto s. Il clcolo è eseguito no rggiungere l convergenz. Successivmente, si clcol per tutti gli stti un nuov policy (policy improvement) tle che π(s) rgmx Pss [R ss + γv (s ) s cioè si denisce come π(s) l'zione che mssimizz il vlore di utilità dello stto s. 4

5 File distribuito con licenz Cretive Commons BY NC SA 2.5 IT Copyright 2007 Michele Trtr Ogni volt che l policy di lmeno uno stto viene cmbit, è necessrio ripetere l'lgoritmo, rivlutndo tutte le policy ed eventulmente cercndone di nuove. In ltre prole, si clcolno lterntivmente nuove policy e nuove funzioni di utilità no giungere ll policy e ll funzione di utilità ottimli: π 0 π 0 I π1 π 1 I π2... I π dove rppresent l vlutzione (evlution) di un policy e I il migliormento (improvement) di un policy Vlue Itertion Nell'lgoritmo Policy itertion il psso di vlutzione dell Policy deve giungere convergenz. Ciò può richiedere precchio tempo. È possibile troncre tle vlutzione senz perdere l grnzi di convergenz, usndo l'lgoritmo vlue itertion. L'lgoritmo di Vlue Itertion clcol il vlore di utilità per ogni stto come V (s) mx s P ss [R ss + γv (s ) nchè = V (s t ) V (s t 1 ) < θ con θ piccolo numero positivo, oppure nche con un singol psst. Successivmente produce un policy deterministic π tle che π(s) rgmx P ss [R ss + γv (s ) s cioè ssegn π(s) l'zione che mssimizz il vlore di utilità dello stto s, per ogni stto Generl Policy Itertion (GPI) Generlizz si PI si VI e può essere usto per descrivere qusi tutti gli lgoritmi di pprendimento con rinforzo. Purchè i due processi di vlutzione dell policy (che ggiorn V ) e di migliormento dell policy (che ggiorn π) vvengno continumente e in prllelo, non h vermente importnz l grnulrità con cui essi si lternno, in qunto il risultto è tipicmente lo stesso: l convergenz V e π. 4 Metodi Monte Crlo (MC) Non richiedono complet conoscenz dell'mbiente. Necessitno solo di esperienz, sotto form di sequenze di stti, zioni e ricompense provenienti d interzioni on-line o simulte con l'mbiente. Non è necessrio che un eventule modello bbi tutte le distribuzioni di probbilità di tutte le possibili trnsizioni. I metodi Monte Crlo permettono di risolvere problemi di pprendimento con rinforzo bsndosi sull medi dei risultti ottenuti. I risultti vengono considerti episodio per episodio (cioè rigurdno un'inter interzione con l'mbiente) e non pssopsso. Con l dicitur "metodi Monte Crlo" si indicno quindi quei metodi che si bsno sull medi di risultti completi, intesi come contrpposti i metodi che pprendono prtire d risultti przili. Il metodo Monte Crlo è molto simile ll progrmmzione dinmic: clcol le stesse vlue function e intergiscono per ottenere l'ottimlità ll'incirc nello stesso modo. L convergenz dei metodi Monte Crlo è ssicurt qundo il numero di visite ogni stto tende innito, m le stime per ogni stto sono indipendenti. È quindi interessnte utilizzre questi metodi qundo sono necessri i vlori solo di un sottoinsieme degli stti, in qunto è possibile concentrrsi su di essi ignorndo gli ltri. 4.1 Algoritmo A prtire d un funzione zione-vlore rbitrri Q : S A R e utilizzndo un policy rbitrri si ront il psso di vlue improvement: viene generto un episodio. Per ogni coppi stto zione (s, ) si ggiunge il rinforzo ricevuto r ll'insieme dei rinforzi ottenuti con tle coppi: Rewrds(s, ). Si clcol quindi Q(s, ) = verge(rewrds(s, )). Si h quindi il psso di policy imprevement: per ogni stto s l policy ssocit llo stto divent π(s) = rgmxq(s, ). 5