APPRENDIMENTO MIMETICO Reinforcement Learning. (Apprendimento per rinforzo) (I parte)

Transcript

1 APPRENDIMENTO MIMETICO Reinfocement Leaning (Appendimento pe infozo (I pate

2 ovveo

3 ma anche

4 Bibliogafia Richad S. Sutton, Andew G. Bato, Reinfocement Leaning: An Intoduction, A Badfod Boo, The MIT Pess, Cambidge, Massachusetts, 998. Tom M. Mitchell, Machine Leaning, McGaw-Hill Intenational Edition, Singapoe, 997. Stuat J. Russel, Pete Novig, Intelligenza Atificiale: un appoccio modeno, Peason Education Italia, Milano, 2005.

5 Cediti: Coso di Laboatoio di Sistemi Intelligenti Applicati (AIS-Lab Pof. Albeto Boghese Dipatimento di Scienze dell Infomazione Univesità degli Studi di Milano Coso di Ingegneia della Conoscenza e Sistemi Espeti Pof. Pie Luca Lanzi Dipatimento di Elettonica e Infomazione Politecnico di Milano

6 Why agents ae impotant? Agente (softwae: entità softwae che svolge sevizi pe conto di un alto pogamma, solitamente in modo automatico ed invisibile. Tali softwae vengono anche detti agenti intelligenti. They ae seen as a natual metapho fo conceptualising and building a wide ange of complex compute system (the wold contains many passive objects, but it also contains vey many active components as well; They cut acoss a wide ange of diffeent technology and application aeas, including telecoms, human-compute intefaces, distibuted systems, WEB and so on; They ae seen as a natual development in the seach fo eve-moe poweful abstaction with which to build compute system

7 Agente - Può scegliee un azione sull ambiente ta un insieme continuo o disceto. - L azione dipende dalla situazione. La situazione è iassunta nello stato del sistema. - L agente monitoa continuamente l ambiente (input e modifica continuamente lo stato. - La scelta dell azione è non banale e ichiede un ceto gado di intelligenza. - L agente ha una memoia intelligente.

8 Schematic diagam of an agent Agent STATE Conditionaction ule (vocabulay What the wold is lie now (intenal epesentation What action I should do now x t y t Sensos Actuatos u t Envionment u, input; x, stato; y, uscita x(t = g(x(t, u(t y(t = f(x(t

9 L agente Inizialmente l attenzione ea concentata sulla pogettazione dei sistemi di contollo. Valutazione, sintesi L intelligenza atificiale e la computational intelligence hanno consentito di spostae l attenzione sull appendimento delle stategie di contollo e più in geneale di compotamento. Macchine dotate di meccanismi (algoitmi, SW pe appendee.

10 I vai tipi di appendimento x(t = g(x(t, u(t y(t = f(x(t Ambiente Agente Supevisionato (leaning with a teache. Viene specificato, pe ogni patten di input, il patten desideato di output. Non-supevisionato (leaning without a teache. Estazione di similitudini statistiche ta patten di input. Clusteing. Mappe neuali. Appendimento pe infozo (einfocement leaning, leaning with a citic. L ambiente fonisce un infomazione puntuale, di tipo qualitativo, ad esempio success o fail.

11 Leaning with a teache

12 Reinfocement leaning Nell appendimento supevisionato esiste un teache che dice al sistema quale è l uscita coetta (leaning with a teache. Non sempe è possibile. Spesso si ha a disposizione solamente un infomazione qualitativa (a volte binaia, giusto/sbagliato, successo/fallimento puntuale. L infomazione disponibile si chiama segnale di infozo. Non dà alcuna infomazione su come aggionae il compotamento dell agente (pe es. i pesi. Non è possibile definie una funzione costo o un gadiente. Obbiettivo: ceae degli agenti intelligenti che abbiano una machiney pe appendee dalla loo espeienza.

13 Reinfocement leaning: caatteistiche Appendimento mediante inteazione con l ambiente. Un agente isolato non appende. L appendimento è funzione del aggiungimento di uno o più obiettivi. Non è necessaiamente pevista una icompensa ad ogni istante di tempo. Le azioni vengono valutate mediante la icompensa a lungo temine ad esse associata (delayed ewad. Il meccanismo di iceca delle azioni miglioi è impaentato con la iceca euistica: tial-and-eo. L agente sente l input, modifica lo stato e genea un azione che massimizza la icompensa a lungo temine.

14 Exploation vs Exploitation Esploazione (exploation dello spazio delle azioni pe scopie le azioni miglioi. Un agente che esploa solamente aamente toveà una buona soluzione. Le azioni miglioi vengono scelte ipetutamente (exploitation, sfuttamento peché gaantiscono icompensa (ewad. Se un agente non esploa nuove soluzioni potebbe venie suclassato da nuovi agenti più dinamici. Occoe non inteompee l esploazione. Occoe un appoccio statistico pe valutae le bontà delle azioni. Exploation e exploitation vanno bilanciate. Come?

15 Dove agisce un agente? L agente ha un compotamento goal-diected ma agisce in un ambiente inceto non noto a pioi o pazialmente noto. Esempio: planning del movimento di un obot. Un agente impaa inteagendo con l ambiente. Planning può essee sviluppato mente si impaa a conoscee l ambiente (mediante le misue opeate dall agente stesso. La stategia è vicina al tial-andeo.

16 L ambiente Model of envionment. È uno sviluppo elativamente ecente. Da valutazione implicita dello svolgesi delle azioni futue (tial-and-eo a valutazione esplicita mediante modello dell ambiente della sequenza di azioni e stati futui (planning = dal sub-simbolico al simbolico; emeging intelligence. Incopoazione di AI: - Planning (pianificazione delle azioni - Viene infozato il modulo di pianificazione dell agente. Incopoazione della conoscenza dell ambiente: - Modellazione dell ambiente (non noto o pazialmente noto.

17 Relazione con l AI Gli agenti hanno dei goal da soddisfae. Appoccio deivato dall AI. Nell appendimento con infozo vengono utilizzati stumenti che deivano da aee divese dall AI: Riceca opeativa Teoia del contollo Statistica L agente impaa facendo. Deve selezionae i compotamenti che ipetutamente isultano favoevoli a lungo temine.

18 Esempi Un giocatoe di scacchi. Pe ogni mossa ha infomazione sulle configuazioni di pezzi che può ceae e sulle possibili contomosse dell avvesaio. Una piccola di gazzella in 6 oe impaa ad alzasi e a coee a 40 m/h. Come fa un obot veamente autonomo ad impaae a muovesi in una stanza pe uscine? Come impostae i paameti di una affineia (pessione petolio, potata, in tempo eale, in modo da ottenee il massimo endimento o la massima qualità?

19 Caatteistiche degli esempi Paole chiavi: Inteazione con l ambiente. L agente impaa dalla popia espeienza. Obiettivo dell agente Incetezza o conoscenza paziale dell ambiente. Ossevazioni: Le azioni modificano lo stato (la situazione, cambiano le possibilità di scelta in futuo (delayed ewad. L effetto di un azione non si può pevedee completamente. L agente ha a disposizione una valutazione globale del suo compotamento. Deve sfuttae questa infomazione pe miglioae le sue scelte. Le scelte miglioano con l espeienza. I poblemi possono avee oizzonte tempoale finito o infinito.

20 I due tipi di infozo L agente deve scopie quale azione (policy fonisca la icompensa massima povando le vaie azioni (tial-and-eo sull ambiente. Leaning is an adaptive change of behavio and that is indeed the eason of its existence in animals and man (K. Loenz, 977. Rinfozo puntuale istante pe istante, azione pe azione (condizionamento classico. Rinfozo puntuale una-tantum (condizionamento opeante, viene infozata una catena di azioni, un compotamento.

21 Il condizionamento classico L agente deve impaae una (o più tasfomazione ta input e output. ueste tasfomazioni foniscono un compotamento che l ambiente pemia. Il segnale di infozo è sempe lo stesso pe ogni coppia inputoutput. Esempio: isposte iflesse Pavloviane. Campanello (stimolo condizionante pelude al cibo. uesto induce una isposta (salivazione. La isposta iflessa ad uno stimolo viene evocata da uno stimolo condizionante. Stimolo-Risposta. Lo stimolo condizionante (campanello = input induce la salivazione (uscita in isposta al campanello.

22 Condizionamento opeante Reinfoncement leaning (opeante. Inteessa un compotamento. Una sequenza di input-output che può essee modificata agendo sui paameti che definiscono il compotamento dell agente. Il condizionamento aiva in un ceto istante di tempo (spesso una-tantum e deve valutae tutta la sequenza tempoale di azioni, anche quelle pecedenti nel tempo. Output Envionment Compotamenti = Sequenza di azioni Input

23 Gli attoi del RL Policy. Descive l azione scelta dall agente: mapping ta stato (input dall ambiente e azioni. Funzione di contollo. Le policy possono avee una componente stocastica. Viene utilizzato un modello adeguato del compotamento dell agente (p.e. tabella, funzione continua paametica, ecc.. Rewad function. Ricompensa immediata. Associata all azione intapesa in un ceto stato. Può essee data al aggiungimento di un goal (esempio: successo/fallimento. È uno scalae. Rinfozo pimaio. Value function. Cost-to-go. Ricompensa a lungo temine Somma dei ewad: costi associati alle azioni scelte istante pe istante costo associato allo stato finale. Oizzonte tempoale ampio. Rinfozo secondaio. Ambiente. Può essee non noto o pazialmente noto. L agente deve costuisi una appesentazione dell ambiente. uale delle due è più difficile da ottenee? L agente agisce pe massimizzae la funzione Value o Rewad?

24 Popietà del infozo L ambiente o l inteazione può essee complessa. Il infozo può avvenie solo dopo una più o meno lunga sequenza di azioni (delayed ewad. Esempio: agente = giocatoe di scacchi. ambiente = avvesaio. Poblemi collegati: tempoal cedit assignment stuctual cedit assignment. L appendimento non è più da esempi, ma dall ossevazione del popio compotamento nell ambiente.

25 Tempoal e stuctual cedit assignment Multi-agent systems have the stuctual cedit assignment poblem of detemining the contibutions of a paticula agent to a common tas. Instead, time-extended single-agent systems have the tempoal cedit assignment poblem of detemining the contibution of a paticula action to the quality of the full sequence of actions. (da A.K. Agogino, K. Tume, Unifying Tempoal and Stuctual Cedit Assignment Poblems

26 Riassunto Reinfocement leaning. L agente viene modificato, infozando le azioni che sono isultate buone a lungo temine. È quindi una classe di algoitmi iteativi. Self-discovey of a successful stategy (it does not need to be optimal!. La stategia (di movimento, di gioco non è data a- pioi ma viene appesa attaveso tial-and-eo. Cedit assignment (tempoal and stuctual. Come possiamo pocedee in modo efficiente nello scopie una stategia di successo? Cosa vuol die modificae l agente?

27 Un esempio: il gioco del tis We can use classical game theoy solution lie minmax. This can wo fo the optimal opponent, not fo ou actual opponent. X O O 2 We can use dynamic pogamming optimization, but we need a model of the opponent. O X X 3 We can ty a policy and see what happens fo many games (evolutionay style, exhaustive seach. X

28 L appoccio classico (minimax Più X Meno O Si usa una funzione di valutazione e(p definita come :.se p non è una posizione vincente, e(p = (numeo delle ighe, colonne e diagonali complete ancoa apete a Più - (numeo delle ighe, colonne e diagonali complete ancoa apete a Meno; Intelligenza Atificiale - Poblem Solving 4 28

29 2. se p è una posizione vincente pe Più, e(p = ( denota un numeo positivo molto gande; 3. se p è una posizione vincente pe Meno, e(p = - Intelligenza Atificiale - Poblem Solving 4 29

30 Così, se p è abbiamo e(p = 6-4 = 2. Nella geneazione delle posizioni sfutteemo le simmetie; ovveo, saanno consideate identiche (nella fase iniziale, il fattoe di amificazione del filetto è contenuto dalle simmetie; nella fase finale, dal piccolo numeo di spazi libei disponibili. Intelligenza Atificiale - Poblem Solving 4 30

31 Pofondità di iceca: livello 2 Intelligenza Atificiale - Poblem Solving 4 3

32 Intelligenza Atificiale - Poblem Solving 4 32

33 Come impostae il poblema mediante RL? State configuation of X and O. (Assuming we always play X Value (of the state pobability of winning associated to that state. Which is the pobability of a state in which we have 3 X in a ow (o column o diagonal? Which is the pobability of a state in which we have 3 O in a ow (o column o diagonal? We set all the othe states to 0.5

34 Una sequenza di mosse nel tis

35 Come decidee la mossa? Supponiamo di essee in una configuazione non teminale. Pe ogni mossa valida, possiamo valutae il valoe della nuova configuazione che si veebbe a tovae. Come? Possiamo occasionalmente scegliee delle mosse esploatoie. uando non ha senso scegliee delle mosse esploatoie? Dobbiamo peciò capie qual è il valoe delle divese configuazioni della scacchiea.

36 Come stimae il valoe di ogni configuazione? V(s(t V(s(t [V(s(t V(s(t] Tendo ad avvicinae il valoe della mia configuazione al valoe della configuazione successiva. Esempio di tempoal diffeence leaning. Diminuendo con il numeo di patite, la policy convege alla policy ottima pe un avvesaio fissato (cioè che utilizzi sempe la stessa stategia, ovveosia la stessa distibuzione statistica di mosse. Diminuendo con il numeo di patite, ma tenendolo > 0, la policy convege alla policy ottima anche pe un avvesaio che cambi molto lentamente la sua stategia.

37 Esempio O X O X O X O X X X 2 X 3 X scelta pedente dopo la mossa dell avvesaio ho uno stato con value function = 0 X 2 scelta neutale dopo la mossa dell avvesaio ho uno stato con value function intemedia (paeggio. X 3 scelta vincente dopo la mossa dell avvesaio ho uno stato con value function = Cambio la policy e ivaluto la Value function

38 Cosa fa l agente? Ciclo dell agente (le te fasi sono sequenziali: X O O Implemento una policy 2 Aggiono la Value function O X X X 3 Aggiono la policy.

39 Riflessioni su RL ed il gioco del tis Supponete che l agente dotato di RL giochi, invece che con un avvesaio, conto se stesso. Cosa pensate che succeda? Secondo voi impaeebbe una divesa stategia di gioco? Molte posizioni del tis sembano divese ma sono in ealtà la stessa pe effetto delle simmetie. Come si può modificae l algoitmo di RL (definizione dello stato pe sfuttae le simmetie? Come si può miglioae il meccanismo di appofondimento? Supponiamo che l avvesaio non sfutti le simmetie. In questo caso noi possiamo sfuttale? È veo che configuazioni della scacchiea equivalenti pe simmetia devono avee la stessa funzione valoe. Potete pensae a modi pe miglioae il gioco dell agente? Potete pensae a metodi miglioi (più veloci, più obusti peché un agente impai a giocae a tis?

40 Evaluative Feedbac La più impotante caatteistica che distingue il RL da alti tipi di leaning è che usa l infomazione di addestamento pe valutae la bontà delle azioni pese piuttosto che istuilo dando le azioni coette. L evaluative feedbac puo indica quanto è buona l azione intapesa, ma non se è la peggioe o la miglioe delle azioni possibili (è il metodo di base dell ottimizzazione, compesi i metodi evolutivi. L instuctive feedbac puo, d alto canto, indica la coetta azione da pendee, indipendentemente dall azione effettivamente pesa (è la base dell appendimento supevisionato, compesi la classificazione di patten, le eti neuali, l identificazione dei sistemi. Il pimo dipende completamente dall azione pesa, il secondo è indipendente dall azione pesa. Consideiamo gli aspetti valutativi del RL in un contesto (setting semplice, quello in cui di deve appendee ad agie in una sola situazione (nonassociative setting, il poblema detto del n-amed bandit.

41 -Amed Bandit

42 n-amed Bandit Poblem

43 n-amed Bandit

44 Il poblema del n-amed Bandit Situazione iniziale costante. Scelta ta n azioni. La ichiesta di scegliee viene ipetuta più volte nel tempo. La icompensa è stocastica (e.g. slot machine. Obiettivo: viene massimizzata la icompensa a lungo temine. Soluzione possibile: selezionae l azione che fonisce la massima icompensa a lungo temine. Come?

45 Slot machine stocastica Il ewad della slot machine è completamente definito dalla densità di pobabilità associata alla macchina. Si suppone la densità di pobabilità costante nel tempo. Pe semplicità si suppone che la densità di pobabilità sia descivibile da una funzione analitica, ad esempio una Gaussiana. In questo caso la densità di pobabilità è definita dai paameti della gaussiana: media e deviazione standad. Che cosa appesenta la densità di pobabilità?

46 Come massimizzae la icompensa Consento all agente di avee memoia. Memoizzo il valoe associato alle divese azioni. Posso ad un ceto punto scegliee SEMPRE l azione che mi ha dato la RICOMPENSA MAGGIORE. L azione miglioe è detta GREEDY ACTION (Geedy = Goloso. EXPLOITING (sfuttamento KNOWLEDGE. Peché dovemmo scegliee un azione che non appae la miglioe (NON GREEDY?

47 Exploation Peché esploiamo soluzioni divese. La icompensa non è deteministica. Potemmo ottenee di più con alte azioni. uello che conta non è la icompensa istantanea ma la somma delle icompense ottenute. Occoe quindi mantenee una pedisposizione ad esploae azioni divese. Il bilanciamento di exploation e di exploitation è un compito complesso.

48 La Value Function e la scelta delle azioni Posso selezionae n-azioni: a = a.a n. Ciascuna di queste azioni ha un suo valoe: *(a = long-time ewad. Il suo valoe stimato al t-esimo tio (play sia t (a (VALUE. Si ammenti che il valoe veo di un azione è il ewad medio icevuto quando quell azione è scelta. Una via natuale pe stimae questo valoe è quella di calcolae la media dei ewad effettivamente icevuti quando l azione è stata scelta. In alti temini, se al t-esimo gioco l azione a è stata scelta a volte pima di t, ottenendo i ewad, 2,, a, alloa il suo valoe è stimato essee t ( a = 2... a a

49 Caatteistiche della Value Function Pe a = 0, si pone t (a ad un valoe di default, 0 (a = 0 (nessuna stima disponibile. Pe a, t (a *(a (pe la legge dei gandi numei. La Value function è calcolata come media (sample-aveage method. Pima possibilità di selezione: l azione che dà all istante t la massima VALUE FUNCTION stimata: : t (a > t (a j j a*: t (a* = max{ t ( a } Così viene EXPLOITED la conoscenza accumulata, è una politica GREEDY. Non vengono esploate soluzioni altenativa. Come si può fomalizzae un altenativa? a

50 Exploitation and Exploation Suppongo che con pobabilità ε venga scelta un azione divesa. uesta azione viene scelta con pobabilità unifome ta le n possibili azioni a disposizione (ε-geedy method. t (a *(a pe t Nea-geedy action selection. Come funziona? a*: t (a* = max{ t ( a } a a a* Unifome sulle alte a. P=-ε P=ε

51 Esempio: 0-amed testbed(* n-amed bandit poblem: n = 0; a = a, a 2,, a,, a 0. La simulazione consiste in un set di 2000 tas. Pe ogni tas, eseguo 000 volte la scelta dell azione: t = t, t 2,, t 000 a = a(t, a(t 2,, a(t 000 = (a(t, (a(t 2,, (a(t 000 (a viene selezionato in modo andom da una distibuzione Gaussiana con media µ, divesa pe le divese azioni, ma costante pe tutto il tas, e vaianza. µ = *(a. Misuo, pe ogni istante di tempo t: Il ewad dell azione (in questo caso viene dato un ewad 0 pe ogni azione Calcolo la icompensa totale (Value Function. Valuto la pefomance dopo le 000 giocate di ogni tas. uanto vale µ? Pe ogni tas vaio µ estaendolo da una distibuzione Gaussiana con media = 0 e vaianza =. (* A testbed is a platfom fo expeimentation fo lage development pojects (Wiipedia

52 Risultati Media su 2000 tas, ciascuno di 000 giocate (azioni, playes Si potebbe implementae una politica ε-geedy vaiabile: ε #Playes

53 Domande Supponiamo che la distibuzione da cui si sceglie il valoe medio del ewad abbia vaianza nulla. uale metodo funziona meglio: Geedy o ε-geedy? Supponiamo che la distibuzione da cui si sceglie il valoe medio del ewad abbia vaianza maggioe (e.g. = 0. Cosa succede? uale metodo si compoteebbe meglio? In quali alte condizioni saebbe utile avee esploazione?

54 Implementazione incementale Il metodo action-value appena visto di valutazione dei valoi delle azioni come media dei campioni delle icompense ossevate ichiede molta memoia e molta computazione pe il calcolo di Occoe scegliee un algoitmo che calcoli t(. con un piccolo caico computazionale e di memoia. Supponiamo di Exploit l azione a. Calcoliamo i ewad al tempo t (pimi t ewad e li chiamiamo t (a. t (a coincideà con la media delle pime a icompense: Scegliendo ancoa a, otteniamo il seguente valoe di al tempo t: a t a a =... ( 2 a t a a =... ( 2... ( 2 = a t a a a

55 Deteminazione icosiva di ( ( (... (... (... ( = = = = = = = N N a N N N N N N N N N N N a N a N a N t t t N t t N t N t N N t N N t N t Dipende da t Non dipende da t = (a j 0

56 Ossevazioni su ( a = = [ N N Occupazione di memoia minima: solo e. NB: è il numeo di volte in cui è stata scelta a j, non è necessaiamente coincidente con il tempo t! uesta foma è la base del RL, La sua foma geneale è: NewEstimate = OldEstimate StepSize[Taget OldEstimate] NewEstimate = OldEstimate StepSize Eo. ] = N StepSize = = /N

57 Pseudo-codice pe il calcolo di ( ### Definizione delle vaiabili: N_scelte = m; eps_geedy = 0. //epsilon dipende dal gado di geedy che si vuol dae all agente ### Vaiabili dell agente A = {, 2,,m} // Azioni possibili = {, 2,,m} = 0 // Value function pe ogni azione N_azioni = {, 2,,m} // Numeo di volte in cui è scelta l azione j (e collezionato il ewad associato ## Vaiabili dell ambiente. Date nella simulazione, misuate nell ambiente nella ealtà // Inizializzo I paameti della distibuzione (stazionaia dei ewad pe ogni azione meanrewad = [mean_, mean_2,, mean_m]; stdrewad = [mean_, mean_2,, mean_m];

58 Pseudo-codice pe il calcolo di (2 #### 2 Ciclo di funzionamento while (TRUE { eps = andu ([0 ] // Pe politica epsilon-geedy // Exploitation [a_attuale _attuale] = SeachMax(; // Ceca l azione ottima secondo // Esploation: se eps < epsilon_min, alloa exploation if(eps < epsilon_min { // Devo tovae un azione divesa da a_attuale -> a_ef tovato = FALSE; a_ef = a_attuale; while(!tovato { a_attuale = andu(a; if(a_attuale!= a_ef { tovato = TRUE; _attuale = (a_attuale } } }

59 Pseudo-codice pe il calcolo di (3 // Eseguo l azione a_attuale e misuo il ewad ottenuto dalla slot machine _attuale = andg[meanrewad(a_attuale, stdrewad(a_attuale]; // Update i dati pe l azione a_attuale: il numeo di azioni e il value N_azioni(a_attuale; (a_attuale =(a_attuale (/N_azioni(a_attuale * (_attuale (a_attuale; }

60 Caso stazionaio = 2... N Il peso di ciascun campione è paia a /N. = N N Ogni nuovo campione viene pesato con /N. = [ ] Peso decescente ai nuovi campioni. Cosa succede se il tas è non stazionaio?

61 Caso non stazionaio ] [ = ma si suppone = cost = 0 = = = = = = = = = = = i i i ( ( ( (... ( ( ( ( ] ( [ ( ( ] [ 0-0 Nel caso non stazionaio (il bandito cambia nel tempo, ha senso pesae di più le icompense più ecenti piuttosto che quelle passate. Si usa sempe l aggionamento:

62 Ossevazioni i = ( 0 ( i = ( 0 i= i= w i i I ewad non sono pesati tutti allo stesso modo: weighted aveage. Il peso di ciascun campione decesce esponenzialmente: w i = (- -i < Exponential, ecency-weighted aveage

63 La somma dei pesi dei ewad è unitaia Si chiama media pesata (weighted aveage peché la somma dei pesi è =. Infatti consideando solo i coefficienti in ] ( [ ( ( ( ( ( ( ( ( ( ( ( ( ( (... ( ( ( (... ( ( = = = = = = = i i cvd

64 Condizioni iniziali i = ( 0 ( i= Tutti i metodi discussi dipendono dalla stima iniziale della action-value, 0 (a (polaizzazione. Ma: Metodi ad = /N, 0 non viene utilizzato se non al pimo passo, viene poi sostituito da. Metodi ad costante, 0 conta sempe meno, ma la polaizzazione è pemanente ( 0 = 0. 0 può essee utilizzato pe fonie della conoscenza a-pioi o pe favoie l esploazione (optimistic initial value. Come posso gestie una situazione in cui la slot machine cambia impovvisamente la sua densità di pobabilità di ewad? (Pe i poblemi non stazionai, l optimistic initial value è inefficace in quanto agisce solo all inizio. i