Strumenti della Teoria dei Giochi per l Informatica A.A. 29/ Lecture 4: Ottobre 2 Equilibri Correlati, Bayesian Games Docente Prof. Vincenzo Auletta Note redatte da: Michele Nasti Equilibri Correlati Gli equilibri correlat sono un concetto di soluzione introdotto da Robert Aumann nel 974 come generalizzazione del concetto di Equilibrio Nash. L idea è che ogni giocatore sceglie la sua azione in accordo all osservazione di un segnale fornito da un dispositivo di correlazione (tale segnale potrebbe anche essere differente da giocatore a giocatore). Sulla base del segnale osservato e ragionando strategicamente sui segnali che gli altri giocatori potrebbero aver ricevuto, il giocatore sceglie la propria azione. Una soluzione è un equilibrio correlato se ogni giocatore ritiene conveniente non deviare dalla strategia suggerita dal dispositivo di correlazione sotto l ipotesi che gli altri giocatori non devieranno. Per spiegarci, consideriamo una versione del gioco BoS che abbiamo visto nelle precedenti lezioni in cui introduciamo un dispositivo di correlazione che è il tempo metereologico: se c è il sole a entrambi i giocatori verrà suggerito di andare alla partita, se piove di andare a fare shopping. In questo caso la strategia di andare alla partita se c è il sole e a fare shopping se piove è chiaramente un equilibrio. Il tempo è un dispositivo pubblico comune che invia lo stesso segnale a tutti i giocatori e per questo è il più semplice dei dispositivi di correlazione. In generale, il dispositivo potrebbe inviare segnali diversi ai giocatori e un giocatore potrebbe non essere in grado di risalire con certezza dal segnale ricevuto al segnale ricevuto dagli altri giocatori ma ne avrebbe solo una conoscenza parziale (ossia una distribuzione di probabilità sui suggerimenti che potrebbero essere stati dati agli altri giocatori) e cerca di ottimizzare la sua scelta rispetto a queste distribuzioni di probabilità. Formalmente, un equilibrio correlato di un gioco strategico G = ([u], (A i ), (u i )) consiste di: una distribuzione di probabilità congiunta π sull insieme di tutti i possibili stati del gioco Ω; giocatore i, una partizione P i di Ω che, dato lo stato del gioco, suggerisce un azione al giocatore i; giocatore i, una funzione σ i : Ω A i tale che ω, ω Ω se ω,ω P i, con P i P i, allora σ i (ω) = σ i (ω ) e tale che per ogni altra funzione τ i : Ω A diversa da σ i ma con le stesse proprietà, π(ω) u i (τ i (ω), σ i (ω)) ω Ω π(ω) u i (σ i (ω), σ i (ω)) ω Ω
Lecture 4: Equilibri Correlati, Bayesian Games 2 In pratica, il dispositivo di correlazione sceglie uno stato ω rispetto a π e suggerisce ad ogni giocatore idi giocare σ i (ω). Il giocatore può, conoscendo π e σ i (ω), farsi un idea di quali suggerimenti siano stati dati agli altri giocatori e verificare se, nell ipotesi che gli altri seguiranno il suggerimento ricevuto, a lui conviene cambiare. Notiamo che nella nostra definizione abbiamo assunto che il segnale ricevuto da un giocatore è l indicazione dell azione da scegliere. Questa ipotesi è senza perdita di generalità perchè si può dimostrare che, per ogni equilibrio correlato in cui i segnali ricevuti non coincidano con le azioni, se ne può trovare uno equivalente in cui segnali e azioni coincidono. Chiaramente i N.E. (Nash Equilibrium) sono casi particolari di C.E. (Correlated Equilibrium) dove il segnale ricevuto dal giocatore i non fornisce nessuna informazione sui segnali ricevuti dagli altri, e la distribuzione π è data dalla produttoria delle strategie miste scelte indipendentemente dai giocatori. Vediamo ora quali sono i C.E. del gioco BoS. Abbiamo già visto che questo gioco ha due N.E. pari ad ((, ), (, )) e ((, ), (, )) ed uno misto (( 3 7, 4 7 ), ( 5 8, 3 8 )). A questi possiamo aggiungere il C.E. ( ) 2 2 in cui ad ogni giocatore viene suggerito di scegliere B o S con probabilità 2. Poichè i giocatori sanno che ad entrambi è stato dato lo stesso suggerimento allora capiscono che è nel loro interesse accettarlo. Osserviamo che mentre i due equilibri puri hanno profili di payoff (2, ) e (, 2) e quello misto ha profilo ( 2 3, 2 3 ), in quello correlato il profilo è ( 3 2, 3 2 ), quindi la somma delle utilità attese dei giocatori è massima e questa utilità è divisa equamente tra i giocatori. È facile osservare che:. Ogni gioco ha almeno un C.E. 2. Ogni combinazione lineare convessa di C.E. è un C.E. 3. Ogni C.E. che può essere ottenuto come d.d.p (distribuzione di probabilità) sull insieme degli outcome può essere ottenuto come d.d.p. sull insieme delle azioni. Esempio (Traffic Lights) Due automobili si incontrano ad un incrocio non regolato da semafori. Ogni automobile deve decidere se passare o non passare. Se passano entrambe probabilmente ci sarà un incidente, e questo è indicato con un costo negativo. Se Una passa e l altra aspetta, la prima guadagna mentre l altra ottiene. Infine, se nessuna passa entrambe ottengono un guadagno. La matrice dei payoff è P N P (, ) (, ) N (, ) (, ) Vi sono Due N.E. puri, ossia (P,N) e (N,P) con una expected utility pari a. Vi è un N.E. misto (( 5, 5 5 ), ( 5, 5 22 5 )) con un expected utility di 2.
Lecture 4: Equilibri Correlati, Bayesian Games 3 Esiste un C.E. con un expected utility pari a. P N P N 3 3 3 2 Bayesian Games: giochi con informazione imperfetta Fino ad ora abbiamo sempre studiato giochi con informazione perfetta, in cui ogni giocatore conosce le sue strategie, gli avversari, le loro strategie e i loro payoff. Molto spesso, però, ci troviamo a dover modellare situazioni in cui alcuni giocatori non hanno una conoscenza totale delle caratteristiche degli altri giocatori (per esempio hanno una conoscenza parziale delle funzioni utilità dei competitori). I Bayesian Games sono un modello introdotto da Harsanij per modellare giochi con informazione imperfetta. Il modello introdotto da Harsanij è simile ad un gioco strategico ma introduce un nuovo giocatore, la Natura, le cui mosse rappresentano i possibili stati del gioco in modo tale che l incertezza dei giocatori (di qualunque tipo sia) è modellata come incertezza sulle mosse delle Natura. Sia Ω l insieme degli stati che può assumere la natura (assumiamo Ω finito) e sia p i (ω) la stima a priori che il giocatore i ha sullo stato di natura ω ( p i (ω) è la probabilità con cui i pensa che la natura assumerà lo stato ω). In ogni partita la Natura sceglie lo stato che vuole assumere ed invia ad ogni giocatore un segnale, calcolato tramite la funzione τ i (ω), che il giocatore può utilizzare per scegliere le proprie strategie. Sia T l insieme dei possibili segnali (tipi) che il giocatore può osservare e supponiamo che t T p i (τ (t)) > (la probabilità assegnata da i all insieme degli stati di natura che generano il segnale t è positiva). Sulla base del segnale t i osservato, il giocatore deduce che lo stato scelto dalla natura è nell insieme τi (t i ) e, utilizzando la formula di Bayes, si costruisce una probabilità a-posteriori p i (ω) di ogni stato di natura { se ω τ p i(ω) = p i (ω) p i (τ i (t i )) i (t i ) se ω τi (t i ) Si noti che se il giocatore ha informazione perfetta sulla natura allora p i (τi (t i )) = p i (ω) e p i (ω) =, cioè il giocatore sa con certezza lo stato scelto della Natura. Alternativamente, se Ω = (T T 2... T n ) e τ i (ω) = ω i, il giocatore non ricava nessuna informazione sullo stato della natura dal segnale ricevuto. Si noti che la parziale conoscenza dello stato di natura implica che, anche se un giocatore conoscesse le strategie giocate da ogni altro giocatore in ogni stato di natura, rimarrebbe comunque l incertezza sullo stato di natura e quindi il giocatore deve comunque avere una relazione di preferenza sulle distribuzioni di probabilità su (A A 2... A n Ω). In definitiva un Bayesian Game è dato da:. un insieme finito di giocatori 2. giocatore i, un insieme finito T i di segnali che può ricevere e una funzione τ i : Ω T i che determina il segnale ricevuto in base allo stato di natura
Lecture 4: Equilibri Correlati, Bayesian Games 4 3. una distribuzione di probabilità p i su Ω (valutazione a priori) per cui t i T i, p i (τ i (t i )) > 4. una relazione di preferenza su tutte le distribuzioni di probabilità su (A A 2... A n Ω). Si noti che questa definizione consente ai giocatori di avere valutazioni a-priori differenti (quella originale di Harsanij invece diceva che le valutazioni a-priori erano uguali per tutti i giocatori). Un Bayesian Game può essere usato per modellare sia situazioni in cui un giocatore non è sicuro dei payoff dei suoi avversari che quelle in cui non è sicuro della loro conoscenza. Veniamo alla definizione di equilibrio in un Bayesian game. Si noti che la scelta della migliore azione di un giocatore, dato il segnale ricevuto, può dipendere dallo stato di natura in cui ci troviamo e dalle informazioni che gli altri giocatori hanno, ed entrambe queste informazioni sono imperfette. Per definire un equilibrio Nash nel Bayesian Game G = (N, Ω, (A i ), (T i ), (τ i ), (p i ), ( i )) definiamo un nuovo gioco strategico G in cui c è un giocatore (i, t i ) per ogni coppia giocatore i e segnale t i ricevuto nel gioco originale. Il giocatore i = (i, t i ) ha l insieme di azioni A i e relazioni di preferenza a i b ( a, b A... A n ) se e soltanto se L i (a, t i ) i L i (b, t i ) nel gioco originario, dove L i (a, t i ) è la lotteria (distribuzione di probabilità) su (A A 2... A n Ω) p che assegna ad (a j, τ j (ω)) probabilità i (ω) se ω τ p i (τ i (t i )) i (t i ), e altrimenti. Una soluzione del Bayesian game è un equilibrio se la stessa soluzione è un N.E. nel corrispondente gioco strategico, in altre parole nel Bayesian Game ogni giocatore sceglie la migliore azione possibile dato il segnale che ha ricevuto e la valutazione a-priori degli stati di natura. Esempio 2 (Asta di Secondo Prezzo) Consideriamo una variante del classico problema dell asta in cui ogni giocatore conosce la sua valutazione ma è incerto sulle valutazioni degli altri. In particolare, assumiamo che le valutazioni sono estratte a caso dall insieme V. Modelliamo questa situazione come un Bayesian game: N =,..., n Ω = V n A i = [, ) T i = V e τ i (v... v n ) = v i (l agente conosce solo la sua valutazione) p i (v... v n ) = n j= π(v j) per una qualche distribuzione π su V, comune a tutti i giocatori. sia X i (a... a n, v... v n ) = { vi max a i se i vince altrimenti Il corrispondente gioco strategico ha N = (i, t i ), i N e t i V u i (a... a n, v... v n ) = E pi [X i ]
Lecture 4: Equilibri Correlati, Bayesian Games 5 A(a, t i ) = A i u (i,ti )(a) = E[u i (a, v i, v i )] È possibile far vedere che il gioco ha una soluzione con strategie dominanti dove a (i, v i ) = v i. Esercizio (BoS con informazione imperfetta) Com in BoS, ma ogni giocatore non sa se l altro preferisce B o S. Le preferenze dei giocatori sono date dai payoff attesi dove la matrice dei payoff è B S B (2, ) (, ) S (, ) (, 2) Modellare come un Bayesian Game e trovare i N.E. N = {, 2} Ω = {(BB), (BS), (SB), (SS)}, dove (XY ) significa che preferisce X e 2 preferisce Y. A i = {B, S} = T i τ i (ω) = ω i - il giocatore i sa solo cosa preferisce lui. p i (ω) : se ω i = B u ((B, B), ω) = 2 u (S, S), ω) = u (B, S), ω) = u (S, B), ω) = se ω i = S u ((S, S), ω) = 2 u (B, B), ω) = u (B, S), ω) = u (S, B), ω) = Il ragionamento è analogo per il giocatore 2. Nel gioco strategico corrispondente ci sono due NE in cui tutti i giocatori giocano con la stessa strategia, qualunque sia p i ( ). In funzione di p i ( ) però ci possono essere anche degli equilibri in cui i due giocatori non si coordinano. Per esempio sia p x = q x = p (x, x) p (x, b) + p (x, s) p 2 (x, x) p 2 (x, b) + p 2 (x, s) (probabilità che l altro giocatore abbia la mia stessa preferenza). Se p x 3 e q x 3 e x = B allora l outcome in cui ognuno sceglie l oggetto preferito è un equilibrio. Infatti { 2px a = B u (i,x) (a, b) = p x a = S anche se lo stato del gioco è (BS) o (SB).