1 Bimatrix Games e Best Response Condition

Transcript

1 Strument della Teora de Goch per l Informatca A.A. 2009/10 Lecture 5: 29 Ottobre 2010 Calcolo d Equlbr Nash Mst per Goch a due Gocator Docente Prof. Vncenzo Auletta Note redatte da: Roberto D Russo Sommaro In questa lezone verrà dscusso l problema del calcolo degl Equlbr Nash n goch strategc a due gocator e verrà descrtto l algortmo d Lemke-Hawson. Queste note sono basate su paragraf d [?]. 1 Bmatrx Games e Best Response Condton In questa lezone restrngeremo la nostra attenzone a goch strategc con due sol gocator. Quest goch sono anche dett bmatrx games perché possono essere completamente descrtt fornendo le due matrc d utltà de due gocator. Nel seguto defnremo le utltà come de payoff e assumeremo che ogn gocatore vuole massmzzare la sua utltà. Tutte le defnzon possono faclmente essere trasposte al caso d mnmzzazone de cost. Sa (A, B) un bmatrx game, dove A è la matrce m n de payoff del gocatore 1 e B è la matrce m n de payoff del gocatore 2 (stamo assumendo che l gocatore rga può sceglere tra m azon mentre l gocatore colonna può sceglere tra n alternatve). Date due stratege mste x, y, rspettvamente del gocatore rga e del gocatore colonna, defnamo l expected payoff per l gocatore rga è x y j a j = x T A y (1) e quello de gocatore colonna è j x y j b j = x T B y (2) j La coppa d stratege (x, y) è un Nash Equlbrum se ognuna delle due stratege è una best response alla stratega dell avversaro. Formalmente, questo s può scrvere nel seguente modo: x R m ȳ R n x T A y x T A y x T B ȳ x T A y Possamo qund formulare una Best Response Condton e caratterzzare le soluzon n Equlbro Nash come tutte le soluzon che soddsfano questa condzone. Defnzone 1.1 (Best Response Condton) La soluzone (x, y) è un Nash Equlbrum se e solo se ogn stratega nel supporto d x è una best response alla stratega y ed ogn stratega nel supporto d y è una best response alla stratega x. Qund, abbamo che per = 1,, m, x > 0 j a j y j = (A y) j = u = max{(a y) k, k M} per j = 1,, n, y j > 0 b j x = (x B) = v = max{(x B) k, k N} 1

2 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 2 La Best Response Condton dce che tutte le stratege nel supporto d x sono best response alla stratega y e garantscono al gocatore rga la stessa expected utlty. Qund, per l gocatore rga è ndfferente quale azone del supporto d x gocare e può gocare una qualsas stratega msta che abba questo stesso supporto. Il gocatore rga, però, scegle la sua stratega n modo da garantre che anche tutte le azon del supporto d y sano best response per l suo avversaro (altrment, lu sa che l suo avversaro camberebbe stratega). Questa propretà è utle perché c permette d lavorare con support, che sono n numero fnto, anche se esponenzale (2 m+n ), puttosto che con le stratege mste, che sono nfnte. Un prmo banale algortmo per trovare un Equlbro Nash d un goco consste nell enumerare tutte le combnazon d support de gocator e verfcare se esstono delle dstrbuzon d probabltà per le qual que support soddsfano la Best Response Condton. Dat due support S 1, S 2, per verfcare se ess defnscono un Nash Equlbrum basta rsolvere due sstem d equazon lnear { j S2 a j y j = u S 1 j y j = 1 { S 1 x b j = v j S 2 y = 1 e verfcare che le soluzon sono non-negatve e soddsfano la Best Response Condton. Per semplctà, consderamo solo goch non degener, dove support de due gocator n un Equlbro Nash hanno la stessa cardnaltà. Per quest goch due sstem d equazon dat hanno al pù una soluzone e possono essere rsolt n tempo polnomale. Possamo ora fornre l seguente algortmo per l calcolo d un Equlbro Nash basato sull enumerazone de support. Algorthm 1 Calcolo d un Equlbro Nash per enumerazone de support Requre: date due matrc A e B d dmensone m n for k = 1 to mn{m, n} do for all coppe (S 1, S 2 ) con S 1 = S 2 = k e S 1 {1... n}, S 2 {1... n} do verfca se esstono stratege x e y con support S 1 e S 2 che formano un Nash Equlbrum. end for end for Questo algortmo ha complesstà O(2 m+n poly(n + m)). algortm pù effcent. Vedamo ora come possamo trovare 2 Calcolo d Equlbr Nash tramte Poltop etchettat E possble fornre un algortmo pù effcente utlzzando l poltopo delle best responses. Prma d procedere con la descrzone dell algortmo rcordamo alcune defnzon della teora de poledr convess che rsulteranno utl nella nostra esposzone. 2.1 Cenn sulla Teora de Poledr Convess Dat k punt z 1... z k d uno spazo eucldeo (coè, uno spazo n cu vale la dsuguaglanza trangolare), una combnazone affne d quest punt è dato dal valore λ z (3)

3 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 3 con λ R e λ = 1. Una combnazone affne s dce convessa se per ogn λ 0. Un nseme è convesso se è chuso rspetto all operazone d combnazone convessa. Un nseme d punt è detto affnemente ndpendente se nessun punto è esprmble come combnazone affne degl altr. Un nseme convesso ha dmensone d se e solo se è possble trovare al suo nterno al massmo (d + 1) punt affnemente ndpendent. Un poledro P R d è un nseme d punt {z R d C z q}. Se l poledro è lmtato allora è detto poltopo. Un poledro è fully dmensonal se è d-dmensonale. Una facca d P è l nseme d punt per qual alcune dsequazon d C z q sono vere come uguaglanze. Un vertce è l unco punto d una facca 0-dmensonale. Un arco è una facca 1-dmensonale. Un facet è una facca (d 1)-dmensonale. Un poledro d-dmensonale è semplce se nessun punto appartene a pù d d facets (coè n ogn punto c sono al pù d dsequazon vere come uguaglanze). 2.2 Poledro delle Best Response Il poledro delle best-responses è l nseme delle stratege mste che fornscono all avversaro un expected payoff nferore ad una certa sogla. Qund l poledro delle best response del gocatore rga è dato da P = {(x, v) R m R x 0, B T x v, 1 T x = 1} (4) Possamo rscrvere le condzon che defnscono P come un sstema d m + n + 1 dseguaglanze x 0 = 1... m x b j v j = 1... n x = 1 Analogamente, l poledro delle best response del gocatore colonna è uguale a Q = {(q, u) R n R A y u, y 0, 1 T y = 1} (5) che può essere rscrtto nel seguente sstema d m + n + 1 dseguaglanze: j y j a j u = 1... m y j 0 j = 1... n j y j = 1

4 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 4 Esempo. Consderamo l goco a due gocator rappresentato dalle matrc A = 2 5 B = Sano {x 1, x 2, x 3 } e{y 4, y 5 } gl nsem delle azon a dsposzone de due gocator. Allora l poledro delle best response del gocatore rga è l sottonseme P R 3 defnto dal sstema 3y 4 + 3y 5 u 2y 4 + 5y 5 u 6y 5 u. (6) y 4 + y 5 = 1 y 4, y 5 0 Fgura 1: Poledro delle best responses del gocatore 1 per le stratege del gocatore 2 Dalla fgura rcavamo che: x 1 è la best response del gocatore 1 per y x 2 è la best response del gocatore 1 per 1 3 y x 3 è la best response del gocatore 1 per y Procedamo ora ad etchettare vertc de poledr delle best response. Per ogn punto (y, u) P dcamo che (y, u) ha label k se la k-ma dsequazone d P è soddsfatta come uguaglanza. Qund, l vertce (y, u) avrà tante labels quante sono le dsuguaglanze verfcate come uguaglanza n quel punto. Nell esempo precedente l punto ( 2 3, 1 3, 1) ha label (1, 2) l che sgnfca che x 1 e x 2 sono entrambe delle best responses e danno utltà 3. Rcordamo che n un goco non degenere l poltopo delle best responses è semplce e fully dmensonal e qund possamo dre che vertc d P sono gl unc punt del poledro n cu m dsequazon del sstema sono verfcate come uguaglanze (e qund sono gl unc punt ad avere

5 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 5 m label). Allo stesso modo, vertc d Q sono gl unc punt del poledro n cu n dseguaglanze sono vere come uguaglanze (e, qund, hanno n label). Supponamo ora che [(x, v), (y, u)] sano una coppa d punt d P Q tal che 1 k m + n almeno uno de due vertc ha la label k. Chamaremo queste coppe d vertc completamente etchettate. Osservamo che, per ogn 1 k m { se k è assegnato a (y, u) (A y) k = u se k è assegnato a (x, v) x k = 0 In pratca, la stratega x k del gocatore rga o garantsce expected-payoff u o non è utlzzata. Allo stesso modo, m + 1 k m + n { se k è assegnato a (y, u) y k m = 0 se k è assegnato a (x, v) (B T x) k m = v e, qund, la stratega y k m del gocatore colonna o garantsce expected-payoff v o non è utlzzata. Osservamo che, se k m non èpresente nelle etchette d [(x, v), (y, u)], questo sgnfca che y k > 0 e (A y) k < u e qund c è una azone che l gocatore colonna sta gocando con probabltà postva e che non è una best response alla stratega del suo avversaro e qund vola la Best Response Condton. Qund, trovare un Nash Equlbrum sgnfca trovare due punt [(x, v), (y, u)] che sono completamente etchettat. D altra parte, n P gl unc punt con m label sono vertc del poltopo ed n Q gl unc punt con n label sono vertc del poltopo. Qund, per trovare una coppa d punt completamente etchettat possamo lmtarc a consderare soltanto le coppe d vertc d P Q. Ovvamente, tutte queste coppe d punt hanno m + n label ma alcune d queste potrebbero essere duplcate e qund cercare una coppa d punt completamente etchettat equvale a cercare una coppa d vertc che non hanno label duplcate. Se le matrc A e B sono non-negatve e non hanno colonne nulle allora le defnzon d P e Q possono essere semplfcate elmnando le varabl u e v. Infatt, possamo sostture x con la varable x v e y j con la varable y j u e defnre poltop P = {x R m x 0 B T x 1} Q = {y R n A y 1 y 0} che rsultano essere fully dmensonal. Nel nostro esempo, l poltopo Q corrspondente al poledro Q è rappresentato n fgura??. Esste una bezone tra P e P {0} e tra Q e Q {0} che lasca nalterate le label assegnate a punt dvers da (0, 0). Qund, trovare una coppa ((x, v), (y, u)) completamente etchettata n P Q è equvalente a trovare (x, y) (P Q) {(0, 0)} completamente etchettata. 3 Algortmo d Lemke-Howson L algortmo d Lemke-Howson permette d trovare un Equlbro Nash d un goco non degenere a due gocator. Esso fornsce mplctamente una dmostrazone costruttva al Teorema d Nash per questa classe d goch. Partendo dal vertce (0, 0) P Q, l algortmo segue un cammno tra vertc del poltopo P Q fno a raggungere un vertce completamente etchettato. Questo vertce defnsce support d

6 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 6 Fgura 2: Poltopo delle best responses corrspondente al poledro d fgura?? due stratege che sono n Equlbro d Nash e che sono costrubl rsolvendo un sstema lneare con n + m ncognte. L algortmo non vsta tutte le coppe d vertc d P Q, ma solo quelle quas completamente etchettate, che sono le coppe d vertc che hanno tutte le label tranne al pù una, detta mssng label. Poché vertc d P Q hanno m + n labels, un vertce quas completamente etchettato ha una label duplcata k: l dea dell algortmo è d spostars su un altro vertce n cu una delle due cope d k è elmnata e sosttuta da un altra label. Cò sgnfca spostars su un lato d uno de due poltop, restando ferm nell altro. Una label duplcata k corrsponde ad una stratega che è best response per la stratega dell avversaro ma vene gocata con probabltà par a 0. Per elmnare la duplcazone o dobbamo toglere k dal supporto (coè, modfcare la stratega dell avversaro n modo che non sa pù una best response) oppure assegnarle probabltà postva. Supponamo che l vertce v sa quas completamente etchettato con label duplcata k e che sa stato raggunto da un altro vertce v quas completamente etchettato che aveva una sola copa d k. Allora, a partre da v, è unvocamente determnato cosa dobbamo fare per elmnare la duplcazone d k senza tornare nel vertce v gà vstato. La cancellazone d una copa d k mplca uno spostamento su un altro vertce n cu tale copa vene sosttuta con un altra label k (anch essa eventualmente duplcata). L algortmo d Lemke-Howson parte da un vertce (0, 0), che è completamente etchettato ma non defnsce un Nash Equlbrum perché non può essere rscalato per ottenere una dstrbuzone d probabltà, e scegle a caso un vertce v adacente n cu una certa label l è assente. La label assente non è altro che una stratega scelta con probabltà maggore d 0, ma per la quale l avversaro non ha una best response. Mancando l, c sarà una label duplcata h, che supponamo essere una stratega del gocatore rga (h m). Allora, l algortmo s sposta nel poltopo Q su un nuovo vertce che defnsce una best response del gocatore rga. Se la stratega trovata è tale che la stratega del gocatore rga è una best response, l algortmo termna con successo; altrment rtorna nel poltopo P e scegle un nuovo vertce nserendo nel supporto una nuova stratega che è best response per l avversaro oppure ponendo a 0 la probabltà d una stratega non ottmale. L algortmo d Lemke-Howson termna scuramente perché ad ogn passo vsta una nuova coppa d vertc d P Q e non vsta ma due volte la stessa coppa. Infatt, data una coppa (x, y), è unvocamente determnato ch sarà l prossmo vertce. Se c fosse un cclo, c dovrebbe essere un vertce con tre arch ncdent, l che èmpossble. Se prendessmo l grafo formato dalle sole

7 Lecture 5: Calcolo d Equlbr Nash Mst per Goch a due Gocator 7 coppe d vertc n cu manca al pù la sola label l, esso avrebbe solo vertc d grado al pù par a 2 e, qund, sarebbe formato solo da paths e ccl. Ogn endpont d un path è un Equlbro d Nash oppure costtusce la coppa (0, 0). Poché (0, 0) non ha arch entrant, c è almeno un path nel grafo e l altro endpont d questo path è un Nash Equlbrum. Ovvamente, c potrebbero essere anche altr path cu endpont sarebbero altr Equlbr Nash. Tuttava, per goch non degener gl Equlbr d Nash sono sempre n numero dspar. L algortmo d Lemke-Howson non può essere usato per trovare tutt gl Equlbr d Nash perché è possble costrure goch n cu c è un equlbro che non vene ma raggunto per nessuna mssng label. E anche possble costrure goch n cu per ogn possble mssng label l percorso seguto dall algortmo per trovare l Nash Equlbrum ha lunghezza esponenzale. L mplementazone dell algortmo consente d segure lat del poltopo per passare da un vertce ad un altro che dffersce per una label attraverso delle operazon d pvotng sml a quelle usate dall algortmo del smplesso per problem d programmazone lneare. Per goch degener non è garantta l unvoctà del cammno seguto dall algortmo d Lemke-Howson. E possble, però, perturbare l goco n modo da renderlo non-degenere. Quest goch possono avere un numero nfnto d Equlbr d Nash. Rferment bblografc [1] Noam Nsan, Tm Roughgarden, Eva Tardos, and Vjay V. Vazran. Algorthmc Game Theory. Cambrdge Unversty Press, 2007.