Teoria dei Giochi e Giochi Evolutivi Parte 2 - Teoria dei Giochi Evolutivi

Transcript

1 Università degli studi di Siena Dipartimento di ingegneria dell informazione e scienze matematiche Dispense del corso di Teoria dei Giochi e Giochi Evolutivi Parte 2 - Teoria dei Giochi Evolutivi Dario Madeo, Chiara Mocenni Marzo 2016

2 Indice 1 Introduzione 2 2 Stabilità Evolutiva Strategie Evolutivamente Stabili (ESS) Equilibri di Nash puri e strategie pure evolutivamente stabili in giochi simmetrici a due giocatori Dalla teoria dei giochi alla replicator dynamics La replicator dynamics Invarianza nella trasformazione dei payoff La soluzione indotta Replicator dynamics e evoluzione biologica Classificazione dei giochi evolutivi 2x Stati stazionari della replicator equation ed equilibri di Nash Stati stazionari e NE Stati Lyapunov stabili e NE Sintesi dei concetti base ed esercizi Applicazione dei giochi evolutivi all ecologia 23 1

3 Capitolo 1 Introduzione La teoria dei giochi classica si occupa di interazioni che avvengono una sola volta tra giocatori perfettamente razionali, che conoscono tutti i dettagli del gioco. Nella teoria dei giochi evolutiva, invece, il gioco si ripete continuamente nel tempo ed avviene tra giocatori, scelti casualmente, in una popolazione sufficientemente vasta. Tali giocatori sono programmati per agire in un determinato modo, ovvero utilizzando una strategia del gioco, e hanno la capacità di replicarsi con un certo tasso riproduttivo. I figli scelgono le stesse strategie dei genitori. La dinamica dei replicator assume che gli individui possono adottare solamente strategie pure, cioè quelle appartenenti all insieme delle strategie del gioco. In generale, un processo evolutivo combina due elementi di base: un meccanismo di mutazione, che introduce elementi di differenziazione tra le strategie, e un meccanismo di selezione che favorisce alcune strategie rispetto ad altre. Nella sua formulazione la dinamica di replicator viene formalizzata come un sistema di equazioni differenziali ordinarie, mentre la robustezza contro le mutazioni è indirettamente governata da i criteri di stabilità dinamica. Analogamente a quanto accade nella teoria dei giochi calssica, anche nel caso evolutivo è possibile avere strategie miste. Una strategia mista x può essere interpretata come uno stato della popolazione, dove ogni componente x i rappresenta lo share di individui della popolazione che sono programmati ad adottare la corrispondente strategia pura i. Continueremo ad interpretare il payoff come il vantaggio di un individuo, misurato come tasso di riproduzione. La cosa interessante in questi modelli è che le variazioni dello stato della popolazione modificano anche i payoff e il vantaggio delle strategie pure. Come detto sopra queste dinamiche sono modellate come un sistema di equazioni differenziali ordinarie non lineare e adattabile a descrivere molti fenomeni reali. Un concetto molto importante che ci introduce ai giochi evolutivi è quello delle strategie evolutivamente stabili, che vengono discusse nel prossimo paragrafo. 2

4 Capitolo 2 Stabilità Evolutiva In questo paragrafo viene illustrato il concetto di strategia evolutivamente stabile (ESS). Una strategia si dice ESS se è robusta rispetto a pressioni evolutive da parte di altre strategie. Si consideri una popolazione di individui indistinti e programmati a giocare una determinata strategia pura o mista (strategia prevalente) nell ambito di una serie ripetuta di giochi a due giocatori scelti a caso nella popolazione. Supponiamo dunque di inserire nella popolazione un piccolo numero di individui che giocano un altra strategia pura o mista. La strategia prevalente viene detta ESS se per ogni strategia mutante esiste una barriera di invasione tale che il numero di individui che gioca la strategia mutante rimane al di sotto di questa barriera in quanto la strategia prevalente fornisce sempre un payoff più alto. Questo approccio dunque considera interazioni simmetriche tra coppie di individui appartenenti ad una popolazione infinita. Inoltre, il concetto di strategia evolutiva si basa sulla connessione che esiste tra i payoffs di un gioco e la diffusione di una determinata strategia in una popolazione. In particolare, i payoffs del gioco rappresentano il guadagno in termini di fitness biologica o di capacità riproduttiva derivante dall interazione in questione. Le strategia ESS generalizzano l evoluzione biologica in senso darwiniano, cioè l idea della sopravvivenza di coloro che utilizzano strategie che forniscono una fitness più alta delle altre possibili, e in cui la fitness stessa dipende dal comportamento (dalle strategie) degli altri individui della popolazione. Analogamente all equilibrio di Nash, la stabilità evolutiva non spiega come la popolazione è arrivata ad adottare tale strategia. Il concetto di ESS può essere utilizzato anche per spiegare la robustezza del comportamento umano in un ampia gamma di situazioni, come l ambito sociale ed economico. In tal senso, la stabilità evolutiva richiede che un piccolo gruppo di individui che tenta di utilizzare una strategia alternativa ottiene un risultato peggiore di coloro che adottano la strategia prevalente, i quali dunque non hanno motivo di cambiare il proprio comportamento. Una 3

5 strategia ESS in questo contesto viene chiamata convenzione. 2.1 Strategie Evolutivamente Stabili (ESS) Supponiamo che gli individui della popolazione abbiano a disposizione m strategie pure, s 1,..., s m, e che siano in grado di giocare anche strategie miste (x 1,..., x m ), dove x i rappresenta la probabilità di giocare la strategia pura s i. L insieme delle strategie del gioco appartiene al simplesso { } m S m = x = (x 1,..., x m ) R m : x i 0, x i = 1. Gli angoli del simplesso sono le strategie pure rappresentate dai vettori unitari e 1,..., e m, L interno del simplesso è costituito solo da strategie completamente miste, cioè in cui x i > 0 per ogni i, I bordi del simplesso sono costituiti da strategie per cui esiste almeno una componente x i = 0 delle strategie del gioco. i=1 Consideriamo il gioco a due giocatori, in cui π ij rappresenta il payoff ottenuto dal primo giocatore quando gioca la strategia pura S i contro il secondo giocatore che usa la strategia pura S j. La matrice A = (a ij ) è la matrice di payoff del gioco. Uno stratega S i ottiene un payoff (Ay) i = a ij y j j contro uno stratega y = (y 1,..., y m ). Il payoff ottenuto da uno stratega x = (x 1,..., x m ) ottiene un payoff x T Ay = a ij x i y j. ij L insieme delle best responses β(y) è l insieme delle strategie per cui x T Ay è massimo. Un equilibrio di Nash nel contento dei giochi simmetrici a due giocatori è una strategia che rappresenta la miglior risposta a se stessa, cioè y è un equilibrio di Nash se x T Ay y T Ay, per ogni x y. L equilibrio di Nash è stretto se x T Ay < y T Ay. 4

6 Gli equilibri di Nash stretti sono strategie pure. Supponiamo adesso che nella popolazione vi siano una strategia prevalente ˆx ed una strategia divergente x che viene giocata con una probabilità ɛ. La strategia mista giocata nella popolazione sarà dunque ɛx + (1 ɛ)ˆx. La strategia ˆx si dice evolutivamente stabile se per ogni strategia divergente x si ha che la disuguaglianza x T A(ɛx + (1 ɛ)ˆx) < ˆx T A(ɛx + (1 ɛ)ˆx) è verificata per ogni ɛ > 0 inferiore ad un valore ɛ(x) > 0, detto barriera di invasione. Possiamo riscrivere questa disuguaglianza come (1 ɛ)(ˆx T Aˆx x T Aˆx) + ɛ(ˆx T Ax x T Ax) > 0. Facendo tendere ɛ a 0, abbiamo che la strategia ˆx è evolutivamente stabile se sono verificate le due condizioni seguenti: a Condizione di equilibrio ˆx T Aˆx x T Aˆx, per ogni x S; b Condizione di stabilità se x ˆx e ˆx T Aˆx = x T Aˆx, allora ˆx T Ax > x T Ax. La strategia ˆx è una best response a se stessa, ma questo fatto da solo non è sufficiente a garantire la non invadibilità da parte di un altra strategia, infatti nel caso dell uguaglianza esiste una best response alternativa x. Va allora verificato che ˆx fornisce un payoff maggiore se giocata contro x di quanto ottenuto giocando x stessa. Se una strategia è un equilibrio di Nash stretto allora è ESS. Se una strategia è ESS, allora è un equilibrio di Nash. Si dimostra il seguente teorema. Teorema. Una strategia ˆx S è ESS sse per ogni y ˆx in qualche intorno di ˆx in S. ˆx T Ay > y T Ay Da ciò segue che se vi è una strategia ESS nell interno del simplesso S, allora questa è unica. Infatti la disuguaglianza del teorema precedente deve valere per ogni altra strategia. Dunque, se vi sono ESS multiple, esse devono appartenere alla frontiera di S. 5

7 Esercizio 1. Trovare tutti gli equilibri di Nash di un gioco con due giocatori e due strategie. Quali sono stretti? Esercizio 2. Verificare che nel gioco Falchi e Colombe, descritto dalla matrice di payoff: A = [ G C 2 G 0 G 2 ] (2.1) l unica strategia ESS è x = G/C. Esercizio 3. Verificare che nel gioco descritto dalla matrice di payoff A = (2.2) la strategia mista x = (1/3, 1/3, 1/3) non è ESS. Sol. La strategia pura e 1 è ESS. Esercizio 4. Verificare la presenza di strategie pure e degli equilibri di Nash (misti e puri) nel gioco descritto dalla matrice di payoff: A = (2.3) Sol. Nel gioco vi sono 3 ESS (e 1, e 2, e 3 ) e un NE misto. Esercizio 5. Verificare la presenza di strategie pure e degli equilibri di Nash (misti e puri) nel gioco descritto dalla matrice di payoff: A = (2.4) Sol. Nel gioco non vi sono ESS e vi è un NE misto (1/3, 1/3, 1/3). Esercizio 6. Dimostrare, applicando la definizione, la condizione di ESS per una strategia pura in un gioco generico a due giocatori e due strategie. 6

8 2.2 Equilibri di Nash puri e strategie pure evolutivamente stabili in giochi simmetrici a due giocatori NE e ESS puri in giochi a 2 strategie Nel gioco evolutivo a 2 strategie, descritto dalla matrice dei payoff valgono le seguenti proprietà. [ a b A = c d ], La strategia s 1 è un equilibrio di Nash stretto se a > c; La strategia s 1 è un equilibrio di Nash se a c; La strategia s 2 è un equilibrio di Nash stretto se d > b; La strategia s 2 è un equilibrio di Nash se d b. La strategia pura s 1 si dice evolutivamente stabile se a > c, oppure a = c e b > d. Sotto queste condizioni la selezione si oppone all invasione di s 2 su s 1. Nel caso più generale di n strategie pure, sia π(e i, e j ) il payoff della strategia e i rispetto a e j. NE e ESS puri in giochi a m strategie i Una strategia e k è un equilibrio di Nash stretto se π(e k, e k ) > π(e i, e k ), i k; ii Una strategia e k è un equilibrio di Nash se π(e k, e k ) π(e i, e k ), i k. iii Una strategia e k è evolutivamente stabile se π(e k, e k ) > π(e i, e k ), i k, oppure π(e k, e k ) = π(e i, e k ) e π(e k, e i ) > π(e i, e i ) i k. 7

9 Capitolo 3 Dalla teoria dei giochi alla replicator dynamics 3.1 La replicator dynamics Si supponga di disporre di una popolazione di n giocatori (n sufficientemente grande), ognuno dei quali possiede la stessa matrice di payoff A R m m. Ad ogni istante di tempo, coppie di giocatori si sfidano, adottando determinate strategie ed ottenendo un determinato payoff; riprendendo i concetti visti finora, la sfida avviene dunque tra due giocatori, dove il primo ha matrice di payoff pari ad A, mentre il secondo ha matrice B = A T. Le strategie a disposizione di ogni giocatore sono uguali e sono esattamente n. Un giocatore decide di usare una certa strategia secondo uno schema precostituito non necessariamente valido da un punto di vista razionale. All istante iniziale di tempo, diciamo t = 0, sono note le percentuali di soggetti presenti nella popolazione che adottano, secondo il loro schema precostituito, una certa strategia. In particolare x i (0) indica la percentuale di popolazione che adotterà nel prossimo scontro la strategia i-esima. In particolare si ha che: x i (0) [0, 1] i = 1...m m x i (0) = 1. i=1 Per chiarire meglio cosa succederà negli istanti successivi a t = 0, si supponga all istante t di chiedere a tutti i giocatori di scrivere la loro prossima strategia su un foglietto. Si prendono poi tutti i nomi dei giocatori e si inseriscono in un urna; in maniera casuale ne vengono estratti due per volta, ed essi si sfideranno utilizzando la strategia che avevano segnato sul 8

10 loro foglietto. La probabilità di estrarre un giocatore che adotta la strategia i è pari a x i (t), mentre quella di estrarre un giocatore con strategia j è x j (t). In tal caso, entrambi otterranno un payoff pari a a ij. Se ci si sofferma sulla prima estrazione, dopo aver scoperto che il primo giocatore è di tipo i, si potrebbe voler sapere quale sarà il payoff medio che potrà ottenere contro l avversario che ancora non è stato estratto e di cui quindi ancora non si conosce la strategia. In particolare si ha che: p i (t) = m a ij x j (t) j=1 dove p i (t) è il payoff medio che si voleva calcolare. Sfruttando il precedente risultato, si può inoltre calcolare il payoff medio della partita a priori, cioè senza conoscere l esito di nessuna delle due estrazioni. Esso in particolare è: φ(t) = m p i (t)x i (t) = i=1 m m a ij x i (t)x j (t) i=1 j=1 La differenza tra queste equazioni e quelle introdotte in precedenza è che il meccanismo appena descritto costituisce una diversa ma comunque valida interpretazione del concetto di strategie miste. Si noti che in tale contesto, si utilizza solo il vettore delle strategie miste x. Difatti il procedimento di sfide successive descritto finora avviene sempre tra soggetti uguali (= stessa matrice di payoff), che si differenziano solo per la strategia usata ad un certo istante; viene quindi a cadere la netta distinzione tra giocatore 1 e 2 (e quindi x ed y) poichè in questo contesto ognuno è un pò l avversario di se stesso! La dinamica del sistema appena descritto prevede l evoluzione temporale del vettore delle strategie miste, secondo regole che prevedono l apprendimento da parte della popolazione di quali siano le strategie migliori da adottare. Le seguenti equazioni differenziali ordinarie sono costruite appositamente per descrivere questo tipo di fenomeno: x i (t) = x i (t)[p i (t) φ(t)] i = 1...m (3.1) Tali equazioni prendono il nome di replicator dynamics a tempo continuo. Per il loro importante legame con la teoria dei giochi, tali equazioni sono utilizzate in molteplici contesti ed inoltre, esistono svariate varianti, sviluppate per contesti diversi e più complessi. Di notevole importanza sono le replicator dynamics a tempo discreto: 9

11 x i (k + 1) = x i (k) p i(k) φ(k) i = 1...m (3.2) La costruzione di tale equazioni alle differenze è del tutto analoga al caso (3.1), dove però si suppone che le sfide tra i vari giocatori avvengano in istanti ben precisi e non in continuazione. Le equazioni (3.1) sono molto importanti perchè, oltre a spiegare taluni fenomeni specifici, esse possono essere anche usate come un ottima discretizzazione delle equazioni a tempo continuo (3.1) e sono quindi ideali per la simulazione (si tenga presente che con un computer simulare l evoluzione di un sistema di equazioni differenziali a tempo continua significa discretizzarle ed ottenere quindi un equazione alle differenze). Si ha inoltre che le proprietà dinamiche (equilibri, stabilità, ecc...) delle due famiglie di equazioni sono le stesse. Come detto sopra, andremo a considerare una popolazione vasta di individui, ognuno dei quali sarà programmato da una strategia pura i K, in un gioco simmetrico a due giocatori con strategie miste nel simplesso e funzione di payoff π. Sia q i (t) 0 il numero di individui, al tempo t, programmati dalla strategia pura i K, dove quest ultima viene interpretata come un comportamento geneticamente programmato. Rappresenteremo con q(t) = i K q i(t) > 0 il totale della popolazione. Lo stato della popolazione viene definito dal vettore x(t) = (x 1 (t),..., x k (t)) dove ogni componente x i (t) rappresenta lo share, ovvero il numero di individui programmato per la strategia pura i al tempo t, rispetto al totale della popolazione; infatti x i (t) = q i (t)/q(t). Avremo che x i (t) in altre parole lo stato della popolazione coincide con le strategie miste del gioco. Il payoff atteso per ogni strategia pura i, quando la popolazione appartiene ad uno stato x, verrà indicato da π(e i, x). Il payoff misura il processo riproduttivo di un individuo, nel nostro caso questo processo sarà del tutto asessuato. Sia: k π(x, x) = x i π(e i, x) (3.3) i=1 la media dei payoff della popolazione, ovvero il payoff di un individuo casuale, che corrisponde al payoff che guadagnerebbe la strategia mista x giocando contro se stessa. Supponiamo che il payoff misuri il vantaggio di un individuo, misurato con il numero di prole per ogni unità di tempo, ed inoltre che ogni prole erediti la strategia del genitore. Se la riproduzione si ripete continuamente nel tempo, allora il tasso di nascita ad ogni tempo t di individui programmati per la strategia pura i corrisponde a: β + π(e i, x(t)), dove β 0 è il vantaggio degli individui della popolazione, indipendentemente dal risultato del gioco. Sia δ 0 il tasso di mortalità che è lo stesso per ogni individuo. Rappresenteremo con il punto la derivata rispetto al tempo, e ometteremo la dipendenza esplicita dal tempo. La dinamica della popolazione può essere descritta come segue corrisponde a: q = [β + π(e i, x) δ]q i (3.4) 10

12 ed il corrispondente dinamico per lo share della popolazione x i : x i = [π(e i, x) π(x, x)]x i (3.5) Il tasso di crescita x i /x i è rappresentato dalla differenza tra il payoff, ovvero il vantaggio effettivo utilizzando la strategia pura e i, ed il payoff medio della popolazione. L equazione (2.3) ci fornisce la replicator dynamics. Utilizzando la linearità del payoff π potremo trascrivere l equazione come segue: x i = π(e i x, x)x i (3.6) dove il tasso di crescita coincide con π(e i x, x) = α. Otterremo così una funzione di replicazione x i = αx i dove α è un valore in funzione dello stato della popolazione x e della strategia pura e i adottata. La funzione di replicator mette in evidenza il ruolo di selezione, che dipenderà dal valore di α, ovvero se α > 0 otterremo un aumento dello share della popolazione con strategia pura i, ed invece con α < 0 la diminuzione. Il rapporto tra lo share di due popolazioni x i > 0 e x j > 0, cresce (decresce) nel tempo se la strategia i vince un payoff maggiore (minore) rispetto la strategia j, e verrà rappresentato da: [ ] d xi = x i x i x j = [π(e i, x) π(e j, x)] x i (3.7) dt x j x j x j x j x j Invarianza nella trasformazione dei payoff La dinamica replicator è invariante rispetto alle trasformazioni affini positive del payoff. La funzione π viene sostituita da π = λπ + µ con λ numero reale positivo e µ un numero reale, trasformando l equazione in: x i = π(e i x, x)x i = λπ(e i x, x)x i (3.8) L effetto di questa trasformazione del payoff è quindi equivalente alla variazione temporale del fattore λ > 0 nella dinamica dei replicator (2.4). In particolare, tutte le soluzioni sono le stesse per entrambe le dinamiche, solamente la velocità con la quale lo stato della popolazione si muove lungo queste orbite è differente secondo il fattore λ. Le trasformazioni locali dei payoff non hanno effetti sulla dinamica dei replicator, infatti sommando la costante ν R alla j-esima colonna della matrice A il payoff π(e i, x) per ogni strategia i è modificata in π(e i, x) = π(e i, x) + νx j mentre π(x, x) = π(x, x) + νx j, che non apporta modifiche alla dinamica di replicator La soluzione indotta Il lato destro della dinamica di replicator, definisce un campo vettoriale ϕ : R k R k dove ϕ i (x) = π(e i x, x)x i (3.9) 11

13 Poiché il campo vettoriale è polinomiale nello share della popolazione, il sistema di equazioni differenziali (2.4) ha un unica soluzione per ogni stato iniziale x o R k, per il teorema di esistenza e unicità della soluzione delle equazioni differenziali ordinarie. Inoltre, il simplesso R k è invariante rispetto queste dinamiche. La soluzione della (2.4) è contenuta in delta per ogni condizione iniziale anch essa appartenete a. Intuitivamente questo è ovvio poiché sulla (2.4) la somma di tutti gli share della popolazione rimane necessariamente uguale a uno, ( i K x i = 1) quindi i K x i = 0 e lo share della popolazione non possono mai essere negativi. Più precisamente, il sistema di equazioni differenziali (2.4) definisce una mappatura di soluzioni continue ξ : R che per ogni stato iniziale x 0 e per ogni tempo t R assegna uno stato della popolazione ξ(t, x o ). Poiché il simplesso è invariante rispetto alle dinamiche, lo sarà anche il suo interno e la sua frontiera. In altre parole se una strategia pura, è presente nella popolazione in qualche istante t, allora essa sarà sempre presente ad ogni istante di tempo, viceversa non comparirà se non è stata presente nel passato. Certamente questo non preclude che la traiettoria di una soluzione interna converga verso la frontiera del simplesso per t. 3.2 Replicator dynamics e evoluzione biologica La teoria dei giochi evolutivi si ispira ai meccanismi di selezione ed evoluzione delle specie in un contesto biologico. Per introdurre tale teoria, supponiamo di avere una popolazione di individui che presentano due diversi fenotipi, A e B. Siano, x(t) e y(t) l abbondanza relativa (frequenza) dei fenotipi A e B al tempo t. Dunque x(t)+y(t) = 1. Le equazioni che regolano la dinamica della frequenza dei due fenotipi sono: ẋ = x(a φ) ẏ = y(b φ), dove φ = ax + by. Sostituendo y = 1 x abbiamo l equazione che descrive l evoluzione del fenotipo A: ẋ = x(1 x)(a b), mentre l evoluzione del fenotipo B è data da y(t) = 1 x(t). Se a b, tale equazione presenta due equilibri, x = 0 e x = 1. Se a > b, allora x(t) 1 e y(t) 0, mentre, se b > a avviene il contrario. Nel primo caso l equilibrio x = 1 è stabile e il fenotipo A è dominante, mentre nel secondo caso è stabile l equilibrio x = 0 e il fenotipo B risulta dominante. L analisi può essere estesa a n fenotipi, dove x i (t), i = 1,..., n è la frequenza del fenotipo i. La struttura della popolazione è dunque x = (x 1, x 2,..., x n ). Se p i rappresenta la fitness di ogni fenotipo, avremo che la fitness media φ = n i=1 x ip i, dove inoltre n i=1 x i = 1. 12

14 La dinamica selettiva è data dall equazione ẋ i = x i (p i φ), i = 1,..., n. (3.10) In accordo con quanto visto nel caso di due fenotipi, la frequenza del fenotipo i aumenta se la sua fitness è maggiore della fitness media della popolazione. Si vede facilmente che n i=1 ẋi = 0. L insieme dei punti tali che n i=1 x i = 1 viene chiamato simplesso. L interno del simplesso è tale che x i > 0, i, mentre il bordo è l insieme dei punti tali che x i = 0 per almeno un i. Nei vertici tutti i fenotipi hanno frequenza nulla, tranne uno per cui x i = 1. L equazione (3.10) ha un unico punto di equilibrio che si trova su un vertice: partendo da una qualunque posizione (condizione iniziale) si giunge verso il vertice in cui tutti gli individui della poplazione appartengono al fenotipo con fitness maggiore. Supponiamo adesso che la fitness relativa degli individui non sia costante ma dipenda dalla frequenza stessa dei fenotipi. Supponiamo inoltre che coppie casuali di individui della popolazione interagiscano attraverso un gioco in cui ciascun individuo ha una strategia fissa. Il payoff del fenotipo corrisponde alla somma dei payoff ottenuti dai singoli individui del fenotipo e ne rappresenta la fitness. Il successo del gioco diventa un successo riproduttivo. Infatti, le strategie vincenti si riproducono più velocemente e quelle perdenti vengono sopraffatte (selezione naturale). Questa classe di modelli è stata largamente utilizzata per spiegare numerose decisioni strategiche del comportamento umano, in quanto il gioco prevede una interazione strategica tra individui che cercano di massimizzare il proprio payoff. Siano x A la frequenza del fenotipo A e x B la frequenza del fenotipo B, dunque la struttura della popolazione è descritta dal vettore x = (x A, x B ). Se p A (x) e p B (x) rappresentano le fitness dei due fenotipi l equazione della dinamica è la seguente: ẋ A = x A (p A (x) φ) ẋ B = x B (p B (x φ), dove φ = x A p A (x) + x B p B (x) e x A + x B = 1. Se poniamo x a = x e x B = 1 x otteniamo la seguente equazione: ẋ = x(1 x) [p A (x) p B (x)] (3.11) 13

15 Gli equilibri di questa equazione sono x = 0, x = 1 e tutti i valori x per cui p A (x ) = p B (x ). Si presentano tre casi. 1. p A (x) > p B (x). La popolazione tende ad una situazione in cui tutti gli individui sono del fenotipo A, infatti la frequenza di A aumenta nel tempo. L equilibrio x = 1 è stabile. 2. p A (x) < p B (x). La popolazione tende ad una situazione in cui tutti gli individui sono del fenotipo B, infatti la frequenza di B aumenta nel tempo. L equilibrio x = 0 è stabile. 3. p A (x) = p B (x). Si verificano due casi: 3a La tangente alla curva p A = p B nel punto di equilibrio ha coefficiente angolare positivo. In questo caso il punto di equilibrio è instabile e la popolazione evolverà verso uno degli altri due (x = 1, o x = 0). 3b La tangente alla curva p A = p B nel punto di equilibrio ha coefficiente angolare negativo. In questo caso il punto di equilibrio è stabile e la popolazione evolverà verso di esso. La stabilità degli altri due equilibri dovrà variare di conseguenza. Nella teoria dei giochi evolutivi si assume che ogni individuo scelga di comportarsi come uno dei fenotipi della popolazione in base ad un principio di massimizzazione del proprio payoff (cioè usa la strategia del fenotipo che ritene vincente). In questo caso, tutti i giocatori hanno la stessa matrice di payoff e la loro scelta consiste nello scegliere di seguire la strategia evolutiva A o B. Il payoff corrisponde, come già detto, alla fitness. Sia [ a b c d la matrice dei payoff relativa alle strategie A e B, dove i payoff della strategia A sono riportati nella prima riga e quelli della strategia B nella seconda. Dunque la matrice si legge nel seguente modo: A guadagna a se gioca contro A e guadagna b se gioca contro B. B guadagna c se gioca contro A e guadagna d se gioca contro B. Adesso x A rappresenta la frequenza dei giocatori che scelgono A e x B la frequenza dei giocatori che scelgono B. I payoff (o fitness) di A e B sono: ] p A = ax A + bx B p B = cx A + dx B. 14

16 Dunque la probabilità che ha ogni giocatore di interagire con A è x A e con B è x B, in accordo con l ipotesi che due giocatori si incontrino e giochino casualmente. Se supponiamo che le fitness siano lineari, sostituendo nell equazione (3.2) si ottiene l equazione: ẋ = x(1 x) [(a b c + d)x + b d]. (3.12) 3.3 Classificazione dei giochi evolutivi 2x2 Poiché la dinamica replicator è invariante rispetto a cambiamenti locali del payoff, possiamo supporre, senza perdere di generalità, che la matrice dei payoff abbia la seguente forma: ( ) a1 0 A = (3.13) 0 a 2 dove a 1 a 2 0. La dinamica replicator in questo caso sarà rappresentata da: x 1 = [a 1 x 1 a 2 x 2 ]x 1 x 2 (3.14) con x 2 = x 1. Considerando la classificazione fatta per i giochi non cooperativi nel primo capitolo, avremo le quattro categorie che verranno, anche in questo caso, classificate in base ai valori di a 1 e a 2. Ponendo l equazione in un unica incognita ed utilizzando l uguaglianza x 1 = 1 x 2 otterremo: x 1 = x 1 (1 x 1 )[(a 1 + a 2 )x 1 a 2 ] (3.15) Rinominando [(a 1 + a 2 )x 1 a 2 ] = F (x 1 ). Otterremo stati stazionari ( x 1 = 0) per i seguenti valori di x 1 : x 1 = 0; x 1 = 1; x 1 = a 2 (3.16) a 1 + a 2 Poniamo l ultimo stato stazionario x 1 = x. Dovremo verificare che x appartenga al simplesso, ciò viene fatto in accordo con la classificazione riportata nel capitolo 1. La prima categoria è costituita da giochi in cui a 1 < 0 e a 2 > 0, in questo caso x non appartiene al simplesso ed inoltre lo share della popolazione x 1 decresce. Dunque la seconda strategia pura e 2 è dominante rispetto alla prima. Potremo visualizzare graficamente questo risultato nella figura 3.1. Un gioco di questo tipo è il Dilemma del prigioniero, dove a 1 = 1 e a 2 = 3, la dinamica di replicator in questo caso corrisponde a: x 1 = (2x 1 3)(1 x 1 )x 1 (3.17) 15

17 Figura 3.1: Rappresentazione grafica della prima categoria, nella quale la strategia e 2 è dominante e quindi lo share della popolazione che adotta la prima strategia tende a zero. La seconda categoria è costituita da giochi in cui a 1 a 2 > 0. In questo caso otteniamo un cambio di segno per x 1 quando a 1 x 1 = a 2 x 2, questo avviene precisamente nel valore dell equilibrio di Nash in strategie miste, ovvero x 1 = x = a 2 a 1 +a 2, in questo caso il valore di x appartiene al simplesso. Come possiamo osservare dal grafico riportato in figura 3.2, lo stato stazionario repulsivo. In questo caso lo share della popolazione x 1 decresce verso 0 per valori iniziali x 0 1 < x mentre cresce verso 1 per valori iniziali x 0 1 > x. Questo tipo di dinamica prende il nome di bistabilità. I giochi di questo tipo sono detti di coordinamento, e l equazione replicator diventa: x 1 = (2x 1 3)(1 x 1 )x 1 (3.18) La terza categoria è costituita da giochi in cui a 1 < 0 e a 2 < 0. Anche in questo caso x, che corrisponde al valore dell equilibrio di Nash in strategie miste, appartiene al simplesso, ed è il valore per il quale la derivata ẋ 1 cambia di segno, passando da valori positivi a valori negativi. Come possiamo osservare dal grafico riportato in figura 3.3 lo stato stazionario attrattivo. Per valori iniziali minori di x lo share tende a x stesso, per valori maggiori, invece, decresce verso x. Questo tipo di dinamica prende il nome di coesistenza. Un gioco di questo tipo è il gioco Falchi e Colombe, dove a 1 = 1 e a 2 = 2 e l equazione replicator in questo caso è: x 1 = (2 3x 1 )(1 x 1 )x 1 (3.19) La quarta categoria, come notato nella teoria dei giochi non cooperativi, è un caso simmetrico rispetto alla prima categoria. Appartengono a questa categoria i giochi in cui a 1 > 0 e a 2 < 0. In questo caso x non appartiene al simplesso, e lo share della popolazione x 1 tende a 1, rendendo dominante la strategia pura e 1. Questo risultato è riportato graficamente nella figura

18 Figura 3.2: Rappresentazione grafica della seconda categoria, in cui lo stato stazionario x è repulsivo Figura 3.3: Rappresentazione grafica della terza categoria, in cui lo stato stazionario x è attrattivo 3.4 Stati stazionari della replicator equation ed equilibri di Nash Per i giochi finiti e simmetrici a due giocatori, sia NE il sottoinsieme non vuoto di strategie che sono in equilibrio di Nash con se stesse. Questa definizione risulta essere 17

19 Figura 3.4: Rappresentazione grafica della quarta categoria, in cui la strategia e 1 è dominante, quindi lo share della popolazione che adotta la prima strategia i, cresce verso uno utile per l analisi dinamica, in quanto una strategia x apparterrà a NE se e solo se tutte le strategie pure a cui x assegna probabilità positiva ottengono il massimo payoff che può essere ottenuto contro x. Formalmente: NE = {x : π(e i, x) = max π(z, x) i C(x)} (3.20) z Andremo ad analizzare la relazione tra questo insieme e l insieme degli stati stazionari della equazione replicator Stati stazionari e NE Per definizione, uno stato di popolazione x è stazionario nella (2.4) se e solo se il prodotto π(e i x, x)x i è uguale a zero per ogni strategia pura i K, o equivalentemente, se e solo se tutte le strategie pure i guadagnano precisamente lo stesso payoff contro la strategia mista x. Sia 0 l insieme degli stati stazionari della (2.4): 0 = {x : π(e i, x) = π(x, x) i C(x)} (3.21) La condizione di stazionarietà è banalmente soddisfatta da ogni vertice del simplesso x = e i, dal momento che in tale stato x, tutti gli individui utilizzano la stessa strategia pura i e guadagnano lo stesso payoff. Da qui l insieme finito {e 1,..., e k } di vertici è un sottoinsieme di 0. Un confronto tra la (2.15) e la (2.16) rivela subito che anche l insieme non vuoto e 18

20 chiuso NE è un sottoinsieme di 0 : se tutte le strategie pure nel supporto della strategia x guadagnano lo stesso payoff massimo contro x, allora tutti guadagnano il payoff medio della popolazione. k π(x, x) = π(e j, x)x j = π(e j, x)x j (3.22) j=1 j C(x) Potremo visualizzare graficamente ciò che è stato appena enunciato tramite la figura 3.5. Otteniamo lo stesso risultato per gli stati interni della popolazione x: Se x int( ) è Figura 3.5: Relazione tra i punti stazionari delle equazioni di replicator e gli equilibri di Nash del gioco stazionario nella (2.4), allora π(e i, x) = π(x, x) per ogni strategia pura i nel gioco, quindi ogni strategia pura è una best reply per le strategie miste x e conseguentemente x NE. Sia ora 00 (non necessariamente non vuoto) l insieme di stati stazionari interni 00 = 0 int( ). Abbiamo appena evidenziato che 00 NE. Dal momento che tutti gli equilibri di Nash sono stazionari otteniamo 00 = NE int( ), inoltre l insieme 00 è necessariamente convesso, infatti ogni combinazione lineare di stati stazionari è sempre uno stato stazionario Stati Lyapunov stabili e NE Gli stati stazionari che non sono equilibri di Nash, non soddisfano il criterio di stabilità di Lyapunov (stabilità debole). La ragione per la quale uno stato della popolazione x non appartenente a NE è instabile, è semplicemente che esistono alcune strategie pure i che non vengono utilizzate (x i = 0), ma che otterrebbero un payoff maggiore contro x rispetto alle strategie pure utilizzate nello stato x. Quindi, se un parte arbitrariamente piccola della 19

21 popolazione iniziasse a utilizzare tale strategia redditizia i, gli individui individui di questo gruppo guadagnerebbero un payoff maggiore, il che porterebbe lo stato della popolazione a lasciare x. Tale risultato è dovuto alla Bomze. Proposizione Se x è Lyapunov stabile nella (2.14), allora x NE. Dim. Supponiamo che x 0 e che x / NE. Allora tutte le strategie pure nel supporto C(x) hanno lo stesso payoff non ottimale contro x. Quindi esistono i / C(x) tali che π(e i x, x) > 0. Dalla continuità di π, esiste un δ > 0 ed un intorno U di x tale che π(e i y, y) δ per ogni y U. Così ξ i (t, x 0 ) aumenta inizialmente in modo esponenziale da ogni x 0 U int( ), e anche x i = 0, quindi x non è Lyapunov stabile. Potremo visualizzare graficamente le relazioni appena enunciate tra stati stazionari, equilibri di Nash e stati stazionari Lyapunov stabili tramite la figura 3.6. Figura 3.6: Relazione tra gli equilibri di Nash e la stabilità dei punti stazionari delle equazioni di replicator Come ultima osservazione facciamo notare che tutti gli individui nella popolazione conoscono la distribuzione delle strategie pure della popolazione durante il trascorrere del tempo, e cercano di massimizzare il payoff ottenuto contro questa distribuzione. Inoltre se uno stato è il limite di una soluzione del sistema di equazioni differenziali ordinarie, allora tale stato è necessariamente stazionario. In particolare, se accade che la traiettoria di una soluzione della dinamica di replicator converge a qualche stato interno della popolazione, allora questo 20

22 stato limite appartiene a 00 e quindi anche a NE. La seguente proposizione estende questo risultato agli stati limite che si trovano nel bordo del simplesso (Nachbar 1990): Proposizione Se x 0 int( ) e ξ(t, x 0 ) t x, allora x NE Dim. Supponiamo che x 0 int( ), ξ(t, x 0 ) t x ma x / NE. Allora esistono alcune strategie i K tali che π(e i x, x) = ɛ per alcuni ɛ > 0. Dato che ξ(t, x 0 ) x e che π è continua, esistono alcuni T R tali che π(e i ξ(t, x 0 ), ξ(t, x 0 )) > ɛ/2 t T. Dalla (2.14) x i = x i ɛ/2 t T, e quindi ξ(t, x 0 ) > ξ(t, x 0 ) exp(ɛ(t T )/2) t T, implica che ξ i (t, x 0 ) (da ξ(t, x 0 ) > 0), una contraddice l ipotesi. Quindi x NE. Questo risultato potrebbe essere riformulato come segue: Uno stato x potrebbe essere chiamato raggiungibile se esiste qualche stato interno a partire dal quale la soluzione converge a x e inoltre, ogni stato raggiungibile x appartiene al sottoinsieme NE. 3.5 Sintesi dei concetti base ed esercizi 1. Teorema. Se x S N è un NE del gioco descritto dalla matrice di payoff A, allora x è uno stato stazionario della RE (cioè x = 0). Inoltre, se x è Lyapunov stabile, allora è un NE del gioco. 2. Teorema. Se x S N è un ESS del gioco con matrice di payoff A, allora è uno stato stazionario asintoticamente stabile della RE. Un esempio di stato stazionario asintoticamente stabile ma non ESS è rappresentato dall equilibrio interno al simplesso S 3 presente nel gioco descritto dalla matrice 2.2. Infatti nel gioco vi sono anche altre strategie ESS nel bordo. Studiare la dinamica del gioco Falchi e Colombe generalizzato, descritto dalla matrice di payoff (dove C > G): A = G C G 2 G 0 2 G(G C) G(G+C) 2C 2C G(C G) 2C G(C G) 2C G(C G) 2C Sol. La strategia e 3 non può essere invasa da e 1 o e 2 perché è ESS. Studiare la dinamica del gioco descritto dalla matrice di payoff: A = (3.23). (3.24)

23 Sol. La strategia e 3 è stabile contro l invasione di e 1 o e 2 separatamente, ma non da una combinazione delle due. Studiare la dinamica del gioco morra cinese generalizzato: A = 0 a 2 b 3 b 1 0 a 3 a 1 b 2 0, (3.25) sapendo che l equilibrio misto (1/3, 1/3, 1/3) è stabile asintoticamente sse a 1 a 2 a 3 < b 1 b 2 b 3 ed è instabile se a 1 a 2 a 3 > b 1 b 2 b Studiare la dinamica del gioco a due strategie descritto dalla matrice di payoff: [ a b A = c d ]. (3.26) Verificare che in questo caso gli stati stazionari della RE coincidono con gli equilibri di Nash e sono asintoticamente stabili sse corrispondono a strategie miste ESS. Inoltre, strategie pure dominanti sono NE, mentre strategie pure dominate non lo sono. Nel caso della bistabilità, entrambe le strategie pure sono equilibri di Nash. Infine, nel caso della coesistenza, nessuna strategia pura è un equilibrio di Nash. 22

24 Capitolo 4 Applicazione dei giochi evolutivi all ecologia L interdipendenza delle diverse specie può essere meravigliosamente complessa. Darwin analizzò durante il suo lavoro come le piante e gli animali, e la più remota scala della natura, sono tenuti insieme da una rete di relazioni complesse. Questa auto-regolamentazione delle frequenze di popolazione è stato un tema dominante dell ecologia matematica. La storia delle comunità ecologiche è raccontata in termini di invasioni ed estinzioni. Per gli ecologisti, stabilità significa che le specie che compongono l ecosistema persistono. Sopravvivenza, non equilibrio, è quello che conta. I modelli più comuni per la dinamica delle popolazioni negli ecosistemi vengono descritti dalle equazioni Lotka-Volterra ed i modelli più comuni per le dinamiche delle frequenze delle strategie, le equazioni replicator, sono matematicamente equivalenti. In ambito ecologico analizzeremo il modello predatore preda descritto da equazioni di Lotka-Volterra. Gli ecologisti indagano sull interazione tra le specie e su quali siano i cambiamenti che quest ultime subiscono nel tempo. L approccio matematico fondamentale per l ecologia è data dall equazione di Lotka-Volterra. Negli anni successivi alla prima guerra mondiale, la quantità di pesci predatori nell Adriatico è risultato notevolmente più elevato rispetto agli anni precedenti. Le ostilità tra l Austria e l Italia avevano apportato grandi modifiche, ma perché questo favoriva più i predatori che le prede? Quando fu posta questa domanda a Volterra egli denotò con x la densità dei pesci preda, mentre con y quella dei predatori e trovò un equazione differenziale che rappresentava l incremento della densità dei predatori. Volterra assunse che il tasso di crescita della popolazione preda, in assenza di predatori, è dato da una certa costante, che diminuisce linearmente come la densità dei predatori y. Questo porta a ẋ = a by e a, b > 0. In assenza di prede, il pesce predatore x avrebbe dovuto estinguersi, il che significa un tasso negativo di crescita; ma questo tasso riprende con la densità x delle prede, quindi = c + dx con c, d > 0. Ottenendo quindi: ẏ y ẋ = x(a by), ẏ = y( c + dx). (4.1) 23

25 Elenchiamo adesso gli stati stazionari: i)x(t) = y(t) = 0 ii)x(t) = 0 y(t) = y(0)e ct ( y(0) > 0) iii)y(t) = 0 x(t) = x(0)e at ( x(0) > 0) Ciò significa che se la densità dei predatori o prede è zero ad un certo dato tempo t, allora è sempre zero. In assenza di prede, i predatori si estinguono, quindi y(t) converge a 0, per t +. In assenza di predatori, ci troviamo dinanzi ad una crescita esponenziale della popolazione prede x(t) +. Quest ultima caratteristica è assurda, e si ha la volontà di modificarla nei modelli successivi. Queste tre soluzione i), ii), iii) costituiscono tre orbite, rispettivamente i) l origine, ii) l asse x positivo e iii) l asse y positivo. Insieme costituiscono il confine di: R 2 + = {(x, y) R 2 : x 0, y 0} (4.2) Dal momento che le densità della popolazione devono essere non negative, andremo a considerare solo la restrizione a R 2 + della (3.4). Questo insieme è invariante, nel senso che ogni soluzione che inizia in esso vi rimane per tutto il tempo. Infatti, come abbiamo visto, il bordo di R 2 + è invariante poiché nessuna orbita può attraversarne un altra per l unicità della soluzione, l interno di R 2 +, definito come: int(r 2 +) = {(x, y) R 2 : x > 0, y > 0} (4.3) è anch esso invariante. Esiste un unico punto stazionario nell int(r+), 2 tale punto è identificato da F = ( x, ȳ), tale che x(a bȳ) = 0 e ȳ( c + d x) = 0, dato che ȳ > 0 e x > 0, questo implica: x = c ȳ = a (4.4) d b I segni di ẏ e ẋ dipendo dalla relazione dei due valori e dei corrispettivi valori stazionari, quindi se x è maggiore o minore di x, e se y è maggiore o meno di ȳ. La figura 4.1 permette una visualizzazione grafica dell andamento dello share delle due popolazioni al variare della relazione che sussiste tra i valori iniziali e i relativi stati stazionari. É interessante chiedersi la relazione che sussiste tra le equazioni replicator analizzate nel secondo capitolo e le equazioni di Lotka-Volterra. Le equazioni della (3.4) sono riscrivibili con un sistema analogo alle equazioni replicator. L equazione replicator in n variabili, x 1,..., x n è equivalente a l equazione Lotka-Volterra in n 1 variabili y 1,..., y n 1. Teorema Esiste una mappa differenziabile ed invertibile da Ŝn = {x S n : x n > 0} in R n 1 + che mappa le orbite dell equazione replicator nelle orbite delle equazioni Lotka-Volterra di equazione: ẋ i = x i ((Ax) i x Ax) (4.5) n 1 ẏ = y i (r i + a ijy j ) i = 1,..., n 1 (4.6) j=1 24

26 Figura 4.1: Rappresentazione grafica che permette di visualizzare l andamento dello share delle due popolazioni. dove r i = a in a nn e a ij = a ij a nj Nel nostro modello, il caso specifico delle (3.4) si nota che il numero delle variabili nell equazione Lotka-Volterra corrisponde a due, il che ci riconduce ad un equazione replicator a tre variabili, dove il valore di r i corrisponderà a a i3 a 33 mentre a ij corrisponderà a a ij a 3j. Considerando y n = 1 e analizzando la trasformazione y x definita da: x i = y i n j=1 y j i = 1,..., n (4.7) 25

27 che mappa {y R n + : y n = 1} in Ŝn, mentre l inversa x y definita come: y i = y i y n = x i x n i = 1,..., n (4.8) Adesso consideriamo l equazione di replicator (3.8) in n variabili, assumendo che l ultima riga della matrice A = (a ij ), n n, sia nulla. L equazione diventa quindi: Dato che (Ax) n = 0 otterremo il seguente risultato: x i ẏ = d = x 1 ((Ax) i (Ax) n ) (4.9) dt x n x n n n ẏ i = y i ( a ij x j ) = y i ( a ij y j )x n (4.10) j=1 Tramite un cambiamento di velocità, potremo eliminare il temine x n. Da y n = 1 otterremo quindi: n 1 ẏ i = y i (a in + a ij y j ) (4.11) o con r i = a in l equazione (3.9) di Lotka-Volterra, il passaggio opposto dalla (3.9) alla (3.8) è analogo. j=1 j=1 26

28 Bibliografia J. Hofbauer and K. Sigmund, Evolutionary games and population dynamics, Cambridge University Press, D. Madeo and C. Mocenni, Game Interactions and dynamics on networked populations, IEEE Trans. on Autom. Control, vol. 60, n. 7, pp , J. Maynard Smith, Evolution and the Theory of Games, Cambridge University Press, Cambridge J. Nash, Equilibrium points in n-person games, Proc. Nat. Acad. Sci. USA vol. 36, no. 1, pp , sity Press, M.A. Nowak, Evolutionary Dynamics: Exploring the Equations of Life, Belknap Press of Harvard University Press, M.J. Osborne, An Introduction to Game Theory, Oxford University Press, J.W. Weibull, Evolutionary Game Theory, MIT Press, J. von Neumann and O. Morgenstern, Theory of games and economic behavior, Princeton University C. Brezzi, Teoria dei Giochi: Modelli e Applicazioni in un Contesto Evolutivo, Tesi di Laura Triennale in Matematica, Università di Siena,