Calcolo di equilibri auto-confermanti

Transcript

1 Calcolo di equilibri auto-confermanti nei giochi in forma estesa con due giocatori Fabio Panozzo Politecnico di Milano 3 maggio 2010 Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

2 Sommario 1 Obiettivo della tesi 2 Stato dell arte Giochi in forma strategica Calcolo di un NE Giochi in forma estesa 3 Equilibrio auto-confermante Unitario ed eterogeneo Razionalizzabile 4 Formulazioni di programmazione matematica USCE HSCE RSCE 5 Valutazione sperimentale 6 Conclusioni e sviluppi futuri Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

3 Obiettivo della tesi Introduzione Nel campo dell Intelligenza Artificiale (...studio della progettazione di agenti intelligenti. (Poole et al., 1998)) ed in particolare in Teoria dei Giochi (disciplina matematica che studia l interazione di agenti indipendenti e portatori di interessi) Il concetto più importante e famoso nei giochi competitivi è equilibrio di Nash definisce come un agente dovrebbe agire per massimizzare la propria utilità in un ambiente in cui essa dipende da ciò che compiono gli avversari Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

4 Obiettivo della tesi Introduzione Assunzioni NE struttura del gioco payoffs degli avversari prior bayesiano conoscenza comune Problema queste assunzioni sono raramente verificate in realtà necessità di sviluppare un nuovo concetto di equilibrio stabile L equilibrio che risponde ai precedenti requisiti è equilibrio auto-confermante Obiettivo della tesi Formulare algoritmi efficienti per il calcolo di equilibri auto-confermanti Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

5 Stato dell arte Giochi in forma strategica Stato dell arte Giochi in forma strategica Forma strategica: la più famosa e comunemente utilizzata forma di rappresentazione di un gioco Giocatore 1 Giocatore 2 C D c 3,3 0,5 d 5,0 1,1 Tabella: Dilemma del prigioniero Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

6 Stato dell arte Calcolo di un NE Stato dell arte Calcolo di un NE Definizione (Nash equilibrium) Un equilibrio di Nash (NE) è una strategia s = (s 1,...,s n ) tale che {s u i (s i,s i ) u i (s i,s i ) i, s i s i } Giocatore 1 Giocatore 2 C D c 3,3 0,5 d 5,0 1,1 Teorema Il problema di calcolare un NE è PPAD-completo Osservazione P PPAD NP Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

7 Stato dell arte Calcolo di un NE Stato dell arte Calcolo di un NE Algoritmo (PNS) identificare l insieme dei possibili supporti verificare se esiste una d.d.p. sulle azioni che identifichi un NE problema di programmazione lineare Algoritmo (SGC) introduzione variabili booleane attivazione dei vincoli problema di programmazione matematica misto-intero Algoritmo (LH) ricercare un NE è equivalente ad un problema di complementarità lineare (LCP) di programmazione matematica Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

8 Stato dell arte Giochi in forma estesa Stato dell arte Giochi in forma estesa Forma estesa: un altra importante forma di rappresentazione dei giochi 1 L M R 8,0 2 l r l r 12,1 3,4 4,2 9,3 Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

9 Stato dell arte Giochi in forma estesa Stato dell arte Equilibrio sequenziale Equilibrio sequenziale concetto di equilibrio nei giochi ad informazione imperfetta raffinamento dell equilibrio di Nash Algoritmo credenza µ i : d.d.p. sui nodi degli information set valutazione v = (µ,σ) è SE, se, sotto perturbazione µ è consistente con σ σ è sequenzialmente razionale con µ Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

10 Equilibrio auto-confermante Equilibrio auto-confermante Ipotesi conoscenza comune struttura del gioco azioni giocate sul path d equilibrio NON conoscenza comune payoffs degli avversari prior bayesiano azioni fuori dal path d equilibrio Credenza giocatore i: ˆp i (σ i ) concetto analogo a quello di probabilità definito sulle possibili azioni dell avversario Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

11 Equilibrio auto-confermante Unitario ed eterogeneo Equilibrio auto-confermante Unitario ed eterogeneo Definizione (Unitary self-confirming equilibrium) Un equilibrio auto-confermante unitario (USCE) è una sequenza σ in cui esiste una credenza ˆp i per ogni s i supp(σ i ): u i (s i ˆp i ) u i (s i ˆp i ) ˆp i (σ i (H(σ))) = 1 s i S i, e Definizione (Heterogeneous self-confirming equilibrium) Un equilibrio auto-confermante eterogeneo (HSCE) è una sequenza σ in cui, per ogni s i supp(σ i ), esiste una credenza ˆp i tale che: u i (s i ˆp i ) u i (s i ˆp i ) ˆp i (σ i (H(s i,σ i ))) = 1 s i S i, e Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

12 Equilibrio auto-confermante Razionalizzabile Equilibrio auto-confermante Razionalizzabile Definizione (Rationalizable self-confirming equilibrium) Una sequenza σ è un RSCE se e solo se esiste una collezione di insiemi di coppie di strategia-credenza SB 1,...,SB n, tale che per tutti i giocatori i: 1. se (σ i,v i ) SB i, allora σ i è la best-response a v i in ogni information set raggiungibile con probabilità positiva giocando (σ i,σ i: i ); 2. ogni (σ i,v i ) SB i ha le credenze b i indotte da σ; 3. SB 1,...,SB n è credenza-chiusa. Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

13 Formulazioni di programmazione matematica Formulazioni Strategie pure USCE PNS HSCE PNS Strategie miste USCE PNS e SGC HSCE PNS, SGC e L RSCE L Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

14 Formulazioni di programmazione matematica USCE Ricercare un USCE in strategie pure Algoritmo PNS Complessità polinomiale nella dimensione dell input Osservazione Ogni HSCE in strategie pure equivale ad un USCE Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

15 Formulazioni di programmazione matematica Ricercare un USCE USCE Algoritmo PNS e SGC L ricorre a vincoli non lineari aumentando la complessità del problema Variabili del problema probabilità di giocare le strategie p i credenze sulle strategie dell avversario ˆp i Teorema Il problema di calcolare un USCE è PPAD-completo Osservazione La strategia ˆσ = (ˆσ 1, ˆσ 2 ) costituisce un NE Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

16 Formulazioni di programmazione matematica HSCE Ricercare un HSCE Algoritmo PNS SGC L Variabili del problema probabilità di giocare le strategie p i credenze sulle strategie dell avversario ˆp i,σi Teorema Il problema di calcolare un HSCE è PPAD-completo Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

17 Formulazioni di programmazione matematica RSCE Ricercare un RSCE Algoritmo L (versione per giochi perturbati) PNS e SGC non sviluppati perché l unico algoritmo esistente per i giochi perturbati si basa su complementarità lineari Variabili del problema probabilità di giocare le strategie p i credenze sulle strategie dell avversario ˆp i Teorema Il problema di calcolare un RSCE è PPAD-completo Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

18 Formulazioni di programmazione matematica RSCE RUSCE vs RHSCE RUSCE Concetto di razionabilità applicato agli USCE RHSCE Concetto di razionalibilità esteso agli HSCE Teorema Dato un RHSCE (σ,µ), ogni valutazione (σ,µ ) con σ = σ e µ i = µ i,σi, per ogni σ i è un RUSCE. Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

19 Valutazione sperimentale Valutazione sperimentale Giochi ad informazione perfetta fattore di branching livelli Legenda: Equilibrio di Nash; Equilibrio auto-confermante unitario; Equilibrio auto-confermante eterogeneo Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

20 Valutazione sperimentale Valutazione sperimentale Giochi ad informazione imperfetta fattore di branching livelli Legenda: Equilibrio di Nash; Equilibrio auto-confermante unitario; Equilibrio auto-confermante eterogeneo Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

21 Valutazione sperimentale Valutazione sperimentale Giochi ad informazione completamente imperfetta fattore di branching livelli Legenda: Equilibrio di Nash; Equilibrio auto-confermante unitario; Equilibrio auto-confermante eterogeneo Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

22 Conclusioni e sviluppi futuri Conclusioni Contributi originali adattamento dell algoritmo PNS al caso di giochi in forma estesa formulazioni matematiche per la ricerca di NE, USCE non NE, USCE ed HSCE adatte per la soluzione attraverso un adattamento dell algoritmo PNS per la ricerca di un NE in un gioco in forma strategica formulazioni matematiche per la ricerca di NE, USCE non NE, USCE ed HSCE con vincoli misto-interi formulazioni matematiche per la ricerca di USCE non NE, USCE, HSCE ed RSCE con vincoli di complementarità lineari calcolo e dimostrazione della complessità computazionale della ricerca di USCE, HSCE ed RSCE valutazioni sperimentali del tempo di computazione utilizzando l algoritmo misto-intero per il calcolo di NE, USCE e HSCE Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

23 Conclusioni e sviluppi futuri Conclusioni Sviluppi futuri sviluppare algoritmi per calcolare equilibri auto-confermanti in giochi con più di due giocatori studiare metodi di ricerca di equilibri per giochi in cui c è incertezza sui parametri, come ad esempio, nei giochi Bayesiani formulare la nozione di apprendimento in modo formale nei giochi ripetuti e sviluppare soluzioni computazionalmente efficienti di agenti evolutivi che giocano analizzare soluzioni alternative al concetto di equilibrio auto-confermante e progettare metodi per la ricerca computazionalemente efficiente di tali equilibri Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21

24 Pubblicazioni Conclusioni e sviluppi futuri Parte del presente lavoro è stato Pubblicato Interactive Decision Theory and Game Theory workshop (IDTGT) at AAAI 2010 Sottomesso The 26th Conference on Uncertainty in Artificial Intelligence (UAI2010) Fabio Panozzo (Politecnico di Milano) Calcolo di equilibri auto-confermanti 3 maggio / 21