Teoria dei giochi. 2. Forma estesa (struttura ad albero e matrice dei pagamenti) Slides di Teoria dei Giochi, Vincenzo Cutello 1

Transcript

1 Teoria dei giochi 2. Forma estesa (struttura ad albero e matrice dei pagamenti) Vincenzo Cutello 1

2 Struttura ad albero: Gioco dei fiammiferi A B Struttura ad albero (mossa dopo mossa) Gioco finito ad informazione perfetta Vince sempre B (ossia il secondo che muove) in questo esempio. Ma si può dimostrare in generale? Vincenzo Cutello 2

3 Matrice dei pagamenti: il dilemma del prigioniero A C NC B C (2,2) (7,0) NC (0,7) (1,1) Se B confessa, ad A conviene confessare Se B non confessa, ad A conviene confessare. Morale: se è razionale confessa. Vincenzo Cutello 3

4 Assioma di razionalità Un giocatore sceglie l azione l che gli consente di ottenere i risultati migliori, qualunque sia la mossa dell avversario Per entrambi i due prigionieri la strategia migliore è quella di confessare. Situazione di equilibrio. A C NC B C (2,2) (7,0) NC (0,7) (1,1) Vincenzo Cutello 4

5 Teorema di Zermelo Nel gioco degli scacchi (gioco finito a informazione perfetta) ) può sussistere una ed una sola delle seguenti tre alternative: 1. Il bianco può forzare nero alla sconfitta 2. Il nero può forzare il bianco alla sconfitta 3. Entrambi i giocatori possono forzare il pareggio Ma che razza di teorema è questo? E perché mai è importante che il gioco sia finito a informazione perfetta Risposta: quanto vi piace disegnare alberi? Vincenzo Cutello 5

6 1 2 Esempio Due giocatori (A e B) a turno possono togliere una casella dal quadrato Togliendo una casella si tolgono tutte quelle sopra e quelle a destra della casella. Chi toglie la casella 13 perde. Vincenzo Cutello 6

7 Esempio: cont. E un gioco finito e ad informazione perfetta: Non esiste il pareggio Per il teorema di Zermelo,, o esiste una strategia vincente per A (chi muove per primo) o esiste una strategia vincente per B (chi muove per secondo). Secondo voi?? Vincenzo Cutello 7

8 Giochi come problemi di ricerca Avversario imprevedibile la soluzione è un piano di emergenza Limiti di tempo a meno di trovare la soluzione, dobbiamo approssimare Piano di attacco: Algoritmi per giocatori perfetti (Von( Neumann, 1944) Orizzonte finito, valutazione approssimata (Zuse, 1945; Shannon,, 1950; Samuel, ) Taglio per ridurre i costi (McCarty( McCarty,, 1956) Vincenzo Cutello 8

9 Tipi di giochi Deterministici Elemento di fortuna Informazione perfetta Scacchi, dama, go, otello Backgammon, monopoli Informazione imperfetta Bridge, poker, guerra Vincenzo Cutello 9

10 Minimax Giocatori perfetti per giochi deterministici ad informazione perfetta Idea: scegli la mossa che porta alla posizione con il più alto minimax value = miglior risultato raggiungibile contro il miglior avversario Per esempio, gioco a 2 giocatori: MAX 3 A 1 A 2 A 3 MIN A 11 A12 A 13 A 21 A 22 A 23 A 31 A32 A Vincenzo Cutello 10

11 Algoritmo Minimax function DECISIONE-MINIMAX (gioco( gioco) returns un operatore for each op in OPERATORI[gioco gioco] do VALORE[op op] VALORE-MINIMAX (APPLICA(op,game op,game), game) end return op con il più alto valore VALORE[op op] function VALORE-MINIMAX (stato,( gioco) returns un valore di utilità if VERIFICA-TERMINALE[gioco gioco] then return UTILITA [gioco gioco]( ](stato) else if MAX deve muovere nello stato then return il più alto valore VALORE-MINIMAX di SUCCESSORI(stato stato) else return il più basso valore VALORE-MINIMAX di SUCCESSORI(stato stato) Vincenzo Cutello 11

12 Completo?? Proprietà di minimax Si, se l albero l è finito (gli scacchi hanno regole specifiche per questo) Ottimo?? Si, contro un avversario ottimale. Altrimenti? Complessità temporale?? O(b m ) Complessità spaziale?? O(bm bm) (esplorazione depth-first) Per gli scacchi b 35, m 100 per partite tipiche soluzione esatta non raggiungibile Vincenzo Cutello 12

13 Limiti delle risorse Supponiamo di avere 100 secondi, esploriamo 10 4 nodi/secondo 10 6 nodi per mossa Approccio standard: Test di taglio cioè, limite di profondità (probabile aggiunta della ricerca di quiescenza) Funzione di valutazione stima della desiderabilità di una posizione Vincenzo Cutello 13

14 Funzioni di valutazioni Per gli scacchi, una tipica somma lineare pesata delle caratteristiche EVAL(s) ) = w 1 f 1 (s)+ w 2 f 2 (s)+ + w n f n (s) per esempio, w 1 = 9 f 1 (s) = (# di regine bianche)-(# di regine nere) w 2 = 7 f 2 (s) = (# di torri bianche)-(# di torri nere) etc Vincenzo Cutello 14

15 Valore esatto? MAX MIN Il comportamento è preservato rispetto ad una qualsiasi trasformazione monotonica di EVAL: Interessa solo l ordine Payoff nei giochi deterministici agisce come una funzione di utilità ordinale Vincenzo Cutello 15

16 Tagliando la ricerca MINIMAXCUTOFF è identica alla VALORE- MINIMAX eccetto per Terminale rimpiazzata da CUTOFF? UTILITA rimpiazzata da EVAL Funziona in pratica? function MINIMAX-CUTOFF(stato, gioco) returns un valore di utilità if VERIFICA-CUTOFF[gioco gioco] then return EVAL[gioco gioco]( ](stato) else if MAX deve muovere nello stato then return il più alto valore VALORE- MINIMAX di SUCCESSORI(stato stato) else return il più basso valore VALORE- MINIMAX di SUCCESSORI(stato stato) Vincenzo Cutello 16

17 Esempio di α-β pruning MAX 3 MIN X X Vincenzo Cutello 17

18 Proprietà di α-β Il pruning non altera il risultato finale Il buon ordinamento delle mosse migliora l efficienzal del pruning Con ordine perfetto,, complessità temporale = O(b m/2 ) doppia profondità di ricerca Può facilmente raggiungere profondità 8 e giocare bene a scacchi Vincenzo Cutello 18

19 Perché si chiama α-β? MAX MIN α MAX MIN V α è il miglior valore (rispetto a MAX) trovato fino ad ora nel percorso corrente Se V è peggiore di α,, MAX lo eviterà pota quel ramo Definiamo β similmente per MIN Vincenzo Cutello 19

20 L algoritmo α-β function MAX-VALUE(stato stato, gioco, α, β) returns il valore minimax di stato inputs: stato,, stato corrente del gioco gioco,, descrizione del gioco α,, il miglior punteggio per MAX attrraverso il percorso per stato β, il miglior punteggio per MIN attraverso il percorso per stato if TEST-DI-TAGLIO(stato stato) then return EVAL(stato stato) for each s in SUCCESSORI (stato( stato) do α MAX(α,, MIN-VALUE(s, gioco, α, β)) if α β then return β end return α function MIN_VALUE (stato, game, α, β) returns il valore minimax di stato if TEST-DI-TAGLIO(stato stato) then return EVAL(stato stato) for each s in SUCCESSORI(stato stato) do β MIN (β,(, MAX-VALUE (s,( gioco, α, β)) if β α then return α end return β Vincenzo Cutello 20

21 Giochi deterministici in pratica Dama: Chinook pose termine al dominio assoluto durato 40 anni della campionessa del mondo Marion Tinsley in Venne usato un database per le posizioni finali che definiva una strategia perfetta per tutte le posizioni che coinvolgevano al più 8 pezzi sulla scacchiera per un totale di posizioni. Scacchi: Deep Blue sconfisse il campione del mondo Gary Kasparov nel Deep Blue ricercava 200 milioni di posizioni al secondo, una valutazione molto sofisticata e alcuni metodi per estendere la ricerca fino a 40 mosse Vincenzo Cutello 21

22 Giochi deterministici in pratica Othello: : I campioni umani rifiutano di competere contro i computer perché sono di gran lunga superiori. Go: I campioni umani rifiutano di competere contro i computer perché sono troppo scarsi. Nel Go, b > 300, così la maggior parte dei programmi usa basi di conoscenza per effettuare delle mosse plausibili. Vincenzo Cutello 22

23 Giochi non deterministici Per esempio, nel risico, i dadi determinano le mosse legali Esempio semplificato con lancio della moneta al posto dei dadi MAX CHANCE MIN Vincenzo Cutello 23

24 Algoritmo per giochi non deterministici EXPECTIMINIMAX fornisce un giocatore perfetto Come il MINIMAX eccetto per il fatto che dobbiamo gestire i nodi di fortuna if stato è un nodo di fortuna then return la media di EXPECTIMINIMAX-VALUE di SUCCESSORI(stato stato) Vincenzo Cutello 24

25 Giochi non deterministici nella pratica Il lancio dei dadi incrementa b: 21 possibili risultati con 2 dadi Mentre la profondità incrementa la probabilità di raggiungereun dato nodo diminuisce diminuisce il valore di lookahead α-β pruning è meno efficace in questo caso Vincenzo Cutello 25

26 Valori esatti necessari Il comportamento è preservato solo da trasformazioni lineari positive di EVAL Quindi EVAL dovrebbe essere proporzionale al payoff atteso MAX CHANCE MIN Vincenzo Cutello 26

27 Riassunto I giochi sono divertenti! (e pericolosi) Tramite essi si illustrano parecchi importanti questioni inerenti l AIl La perfezione non è ottenibile ==> dobbiamo approssimare Buona idea per pensare su cosa occorre pensare L incertezza vincola l assegnamento l del valore agli stati PENSIERO FINALE: I giochi stanno all AI come la Formula 1 sta all industria automobilistica Vincenzo Cutello 27