Intelligenza Artificiale. Cosa vedremo. Game Playing. Gennaio Aprile marco ernandes.

Transcript

1 Gennaio Aprile 007 Intelligenza Artificiale Game Playing marco ernandes Intelligenza Artificiale - Game Playing 1/4 Cosa vedremo Come si colloca il Game Playing in relazione ad altre discipline: una visione d insieme Tipologie di Giochi Relazioni con il Problem Solving Formalizzazione del gioco Algoritmo Minimax Ricerca di quiescenza Algoritmo di Alfa-Beta Pruning Problema dell Orizzonte ed altri La vera sfida del Game Playing Intelligenza Artificiale - Game Playing /4 Intelligenza Artificiale - Game Playing 3/4

2 Una visione d insieme Partendo dal Problem Solving Introduciamo nel dominio del problema altri agenti in competizione Game Playing Complichiamo: stati (congiunzioni di fatti), e operatori (legami tra fatti-condizioni e fatti-effetti, non tra stati) Planning Esempio di problema di Planning Stato iniziale: SILENZIO! MANI_PULITE Goal: PULITO! CENA_PRONTA! REGALO Operatori:! azione cucina:! precondition MANI_PULITE " effect CENA_PRONTA! azione incarta:! precondition SILENZIO " effect REGALO! azione butta_spazzatura:! effect PULITO! not MANI_PULITE! azione aspira:! effect PULITO! not SILENZIO Intelligenza Artificiale - Game Playing 4/4 Intelligenza Artificiale - Game Playing 5/4 Teoria dei Giochi Von Neumann & Morgenstern (1944) Theory of Games and Economic Behaviour Teoria della Decisione Analizzare il comportamento individuale le cui azioni hanno effetto diretto Scommesse & Mondo dei Puzzle Teoria dei Giochi Analizzare il comportamento individuale le cui azioni hanno effetto che dipende dalle scelte degli altri Mondo dei Giochi a + giocatori Intelligenza Artificiale - Game Playing 6/4 I giochi nell IA e non solo M. Minsky (1968): i giochi non vengono scelti perché sono chiari e semplici, ma perché ci danno la massima complessità con le minime strutture iniziali Pungolo Scientifico! Matematica: teoria dei grafi e complessità! Computer Science: database, calcolo parallelo, etc.! Economia: teoria dei giochi, eco. cognitiva/sperim.! Psicologia: fiducia, rischio, etc.. Intelligenza Artificiale - Game Playing 7/4

3 Tipologie di Giochi Classificazione 1 " condizioni di scelta:! Giochi con informazione perfetta! Gli stati del gioco sono completamente espliciti per gli agenti.! Giochi con informazione imperfetta! Gli stati del gioco sono solo parzialmente esplicitati. Classificazione " effetti della scelta:! Giochi deterministici! Gli stati sono determinati unicamente dalle azioni degli agenti! Giochi stocastici! Gli stati sono determinati anche da fattori esterni (es: dadi) Giochi deterministici Giochi stocastici Tipologie di Giochi Informazione Perfetta Scacchi, Go, Dama, Otello, Forza4 Backgammon, Monopoli Informazione Imperfetta MasterMind (è un gioco o un puzzle?) Scarabeo, Bridge, Poker (giochi di carte) Risiko Intelligenza Artificiale - Game Playing 8/4 Intelligenza Artificiale - Game Playing 9/4 Altre Classificazioni Numero giocatori (tutti multiagenti!) Politica del turno di giocata! Diacronia (turni definiti/indefiniti)! Sincronia Ambienti discreti / continui Ambienti statici / dinamici Ambienti episodici / sequenziali Giochi a somma zero L uomo agisce in un ambiente continuo, dinamico, sequenziale, a scelte sincroniche e con informazione imperfetta. Intelligenza Artificiale - Game Playing 10/4 Giochi e Problem Solving (1) Si può analizzare un gioco come un problema di search, anche se multiagente? ES: gli scacchi! X = tutti gli stati della scacchiera! X 0 = lo stato di inizio gioco! SCS(x) = le mosse legali ad uno stato! T(x) = scacco matto! g = numero di mosse Qualcosa non va! Intelligenza Artificiale - Game Playing 11/4

4 Giochi e Problem Solving () Giochi e Problem Solving (3) g non è determinante SCS(x) è sotto controllo solo per metà delle mosse e spesso non è reversibile T(x) non è sufficiente per definire la terminazione! Serve una funzione di utilità sulla terminazione! Es: vittoria = +1, patta = 0, sconfitta = -1 Obiettivo dell agente: definire una strategia che raggiunga T(x)=+1 Per inserire un gioco ad informazione perfetta in uno schema classico di search si considera che:! Esiste un avversario che va simulato! L avversario minimizza il nostro utile L albero di ricerca si sviluppa su giocatori:! MAX(noi) e MIN (l avversario) L obiettivo è raggiungere uno stato terminale di quest albero con la massimizzazione dell utilità*. *(se l avversario inizia per primo: lui diventa MAX e noi MIN con lo scopo di minimizzare l utilità) Intelligenza Artificiale - Game Playing 1/4 Intelligenza Artificiale - Game Playing 13/4 Algoritmo Minimax (Von Neumann 8, Shannon 50) Algoritmo Minimax Nei giochi ad informazione perfetta si può ottenere la strategia perfetta con una ricerca esaustiva. Minimax, funzionamento di base:! Si costruisce l albero delle mosse fino ai nodi terminali! Si applica la funzione di utilità U(x) ai nodi terminali! Si usano i valori per calcolare l utilità dei nodi superiori:! U(nodo_sup) = MAX U(nodo_inf) se la mossa spetta a MAX! U(nodo_sup) = MIN U(nodo_inf) se la mossa spetta a MIN MAX MIN MAX MIN In realtà è depth-first! Intelligenza Artificiale - Game Playing 14/4 Intelligenza Artificiale - Game Playing 15/4

5 > MAX = true, MIN = false > MINIMAX(X, MAX) MINIMAX(nodo, agente) Algoritmo Minimax figli[] = SCS(nodo, agente) for all (figli){ if(end_test(figlio) == true) { figlio.utilità = UTILITY_test(figlio) } else figlio.utilità = MINIMAX(figlio,!agente) if(agente==max && figlio.utilità > best) best = figlio.utilità if(agente==min && figlio.utilità < best) best = figlio.utilità } return best Proprietà di Minimax E completo in grafi finiti E ottimale se MIN è ottimale (e se ci sono più avversari). Se MIN non è ottimale non si può garantire l ottimalità, ma Ha complessità spaziale O(bm) perché la ricerca è in profondità. Intelligenza Artificiale - Game Playing 16/4 Intelligenza Artificiale - Game Playing 17/4 ; Un problemino di Minimax Negli scacchi: "Unfortunately, the number of possible positions in the chess tree surpasses the number of atoms in the Milky Way." Claude Shannon In generale: complessità temporale = O(b m ) Negli scacchi =,5 x In problemi reali non si può usare. E utile solo come base teorica. Minimax + taglio di profondità Limitare la ricerca ad una profondità max (dipendente dalla memoria e dal tempo disponibile) Come valutare l utilità dei nodi foglia?! Serve una funzione di valutazione.! Cioè un euristica! Far risalire fino alla radice le stime usando minimax ed effettuare la scelta Intelligenza Artificiale - Game Playing 18/4 Intelligenza Artificiale - Game Playing 19/4

6 Euristiche per Giochi Funzioni lineari pesate! w 1 f 1 + w f + + w n f n! Per esempio negli scacchi: 1 punto x Pedone, 3 x Alfiere, 3 x Cavallo, 5 x Torre, 9 x Regina! Vantaggi: la linearità permette rapidità di calcolo! Svantaggi: povertà espressiva (es: Cavallo forte nelle aperture e al centro, Alfiere nelle chiusure, i valori delle combinazioni di pezzi non sono lineari) Funzioni non-lineari! Es. ottenuti da learning, ma come definire i TARGET? Intelligenza Artificiale - Game Playing 0/4 Un problemino del taglio Euristica possibile per la Dama:! Vantaggio di pezzi e vantaggio di dame Prof. 0 Prof. 11 Prof. 18 Posizioni apparentemente buone possono essere perdenti Intelligenza Artificiale - Game Playing 1/4 Taglio agli stati quiescenti Arrivati alla profondità di taglio:! Per i nodi foglia quiescenti si applica il taglio! Per i nodi non quiescenti si approfondisce l albero con una ricerca di quiescenza! Al termine della ricerca si applica il taglio Quiescenza = proprietà di uno stato la cui euristica di utilità non varia molto con l applicazione degli operatori Ancora un problemino Vogliamo arrivare a profondità 6 in una partita di scacchi (3 mosse MAX, 3 MIN) b = ca.35, n nodi = 35 6 " 1,85 x 10 9 Calcolatore veloce: 10 6 mosse/sec.! Tempo impiegato: 1850 sec. = 30min Con un limite di 30min abbiamo un giocatore mediocre Intelligenza Artificiale - Game Playing /4 Intelligenza Artificiale - Game Playing 3/4

7 ? Alfa-Beta pruning (McCarthy 56) Si può ottenere la mossa MAX senza osservare esaustivamente l albero, perché: 1) DATO U(n 0 )=! " utilità minimax del nodo n 0 su cui sceglie MAX ) affinchè la scelta conclusiva di MAX sia!! almeno 1 nodo n ( fratello di n 0 ) deve avere U(n)>! 3) affinchè U(n)>! per ogni nodo n successore di n deve valere h(n )>! 4) QUINDI: appena un successore di n possiede U(n )!! il sottoalbero restante può essere potato Stesso discorso vale per MIN, quindi Intelligenza Artificiale - Game Playing 4/4 Alfa-Beta pruning () Nella ricerca nell albero:! Si usano variabili:!! = valore maggiore di MAX al tempo attuale! ß = valore minore di MIN al tempo attuale! Calcolando MAX si pota il sottoramo di un nodo se un suo figlio ha valore inferiore ad!; se invece tutti i figli hanno valore maggiore il minimo diventa!! Calcolando MIN si pota il sottoramo di un nodo se un suo figlio ha valore maggiore a ß; se invece tutti i figli hanno valore minore il massimo diventa ß Intelligenza Artificiale - Game Playing 5/4 Alfa-Beta Pruning: Pseudo Codice MAX-VALUE(nodo,!, ß) if CUTOFF-TEST(nodo) then return EVAL(nodo) v # - " for all figli in SCS(nodo) { v # max(v, MIN-VALUE(figlio,!, ß) ) if v! ß then return v! # max(v,!) } return v v = utilità del nodo MIN-VALUE (nodo,!, ß) if CUTOFF-TEST(nodo) then return EVAL(nodo) v # + " for all figli in SCS(nodo) { v # min(v, MAX-VALUE(s,!, ß)) if v "! then return v ß # min(v,ß) } return v Intelligenza Artificiale - Game Playing 6/4 Alfa-Beta pruning: simulazione! = -" ß = " 1!=-" ß=1 1!=-"!= !=-" 1 =1!=1!=-" ß=1 4!=-" ß=1 1!=-"!=1-3!=1-3!=1!=1 Intelligenza Artificiale - Game Playing 7/ !=1 ß= ß=0 0 0 MAX MIN MAX MIN

8 n 0 Alfa-Beta pruning Caso Generale n Se n 0 è migliore di n allora n non verrà mai raggiunto durante il gioco e quindi tutto il sottoramo corrispondente può essere potato Intelligenza Artificiale - Game Playing 8/4 Efficacia della potatura!-ß Dipende dall ordinamento dei nodi! Ordinamento migliore: O(b "m )! Ordinamento pessimo: O(b m )! Ordinamento medio: O(b #m ) Negli scacchi (considerando il caso medio):! Fasi di apertura (b! 35, poniamo m = 10)! Minimax: n nodi: ca ! Alfa-beta: n nodi: ca ! Fasi centrali (b! 18, poniamo m = 10)! Minimax: n nodi: ca ! Alfa-beta: n nodi: ca Node Ordering Un buon calcolatore (10 6 mosse/sec) sceglie una mossa in 4 minuti! Intelligenza Artificiale - Game Playing 9/4 Altri problemi da affrontare Problema dell Orizzonte Problema dell orizzonte Eccessiva fiducia nell euristica Eventi stocastici Giochi multiplayer Branching Factor e potenza di calcolo Intelligenza Artificiale - Game Playing 30/4 Un lungo periodo di quiescenza può precedere un rapido ed inevitabile peggioramento dell utilità Se il taglio in profondità è avvenuto in questa zona, valuta positivamente uno stato che è invece disastroso Problema tutt ora irrisolto! Intelligenza Artificiale - Game Playing 31/4

9 Eccessiva fiducia nell euristica Eventi stocastici Se in un gioco inseriamo la sorte, minimax deve essere riscritto in modo da pesare la valutazione del nodo n con la probabilità che n si verifichi a partire dal nodo genitore Una valutazione molto irregolare tra nodi fratelli è rischiosa, soprattutto usando Alpha-Beta Problema: la complessità cresce molto " O(bm dm) Servirebbe un ulteriore ricerca nel sottoramo per accertarsi della bontà della valutazione Alpha-Beta Pruning? 3/4 Intelligenza Artificiale - Game Playing Intelligenza Artificiale - Game Playing ExpectiMin / ExpectiMax Giochi multi-player 5.39 Possiamo generalizzare gli algoritmi per giochi player-perfect-information : ! Esempio 1: la dama cinese 1.4! giocatori muovono a turno ogni giocatore cerca di occupare completamente l angolo opposto Esempio : 3-player Othello!! Requisito: non ci deve essere accordo tra i giocatori 0.7! /4 3 giocatori muovono a turno ogni giocatore deve conquistare il massimo della scacchiera Intelligenza Artificiale - Game Playing 34/4 Intelligenza Artificiale - Game Playing 35/4

10 Assunzioni: Algoritmo Max N! I giocatori muovono a turni! Ogni giocatore mira a massimizzare il proprio utile! Ogni giocatore è indifferente all utile degli avversari Funzione di valutazione:! Restituisce una n-tupla di valori di utilità attesa, uno per ogni giocatore (player p) allo stato di gioco s! <U(p 1,s), U(p,s),, U(p n,s)>! Esempio: in Reversi/Othello si possono calcolare il numero di pezzi per ogni giocatore Algoritmo:! Depth-first search come Minimax! Fai risalire la n-tupla che massimizza U(p n ) quando muove p n Intelligenza Artificiale - Game Playing 36/4 (,8,1) (1,7,) Algoritmo Max N : esempio (1,7,) 3 3 (6,5,4) 1 (7,3,6) (7,3,6) Minimax è un caso speciale di MaxN in cui: a) N =, b) la funzione di valutazione restituisce la tupla <x, -x>. Intelligenza Artificiale - Game Playing 37/4 3 3 (7,3,6) (3,1,8) (1,7,) (5,6,3) (6,5,4) (8,5,4) (7,3,6) (4,,7) (3,1,8) Algoritmo Paranoid Idea: gli altri giocatori sono come 1 solo macroavversario! giocatori: MAX (noi), MIN (avversari) Valutazione dei nodi dell albero:! Quando tocca a MAX si massimizza l utilità di MAX! Quando tocca ad 1 avversario si minimizza l utilità di MIN Paranoid permette di rimuovere l assunzione di nonaccordo tra i giocatori Paranoid ha minori tempi di esecuzione Paranoid si può sposare meglio con Alfa-Beta pruning Paranoid non dà la garanzia di MaxN di che MAX massimizzi il suo utile finale Intelligenza Artificiale - Game Playing 38/4 Branching Factor: comunque un problema Il primo software capace di vincere a Go contro il campione del mondo vincerà $! b è di oltre 350 " non ci sono algoritmi o euristiche che tengano: non si usa la ricerca per Go Negli scacchi uomo e macchine sono alla pari eppure la velocità di calcolo non è la stessa. Intelligenza Artificiale - Game Playing 39/4

11 Alcuni risultati nel Game Playing OTHELLO: Logistello (Michael Buro) nel 1997 sconfigge il campione del mondo Takeshi Murakami per 6-0 DAMA: Chinook (Jonathan Schaeffer) nel 1994 diventa campione per forfait di Marion Tinsley (campione mondiale dal 54 al 9, mai sconfitto dal 50 al 95). BACKGAMMON: TD-gammon (Gerry Tesauro) è oggi considerato tra i 10 migliori giocatori al mondo BRIDGE: GIB (M.Ginsberg) è al livello di un amatore POKER e GO: pessime performance (per motivi diversi) Intelligenza Artificiale - Game Playing 40/4 La vera sfida La vera sfida è competere con l uomo ad armi pari. L uomo non usa la ricerca come metodo principale:! Prima parte dai GOAL (non ben definiti)! A ritroso costruisce SOTTOGOAL! Pianifica: azioni " subgoal " goal! Usa la ricerca per raggiungere obiettivi locali! Ha capacità istintive di escludere le scelte inutili: riduce enormemente il branching factor Come interfacciare ragionamento goal-oriented e search? Intelligenza Artificiale - Game Playing 41/4 Giocatore di Scacchi Elaboratore euristico sui nodi DataBase aperture DataBase chiusure Motore Ricerca quiescenza Motore minimax + alfa-beta pruning Gestore del Tempo Elaboratore mosse forzate Gestore del livello di taglio Gestore della memoria Intelligenza Artificiale - Game Playing 4/4