Ricerca con avversari

Transcript

1 Ricerca con avversari Corso di Intelligenza Artificiale, a.a Prof. Francesco Trovò 12/03/2018

2 Ricerca con avversari Definizione di gioco Giochi deterministici Giochi stocastici Giochi con parziale osservabilità

3 Ricerca fino ad ora Ambienti semplici senza informazioni e con informazioni Differenti obbiettivi Trovare un piano di azione Trovare uno stato obbiettivo a prescindere dal percorso Se all interno del problema abbiamo altri agenti (avversari), le nostre scelte dovranno essere mosse dipendenti da ciò che compie l avversario La scienza che studia tali interazioni è la teoria dei giochi

4 Particolarità dei giochi La teoria matematica dei giochi studia le interazioni tra più agenti razionali che possono essere: Cooperativi Avversari I giochi più comuni analizzati dall IA sono giochi a somma zero, ad informazione perfetta, a turni e a due giocatori Gioco a somma zero o somma costante: alla fine di ogni partita la somma delle utilità per i giocatori è la stessa giochi MAX MIN Es scacchi (1,0), (0,1) o (1/2,1/2) Con multipli giocatori diventa tutto molto più complesso (alleanze) Per convenzione il primo giocatore è MAX e il secondo è MIN

5 Definizione di un gioco Stato iniziale: configurazione iniziale del gioco Giocatori: set dei giocatori e turni di gioco dei giocatori Azioni: ammissibili per il giocatore attivo nello stato Risultato o modello di transizione: come evolve il gioco a fronte di una data azione in un dato stato Test-terminazione: definisce se uno stato è terminale, ovvero la partita ha termine Utilità: definisce il valore di ogni giocatore in uno stato terminale

6 Esempio TIC/TAC/TOE Rispetto alla ricerca vista fin ora in alcuni stati non posso effettuare azioni, è l altro giocatore che deve scegliere la mossa

7 Decisioni ottime Le azioni di un giocatore devono essere contingenti: mossa per stato iniziale (se iniziamo) e poi una mossa per ogni possibile comportamento dell avversario Parliamo allora di strategia: risposta per ogni mossa dell avversario Strategia ottima: strategia che porta un utilità maggiore o oguale ad ogni altra possibile strategia, supponendo l avversario «infallibile» Se l avversario non giocasse in maniera ottima (razionale) altre strategie potrebbero essere più performanti

8 Esempio di gioco a singolo turno N.B. in questo gioco ho solo due strati che corrispondono ad una singola mossa per giocatore Sto supponendo che le giocate avvengano sequenzialmente

9 Algoritmo MINIMAX Calcolo ricorsivo del valore di uno stato a partire dai nodi successori La ricorsione si ferma alle foglie dove il valore è definito Completezza: arrivo ad una strategia da utilizzare Ottimalità: nel senso dei giochi Complessità temporale: O(b m ) Complessità spaziale: O(bm) se genero tutti i successori assieme, O(m) se li genero uno alla volta (backtracking) con b branch factor e m profondità massima dell albero In pratica non è applicabile, è una buona base per analizzare altri algoritmi più efficienti

10 Potatura α β Modifica di MINIMAX in cui non voglio espandere inutilmente nodi dell albero di ricerca In pratica quando facciamo MINIMAX non dobbiamo calcolare tutti I valori dei nodi figli per decidere se alcuni nodi sono subottimali Idea: teniamo due indici per ogni nodo α: il valore della scelta migliore trovato fin ora (altrimenti + ) β: il valore della scelta peggiore trovato fin ora (altrimenti )

11 Pseudocode Confronto il valore di un nodo MAX con β del padre Confronto il valore di un nodo MIN con α del padre

12 Potatura α β

13 Potatura α β

14 Potatura α β

15 Potatura α β

16 Potatura α β

17 Potatura α β

18 Proprietà della potatura α β Quanto potiamo dipende molto dall ordine con cui visitiamo i nodi Con buone euristiche per ordinare i nodi si può arrivare ad una complessità temporale al minimo di O(b m/2 ) Ordinare le azioni rispetto ad una euristica è fondamentale se riesco ad identificare le mosse killer faccio molto pruning Es: negli scacchi espando prima azioni che catturano pezzi, poi quelle di minaccia, poi le mosse in avanti e, infine, quelle indietro

19 Problemi della potatura α β Problema: dobbiamo arrivare agli stati terminali e a volte ciò non è feasible Shannon (1950): assegnare una funzione di valutazione ai nodi intermedi e tagliare la ricerca ad grazie ad un test di taglio Funzione di valutazione: stima del valore atteso di uno stato Dovrebbe ordinare correttamente gli stati terminali Non computazionalmente complessa Tenga in considerazione la probabiltà di vinttoria in uno stato Es: valore del materiale negli scacchi, buona disposizione dei pedoni, difesa del re (combino le varie metriche)

20 Limiti della funzione di valutazione A volte potrei avere delle posizioni in cui la funzione di valutazione è molto positiva ma nel livello successive potrebbe cambiare radicalmente Posizioni di quiescenza: stati in cui è improbabile che la funzione di valutazione cambi in maniera brusca ricerca di quiescenza ES: espando tutte le mosse di cattura di pezzi

21 Oltre I giochi deterministici Molte volte all interno dei giochi o delle interazioni tra agenti esiste una componente incontrollabile o stocastica Es: tiro dei dadi nel backgammon Devo introdurre dei nodi specifici per tali eventi: nodi di casualità (chance nodes) Non possiamo più calcolare il valore di ogni strategia, ma potremo invece calcolare il valore atteso di una certa mossa MINIMAX expectiminimax

22 Esempio: tiro dei dadi nel backgammon

23 Assunzioni sulla funzione di valutazione nel caso di massima profondità La funzione deve essere una trasformazione lineare della probabilità di vincere data una posizione

24 Complessità di expectiminimax Oltre alla complessità di dover esplorare l albero completamente O(b m ) dovrò anche tenere in considerazione la ramificazione data dalla casualità Se ho n differenti eventi casuali avrò O(b m n m ) nodi da analizzare Rende molto complesso analizzare anche giochi con pochi livelli Soluzione (approssimata): posso usare un algoritmo a mia scelta, fermarmi ad un livello dato e fare una simulazione Monte Carlo della parte restante della partita

25 Giochi parzialmente osservabili Es: Battaglia navale, Stratego, Kriegspiel Ogni giocatore può vedere solo i propri pezzi Ad ogni turno propone una mossa ad un arbitro (onniscente) Se è valida viene attuata, se non è valida ne può proporre una nuova Fatta la mossa l arbitro annuncia l esito se necessario, (cattura, scacco, scacco matto) Definizione di stato credenza: stato che contiene tutti gli stati fisici possibili date le informazioni attuali

26 Esempio di un albero con stati credenza Voglio: Mettere l avversario sotto scacco Ridurre le dimensioni del mio stato credenza Minimizzare le informazioni date all avversario Importanza dell informazione esplorazione

27 Upper Confidence Tree Monte Carlo Tree Search: genero solo alcuni dei path per stimare il valore di un dato nodo UCT: Kocsis e Szepesvari (2006) In ogni nodo: u n = w(n) s(n) + c ln t s(n) Dove: w(n) è il numero di vittorie s(n) è il numero di vote che sono passato da quell nodo t è il numero di prove fatte in tutti c è una costante