Politecnico di Milano Facoltà di Ingegneria dell Informazione AGENTI AUTONOMI E SISTEMI MULTIAGENTE Appello COGNOME E NOME

Transcript

1 Politecnico di Milano Facoltà di Ingegneria dell Informazione AGENTI AUTONOMI E SISTEMI MULTIAGENTE Appello COGNOME E NOME 5 luglio 2006 RIGA COLONNA MATRICOLA Il presente plico pinzato, composto di quattro fogli (fronte/retro), deve essere debitamente compilato con cognome, nome, numero di matricola, posizione durante lo scritto, e deve essere firmato. I compiti non compilati, non firmati o con fogli mancanti non saranno considerati validi e quindi non saranno corretti. Sarà valutato solo quanto scritto su questi fogli. Non è consentito consultare testi né appunti. Sul tavolo non devono essere presenti telefoni cellulari, né astucci, né custodie di altro tipo. Le risposte devono essere scritte negli appositi riquadri, qualsiasi testo esterno a tali riquadri non verrà preso in considerazione. Se lo spazio per la soluzione degli esercizi non fosse sufficiente, si può scrivere sull ultimo foglio. FIRMA

2 Esercizio 1 (6 punti). Si consideri il processo di decisione di Markov il cui modello di transizione è riportato nella figura seguente (in cui le etichette numeriche degli archi multipli indicano la probabilità della relativa transizione e i rinforzi associati agli stati sono indicati all interno del relativo nodo): Si trovi la politica ottima π* nello stato A. Dalla definizione di politica ottima si ha π*(a)=argmax a { s Prob[s A,a] U(s ) }. Dall equazione di Bellman ( U(s)=R(s)+ max a { s Prob[s s,a] U(s ) } ) si hanno U(C)=100 U(B)=max{1/10 U(A)+2/10 U(B)+70; 7/10 U(A)+2/10 U(B)+10}. Osservo che U(A) 0, poiché andando nello stato A si ottiene il rinforzo immediato R(A)=-100 seguito da rinforzi dei quali l unico positivo è R(C)=100, che può essere ottenuto al più una volta. Pertanto si ha 1/10 U(A)+2/10 U(B)+70 > 7/10 U(A)+2/10 U(B)+10, da cui U(B)=1/10 U(A)+2/10 U(B)+70, ovvero U(B)=1/8 U(A)+175/2. Pertanto si ha π*(a)=argmax{ 17/80 U(A)+315/4; 15/80 U(A)+325/4}. a 1 a 2 Essendo U(A) 0, si ha 17/80 U(A)+315/4 < 15/80 U(A)+325/4, per cui π*(a)={a 2 }

3 Esercizio 2 (6 punti). Si consideri il seguente problema. Due agenti lavorano per raggiungere un obiettivo comune. Ogni agente può lavorare duramente (azione d) o perdere tempo (azione p). Se un agente lavora duramente, allora l altro agente preferisce perdere tempo. La situazione in cui entrambi gli agenti lavorano duramente è preferita a quella in cui entrambi perdono tempo. La situazione peggiore per un agente è quella in cui lavora duramente, mentre l altro agente perde tempo. Si formalizzi il problema come gioco strategico e se ne trovino gli equilibri di Nash. Il problema può essere formalizzato con il seguente gioco strategico: Il solo equilibrio di Nash è (p,p). d p d 2,2 0,3 p 3,0 1,1

4 Esercizio 3 (7 punti). Si consideri un mondo a griglia 3X3, popolato da tre agenti A 1, A 2, A 3 e da un oggetto O nella configurazione della figura seguente: Ciascun agente riesce a vedere la posizione dell oggetto O qualora esso sia posto nella stessa riga, colonna o diagonali dell agente; altrimenti l agente non vede l oggetto e non può stabilire direttamente in che casella si trovi. La configurazione del mondo a griglia, compresa la posizione dei tre agenti, l esistenza dell oggetto O e le capacità visive degli agenti sono conoscenza comune fra i tre agenti. Gli agenti, però, non sanno a priori dove si trova O, a meno, naturalmente, che non riescano a vederlo da sé. Per modellizzare tale situazione dal punto di vista della conoscenza, si consideri lo spazio di stato S delle possibili posizioni di O (in una coppia <i,j> intendiamo i come indice di riga e j di colonna): S={ <1,1>; <1,2>; <1,3>; <2,1>; <2,2>; <2,3>; <3,1>; <3,2>; <3,3> } (Lo stato reale è palesemente s=<1,1>). Si consideri il seguente evento E: E={<1,1>;<1,3>;<3,3>} Si svolgano i seguenti punti: (1) Si dica, giustificando la risposta, se A 1 conosce E, A 2 conosce E, A 3 conosce E. (2) Si dica, giustificando la risposta, se E è conoscenza comune fra i tre agenti nello stato s=<1,1>. Si utilizzi la definizione di conoscenza comune in termini di eventi autoevidenti. (1) Le partizioni di informazione degli agenti sono le seguenti: P 1 ={ {<1,1>}; {<1,2>}; {<1,3>}; {<2,1>}; {<2,2>}; {<2,3>}; {<3,1>;<3,3>}; {<3,2>} }, P 2 ={ {<1,1>}; {<1,2>}; {<1,3>;<3,3>}; {<2,1>}; {<2,2>}; {<2,3>}; {<3,1>}; {<3,2>} }, P 3 ={ {<1,1>;<1,3>}; {<1,2>}; {<2,1>}; {<2,2>}; {<2,3>}; {<3,1>}; {<3,2>}; {<3,3>} }. Un agente A conosce un evento E se l information set P i (s) dell agente i nello stato reale s è contenuto nell evento E. Ora, P 1 (s)= P 1 (<1,1>)={<1,1>} E, per cui A 1 conosce E; P 2 (s)= P 2 (<1,1>)={<1,1>} E, per cui A 2 conosce E; P 3 (s)= P 3 (<1,1>)={<1,1>;<1,3>} E, per cui A 3 conosce E. (2) L evento E, pur conosciuto da tutti gli agenti, non è conoscenza comune fra essi in s. Infatti, se per assurdo lo fosse, allora dovrebbe esistere un evento F tale che s F, F E ed F è autoevidente per A 1, A 2 e A 3. Ma gli unici eventi F tali che s F ed F E sono: - F 1 ={<1,1>}, che non è autoevidente per A 3. - F 2 ={<1,1>;<1,3>}, che non è autoevidente per A 2. - F 3 ={<1,1>;<3,3>}, che non è autoevidente per A 1. - F 4 ={<1,1>;<1,3>;<3,3>}, che non è autoevidente per A 1. 3

5 Esercizio 4 (6 punti). Si consideri il problema di coordinamento fra gli agenti A 1, A 2, A 3 e A 4, ciascuno dei quali può compiere le azioni x e y, la cui funzione di utilità è decomponibile nel seguente modo: u(a 1,a 2,a 3,a 4 )=f 1,2 (a 1,a 2 )+f 2, 3 (a 2,a 3 ) +f 3, 4 (a 3,a 4 ) ove f 1,2 (x,x)=5 f 2,3 (x,x)=6 f 3,4 (x,x)=8 f 1,2 (x,y)=8 f 2,3 (x,y)=9 f 3,4 (x,y)=8 f 1,2 (y,x)=13 f 2,3 (y,x)=2 f 3,4 (y,x)=4 f 1,2 (y,y)=4 f 2,3 (y,y)=0 f 3,4 (y,y)=14 Il problema di coordinamento viene risolto dagli agenti per eliminazione delle variabili senza comunicazione, con la funzione utilità decomposta come detto sopra e con l ordinamento A 1, A 2, A 3, A 4 per gli agenti e x, y per le azioni. Si illustri la computazione del generico agente nell esecuzione dell algoritmo di coordinamento.

6 La computazione del generico agente avviene come di seguito illustrato: -Si ha: F={f 1,2 (a 1,a 2 ), f 2, 3 (a 2,a 3 ), f 3, 4 (a 3,a 4 )} -Si considera il primo agente nell ordine: A 1. F 1 =insieme delle funzioni in F che hanno fra gli argomenti le azioni di A 1 ; si ottiene: F 1 ={f 1,2 (a 1,a 2 )} B 1 (a -1 )=argmax a1 {Σ f F1 f(a 1,a -1 )} B 1 (a 2 )=argmax a1 {f 1,2 (a 1,a 2 )} B 1 (x)={y} B 1 (y)={x} f (a -1 )=max a1 {Σ f F1 f(a 1,a -1 )} f (a 2 )=max a1 {f 1,2 (a 1,a 2 )} f (x)=13 f (y)=8 -Si pone F:= (F-F 1 ) U {f (a 2 )} F={f 2, 3 (a 2,a 3 ), f 3,4 (a 3,a 4 ), f (a 2 )} -Si considera il secondo agente nell ordine: A 2. F 2 =insieme delle funzioni in F che hanno fra gli argomenti le azioni di A 2 ; si ottiene: F 2 ={f 2, 3 (a 2,a 3 ), f (a 2 )} B 2 (a -2 )=argmax a2 {Σ f F2 f(a 2,a -2 )} B 2 (a 3 )=argmax a2 {f 2,3 (a 2,a 3 )+f (a 2 )} B 2 (x)={x} B 2 (y)={x} f (a -2 )=max a2 {Σ f F2 f(a 2,a -2 )} f (a 3 )=max a2 {f 2,3 (a 2,a 3 )+f (a 2 )} f (x)=19 f (y)=22 -Si pone F:= (F-F 2 ) U {f (a 3 )} F={f 3,4 (a 3,a 4 ),f (a 3 )} -Si considera il terzo agente nell ordine: A 3. F 3 =insieme delle funzioni in F che hanno fra gli argomenti le azioni di A 3 ; si ottiene: F 3 =F

7 -Si pone B 3 (a -3 )=argmax a3 {Σ f F3 f(a 3,a -3 )} B 3 (a 4 )=argmax a3 {f 3,4 (a 3,a 4 )+f (a 3 )} B 3 (x)={x} B 3 (y)={y} f (a -3 )=max a3 {Σ f F3 f(a 3,a -3 )} f (a 4 )=max a3 {f 3,4 (a 3,a 4 )+f (a 3 )} f (x)=27 f (y)=36 F:= (F-F 3 ) U {f (a 4 )} F={f (a 4 )} -Si considera il quarto agente nell ordine: A 4. F 4 =insieme delle funzioni in F che hanno fra gli argomenti le azioni di A 4 ; si ottiene: F 4 =F B 4 (a -4 )=argmax a4 {Σ f F4 f(a 4,a -4 )} B 4 =argmax a4 {f (a 4 )} B 4 ={y} -Si sceglie a 4 * B 4 ={y}, ovvero -Si sceglie a 3 * B 3 (a 4 *)=B 3 (y)={y}, ovvero -Si sceglie a 2 * B 2 (a 3 *)=B 2 (y)={x}, ovvero -Si sceglie a 1 * B 1 (a 2 *)=B 1 (x)={y}, ovvero a 4 *=y a 3 *=y a 2 *=x a 1 *=y

8 Esercizio 5 (6 punti). Si definisca formalmente un problema di soddisfacimento di vincoli distribuiti, indicando anche che cosa si intende per soluzione di un tale problema. Un problema di soddisfacimento di vincoli distribuiti è un problema definito come segue. Sono date n variabili (x 1, x 2,, x n ) ognuna delle quali appartiene a uno fra m agenti (a 1, a 2,, a m ). (Solitamente, n=m.) Ogni variabile x i può assumere valori appartenenti a un dominio D i. Le variabili sono legate da un insieme di vincoli p k. Un agente a j conosce i vincoli che coinvolgono le variabili che gli appartengono. Una soluzione a un problema di soddisfacimento di vincoli distribuiti è un assegnamento di valori a tutte le n variabili tale che tutti i vincoli siano rispettati.