Incertezza probabilità a priori probabilità a posteriori condizionata preferenze esiti utilità proposizione variabile aleatoria dominio

Transcript

1 Incertezza Quando un agente logico possiede tutte le informazioni necessarie sull'ambiente e sugli effetti delle sue azioni sul mondo, riesce a determinare la sequenza di azioni che lo portano al raggiungimento del suo obiettivo. Quando invece non tutte queste informazioni sono note, l'agente deve operare in condizioni di incertezza. Ad esempio, se l'agente vuole accompagnare una persona all'aeroporto, il partire 90 minuti prima della partenza del volo, A 90, non gli assicura il raggiungimento del suo obiettivo. In questi casi l'agente può calcolare che tale azione assicura una certa probabilità di successo. Si potrebbe pensare di anticipare ulteriormente la partenza, ad esempio A 120, ma in questo caso potrebbe aumentare l'attesa all'interno dell'aeroporto. Pertanto, la decisione dell'agente dipende dall'importanza dei diversi obiettivi e dalla probabilità di raggiungimento di ciascuno di essi. Le condizioni di incertezza in cui viene a trovarsi l'agente sono dovute a pigrizia nello specificare tutti i possibili eventi che possono influenzare una decisione (nel caso in cui venissero esplicitate si avrebbero comunque regole difficili da utilizzare), e all'ignoranza, intesa come conoscenza parziale del particolare dominio applicativo. Attraverso l'utilizzo della probabilità possiamo riassumere l'incertezza che deriva dalla pigrizia e dall'ignoranza, assegnando un grado di credenza numerico alle affermazioni, compreso tra 0 e 1, in base alle percezioni ricevute fino a quel momento. Tali percezioni costituiscono la prova su cui si impostano le probabilità. Prima dell'acquisizione della prova si parla di probabilità a priori; dopo si parla di probabilità a posteriori o condizionata. In conclusione, la probabilità consente di non esplicitare tutte le possibili cause che possono condizionare un fenomeno. Un agente che lavora in assenza di incertezze esegue il piano che gli garantisce il raggiungimento dell'obiettivo. Lavorando in condizioni di incertezza l'agente deve avere delle preferenze sui possibili esiti dei vari piani. Un esito è la descrizione completa di uno stato, che specifica fattori come l'arrivare in tempo per il volo e la durata dell'attesa in aeroporto. Le preferenze vengono realizzate assegnando ad ogni stato un valore di utilità. Pertanto, le decisioni dipenderanno sia dai valori di probabilità che da quelli di utilità degli stati. Il grado di credenza è applicato ad una proposizione, ossia un enunciato che afferma che qualcosa è verificato. Una proposizione viene espressa tramite una variabile aleatoria, una funzione definita sullo spazio campione, che associa ad ogni elemento di tale spazio un elemento del dominio. Il dominio di una v.a. è l'insieme dei valori che può assumere. Le v. a. possono essere distinte in booleane (il dominio ha due valori True e False), discrete (il dominio ha un numero discreto di elementi), continue (il dominio è l'insieme dei numeri reali o un sottoinsieme). Un evento è un sottoinsieme di elementi dello spazio campionario. Un evento atomico è un sottoinsieme contenente un solo elemento dello spazio campionario. Gli eventi atomici sono mutuamente esclusivi, ossia in ogni dato momento se ne può verificare solo uno; l'insieme degli eventi atomici è esaustivo, ossia uno di essi sarà sempre verificato. Per queste due proprietà, se denotiamo con e(a) l'insieme di eventi in cui la proposizione a e verificata, avremo che P(a)=ΣP(e i ), con e i e(a). La probabilità a priori associata ad una proposizione è il grado di credenza che le viene assegnato in assenza di ogni altra informazione. Ad esempio, P(Carie=true)=0,1 o anche P(carie)=0,1. Non appena riceviamo altri dati, si ragiona sulla probabilità condizionata. Anziché indicare singolarmente le probabilità dei possibili valori assumibili dalla v.a. è possibile ricorrere ad una funzione detta distribuzione di probabilità, P(CondizioniAtmosferiche)=<0,7, 0,2, 0,08, 0,02>. Una distribuzione di probabilità congiunta di due variabili aleatorie rappresenta le probabilità di tutte le possibili combinazioni di valori tra le v.a. Nel caso di CondizioniAtmosferiche e Carie è una matrice 4x2. La distribuzione di probabilità congiunta è completa se considera tutte le v.a. del mondo che si sta modellando. Tale distribuzione può essere usata per dare risposta ad ogni interrogazione probabilistica. Nel caso continuo, il numero di valori assumibili dalla v.a. è infinito, e la probabilità che la v.a. assuma un singolo valore è sempre 0. Allora si definisce una funzione densità di probabilità. In tal caso la P(X=c), ossia la probabilità che la v.a. X assuma il valore c, è definita come il rapporto tra la probabilità che X assuma un valore nell'intorno di c e l'ampiezza di tale intorno, quando tale ampiezza tende a zero, ossia P(X=c) = lim dx->0 P(c X c+dx) / dx. 1

2 In generale la funzione densità non può mai essere negativa, e deve sempre risultare che l'integrale tra -inf e +inf di P(X)dx sia unitario. Quando si ottengono altre informazioni sul mondo, la probabilità a priori fa posto a quella condizionata. Date le proposizioni a e b si ha P(a b) significa la probabilità di a, dato il verificarsi di b. Le probabilità condizionate possono essere definite partendo da quelle a priori. Infatti, vale la regola del prodotto P(a b) = P(a b)p(b) In generale, la probabilità condizionata può essere applicata alle distribuzioni, in modo da ottenere distribuzioni condizionate. Infatti, P(X Y) = P(X=x i Y=y j ). La regola del prodotto diventa P(X,Y)=P(X Y)P(Y) In generale, date n variabili, vale la regola della catena, con la quale si può scrivere la distribuzione congiunta, Gli assiomi di Kolmogorov sono la base della teoria della probabilità: 1. Tutte le probabilità sono comprese tra 0 e 1, ossia per ogni proposizione a, si ha 0 P(a) 1 2. Gli eventi certi hanno probabilità 1 mentre quelli impossibili hanno probabilità nulla. 3. Date due proposizioni a e b, più in generale n, vale che P(a b) = P(a)+P(b)-P(a b). La validità di questi assiomi fu dimostrata dal matematico De Finetti. Egli considerò una coppia di agenti: il primo esprime dei gradi di credenza delle proposizioni e il secondo scommette a favore o contro tali proposizioni. De Finetti mostro che se Agente1 esprime un insieme di credenze che violano gli assiomi di Kolmogorov, allora ci sarà una combinazione di puntate dell'agente2 che garantisce che Agente1 perderà denaro ogni volta. Sappiamo che quando è disponibile la distribuzione congiunta completa per un certo mondo, è possibile calcolare la probabilità degli eventi semplicemente sommando le probabilità degli eventi atomici. Partiamo dalla distribuzione congiunta in tabella. La probabilità che il paziente abbia una carie è P(cavity)= =0.2 Questo valore di probabilità è detto probabilità marginale e il processo con cui si ottiene è detto marginalizzazione, poiché le altre v.a. non compaiono nella somma. In generale, date le v.a. Y e Z, si può scrivere P(Y) = Σ z P(Y,z). Ovviamente, e possibile ricorre alle probabilità condizionate e sostituire nella formula P(Y,z) con P(Y z)p(z). In tal caso non si parla di marginalizzazione ma di condizionamento. Spesso saremo interessati a calcolare la probabilità condizionata di una variabile data la prova rappresentata da un'altra v.a. Ad esempio, volendo calcolare la probabilità di una carie data la presenza del mal di denti, si ha che P(carie maldidenti)=p(carie maldidenti)/p(maldidenti) = 0,6 Volendo calcolare la probabilità che non ci sia una carie dato il mal di denti, allora P( carie maldidenti)=p( carie maldidenti)/p(maldidenti)=0,4. In questi due calcoli, il termine 1/P(maldidenti) rimane costante, indipendentemente dal valore assunto da Carie. Tale termine può essere visto come una costante di normalizzazione α della distribuzione P(Carie maldidenti), che assicura che la sua somma valga 1. Da questo esempio possiamo ricavare una procedura di inferenza generale. 2

3 Sia X la v.a. dell'interrogazione (nell'esempio Carie), E l'insieme delle v.a. che costituiscono una prova (nell'esempio Maldidenti) ed e i valori osservati per esse. Siano Y (nell'esempio Prende) le restanti v.a. non osservate. Allora, l'interrogazione P(X e) può essere valutata come L'utilizzo della distribuzione congiunta completa in forma tabellare non è uno strumento utilizzabile nella pratica per costruire sistemi di ragionamento, a causa di limiti computazionali temporali e spaziali. Due v.a. X,Y si dicono indipendenti se P(X Y)=P(X) oppure P(Y X)=P(Y) oppure P(X,Y)=P(X)P(Y). All'interno del nostro mondo, la v.a. CondizioniAtmosferiche risulta indipendente dalle altre tre. L'indipendenza tra v.a. è utile perché consente di costruire distribuzioni congiunte più piccole. Pertanto, la distribuzione congiunta completa potrà essere fattorizzata in distribuzioni congiunte parziali. Normalmente, per identificare variabili indipendenti basta avere una conoscenza di base del dominio. Sfortunatamente non è molto frequente avere a che fare con v.a. indipendenti. Dalla regola del prodotto sappiamo che P(a b) = P(a b)p(b)=p(b a)p(a) Considerando l'ultima uguaglianza e dividendo ambo i membri per P(a) si ottiene la regola di Bayes: P(b a)=p(a b)p(b)/p(a) [Regola di Bayes] Nella forma distribuzionale può essere riscritta come : P(Y X)=P(X Y)P(Y)/P(X) Possiamo anche considerare tale forma condizionata ad una prova e, ossia P(Y X,e)=P(X Y,e)P(Y e)/p(x e). La regola di Bayes può essere molto utile se le due v.a. vengono viste come variabili di causa ed effetto, ossia P(Causa Effetto)=P(Effetto Causa)P(Causa)/P(Effetto), molto utile in campo diagnostico. Cosa succede invece quando si hanno più prove a disposizione? Consideriamo di voler calcolare la probabilità che ci sia una carie dato il mal di denti e lo strumento che prende. Se conoscessimo la distribuzione congiunta completa potremmo andare a leggere direttamente i valori. In tal caso avremmo l'equazione: con α=0,124. Poiché tale tipo di approccio non è scalabile, esprimiamo il problema utilizzando la regola di Bayes, ossia: Per poter risolvere tale equazione dovremmo conoscere tutti i valori della congiunzione maldidenti prende per tutti i valori di Carie. Sebbene nel caso di due variabili di prova il calcolo sia fattibile, se tale numero cresce questo approccio fallisce. A questo punto interviene un altro concetto, quello di indipendenza condizionale. Date le v.a. X,Y,Z, si dice che X,Y sono indipendenti dato Z, se P(X,Y Z)=P(X Z)P(Y Z). Nel nostro caso le v.a. Maldidenti e Prende non sono indipendenti in senso assoluto perché se lo strumento si incastra nel dente, è probabile che sia perché quest'ultimo ha una carie che a sua volta sarà causa del dolore. Notiamo però che nè Maldidenti nè Prende hanno un effetto diretto sull'altra. Se eliminiamo la v.a. che le lega indirettamente notiamo l'indipendenza condizionale: infatti il dolore dipende dallo stato dei nervi all'interno del dente, mentre l'accuratezza dello strumento dipende dalla bravura del dentista, che non ha alcun rapporto con il mal di denti (almeno ché non sia il dentista stesso ad avere il mal di denti). Quindi il problema diventa L'indipendenza condizionale quindi ci consente di riportarci alla stessa complessità del caso in cui compariva un'unica variabile di prova. Concettualmente, Carie separa Maldidenti e Prende. Con senso più generale, quando si hanno più effetti, tutti condizionalmente indipendenti data la causa, la distribuzione congiunta completa può essere riscritta come: 3

4 Una tale distribuzione di probabilità prende il nome di modello di Bayes ingenuo: la sua ingenuità è dovuta al fatto che viene spesso usata anche in casi in cui le variabili indicate come effetti non sono condizionalmente indipendenti data la causa. Reti Bayesiane La distribuzione di probabilità congiunta completa può rispondere a qualsiasi domanda riguardante il dominio, ma diventa intrattabilmente grande al crescere del numero di variabili. Le relazioni di indipendenza assoluta e condizionale tra le variabili possono ridurre drasticamente il numero di probabilità che devono essere specificate per definire la distribuzione congiunta completa. Una rete bayesiana è una notazione grafica che consente di rappresentare sia la distribuzione congiunta completa di probabilità che le condizioni di indipendenza tra le v.a. Essenzialmente, è un grafo orientato aciclico DAG in cui ogni nodo è un v.a. e gli archi collegano coppie di nodi, ad indicare relazioni di parentela padre-figlio. Ogni nodo X i ha una distribuzione di probabilità condizionata P(X i Genitori(X i )) che quantifica gli effetti dei genitori. La topologia della rete deve essere espressa da un esperto di dominio. In figura abbiamo una rete bayesiana per l'esempio della carie. Notiamo come venga evidenziata l indipendenza assoluta di CondizioniAtmosferiche dalle altre tre v.a. e l'indipendenza condizionale di Maldidenti e Prende data Carie. Una volta definita la topologia della rete rimane da specificare la distribuzione di probabilità condizionata di ogni variabile dati i suoi genitori. Consideriamo un nuovo esempio. Abbiamo un antifurto in casa abbastanza affidabile, ma che occasionalmente risponde anche a piccoli terremoti. Abbiamo due vicini, John e Mary, che hanno promesso di telefonarci quando sentono suonare l'allarme. John quando sente l'allarme chiama sempre, ma qualche volta si confonde e scambia lo squillo del telefono in casa nostra per l'allarme. Mary ama ascoltare musica ad alto volume e può capitare che non senta suonare l'allarme. Prendendo come prove le telefonate degli amici, vorremmo stimare la probabilità di intrusione. Notiamo che i furti e i terremoti influenzano direttamente la probabilità che scatti l'allarme, e le telefonate di John e Mary dipendono esclusivamente da quest'ultimo. Ogni distribuzione condizionata viene rappresentata mediante una tabella delle probabilità condizionate o CPT (usata per v.a. discrete). Un nodo senza genitori ha la CPT con una sola riga, che riporta le probabilità a priori di ogni possibile valore (se booleana basta un solo valore). La distribuzione congiunta completa può essere rappresentata come produttoria di probabilità condizionate dei singoli nodi, attraverso la formula in figura (semantica globale). Così, ogni elemento della congiunta è rappresentato dal prodotto degli elementi appropriati nelle CPT. Quindi le CPT sono una rappresentazione suddivisa della distribuzione congiunta. Poiché una rete bayesiana è una rappresentazione della congiunta completa, può essere usata per rispondere a qualsiasi query. In realtà nella produttoria non dovrebbe essere presente la probabilità condizionata ai soli genitori di X i ma, per la regola della catena, quella condizionata a tutti i nodi che precedono i, ossia da 1 a i-1. Questa rappresentazione però va bene purchè il nodo X i sia condizionalmente indipendente dai suoi predecessori (i nodi da 1 a i-1 escluso i genitori) dati i suoi genitori. Infatti: P(MaryTelefona JohnTelefona,Allarme,Terremoto,In trusione) = P(MaryTelefona Allarme) Le reti bayesiane hanno una proprietà di compattezza tipica dei sistemi localmente strutturati. In tali sistemi, ogni elemento interagisce solo con pochi altri 4

5 componenti, indipendentemente dal loro numero totale. La strutturazione locale fa si che la crescita della complessità del sistema sia lineare anziché esponenziale. Supponiamo che ogni v.a. sia influenzata direttamente da altre k v.a. su un totale di n v.a. booleane. Per specificare ogni CPT occorrono 2 k valori, mentre per la rete completa n2 k. Se n=30, k=5 la rete bayesiana richiede 960 valori, mentre la congiunta completa oltre un miliardo. Un altro aspetto importante è l'ordine con cui aggiungere nodi alla rete. Quello corretto prevede di partire dalle cause radici del dominio, passando poi alle variabili da esse influenzate, e cosi via fino a raggiungere le foglie, che non hanno alcuna influenza causale diretta su alcuna altra variabile. Questo procedimento consente di specificare meno valori, che spesso sono più facili da determinare rispetto al caso in cui si utilizzano ordinamenti non causali. Utilizzando ordinamenti non causali si ottengono sempre rappresentazioni della stessa congiunta completa senza però sfruttare le relazioni di indipendenza condizionale, le quali semplificano notevolmente la struttura. Abbiamo visto che la congiunta completa può essere espressa come produttoria di probabilità condizionate, dei singoli nodi, ai propri genitori. Questa affermazione può essere espressa in forma topologica, dicendo che un nodo è condizionalmente indipendente dai suoi non-discendenti, dati i suoi genitori. Ad esempio, JohnTelefona è indipendente da Intrusione e Terremoto, dato il valore di Allarme. Si parla in questo caso di semantica locale. Una forma equivalente della semantica locale è: un nodo è condizionalmente indipendente da tutti gli altri nodi nella rete, dati i suoi genitori, i suoi figli e tutti i genitori dei figli: ovvero, data la sua coperta di Markov. Ad esempio, Intrusione è condizionalmente indipendente da JohnTelefona e MaryTelefona dati Allarme e Terremoto. Sebbene le reti bayesiane sfruttino la strutturazione locale, riempire le CPT anche per valori piccoli di k può richiedere molti valori. Un modo per compattare ulteriormente le distribuzioni congiunte è quello di ricorrere alle rappresentazioni tramite distribuzioni canoniche, le quali richiedono pochi parametri da configurare. Questo può essere un modo per compattare le distribuzioni condizionate. Un altro metodo per ridurre il numero di parametri da specificare nelle CPT di una rete bayesiana, in modo da renderli lineari con il numero di genitori, è il modello della OR-rumorosa. Tale modello fa ricorso all'assunzione di indipendenza causale tra le varie cause (genitori) e l'effetto comune (figlio); ossia si ipotizza che le varie cause non interagiscano tra loro. Il termine rumorosa riflette il fatto che l'interazione tra le cause e l'effetto non è deterministica, e quindi è ammessa la presenza dell'effetto in assenza di qualsiasi causa modellata. Nella pratica infatti è spesso impossibile modellare tutte le possibili cause di un effetto. Per ovviare a questo problema Max Henrion suggerì un'estensione di questo modello che facesse ricorso al concetto di leak, da considerare come una delle cause dell'effetto. Quindi, tale modello esteso, considerate le possibili cause X 1,X 2,...,X N, di un effetto Y, assume che ogni causa X i ha una certa probabilità di produrre l'effetto in assenza di tutte le altre cause e ogni causa è sufficientemente indipendente dalla presenza delle altre cause, ossia: È stato dimostrato che la probabilità dell'effetto Y sia verificato, dato un sottoinsieme di cause X p, è: Pertanto, per poter calcolare tutti i valori delle CPT basta calcolare tutte le p i, che sono in numero lineari con il numero di genitori. Infine si definisce la probabilità leak p 0 come Spesso nei problemi che si affrontano si ha a che fare non solo con variabili discrete ma anche con quelle continue. Un modo per gestirle è quello di trasformarle in discrete tramite un processo di discretizzazione, che consiste in possibili valori assumibili in un insieme di intervalli a cui far corrispondere un unico valore. Ciò comunque porta ad una perdita di informazione e alla creazione di CPT molto grandi. Un'altra soluzione è quella di definire le CPT tramite distribuzioni canoniche, che richiedono un numero limitato di parametri da settare. Una rete che contiene sia variabili discrete che continue viene detta ibrida. Le situazioni nuove da gestire sono quelle che prevedono una variabile continua con genitori discreti o continui e variabili discrete dati genitori continui. Consideriamo il caso in cui un cliente acquista della frutta a seconda del suo costo, che a 5

6 sua volta dipende dalle dimensioni del raccolto e dal fatto che siano disponibili o meno i sussidi governativi. La variabile Costo è continua e ha genitore continuo (Raccolto) e discreto (Sussidio). La variabile Acquista è discreta e ha un genitore continuo. Pertanto, per la variabile Costo andrà specificata la distribuzione condizionata ai due genitori. Il genitore discreto è gestito tramite enumerazione, e quindi vengono generate due distribuzioni P(Costo Raccolto,sussidio) e P(Costo Raccolto,~ sussidio). Per esplicitare queste due distribuzioni ricorriamo ad una distribuzione canonica, quella gaussiana lineare; attraverso cui esplicitiamo la dipendenza del costo c dal valore del Raccolto h. Notiamo che il prezzo diminuisce all'aumentare del raccolto. Ad un certo punto diventerà negativo, a causa della linearità del modello. La validità del modello però è verificata solo se le dimensioni del raccolto variano in un intervallo ragionevolmente piccolo. Nella figura c è presente la media calcolata sui due possibili valori di Sussidio. Se una rete presenta solo variabili con distribuzioni gaussiane lineari, allora la distribuzione congiunta completa è una gaussiana multivariata. Consideriamo il caso di una variabile discreta con genitore continuo. Consideriamo il nodo Acquista. Il cliente acquisterà se il costo è basso e non lo farà se è alto. Per avere un comportamento morbido, si utilizza come distribuzione condizionata l'integrale della normale standard (gaussiana a media nulla e varianza unitaria): Utilizzando questa distribuzione la probabilità di acquisto è P(acquista Costo=c)=Φ((-c+μ)/σ). Quindi la soglia che determina l'acquisto o meno del prodotto si trova in un intorno della media μ di ampiezza σ. Questa distribuzione prende il nome probit e la soglia può essere vista come un valore ben definito soggetto ad un rumore gaussiano casuale. Un'alternativa alla distribuzione probit è quella logit, definita per mezzo della funzione sigmoidale, ossia: Graficamente gli andamenti delle due distribuzioni sono molto simili, ma quella logit presenta code molto più lunghe. Sia la probit che la logit possono essere generalizzate per gestire più genitori continui, prendendo una combinazione lineare dei loro valori. In figura esempi di funzione probit e logit per μ=6,0 e σ=1,0. 6