Richiami di teoria della probabilitá e Modelli Grafici

Transcript

1 Modelli di computazione affettiva e comportamentale Data: 23 Aprile 2010 Richiami di teoria della probabilitá e Modelli Grafici Docente: Prof. Giuseppe Boccignone Scriba: Matteo Battistini 1 Richiami di teoria delle probabilitá Ricordiamo che in generale si utilizza la notazione P per indicare la probabilitá discreta e p la probabilitá continua. Laddove non vi sia situazione di ambiguit le utilizzeremo indifferentemente. Gli eventi x, y si definiscono condizionalmente indipendenti se: P (x y, H) = P (x H) (1) L equazione 1 rappresenta la proprietá che avvenga un dato evento x posto come giá accaduto y, in relazione alle ipotesi H Ricordiamo che da un punto di vista Bayesiano: Non si fanno inferenze senza ipotesi. Dunque assumeremo queste come sempre presenti, anche quando, per semplicitá notazionale non le indichiamo esplicitamente. In questo caso essendo x e y condizionalmente indipendenti il risultato e dato dalla sola probabilitá che avvenga l evento x. La probabiliá condizionata si ricava dalla seguente formula: P (x y, H) = P (x, y H) P (y H) (2) Dalla (2) si puó ricavare la regola del prodotto: P (x, y H) = P (x y, H)P (y H) (3) Nel caso x e y siano condizionalmente indipendenti (3) puó essere semplificata come: P (x, y H) = P (x H)P (y H) (4) Due eventi si definiscono mutuamenti escusivi se la probabilitá congiunta é uguale a 0. P (x, y H) = 0 (5) Dalla probabilitá congiunta é possibile ricavare la probabilitá marginale. 1

2 2 Richiami di teoria della probabilitá e Modelli Grafici P (x H) = y P (x, y H) (6) che, tramite la regola del prodotto, puó essere anche scritta come: P (x H) = y P (x, y H) = y P (x y, H)P (y H) (7) ovvero, nel caso continuo : P (x H) = P (x, y H)dy (8) y 2 Introduzione ai modelli grafici Consideriamo un esempio concreto. Analizziamo quale sia la probabilitá che il mal di denti sia derivato, o meno, dalle carie. Esprimiamo le probabilitá tramite una tabella. Eventi Mal di denti No mal di denti Carie No carie Tabella 1: Tabella della probabilitá congiunta P (carie, maldidenti) Diamo una breve spiegazione su come deve essere interpretata la tabella; il valore 0.12 identifica la probabilitá congiunta di avere carie e mal di denti, in linguaggio formale P (carie, maldidenti) = Denotiamo ora con la variabile C l asserzione che sia o non sia presente una carie. Dunque, i valori che assume C sono nell insieme 1,0 dove uno rappresenta la presenza di carie (C = carie) e 0 l assenza di carie (C = noncarie) Di seguito verranno riportati alcuni esempi che mostrano come calcolare le probabilitá tramite marginalizzazione. Esempio 1: Qual é la probabilitá di avere le carie ovvero l evento {P (C = 1)}? Tramite marginalizzazione si calcola P (C = 1, M) con M {0, 1} (non avere o avere il mal di denti). M P (C = 1) = M P (C = 1, M) = P (C = 1, M = 1) + P (C = 1, M = 0) = = 0.2 (9) Esempio 2: Qualeé la probabilitá di non avere le carie, {P (C = 0)}?. P (C = 1) = M P (C = 0, M) = P (C = 0, M = 1) + P (C = 0, M = 0) = = 0.8 (10) La probabilitá marginale prende questo nome perché i suoi risultati potrebbero essere scritti ai margini della tabella calcolando le somme sulle righe o sulle colonne, come mostrato in Tabella 2.

3 Richiami di teoria della probabilitá e Modelli Grafici 3 Eventi Mal di denti No mal di denti P marginale Carie No carie P marginale Tabella 2: Probabilitá marginale La probabilitá condizionata puó essere espressa anche attraverso un modello grafico: questo permette di schematizzare l osservazione e rappresentare le relazioni di dipendenza tra i vari eventi. Nella Figura 1 a) viene rappresentata tramite modello grafico la seguente osservazione: data una caria qual é la probabiltá di avere mal di denti, formalmente P (M = 1 C = 1) (si noti che la variabile osservata sulla quale condiziono a livello grafico viene scurita). Essendo tale probabilitá condizionata la soluzione si ricava da (2), il risultat sará 0.12/0.2, Lo stesso risultato si ricava condizionando sul mal di denti, vedi Figura 1 b). Figura 1: Modello grafico: a) puó essere utilizzato per calcolare P (M = 1 C = 1) b)il modello graico inverso per calcolare P (C = 1 M = 1). Il problema principale del calcolo della probabiliá Bayesiana, é dato del calcolo della congiunta: infatti dati N possibili stati ed M possibili condizioni il numero di calcoli da compiere aumenterá in modo esponenziale M N. Nell esempio precedente abbiamo solo due condizioni e due possibili stati. 3 Inferire variabili, modelli e parametri Assumiamo la seguente rappresentazione: y = dati osservati. H = M = ipotesi, quindi la rappresentazione di un modello. θ = parametri del modello La probalilitá di un dato evento sará data P (y θ, M), quindi le inferenze definite nell esempio precedente dovrebbero essere P (C, M θ, M), in questo caso parametri e modello sono noti, sono definiti tramite la tabella delle probabiliá.

4 4 Richiami di teoria della probabilitá e Modelli Grafici 3.1 Livello 1: Inferire il modello L inferenza del modello implica quindi il calcolo della probabilitá condizionata sui dati osservati, detta anche probabilitá a posteriori dove, P (M y) = P (y M)P (M) P (y) (11) P (y M) = P (y, θ M)dθ = P (y θ, M)P (θ M)d (12) 3.2 Livello 2: Inferenza sui parametri Dato un modello M si puó inferire l insieme dei parametri del modello, essendo i parametri rappresentati da θ. E importante notare che in un contesto Bayesiano i parametri sono variabili aleatorie che danno origine ad una distribuzione di probabilit. Il learning dei parametri in tale contesto dunque ricondotto ad un problema di inferenza della P (θ y, M), P (θ y, M) = P (y θ, M)P (θ, M) P (y M) (13) seguito da una decisione sulla distribuzione a posteriori. Per un numero molto elevato di osservazioni i valori di probabilitá bayesiana e quella frequentistica convergono, mentre per campioni sparsi, il valore della probabilitá bayesiana é migliore perché tiene conto della probabilitá a priori sui paramentri P (θ M). Si noti come il fattore di normalizzazione (l evidenza marginale) P (y M) sia necessario qualora si voglia calcolare l eq.12 per inferire il modello. Inoltre: P (y θ, M) = x P (y, x θ, M)dx = x P (y x,, M)P (x θ, M)dx (14) 3.3 Livello 3: Inferire variabili Si supponga il seguente modello generativo in cui le osservazioni y sono generate da uno stato nascosto x: Nel modello generativo rappresentato in Fig. 2 posso definire P (y x) se sono conosciuti il modello M e i parametri θ. Si supponga per esempio che x rappresenti uno stato emotivo, e y un espressione facciale osservata. Se volessi determinare lo stato emotivo nascosto x conoscendo modello e parametri dovrei utilizzare la formula di Bayes: P (y x, θ, M)P (x θ, M) P (x y, θ, y, M) = (15) P (y θ, M) In altri termini, si possono riconoscere stati emotivi, conoscendo modello e parametri; nel caso non si fosse in possesso dei parametri si utilizza (13) per il learning dei parametri, nel caso in cui vi siano molti modelli e si debba identificare quello maggiormente efficace per lo specifico caso si utilizza (11), calcolata rispetto a

5 Richiami di teoria della probabilitá e Modelli Grafici 5 Figura 2: Modello grafico: P (y x). tutti i possibili parametri. Questo permette di fare inferenze su inferenze, per la definizione di un modello. 4 Graphical Models Un Modello grafico viene utilizzato per la definizione dei rapporti di dipendenza tra le variabili del modello: infatti, tramite il modello grafico é possibile definire le proprietá condizionate. Nel caso pi semplice modello grafico non é altro che un grafo diretto G = {V, E}. Figura 3: Modello grafico. 5 Vincoli fisici I vincoli fisici del problema servono a definire le frecce di condizionamento, e dunque a scegliere lo sviluppo della probabilit congiunta mediante la regola del prodotto. Verrá mostrato come definire una probabilitá condizionata nel rispetto dei vincoli fisici, tramite un esempio. Alice si sveglia la mattina e trova il prato del giardino bagnato, vuole capire se é bagnato perché é piovuto o perché si é dimenticata l irrigatore aperto durante la notte. Osserva i prato di Bob, il suo vicino, anche

6 6 Richiami di teoria della probabilitá e Modelli Grafici questo e bagnato e si chiede se sia dovuto alla pioggia o al fatto che anche Bob si sia dimenticato l irrigatore aperto. passo 1: identificare le variabili: Eventi Variabili Prato di Alice bagnato A = 1, A {0, 1} Prato di Bob bagnato B = 1, B {0, 1} Piovuto P = 1, P {0, 1} Irrigatore aperto I = 1, I {0, 1} Tabella 3: Tabella delle Variabili passo 2: identificare la congiunta (probabilitá di tutto): P (A, B, P, I) = 2 4 = 16 possibili stati usando la regola del prodotto, si verifica che gli stati effettivi sono 2 n 1. Dimostrazione P (A, B, P, I) = P (A B, P ; I)P (B, P, I) = P (A B, P ; I)P (B P, I)P (P, I) = P (A B, P ; I)P (B P, I)P (P I)P (I) passo 3: Considerare i vincoli fisici dati dal modello: P (A B, P, I) = P (A P, I) la probabilitá che il prato di Alice sia bagnato non dipenderá dalle condizioni del prato di Bob. P (B P, I) = P (B P ) la probabilitá che il prato di Bob sa bagnato non puó dipendere dell irrigatore di Alice. P (P I) = P (P ) La probabilitá che sia piovuto non puó dipendere dall irrigatore di Alice. Sotto questi vincoli fisici posso definire il modello, che graficamente puó essere rappresentato come in Figura fig:modello Grafico.

7 Richiami di teoria della probabilitá e Modelli Grafici 7 Figura 4: Modello grafico nel rispetto dei vincoli fisici.