Modelli Probabilistici per la Computazione Affettiva: Reti di Markov

Transcript

1 Modelli Probabilistici per la Computazione Affettiva: Reti di Markov Corso di Modelli di Computazione Affettiva Prof. Giuseppe Boccignone Dipartimento di Informatica Università di Milano Modelli grafici probabilistici //rappresentazione: PGM indiretti o di Markov Grafo diretto (Rete Bayesiana) Grafo indiretto

2 //fattorizzazione Quattro studenti che studiano a coppie: X={A,B,C,D} è VA binaria x 1 = ha un concetto sbagliato x 0 = non ha un concetto sbagliato La distribuzione P vogliamo che soddisfi (solo) le indipendenze //fattorizzazione Definiamo i seguenti fattori ovvero le funzioni maggiore il valore di maggiore l affinità tra x i e x j

3 //fattorizzazione //MRF Reti di Markov pairwise (Markov Random Field, MRF): un PGM solo potenziali di nodo o di coppie di nodi (potenziale di arco) in cui ho

4 //MRF //MRF

5 //fattorizzazione Possiamo reinterpretare la proprietà di fattorizzazione di un BN in termini di prodotto di fattori Come possiamo caratterizzare in generale la fattorizzazione su un MN? Distribuzione di Gibbs //Distribuzione di Gibbs Fattori Distribuzione di Gibbs Prodotto fattori non normalizzato Funzione di partizione

6 //Indipendenza e fattorizzazione P fattorizza su MN, se esiste tale che è il grafo indotto per sottografi completi : ogni coppia di nodi è connessa da un edge Clique (cricca) //Indipendenza e fattorizzazione Come nel caso BN si tratta di comprendere la relazione fra proprietà di indipendenza e fattorizzazione Ricordiamo la definizione Idea generale: insieme delle asserzioni di indipendenza valide per P P fattorizza nella forma: INDIPENDENZA FATTORIZZAZIONE

7 //Flusso di influenza Il flusso di influenza è libero di percorrere qualsiasi cammino indipendentemente dalla forma dei fattori Un trail è attivo se nessun nodo del trail è nell insieme Z dei nodi osservati //separazione Separazione su MN: un insieme di nodi Z separa X e Y in H se non ci sono cammini attivi tra nessun nodo e dato Z Le indipendenze (globali) associate al grafo H sono riunite nell insieme Z ={D,B} A e C separati Z ={A, C} D e B separati

8 //separazione: Markov Blanquet Indipendenza locale: si introduce il concetto di coperta di Markov (Markov Blanquet, MB). U è la MB di X sul grafo H per una distribuzione P, se U è l insieme minimale di nodi tale che = //separazione Indipendenza locale: definito con coperta di Markov (Markov Blanquet). Si noti che per MN, per qualunque P

9 //Fattorizzazione e indipendenza Fattorizzazione Indipendenza Teorema (proprietà di validità o soundness): P di Gibbs fattorizza su H Teorema P di Gibbs fattorizza su H H è una I-map per P Modelli grafici probabilistici //Fattorizzazione e indipendenza Fattorizzazione Indipendenza Teorema (Hammersley-Clifford): P distribuzione (positiva) H è una I-map per P P è una distribuzione di Gibbs che fattorizza su H: Diamo due definizioni su un generico grafo K (sia BN che Markov): K è una I-map minimale per un insieme di indipendenze I se è una I-map per I e se rimuovendo anche un solo arco K non è più I-map K è una mappa perfetta (P-map) per un insieme di indipendenze I se I(K) = I(P)

10 Relazioni fra MN e BN MN -> BN: in genere se ci sono loop, occorre aggiungere edge è P-map I(H) = I(P) non è I-map non è I-map è I-map non è P-map Relazioni fra MN e BN BN -> MN: perdo le indipendenze nelle v-structure trail attivo tra X e Y trail non attivo tra X e Y

11 Modelli log-lineari Per rendere più esplicite le tipologie delle strutture utilizzate è possibile riparametrizzare i fattori in termini di funzioni di energia La distribuzione di Gibbs (Boltzmann) diventa La probabilità di uno stato fisico del sistema è inversamente proporzionale all energia del sistema Modelli log-lineari Definiamo i nuovi fattori: le funzioni,

12 Modelli log-lineari //esempio: rappresentazione di una tabella Modelli log-lineari //Modello di Ising

13 Modelli log-lineari //Modello di Ising ferromagnetica antiferromagnetica Modelli log-lineari //MRF metrici Abbiamo che assumono valori in uno spazio di labels Imponiamo un vincolo di smoothness: superpixel adiacenti assumono la stessa label metrica o semi-metrica Riflessività Simmetria Diseguaglianza triangolare

14 Modelli log-lineari //MRF metrici Abbiamo che assumono valori in uno spazio di labels Imponiamo un vincolo di smoothness superpixel adiacenti assumono la stessa label metrica o semi-metrica La massimizzazione MAP per trovare il labelling ottimo corrisponde al minimo di energia Modelli log-lineari //MRF metrici Esempi di metriche altrimenti vk-vl soglia

15 //Conditional Random Fields //Conditional Random Fields

16 Esempio //CRF: Naive Markov (modello logistico) Decidiamo se Obama è allegro (Y=1) o triste (Y=0) Y w1 w2 w3 w0 X1 X2 X3 classificazione logistica (modello discriminativo)

17 labelling feature extraction learning prediction