Expectation Maximization

Transcript

1 Expectation Maximization I. Frosio A.A /54

2 Overview Stima di due rette (riassunto) Minimizzazione: metodi di ordine zero (simplesso, ) Minimizzazione: metodi di primo ordine (gradiente, ) Minimizzazione: metodi di secondo ordine (Newton, ) EM, conoscenze preliminari: disuguaglianza di Jensen, EM, conoscenze preliminari: teorema di Bayes EM: derivazione EM: applicazione al problema di stima delle due rette A.A /54

3 Stima di due rette (riassunto) Si vogliono stimare i coefficienti angolari di due rette passanti per l origine. I dati misurati yi possono provenire dall una o dall altra retta con la stessa probabilità. Sui dati misurati è presente rumore gaussiano con varianza s. A.A /54

4 Stima di due rette (riassunto) Scriviamo la funzione di verosimiglianza: p yi P1 G m1 xi, s P G m xi, s G, s 1 e s 1 x s In pratica un punto yi può provenire dalla retta 1 con probabilità P1 o dalla retta con probabilità P. In ciascuno dei due casi il punto misurato ha una distribuzione gaussiana centrata sulla retta stessa. A.A /54

5 Stima di due rette (riassunto) Calcolo il logaritmo negativo della verosimiglianza: f m1, m ln pyi p j N i1 ln xi, s P1 p i1 1 N N ln P1 Gm1 xi, s P Gm xi, s xi, s P p xi, s 1 e s 1 xm jxi s i1 Non può essere minimizzato analiticamente ponendo le derivate uguali a zero è necessario usare un algoritmo di minimizzazione iterativo. A.A /54

6 Minimizzazione: metodi di ordine 0 Strategia di base: Sia f(x) la funzione da minimizzare, x 0 la soluzione di partenza; La soluzione viene perturbata (x k+1 =x k +Dx) in modo più o meno furbo, testando diverse perturbazioni Dx. Per ogni perturbazione Dx si calcola la f(x k +Dx). Si sceglie la Dx tale per cui la f(x k +Dx) è minima e si aggiorna la soluzione (x k+1 =x k +Dx). Esempi: metodo del simplesso, simulated annealing, algoritmi genetici Se si utilizza un metodo di ordine 0 è necessario calcolare la sola f(x). Facile da implementare, bassa velocità di convergenza. A.A /54

7 Minimizzazione: metodi di ordine 0 f(x) Soluzioni perturbate f(x 0 ) x x 0 A.A /54

8 Minimizzazione: metodi di ordine 0 f(x) Soluzione scelta al passo 0 f(x 0 ) f(x 1 ) x x 0 x 1 A.A /54

9 Minimizzazione: metodi di ordine 1 Strategia di base: Sia f(x) la funzione da minimizzare, x 0 la soluzione di partenza; Si calcoli il gradiente della f in x k, J(x k ). La soluzione viene aggiornata utilizzando l informazione del gradiente. Nell ipotesi più semplice (metodo del gradiente), muovendosi nella direzione opposta rispetto al gradiente (x k+1 =x k -a J(x k ).) Esempi: metodo del gradiente, gradiente coniugato, Se si utilizza un metodo di ordine 1 è necessario calcolare la f(x) e J(x). Abbastanza facile da implementare, velocità di convergenza media (dipende dalla strategia adottata). Il parametro scalare a (learning rate) determina la velocità di convergenza e la stabilità del metodo => Se ad ogni passo a viene in qualche modo ottimizzato, si parla di LINE SEARCH (determinazione della lunghezza ottimale del passo). A.A /54

10 Minimizzazione: metodi di ordine 1 f(x) Gradiente, J(x 0 ) f(x 0 ) x x 0 A.A /54

11 Minimizzazione: metodi di ordine 1 f(x) Gradiente, J(x 0 ) f(x 0 ) aj(x 0 ) f(x 1 ) x x 0 x 1 A.A /54

12 Minimizzazione: metodi di ordine 1 Nel caso del problema delle due rette abbiamo già calcolato le derivate (si veda la lezione precedente). Utilizzando il metodo del gradiente, la soluzione può essere aggiornata come: mj k1 k f m1, m mj a mj mj k a N i1 Pj p xi p j x m xi j xi s xi (Esercizio implementazione Matlab del metodo del gradiente confronto con EM per vari valori di 0<a<1) A.A /54

13 Minimizzazione: metodi di ordine Strategia di base: Sia f(x) la funzione da minimizzare, x 0 la soluzione di partenza; L espansione in serie di Taylor arrestata al ordine di f(x) è la seguente: f(x k +Dx)=f(x k )+J(x k )(Dx)+1/(Dx) T H(x k )(Dx), dove H(x k ) è l Hessiano di f. L espansione in serie di Taylor dà un approssimazione locale della f(x). E possibile minimizzare analiticamente tale approssimazione; il minimo si ottiene derivando e ponendo la derivata uguale a zero (metodo di Newton): J(x k )+H(x k )(Dx)=0 Dx = -H(x k ) -1 J(x k ) E oneroso calcolare l hessiano, velocità di convergenza alta. A.A /54

14 Minimizzazione: metodi di ordine f(x) f(x 0 ) x x 0 A.A /54

15 Minimizzazione: metodi di ordine f(x) f(x 0 ) f(x 1 ) x x 0 x 1 A.A /54

16 Minimizzazione metodi iterativi (riassunto) Quando la funzione da minimizzare è fortemente non lineare, è necessario ricorrere ad un metodo iterativo. Si fanno delle ipotesi sull andamento locale della f(x) e si aggiorna la soluzione x in modo da garantire che la f(x) decresca, fino al raggiungimento di un minimo locale. I metodi di ordine 0 utilizzano il calcolo della sola f(x) per studiarne l andamento locale e scegliere l aggiornamento della soluzione facili da implementare, lenti nella convergenza. I metodi di ordine 1 utilizzano anche il gradiente per studiare l andamento locale della soluzione discretamente complessi, velocità di convergenza media. I metodi di ordine utilizzano anche l hessiano per descrivere con maggior cura l andamento locale della soluzione (funzione surrogato ) e minimizzano ad ogni iterazione la funzione surrogato invece della f(x) il calcolo dell hessiano è complesso, velocità di convergenza alta. A.A /54

17 Expectation Maximization (EM) Una procedura iterativa ed efficiente per il calcolo della stima alla massima verosimiglianza, nel caso di dati mancanti / nascosti. Paragonabile come complessità computazionale ad un metodo di ordine 1, utilizza però una funzione surrogato (Expectation) per la massimizzazione della verosimiglianza ad ogni iterazione. Ad ogni iterazione: -> stima dei dati mancanti sulla base dei dati osservati e della stima attuale dei parametri; costruzione della funzione surrogato (Expectation); -> massimizzazione della funzione surrogato (e quindi della verosimiglianza) sotto l ipotesi che i dati mancanti siano noti. A.A /54

18 Prima di derivare EM... (Jensen) Per la derivazione di EM abbiamo bisogno di richiamare la e di dimostrare la ; Convessità: una funzione f(x) si dice convessa nell intervallo [a,b] se, x 1, x in [a,b], l[0,1]: f(lx 1 +(1- l)x ) lf(x 1 )+(1-l)f( x ); f (x)<0 -> f(x) è concava. d [ln(x)]/dx = -1/x < 0 -> ln(x) è concava, -ln(x) è convessa. lf(x 1 )+(1-l)f( x ) f(lx 1 +(1-l)x ) a x 1 lx 1 +(1-l)x x b A.A /54

19 Prima di derivare EM... (Jensen) Estendendo la nozione di convessità a più di due punti, si dimostra la disuguaglianza di Jensen; Sia f una funzione convessa definita nell intervallo [a,b]; siano x 1, x,..., x N [a,b]; siano l 1, l,..., l N 0 tali che i=1..n l i = 1; allora: f( i=1..n l i x i ) i=1..n l i f(x i ); Dimostrazione per induzione della disuguaglianza di Jensen: 1) dimostriamo che è vera per N=1; ) dimostriamo che, se è vera per N, allora è vera per N+1. A.A /54

20 Prima di derivare EM... (Jensen) Sia f una funzione convessa definita nell intervallo [a,b]; siano x 1, x,..., x N [a,b]; siano l 1, l,..., l N 0 tali che i=1..n l i = 1; allora: f( i=1..n l i x i ) i=1..n l i f(x i ); Per N=1, l 1 =1, f(1 x i ) 1 f(x i ); Per N=, f(lx 1 +(1-l)x ) lf(x 1 )+(1- l)f(x ) (direttamente dalla nozione di convessità). A.A /54

21 Prima di derivare EM... (Jensen) Sia f una funzione convessa definita nell intervallo [a,b]; siano x 1, x,..., x N [a,b]; siano l 1, l,..., l N 0 tali che i=1..n l i = 1; allora: f( i=1..n l i x i ) i=1..n l i f(x i ); Assumiamo che la disuguaglianza sia valida per un certo N, allora: f( i=1..n+1 l i x i ) = f(l N+1 x N+1 + i=1..n l i x i ) = f(l N+1 x N+1 + (1-l N+1 )/(1-l N+1 ) i=1..n l i x i ) l N+1 f(x N+1 ) + (1-l N+1 ) f[1/(1-l N+1 ) i=1..n l i x i ] f convessa l N+1 +(1-l N+1 )=1 A.A /54

22 Prima di derivare EM... (Jensen) Sia f una funzione convessa definita nell intervallo [a,b]; siano x 1, x,..., x N [a,b]; siano l 1, l,..., l N 0 tali che i=1..n l i = 1; allora: f( i=1..n l i x i ) i=1..n l i f(x i ); f( i=1..n+1 l i x i ) Disug. vera per N i=1..n l i /(1-l N+1 ) =1 l N+1 f(x N+1 ) + (1-l N+1 ) f[1/(1-l N+1 ) i=1..n l i x i ] = l N+1 f(x N+1 ) + (1-l N+1 ) f[ i=1..n l i /(1-l N+1 ) x i ] l N+1 f(x N+1 ) + (1-l N+1 ) i=1..n l i /(1-l N+1 ) f(x i ) = l N+1 f(x N+1 ) + i=1..n l i f(x i ) = i=1..n+1 l i f(x i ) QED A.A /54

23 Prima di derivare EM... (Jensen) Possiamo applicare la disugaglianza di Jensen al caso della funzione logaritmica, quindi: ln( i=1..n l i x i ) i=1..n l i ln(x i ); Possiamo quindi costruire un minorante per il logaritmo di una somma (att.ne, ln(x) è concavo => -ln(x) è convesso...) L espressione a destra è sempre minore dell espressione a sinistra massimizzare a destra implicare massimizzare a sinistra (tale proprietà verrà utilizzata in EM). A.A /54

24 Prima di derivare EM... (Bayes) Abbiamo due scatole, una blu e una arancione; Le scatole contengono triangoli verdi e cerchi rossi, come mostrato in figura; Sappiamo che è stato estratto un cerchio rosso, senza sapere da quale scatola; Siano P(A)=0.3 e P(B)=0.7 le probabilità (date a priori) di scegliere rispettivamente la scatola arancione o la scatola blu; Quale è la probabilità che il cerchio rosso estratto provenga dalla scatola arancione? A.A /54

25 Prima di derivare EM... (Bayes) R -> Cerchio rosso V -> Triangolo verde P(B)=0.7 P(A)=0.3 Quale è la probabilità che il cerchio rosso estratto provenga dalla scatola arancione, P(A R)? Scriviamo la probabilità totale di estrarre un cerchio rosso: P(R) = P(R B)*P(B)+P(R A)*P(A) (1) Nella (1) non compare P(A R), quindi non riusciamo a risolvere il problema... A.A /54

26 Prima di derivare EM... (Bayes) Probabilità congiunta (i due eventi si verificano insieme) Teorema di Bayes Consideriamo due eventi A e B con probabilità P(A) e P(B); abbiamo: P(A,B) = P(A B)*P(B) P(A,B) = P(B A)*P(A) A B Quindi: A P(A B)*P(B) = P(B A)*P(A) => P(A B) = P(B A)*P(A) / P(B) [Bayes] B A.A /54

27 Prima di derivare EM... (Bayes) R -> Cerchio rosso V -> Triangolo verde P(B)=0.7 P(A)=0.3 P(A R)=? P(R) = P(R B)*P(B)+P(R A)*P(A) (1) P(A R) = P(R A)*P(A) / P(R)[Bayes] Dalla (1) + [Bayes] abbiamo: P(A R) = 0.5*0.3 / (0.66* *0.3) A.A /54

28 Prima di derivare EM... (Bayes) Il teorema si estende al caso continuo (densità di probabilità invece che eventi...): Analogia con il caso discreto... Probabilità congiunta di x e y [fx,y(x,y) = fx(x Y=y)*f(Y=y) = fy(y X=x)*f(X=x)] Probabilità a posteriori di x dato y Densità marginali per x e y, con fx(x) detta anche a priori A.A /54

29 Derivazione di EM X -> vettore di variabili casuali; p(x q n ) = i p(x i q n )-> probabilità di X dati i parametri q n (all n-esima iterazione ); f (q n ) = ln[l(x q n )] -> logaritmo della verosimiglianza; Vogliamo trovare una regola di aggiornamento dei parametri tale per cui: f(q n+1 ) > f(q n ) => => ln[p(x q n+1 )] - ln[p(x q n )] > 0 A.A /54

30 Derivazione di EM In alcuni problemi, esistono alcune variabili nascoste (non osservate) EM fornisce un framework naturale per la loro incusione; In altri casi, l introduzione di alcune variabili nascoste arbitrarie permette di semplificare la formulazione matematica del problema. Consideriamo quindi un vettore di variabili nascoste Z e riscriviamo la probabilità di misurare i dati X considerando le variabili nascoste Z: p(x q n ) = z [p(x z,q n ) p(z q n )] * * Per calcolare la probabilità di un dato x, devo considerare tutti i possibili valori che può assumere z... A.A /54

31 Derivazione di EM Utilizzando le variabili nascoste, vogliamo trovare una funzione H(q n+1,q n ) t.c. f(q n+1 ) f(q n ) + H(q n+1,q n ) e H(q n,q n ) = 0. All iterazione n-esima, q n è fissato, mentre q n+1 è incognito. Massimizzando H(q n+1,q n ), si massimizza la f(q n+1 )! A.A /54

32 f(q n+1 ) f(q n+1 )+H(q n+1,q n ) f(q n ) Derivazione di EM (e convergenza) Massimizzando H(q n+1,q n ) rispetto a q n+1, otteniamo un nuovo lower bound per f(q n+1 ) più alto del precedente! f(q) f(q)+h(q, q n ) H(q, q n ) q n q n+1 q A.A /54

33 Derivazione di EM Ad ogni iterazione la f deve crescere [f(q n+1 )>f(q n )]... f(q n+1 ) - f(q n ) = ln{ z [p(x z,q n+1 ) p(z q n+1 )]} ln[p(x q n )] = ln{ z [p(x z,q n+1 ) p(z q n+1 ) p(z X,q n )/p(z X,q n )]} ln[p(x q n )] = ln{ z [p(z X,q n ) p(x z,q n+1 ) p(z q n+1 ) /p(z X,q n )]} ln[p(x q n )]... [ con Jensen, l z = p(z X,q n ), z l z = 1, x z = p(x z,q n+1 ) p(z q n+1 ) /p(z X,q n ) ]... z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 ) /p(z X,q n )]} ln[p(x q n )] = z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 )]}- z {p(z X,q n ) ln[p(z X,q n )]}-ln[p(x q n )] f(q n+1 ) - f(q n ) z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 )]}- z {p(z X,q n ) ln[p(z X,q n )]}-ln[p(x q n )] A.A /54

34 Derivazione di EM Abbiamo quindi trovato: H(q n, q n+1 )= z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 )]}- z {p(z X,q n ) ln[p(z X,q n )]}-ln[p(x q n )] Verifichiamo che H(q n, q n ) = 0... H(q n,q n )= z {p(z X,q n ) ln[p(x z,q n ) p(z q n )]}- z {p(z X,q n ) ln[p(z X,q n )]}-ln[p(x q n )] =1 ln[p(x q n )] = z [p(z X,q n )] ln[p(x q n )] = z {p(z X,q n ) ln[p(x q n )]} H(q n, q n )= z (p(z X,q n ) ln[p(x z,q n ) p(z q n )/[p(z X,q n ) p(x q n )]}) =... [ ricordando che p(x,z q n )=p(x z,q n ) p(z q n )=p(z X,q n ) p(x q n ) ]... = z {p(z X,q n ) ln[p(x,z q n )/p(x,z q n )]} = z {p(z X,q n ) ln(1)} = 0 QED A.A /54

35 Derivazione di EM Per derivare il passo di aggiornamento dei parametri, dobbiamo dunque massimizzare H(q n+1,q n ) rispetto a q n+1. q n+1 = argmax q H(q,q n ). Nella massimizzazione, possiamo evitare di considerare i termini di H(q,q n ) non dipendenti da q [Q = H + cost]. H(q n, q n+1 )= Q(q,q n ) + cost = z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 )]}- z {p(z X,q n ) ln[p(z X,q n )]}-ln[p(x q n )]= q n+1 = argmax q z {p(z X,q n ) ln[p(x z,q n+1 ) p(z q n+1 )]} => q n+1 = argmax q z {p(z X,q n ) ln[p(x,z,q n+1 )]} A.A /54

36 Derivazione di EM Passo di aggiornamento: q n+1 = argmax q z {p(z X,q n ) ln[p(x,z,q n+1 )]} 1) Calcola il valore atteso (Expectation) di ln[p(x,z,q n+1 ), utilizzando le probabilità delle veriabili nascoste calcolate al passo precedente [p(z X,q n )]. ) Massimizza il valore atteso rispetto ai nuovi parametri q n+1 (Maximization). A.A /54

37 Cosa abbiamo guadagnato? Dalla problema di massimizzazione di f(q) siamo passati al problema di massimizzazione di Q(q). che non compaiono in f(q). Se scelte opportunamente, rispetto alla massimizzazione di f(q). EM permette inoltre di stimare il valore delle variabili nascoste. A.A /54

38 EM per la stima di due rette Tale problema ha una formulazione complessa, ma Se vengono inserite alcune variabili nascoste nel modello, la formulazione matematica del problema può essere semplificata. Nel caso della stima delle due rette Cosa succederebbe se ci fosse data l appartenenza di una misura yi all una o all altra retta? In tal caso il problema si ridurrebbe a due semplici problemi di stima di retta ai minimi quadrati. Per formulare EM, introduciamo delle variabili nascoste Z che descrivono l appartenenza di una misura yi alla retta 1 o alla retta. A.A /54

39 EM per la stima di due rette: funzione Q Dobbiamo massimizzare la media su Z del logaritmo della funzione di verosimiglianza, condizionata a Z: q Q old arg max Q q q q, old old p Z Y py Z q, q, q ln, q new Z Expectation Maximization A.A /54

40 EM per la stima di due rette: funzione Q Assumendo come variabile nascosta Z il fatto che cascun punto yi sia generato dall una o dall altra retta, otteniamo : Q old old q, q p Z Y, q lnpy, Z q old old p Z Y, m1, m lnpy, Z m1, m Z Z Costante [K(yi,j)] da calcolare nella fase di Expectation A.A /54

41 EM per la stima di due rette: Expectation Dal momento che le variabili nascoste non sono note, devono essere stimate a partire dai dati. Utilizzando il teorema di Bayes, e considerando un vettore di parametri stimato q old, possiamo stimare le probabilità delle Z, p(z Y, q old ). A.A /54

42 EM per la stima di due rette: Expectation Stimiamo le variabili nascoste utilizzando il teorema di Bayes: Probabilità che sia stata la retta J- esima a generare il dato y p J y Probabilità del dato y quando generato dalla componente J py J pj py Probabilità della componente J Probabilità del dato y A.A /54

43 EM per la stima di due rette: Expectation Specificando per nostro caso: p J yi P1 p p j yi Pj yi P p yi 1 La p(j yi) descrive il grado di appartenenza del dato yi alla retta j. All iterazione k-esima, può essere calcolato con i parametri m1, m dell iterazione stessa. A.A /54

44 EM per la stima di due rette: Maximization Ciò consente di costruire la funzione di Expectation, che verrà massimizzata ad ogni passo si richiede di massimizzare la media su Z del logaritmo della funzione di verosimiglianza: q Q old arg max Q q q q, old old p Z Y py Z q, q, q ln, q new Z Expectation Maximization A.A /54

45 EM per la stima di due rette: Maximization Q N i1 N i1 N i1 j1 j1 j1 k k k yi, jln p yi kyi, j i1 yi, jln kyi, j j 1 s N N i1 1 1 s s j1 j1 yi, jln kyi, jyi mj xi N i1 j1 ln 1 1 e s 1 yimjxi s yi mj xi s A.A /54

46 EM per la stima di due rette: Maximization Cerchiamo allora il massimo di Q (Maximization) per avere l aggiornamento della soluzione: N Q mj mj i1 1 0 s mj 1 s 1 s 1 s N i1 mj k N i1 k N i1 j1 N i1 k k yi, jln kyi, jyi mj xi j1 k yi, jyi mj xi yi, jyi mj xi yi, jyi mj xi xi yi, jyi mj xixi 1 1 s s N i1 j1 A.A /54

47 EM per la stima di due rette: Maximization Ponendo la derivata di Q uguale a zero Q mj N i1 N i1 k k mj 1 s yi, jyi mj xixi yi, jyi mj xixi N yi, jyi xi mjkyi, jxi N i1 N k i1 N i1 yi, jyi xi k k yi, jxi i Otteniamo le equazioni di aggiornamento per i parametri del modello secondo EM. A.A /54

48 EM per la stima di due rette: Maximization Analizzando la funzione di aggiornamento per EM mj N i1 N k i1 yi, jyi xi k yi, j xi I parametri vengono aggiornati secondo uno schema ai minimi quadrati pesati dai fattori k(yi,j) che descrivono l appartenenza di un dato alla retta 1 o alla retta. Vedere anche codice Matlab A.A /54

49 EM per la stima di due rette: interpretazione Discorso al limite per interpretare EM Si assegna un punto alla retta 1 o alla retta sulla base della distanza dalle due rette (expectation); Si risolvono i due problemi di stima ai minimi quadrati (facili! - maximization); Si itera fino a convergenza Ricorda qualcosa??? Nell EM reale l assegnazione è soft invece che hard. Vedere anche codice Matlab A.A /54

50 EM per la stima di due rette: esempio A.A /54

51 EM per la stima di due rette: esempio A.A /54

52 EM per la stima di due rette: esempio A.A /54

53 EM - riassunto La funzione di verosimiglianza può portare ad una minimizzazione complessa; Introducendo delle variabili nascoste Z nel modello la formulazione può essere semplificata; Il valore delle variabili nascoste Z viene ad esempio calcolato con il teorema di Bayes nella fase di costruzione della funzione di Expectation; Nel passo di Maximization, si massimizza la media su Z del logaritmo della verosimiglianza. A.A /54

54 Riferimenti Derivazione di EM per lo più ispirata a: (disponibile free in rete). Riferimento alternativo o per approfondimenti: Cristopher M. Bishop, Pattern Recognition and Machine Learning, Capitolo 9.4. A.A /54