1 Alcuni risultati sulle variabili Gaussiane multivariate

Transcript

1 Il modello lineare-gaussiano e il filtro di Kalman Prof. P.Dai Pra 1 Alcuni risultati sulle variabili Gaussiane multivariate In questo paragrafo verranno enunciate e dimostrate alcune proprietà del valor atteso condizionato per vettori Gaussiani. Ricordiamo che un vettore aleatorio X = (X 1,..., X n ) T si dice Gaussiano se la sua distribuzione coincide con quella di una trasformazione affine AY + m di un vettore Y = (Y 1,..., Y n ) T normale standard, cioè le cui componenti sono variabili Gaussiane indipendenti di media 0 e varianza 1. Nell espressione AY + m, A è una matrice n n e m è un vettore di dimensione n. Notare che, usando la notazione vettoriale, E(X) = AE(Y ) + m = m. La matrice di covarianza di X è E[(X m)(x m) T ] = Σ XX = AA T. Lemma 1 Sia (X, Y ) un vettore Gaussiano di dimensione n + m, con X di dimensione n e Y di dimensione m, con matrice di covarianza ( ) ΣXX Σ XY. Σ XY Σ Y Y Assumiamo che la matrice di covarianza Σ Y Y di Y sia invertibile. Allora, in notazione vettoriale, E(X Y ) = E(X) + Σ XY Σ 1 Y Y (Y E(Y )). (1) Di questo Lemma omettiamo la dimostrazione, piuttosto noiosa. È bene notare che E(X Y ) è una trasformazione affine di Y, e pertanto è un vettore Gaussiano. Lemma 2 Nelle ipotesi del Lemma 1, il vettore aleatorio X E(X Y ) è indipendente sia da Y che da E(X Y ). Dimostrazione. Mostriamo che X E(X Y ) e Y sono indipendenti. La dimostrazione che X E(X Y ) e E(X Y ) sono indipendenti è analoga. Per prima cosa osserviamo che il vettore (X E(X Y ), Y ) e una trasformazione lineare di (X, Y ), e dunque è Gaussiano. Ne segue che X E(X Y ) e Y sono indipendenti se e solo se, per ogni i = 1,..., n e j = 1,..., m, Cov((X i E(X i Y )), Y j ) = 0. Poichè E(X i E(X i Y )) = 0, l uguaglianza precedente equivale a E((X i E(X i Y ))Y j ) = 0 o, in notazione vettoriale, E[(X E(X Y ))Y T ] = 0. (2) Per mostrare (2) usiamo le proprietà del valor medio condizionato, che si estendono facilmente alla notazione vettoriale. E[(X E(X Y ))Y T ] = E[E[(X E(X Y ))Y T Y ]] = E[E[(X E(X Y )) Y ]Y T ] = 0. 1

2 Lemma 3 Sia (X, Y, Z) un vettore Gaussiano (X IR n, Y IR m, Z IR p ), tale che Y e Z sono indipendenti e con matrice di covarianza non degenere. Allora E(X Y, Z) = E(X Y ) + E(X Z) E(X). (3) Dimostrazione. La matrice di covarianza di (X, Y, Z) è della forma Σ XX Σ XY Σ XZ Σ XY Σ Y Y 0 Σ XZ 0 Σ ZZ. Usando la formula (1): E(X Y, Z) = E(X) + (Σ XY Σ XZ ) ( Σ 1 Y Y 0 0 Σ 1 ZZ ) ( Y E(Y ) Z E(Z) ) = E(X) + Σ XY Σ 1 Y Y (Y E(Y )) + Σ XZΣ 1 (Z E(Z)) e la conclusione segue usando ancora il Lemma 1. Il prossimo risultato e l estensione del Lemma 3 al caso in cui Y e Z non sono indipendenti. Lemma 4 Sia (X, Y, Z) un vettore Gaussiano per cui la matrice di covarianza di (Y, Z) è non degenere. Allora E(X Y, Z) = E(X Y ) + E(X Z E(Z Y )) E(X). (4) Dimostrazione. Si osservi anzitutto (Esercizio) che i vettori (Y, Z) e (Y, Z E(Z Y )) generano la stessa σ-algebra, e dunque ZZ E(X Y, Z) = E(X Y, Z E(Z Y )). (5) Inoltre, per il Lemma 2, le variabili Y e Z E(Z Y ) sono indipendenti. Il fatto che le loro matrici di covarianza siano non degeneri segue dal fatto che la matrice di covarianza di (Y, Z) è non degenere (Esercizio). A questo punto la conclusione segue da (5) e dal Lemma 3. 2 Il filtro di Kalman Per k 0 siano W k e V k dei vettori Gaussiani standard di dimensioni rispettivamente p e m, e sia X 0 un arbitrario vettore Gaussiano di dimensione n. Assumiamo che X 0, (W k ) k 0, (V k ) k 0 siano variabili indipendenti. Definiamo, ricorsivamente, le variabili casuali X k e Y k, di dimensioni n e m rispettivamente, come segue: X k+1 = AX k + BW k Y k = CX k + DV k (6) dove A, B, C, D sono matrici di dimensioni appropriate. Assumiamo che D sia non degenere. Nell interpretazione usuale, la prima delle equazioni (6) rappresenta l evoluzione a tempo discreto di un segnale X k non osservabile (stato), mentre Y k è un segnale osservabile (osservazione). W k rappresenta il disturbo sulla dinamica dello stato, V k il disturbo sull osservazione. Il problema del 2

3 filtraggio consiste nello stimare lo stato ad un certo tempo sulla base delle osservazioni passate, cioè nel calcolare i valori attesi condizionati E(X k Y 0,..., Y k ) E(X k Y k ). L informazione sull errore nella stima è contenuta nella matrice di covarianza Σ k k = E[(X k E(X k Y k ))(X k E(X k Y k )) T ]. Si noti che, data la linearità tanto della dinamica dello stato che dell osservazione e la Gaussianità dei disturbi e dello stato iniziale, il vettore (X k, Y 0,..., Y k ) è Gaussiano. Dunque, in linea di principio il calcolo di E(X k Y k ) può esser effettuato usando in Lemma 1. Tale calcolo diretto è tuttavia assai complesso (in particolare per k grande) in quanto richiede il calcolo e l inversione di matrici di covarianza di dimensione elevata. È perciò preferibile determinare una formula ricorsiva per E(X k Y k ). Prima di procedere si noti che (Esercizio), per ogni k > 0, W k è indipendente da X 0,..., X k, Y 0,..., Y k, e V k è indipendente da X 0,..., X k, Y 0,..., Y k 1. Una delle conseguenze di ciò è la seguente: E(X k+1 Y k ) = E(AX k + BW k Y k ) = AE(X k Y k ), (7) dove si è usato il fatto che, essendo W k indipendente da Y k, E(BW k Y k ) = E(BW k ) = 0. Tale argomento verrà piu volte usato in seguito, senza ulteriori commenti. La relazione (7) lega E(X k+1 Y k ) con E(X k Y k ). Per chiudere la ricursione, cerchiamo ora una relazione tra E(X k Y k ) e E(X k Y k 1 ). In quanto segue useremo la notazione Anzitutto, per il Lemma 4 Σ k k 1 = E[(X k E(X k Y k 1 ))(X k E(X k Y k 1 )) T ]. E(X k Y k ) = E(X k Y k 1, Y k ) = E(X k Y k 1 ) + E(X k Y k E(Y k Y k 1 )) E(X k ). (8) Il prossimo passo consiste nel calcolare E(X k Y k E(Y k Y k 1 )). A questo scopo calcoliamo la matrice di covarianza del vettore (X k, Y k E(Y k Y k 1 )). E{X k [Y k E(Y k Y k 1 )] T } = ove abbiamo anche usato il fatto che (Esercizio). Inoltre = E{X k [CX k + DV k CE(X k Y k 1 ) DE(V k Y k 1 )] T } = E{X k [C(X k E(X k Y k 1 ))] T } = E{[X k E(X k Y k 1 )][X k E(X k Y k 1 )] T }C T = Σ k k 1 C T, E{E(X k Y k 1 )[X k E(X k Y k 1 )] T } = 0 E{[Y k E(Y k Y k 1 )][Y k E(Y k Y k 1 )] T } = = E{[CX k +DV k CE(X k Y k 1 ) DE(V k Y k 1 )][CX k +DV k CE(X k Y k 1 ) DE(V k Y k 1 )] T } 3

4 = E{[C(X k E(X k Y k 1 ))][C(X k E(X k Y k 1 ))] T } + E(DV k V T k D T ) = CΣ k k 1 C T + DD T. A questo punto, possiamo usare la formula (1) con X = X k e Y = Y k E(Y k Y k 1 ) e ottenere E(X k Y k E(Y k Y k 1 )) = E(X k ) + Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 [Y k E(Y k Y k 1 )]. (9) Notare (Esercizio) che la matrice CΣ k k 1 C T + DD T è strettamente definita positiva, e dunque invertibile. Sostituendo quest ultima formula in (8), usando il semplice fatto che (Esercizio) e, infine, usando (7), otteniamo E(Y k Y k 1 ) = CE(X k Y k 1 ) E(X k Y k ) = AE(X k 1 Y k 1 ) + Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 [Y k CAE(X k 1 Y k 1 )]. (10) La (10) costituisce la prima equazione del filtro di Kalman. Essa non è conclusiva in quanto contiene la matrice Σ k k 1, che è a sua volta da calcolare ricorsivamente. La strategia consiste nell esprimere Σ k+1 k in termini di Σ k k, e quindi Σ k k in termini di Σ k k 1. Il primo passo è semplice: Σ k+1 k = E{[X k+1 E(X k+1 Y k )][X k+1 E(X k+1 Y k )] T } = E{[AX k + BW k E(AX k + BW k Y k )][AX k + BW k E(AX k + BW k Y k )] T } = E{[A(X k E(X k Y k )) + BW k ][A(X k E(X k Y k )) + BW k ] T } = AΣ k k A T + BB T. Riassumendo Inoltre, per il Lemma 4, Σ k+1 k = AΣ k k A T + BB T. (11) Σ k k = E{[X k E(X k Y k )][X k E(X k Y k )] T } = E{[X k E(X k Y k 1 ) E(X k Y k E(Y k Y k 1 )) + E(X k )] [X k E(X k Y k 1 ) E(X k Y k E(Y k Y k 1 )) + E(X k )] T } = Σ k k 1 + E{[E(X k Y k E(Y k Y k 1 )) E(X k )][E(X k Y k E(Y k Y k 1 )) E(X k )] T } E{[X k E(X k Y k 1 )][E(X k Y k E(Y k Y k 1 )) E(X k )] T } E{[E(X k Y k E(Y k Y k 1 )) E(X k )][X k E(X k Y k 1 )] T }. Ma E(X k Y k E(Y k Y k 1 )) l abbiamo già calcolato in (9). Sostituendo, otteniamo: Σ k k = Σ k k 1 + Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 E{[X k E(X k Y k 1 )][X k E(X k Y k 1 )] T C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 } E{C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 [X k E(X k Y k 1 )][X k E(X k Y k 1 )] T } = (notando che la penultima riga è una matrice simmetrica e l ultima è la sua trasposta) = Σ k k = Σ k k 1 + Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 2Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 4

5 = Σ k k 1 Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1. Riassumendo: Σ k k = Σ k k 1 Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 CΣ k k 1 (12) che, insieme a (10) e (11), forma le equazioni del filtro di Kalman. È d uso fare una leggera semplificazione di (10) e (12) usando l identità (Esercizio) Σ k k 1 C T [CΣ k k 1 C T + DD T ] 1 = Σ k k C T (DD T ) 1. 5