1 Richiami di algebra lineare

Transcript

1 1 Richiami di algebra lineare Definizione 11 (matrici e vettori) Una matrice A e un insieme di numeri A hk, h = 1,, m, k = 1,, n, ordinati in base alla coppia di indici h e k nel modo seguente A 1 A n A m1 A mn m ed n si dicono dimensioni della matrice e la matrice si dice m n Una matrice m 1 si dice anche vettore colonna e una matrice 1 n vettore riga Un insieme di relazioni affini si scrive, in forma matriciale, y 1 y m y 1 = A 11 x 1 + A 1 x + + A 1n x n + b 1 y = A 1 x 1 + A x + + A n x n + b y m = A m1 x 1 + A m x + + A mn x n + b m = A 1 A n A m1 A mn x 1 x n + b 1 b m cioe, in forma matriciale compatta, y = Ax Definizione 1 (prodotto righe per colonne) Data una matrice A m p e una matrice B p n il loro prodotto righe per colonne e la matrice m n data da AB = (A 11 B 11 + A 1 B A 1p B p1 ) (A 11 B 1 + A 1 B + + A 1p B p ) (A 11 B 1n + A (A 1 B 11 + A B A p B p1 ) (A 1 B 1 + A B + + A p B p ) (A 1 B 1n + A (A m1 B 11 + A m B A mp B p1 ) (A m1 B 1 + A m B + + A mp B p ) (A m1 B 1n + A 1

2 Se A e B sono matrici quadrate (cioe una matrici n n) sono definiti sia AB che BA ma, in generale, AB BA Definizione 13 (matrice inversa: definizione) La matrice I = si dice matrice identita Data una matrice quadrata (cioe una matrice n n), A, la sua matrice inversa (se esiste) e la matrice A 1 tale che AA 1 = I = A 1 A Definizione 14 (matrice trasposta) La matrice trasposta A T e la matrice ottenuta trasformando le righe di A in colonne, cioe A T = A 11 A m1 A 1 A m A 1m A mn [ A11 A Definizione 15 (determinante) Il determinante di una matrice A = 1 A 1 A dato da det(a) = A 11 A A 1 A 1 e si indica anche con det(a) = Il determinante di una matrice 3 3 A = det(a) = A 11 A A 3 A 3 A 33 A 1 A 11 A 1 A 1 A A 11 A 1 A 13 A 1 A A 3 A 31 A 3 A 33 A 1 A 13 A 3 A 33 e dato da + A 31 A 1 A 13 A A 3 e

3 Il determinante di una matrice 4 4 A = det(a) = A 11 A A 3 A 4 A 3 A 33 A 34 A 4 A 43 A 44 A 1 A 11 A 14 A 1 A 4 A 41 A 44 A 1 A 13 A 14 A 3 A 33 A 34 A 4 A 43 A 44 +A 31 e dato da A 1 A 13 A 14 A A 3 A 4 A 4 A 43 A 44 A 41 Analogamente (per induzione) si definisce il determinante di una matrice n n con n qualunque A 1 A 13 A 14 A A 3 A 4 A 3 A 33 A 34 Proposizione 11 (matrice inversa: esistenza e calcolo) La matrice inversa A 1 esiste se e solo det(a) 0 In tal caso e data da α 11 α 1 ( 1) 1+n α 1n α A α ( 1) +n α n = det(a) ( 1) m+1 α m1 ( 1) m+n α mn dove α hk e il determinante della matrice che si ottiene da A T cancellando la riga h e la riga k Definizione 16 (rango) Il rango di una matrice m n, A, e il massimo intero r per cui esiste una sottomatrice di A di dimensioni r r A i1 j 1 A i1 j r A i j 1 A i j r A irj1 A irjr con determinante non nullo Definizione 17 (matrice simmetrica) Una matrice si dice simmetrica se A = A T Definizione 18 (matrice definita positiva) Una matrice simmetrica A si dice definita positiva se x T Ax x = [ x y [ A 11 A 1 A 1 A y = A 11 x + A y + A 1 xy > 0 3

4 per ogni (x, y) (0, 0) In generale una matrice simmetrica A n n si dice definita positiva se x T Ax = [ x 1 x n A 1 A n A 1n A nn = A 11 x 1 + A x + + A 1 x 1 x + A 13 x 1 x A 3 x x A (n 1)n x n 1 x n > 0 x 1 x n per ogni x R n le cui componenti non siano tutte nulle Coppie di variabili aleatorie congiuntamente Gaussiane (o normali) Definizione 1 Due variabili aleatorie X e Y si dicono congiuntamente Gaussiane (o normali) se la loro densita congiunta e data da { [ } (x f(x, y) = Kexp 1[ (x µ 1) (y µ ) C 1 µ1 ) (y µ ) = Kexp { 1 ((C 1 ) 11 (x µ 1 ) + (C 1 ) (y µ ) + (C 1 ) 1 (x µ 1 )(y µ ) } dove K e la costante di normalizzazione, µ 1 e µ sono numeri reali e C 1 e una matrice simmetrica definita positiva µ 1 e µ risultano essere rispettivamente E[X ed E[Y e C risulta essere la matrice di covarianza di X e Y : [ Var[X Cov[X, Y C = Cov[X, Y Var[Y Osservazione 1 (Gaussiane indipendenti) Se X e Y sono ciascuna Gaussiana, X con media µ 1 e varianza σ1, Y con media µ e varianza σ, e sono indipendenti, allora sono congiuntamente Gaussiane Infatti in questo caso { f(x, y) = f X (x)f Y (y) = Kexp 1 ( (x µ 1 ) + (y µ ) )} σ1 σ D altro canto [ σ C = σ, C 1 = 1 σ σ, [ (x µ 1 ) (y µ )C 1 [ (x µ1 ) (y µ ) = (x µ 1) + (y µ ) σ1 σ e quindi f(x, y) e una densita congiuntamente Gaussiana 4

5 Esempio 1 Siano X e Y variabili aleatorie Gaussiane di medie rispettivamente 0 e 3 e matrice di covarianza [ Allora [ = [ e quindi la densita di probabilita congiunta di X e Y e f X,Y (x, y) = Ke x +xy+(y+3) Proposizione 1 (proprieta delle Gaussiane) Se due variabili X e Y sono congiuntamente Gaussiane: a) le marginali di X e di Y sono Gaussiane; b) se la coppia (U, V ) e una trasformazione affine della coppia (X, Y ), cioe U = A 11 X + A 1 Y + b 1 e V = A 1 X + A Y + b det(a) 0 allora U e V sono congiuntamente Gaussiane; in particolare, per il punto a), U e V sono ciascuna una variabile aleatoria Gaussiana; c) se X e Y sono scorrelate (cioe Cov[X, Y = 0) allora sono indipendenti Osservazione Se U = A 11 X + A 1 Y + b 1 possiamo sempre accoppiare a questa relazione la relazione Y = Y cosicche la coppia [ di variabili aleatorie (U, Y ) sia una trasformazione affine di (X, Y ) (la A11 A matrice A sara 1 ) Quindi la coppia (U, Y ) sara congiuntamente Gaussiana e 0 1 U sara Gaussiana Percio una qualunque combinazione affine U di due variabili aleatorie congiuntamente Gaussiane (in particolare indipendenti) e sempre una variabile aleatoria Gaussiana 5

6 3 n-ple di variabili aleatorie congiuntamente Gaussiane (o normali) Tutto quanto detto per le coppie di variabili aleatorie congiuntamente Gaussiane rimane valido per un qualunque numero n di variabili aleatorie X 1,, X n Definizione 31 n variabili aleatorie X 1,, X n si dicono congiuntamente Gaussiane (o normali) se la loro densita congiunta e data da f(x 1,, x n ) = Kexp 1[ (x 1 µ 1 ) (x n µ n ) C 1 (x µ 1 ) (x n µ n ) dove K e la costante di normalizzazione, µ 1,, µ n sono numeri reali e C e una matrice definita positiva µ 1,, µ n risultano essere le medie e C risulta essere la matrice di covarianza Osservazione 31 Se X 1,, X n sono variabili aleatorie indipendenti, ciascuna Gaussiana, allora sono congiuntamente Gaussiane Proposizione 31 (proprieta delle Gaussiane) Se X 1,, X n sono congiuntamente Gaussiane: a) Per ogni sottofamiglia {i 1, i,, i k } di {1,, n}, X i1,, X ik sono congiuntamente Gaussiane; in particolare ciascuna variabile X i, i = 1,, n, e Gaussiana; b) se (Y 1,, Y m ), m n, e una trasformazione affine di (X 1,, X n ), cioe Y 1 Y m = A 1 A n A m1 A mn X 1 X n + e il rango di A e m, allora Y 1,, Y m sono congiuntamente Gaussiane; in particolare, per il punto a), ciascuna e una variabile aleatoria Gaussiana; c) se X i e X j sono scorrelate (cioe Cov[X i, X j = 0) allora sono indipendenti Osservazione 3 Se b 1 b m U = A 11 X 1 + A 1 X + + A 1n X n + b 1 6

7 possiamo sempre accoppiare a questa relazione le relazioni X = X, X 3 = X 3, X n = X n cosicche (U, X,, X n ) sara una trasformazione affine di (X 1,, X n ) (la matrice A sara ) Quindi U, X,, X n saranno congiuntamente Gaussiane e U sara Gaussiana Percio una qualunque combinazione affine U di variabili aleatorie congiuntamente Gaussiane (in particolare indipendenti) e sempre una variabile aleatoria Gaussiana Esempio 31 Sia (X, Y, Z) una terna di va con densita congiunta Gaussiana, medie nulle e matrice di covarianza e siano U = X Z + 5 V = Y X W = Y + Z (U, V, W ) e una trasformazione affine di (X, Y, Z) percio sappiamo che (U, V, W ) ha densita congiunta gaussiana, e ci e sufficiente calcolare le medie e la matrice di covarianza di (U, V, W ) Essendo le medie di X, Y, Z nulle, il vettore le medie di U, V, W sono 5, 0, 0 Per calcolare la matrice di covarianza, basta calcolare le varianze e covarianze di U, V e W, utilizzando le varianze e covarianze di X, Y e Z, che possiamo leggere nella matrice di covarianza: Var[U = Var[X + Var[ Z + Cov[X, Z = Var[X + Var[Z Cov[X, Z = 1 + = 3 Var[V = Var[Y + Var[ X + Cov[Y, X = Var[Y + 4Var[X 4Cov[Y, X = = 10 Var[W = Var[Y + Var[Z + Cov[Y, Z = + + = 6 Cov[U, V = Cov[X, Y + Cov[X, X + Cov[ Z, Y + Cov[ Z, X = Cov[X, Y Var[X Cov[Z, Y + Cov[Z, X = 1 1 = 4 7

8 Cov[U, W = Cov[X, Y + Cov[X, Z + Cov[ Z, Y + Cov[ Z, Z = Cov[X, Y + Cov[X, Z Cov[Z, Y Var[Z = 1 1 = 4 Cov[V, W = Cov[Y, Y + Cov[Y, Z + Cov[ X, Y + Cov[ X, Z = Var[Y + Cov[Y, Z Cov[X, Y Cov[X, Z = = 5 Troviamo percio che la matrice di covarianza di (U, V, W ) e Esempio 3 Sia (X 1, X, X 3, X 4 ) un vettore gaussiano di media 0 (cioe il vettore delle medie e il vettore nullo) e matrice di covarianza Dalla matrice di covarianza vediamo che X 1 e indipendente da X e da X 4 e che X 3 e indipendente da X e da X 4 Sia U = X 1 01 X X X Allora U e Gaussiana di media 5 e varianza Var[U =