Distribuzione normale multidimensionale

Transcript

1 Capitolo 2 Distribuzione normale multidimensionale La funzione di densità normale undimensionale ha la forma seguente Anderson, 1984 fx ce 1 2 Ax b2 ce 1 2 x bax b La costante di normalizzazione c è data nel caso univariato dall espressione 2πA 1 1/2. Tale forma funzionale può essere generalizzata considerando come argomento della funzione di densità un vettore k-dimensionale x x 1,..., x k Conseguentemente anche b è un vettore k dimensionale, mentre A è una matrice quadrata di ordine k assunta simmetrica e definita positiva. 2.1 Parametri della normale multidimensionale La forma funzionale della normale k-dimensionale è dunque fx fx 1,..., x k ce 1 2 x b Ax b Nel seguito del paragrafo verrà calcolato il valore della costante di normalizzazione c ed esplicitato il significato dei due parametri b e A che compaiono nell espressione precedente. Per la 1.4 si puo scrivere c 1... e 1 2 x b Ax b dx 1... dx k 2.1 9

2 10 A. Pollice - Statistica Multivariata Consideriamo allora la trasformazione delle variabili di integrazione data da x b Cy, assumendo che C sia una matrice quadrata di ordine k non singolare e tale che C AC I. Poichè A è per ipotesi simmetrica e definita positiva una siffatta matrice esiste sempre. Infatti se A è definita positiva lo è anche A 1 e per la decomposizione di Cholesky esiste una matrice triangolare inferiore non singolare C tale che A 1 CC. La matrice jacobiana della trasformazione è data da ] ] xi ci1 y c ik y k + b i J c ij ] C 2.2 y j y j Dal risultato precedente, che vale in generale per qualsiasi trasformazione lineare della variabile di integrazione e verrà più volte ripreso in seguito, risulta mod J mod C ; inoltre x b Ax b y C ACy y y, quindi la 2.1 diventa c 1 mod C... e 1 2 y y dy 1... dy k mod C k i1 e 1 2 y2 i dyi mod C 2π k 2 A 1/2 2π k L ultimo passaggio lo si ricava facilmente osservando che 1 I C AC C A C C 2 A. Se consideriamo ancora una volta la trasformazione X b CY, passando ai valori attesi si ottiene b EX CEY. Per i 1,..., k EY i... 2π 2π k y i i1 y i e 1 2 y2 i dyi 1 2π e 1 2 y2 i dyi k j i1 e 1 2 y2 j dy j 2π 1 y i e 1 2 y2 i dyi L ultimo integrale è uguale a zero poiché la funzione integranda è dispari ed il dominio di integrazione è simmetrico si può arrivare alla medesima conclusione guardandolo come l espressione del valore atteso della densità di una normale standardizzata. Utilizzando la 2.4 per tutte le componenti di Y se ne conclude che EY o, e quindi b EX µ.

3 Cap.2: Distribuzione normale multidimensionale 11 Poniamo ora Σ X CovX e per la 1.12 e dato che EY o, Σ Y CovY EY Y. Gli elementi della matrice EY Y sono dati dalle seguenti espressioni EY 2 i 2π 2π y 2 i e 1 2 y2 i dyi k j i1 e 1 2 y2 j dy j 2π 1 y 2 i e 1 2 y2 i dyi dove l ultimo integrale ha valore unitario poiché coincide con la definizione del momento secondo della densità normale standardizzata; invece EY i Y j 1 k y 2π k i e 1 2 y2 i dyi y j e 1 2 y2 j dy j e 1 2 y2 h dyh 0 2 h1 0 0 h i,j Osservando la 2.5 e la 2.6 se ne conclude che Σ Y EY Y I e che Σ X CIC CC A 1. In conclusione possiamo dare al seguente definizione Definizione 2.1 Un vettore aleatorio k-dimensionale X ha legge di distribuzione Normale multivariata se l espressione della sua densità è data da { fx 2π k/2 Σ 1/2 exp 1 } 2 x µ Σ 1 x µ 2.7 dove EX µ e CovX Σ. Ci si riferisce alla 2.7 anche parlando di densità Normale k-dimensionale. 2.2 Normale bivariata Nel caso particolare in cui k 2 posso scrivere scrivere la matrice di varianze e covarianze come σ 2 Σ 1 σ 1 σ 2 ρ σ 1 σ 2 ρ σ dove ρ σ 12 /σ 1 σ 2 è il coefficiente di correlazione lineare tra le componenti di X X 1, X 2. L inversione della matrice precedente porta a Σ 1 1 σ 2 σ1 2 2 σ 1 σ 2 ρ σ2 2 1 ρ2 σ 1 σ 2 ρ σ1 2 1 σ 1 2 ρσ 1 σ ρ 2 ρσ 1 σ σ 2 2

4 12 A. Pollice - Statistica Multivariata Da quest ultima arriviamo pertanto alla ben nota espressione della funzione di densità della normale bivariata fx 1, x 2 1 p 2πσ 1 σ 2 1 ρ < exp : 1 21 ρ 2 x 1 µ 1, x 2 µ ρσ 1 σ 2 1 σ 2 1 ρσ 1 σ 2 1 σ p 2πσ 1 σ 2 1 ρ 2 " «1 x1 µ 2 1 exp 21 ρ 2 2ρx «# 1 µ 1 x 2 µ 2 x2 µ σ 1 σ 1 σ 2 σ 2 x 1 µ 1 x 2 µ 2 19 A ; Normale multivariata standardizzata Supponiamo ora che il vettore aleatorio X abbia distribuzione normale k- dimensionale con vettore di medie µ e matrice di varianze e covarianze Σ. È usuale riassumere questa affermazione in simboli con la scrittura X N k µ, Σ Se Λ e V sono rispettivamente la matrice degli autovalori di Σ e la sua matrice modale, la diagonalizzazione di Σ è data pertanto da Σ V ΛV V Λ 1/2 V Λ 1/ Prendendo l inversa di ambo i membri e ricordando che V V 1 otteniamo Σ 1 V Λ 1 V V Λ 1/2 V Λ 1/ Consideriamo ora il vettore aleatorio Z ottenuto mediante la trasformazione lineare Z Λ 1/2 V X µ si osservi come tale trasformazione ricordi in un certo senso l operazione di standardizzazione delle variabili univariate e tramite la 1.23 ne determiniamo la funzione di densità. Essendo X µ V Λ 1/2 Z, la forma quadratica che compare nell esponente della densità 2.6 si trasforma in x µ Σ 1 x µ V Λ 1/2 Z V Λ 1/2 V Λ 1/2 V Λ 1/2 Z Z Z 2.13

5 Cap.2: Distribuzione normale multidimensionale 13 Inoltre per quanto già detto riguardo alle trasformazioni lineari di vettori aleatori e per la 2.11, il modulo del determinante della matrice jacobiana della trasformazione inversa è dato da: J V Λ 1/2 Z + µ V Λ 1/2 Σ 1/ z In conclusione considerando la 1.23 e tenendo conto della 2.7, della 2.13 e della 2.14, la funzione di densità di Z risulta: { f Z z 2π k/2 exp 1 } 2 z z 2.15 ovvero Z N k o, I. 2.4 Funzione generatrice dei momenti La funzione generatrice dei momenti della distribuzione normale multivariata è individuata dal seguente valore atteso M X t Ee t X Σ 1/2 2π k/2... exp t x 1 ] 2 x µ Σ 1 x µ dx2.16 Per risolvere l integrale nella 2.16 trasformiamo la variabile di integrazione tramite x µ Σt + y. Tenendo conto che la trasformazione inversa è y x µ Σt e la relativa matrice jacobiana è J I, otteniamo che l espressione 2.16 diventa M X t Σ 1/2 2π k/2 Σ 1/2 exp 2π k/2... t µ t Σt exp t µ t Σt Possiamo osservare che: exp t Σt + y + µ 1 ] 2 Σt + y Σ 1 Σt + y dy... exp 1 2 y Σ 1 y dy 2π k/2 Σ 1/2 i M X t è ben definita in quanto esiste per ogni t R k ; 2.17

6 14 A. Pollice - Statistica Multivariata ii M X t dipende, data la sua forma funzionale, in modo univoco da µ e Σ. In altre parole ad ogni valore della copppia µ, Σ resta associata una sola ed una sola f. g. m., e quindi una sola ed una sola legge di distribuzione Normale in R k. D altronde se µ è un vettore in R k e Σ è una matrice in R k k semi-definita positiva, si può dimostrare che esiste un vettore aleatorio X la cui f.g.m. è esattamente la Data l unicità della legge di distribuzione associata ad una data f.g.m. ne possiamo concludere che µ, Σ individuano univocamente una ed una sola distribuzione Normale k-dimensionale: quando Σ non è invertibile, non esiste ovviamente l espressione della densità data nella Def. 2.1: in questo caso parleremo di distribuzione Normale k- dimensionale singolare intesa come legge di distribuzione del vettore aleatorio k-dimensionale X la cui f.g.m. è esattamente la Proprietà della normale multidimensionale Teorema 2.2 Cramér-Wold Qualsiasi vettore ottenuto come trasformazione lineare di un vettore aleatorio avente distribuzione normale multivariata ha a sua volta distribuzione normale multivariata. Siano X N k µ, Σ, A una matrice di costanti in R r k con r k ed b un vettore di costanti in R r. Sia inoltre il vettore aleatorio Y definito dalla trasformazione lineare Y AX +b non biunivoca in quanto r k. Poichè M Y t Eexpt Y ] Eexpt AX + t b] Eexpt AX] expt b M X A t exp t Aµ + 1 ] 2 t AΣA t expt b exp t Aµ + b + 1 ] 2 t AΣA t dalla considerazione della 2.17 e della 2.18 risulta 2.18 Y N r Aµ + b, AΣA 2.19 Si può dimostrare che vale anche la proposizione inversa, ovvero che X ha distribuzione normale multivariata se e solo se qualsiasi combinazione lineare non nulla delle sue componenti ha distribuzione normale. Di fatto il teorema di Cramer-Wold è quindi una caratterizzazione della distribuzione Normale k-dimensionale.

7 Cap.2: Distribuzione normale multidimensionale 15 Corollario 1 Le distribuzioni marginali delle componenti di un vettore aleatorio avente distribuzione normale multidimensionale sono normali univariate. Sia r 1, b 0 ed A e i 0,..., 0, 1, 0,..., 0. In tal caso Y X i, ed X i Nµ i, σ 2 i. Corollario 2 Un vettore casuale formato da un sottoinsieme delle componenti di un vettore casuale avente distribuzione normale multivariata ha a sua volta distribuzione normale multivariata. Siano X X1 X 2 µ µ1 µ 2 Σ11 Σ Σ 12 Σ 21 Σ con X 1 R k 1, X 2 R k 2 e k 1 + k 2 k. Applicando la 2.19 con b o ed A I k1 O si ottiene X 1 N k1 µ 1, Σ 11. Tale risultato è valido in generale per qualunque sottoinsieme di componenti del vettore X. Supponiamo ora che la matrice di varianze e covarianze Σ sia diagonale a blocchi, ossia che X 1 e X 2 che siano tra loro incorrelati Σ11 O Σ 1 Σ O Σ 22 Σ 1 11 O O Σ 1 22 In tal caso la forma quadratica ad esponente della densità di X può essere scomposta nel modo seguente x µ Σ 1 x µ x 1 µ 1 Σ 1 11 x 1 µ 1 + x 2 µ 2 Σ 1 22 x 2 µ 2 e quindi la densità risulta complessivamente fattorizzabile nel prodotto delle due componenti marginali relative rispettivamente a X 1 e X 2 : f X x f X1 x 1 f X2 x 2. In generale si può dunque affermare che per sottoinsiemi di componenti di un vettore avente distribuzione normale multivariata l incorrelazione coincide con l indipendenza in realtà questa è una condizione necessaria e sufficiente: se per tutti i sottoinsiemi di componenti di un vettore aleatorio l incorrelazione coincide con l indipendenza, allora il vettore ha distribuzione normale multivariata. Corollario 3 Combinazioni lineari di vettori casuali aventi distribuzione congiunta normale multivariata hanno a loro volta distribuzione normale multivariata.

8 16 A. Pollice - Statistica Multivariata Siano ancora X, µ e Σ come nella 2.20 e sia inoltre A A 1, A 2, essendo A 1 e A 2 matrici di ordine h k 1 e h k 2 rispettivamente. In tal caso, posto Y AX A 1 X 1 + A 2 X 2, si ha Y N h A 1 µ 1 + A 2 µ 2, A 1 Σ 11 A 1 + A 1 Σ 12 A 2 + A 2 Σ 21 A 1 + A 2 Σ 22 A La dimostrazione è facilmente generalizzabile alla somma di un numero di vettori superiore a due. Teorema 2.3 Le distribuzioni condizionate di sottoinsiemi degli elementi di un vettore casuale avente distribuzione normale multivariata sono a loro volta normali multivariate. Siano X X1 X 2 µ X µ1 µ 2 Σ11 Σ Σ X 12 Σ 21 Σ 22 con X 1 R k 1, X 2 R k 2, k 1 + k 2 k ed X N k µ X, Σ X. Considero la trasformazione lineare Y AX dove I A k1 O Σ 21 Σ 1 11 I k2 I parametri della distribuzione del vettore aleatorio Y sono dunque dati da e quindi µ Y Aµ X µ 1 Σ 21 Σ 1 11 µ 1 + µ Σ Y AΣ X A I k1 O Σ11 Σ 12 Σ 21 Σ 1 11 I k2 Σ 21 Σ 22 Σ11 O O Σ 22 Σ 21 Σ 1 11 Σ 12 Ik1 Σ 1 O 11 Σ 21 I k Dalla 2.22 e dalla 2.23 se ne deduce che il vettore casuale multinormale Y è costituito a sua volta da due componenti indipendenti Y 1 N k1 µ 1, Σ 11, Y 2 N k2 Σ 21 Σ 1 11 µ 1 + µ 2, Σ 2 1

9 Cap.2: Distribuzione normale multidimensionale 17 dove Σ 2 1 Σ 22 Σ 21 Σ 1 11 Σ 12. Possiamo quindi esprimere la densità congiunta di Y come il prodotto delle densità di Y 1 ed Y 2 f Y y Σ 11 1/2 2π k 1/2 exp Σ 2 1 1/2 2π k 2/2 exp 1 2 y 1 µ 1 Σ 1 11 y 1 µ 1 ] 1 ] 2 y 2 + Σ 21 Σ 1 11 µ 1 µ 2 Σ y 2 + Σ 21 Σ 1 11 µ 1 µ 2 Grazie a questa fattorizzazione della f Y y, possiamo ricavare la densità f X x di X A 1 Y concludendo che anche X è fattorizzabile in due subcomponenti: infatti, osservando che J A A 1 1 f Xx Σ11 1/2 2π k 1/2» exp 1 2 x1 µ1 Σ 1 11 x 1 µ 1 {z } f X1 x 1 j 2π exp k 2/2 Σ ff 11 x 1 µ 1 µ 2] 1 x2 Σ21Σ 1 11 x 1 µ 1 µ 2] Σ x2 Σ21Σ 1 2 {z } f X2 X x 1 2 Per la definizione 1.11 posso quindi affermare che: X 2 X 1 N k2 Σ21 Σ 1 11 x 1 µ 1 + µ 2, Σ 22 Σ 21 Σ 1 11 Σ Si noti come nell espressione precedente il valore atteso condizionato dipende linearmente dal valore della variabile condizionante, mentre la varianza è costante al variare di quest ultimo. Anche in questo caso è possibile dimostrare che questa proprietà costituisce una condizione necessaria e sufficiente: se le densità marginali e condizionate sono normali multivariate, allora lo è anche la densità congiunta e i suoi parametri sono desumibili da quelli di dette densità. 2.6 Distribuzione di Wishart La distribuzione di Wishart è una generalizzazione multidimensionale della distribuzione χ 2. Definizione 2.4 Siano X 1,..., X n n vettori casuali k-dimensionali indipendenti ed equidistribuiti con X i N k o, Σ, si dice che la matrice casuale simmetrica e di ordine k data da n W X i X i i1

10 18 A. Pollice - Statistica Multivariata ha distribuzione di Wishart k-dimensionale con matrice di scala Σ ed n gradi di libertà e si indica: W W k Σ, n. Casi particolari 1. Se Σ I k, allora la matrice aleatoria W e la sua distribuzione W k I k, n sono dette standardizzate. 2. Se k 1 la variabile aleatoria W σ 2 ha distribuzione χ 2 con n gradi di libertà. Proprietà 2.5 Se la matrice casuale W ha distribuzione di Wishart allora per B R m k di rango rb m k, anche BW B ha distribuzione di Wishart. Infatti poiché se X i N k o, Σ per i 1,..., n, vale Y i BX i N m o, BΣB, allora: n n n BW B B X i X i B BX i X ib Y i Y i W m BΣB, n i1 i1 i Proprietà 2.6 Sia X la matrice n k che ha per righe n vettori aleatori X 1,..., X n equidistribuiti con X i N k o, Σ e B R n n sia una matrice simmetrica, idempotente di rango m n. La matrice k k simmetrica X BX è tale che: X BX W k Σ, m 2.26 Proprietà 2.7 Additività Siano W 1 e W 2 due matrici aleatorie indipendenti con W 1 W k Σ, n 1 e W 2 W k Σ, n 2 : n 1 n 2 W 1 + W 2 X i X i + X j X j W k Σ, n 1 + n i1 j1

11 Cap.2: Distribuzione normale multidimensionale Distribuzione T 2 di Hotelling La distribuzione T 2 di Hotelling è una generalizzazione multidimensionale della distribuzione t di Student. Definizione 2.8 Siano Z e W un vettore ed una matrice casuale indipendenti e aventi rispettivamente distribuzione normale standardizzata k-dimensionale e Wishart standardizzata k-dimensionale con n gradi di libertà. Si dice che la variabile casuale T 2 data da T 2 nz W 1 Z ha distribuzione T 2 di Hotelling di parametro k con n gradi di libertà: T 2 T 2 k n. Proprietà 2.9 Esiste esatta corrispondenza tra la distribuzione T 2 e la F di Snedecor-Fisher. Infatti se T 2 T 2 k n, allora: n k + 1 T 2 F k,n k nk Proprietà 2.10 Per X e W indipendenti con X N k µ, Σ e W W k Σ, n vale: nx µ W 1 X µ T 2 kn 2.29 Infatti se Λ e V sono rispettivamente la matrice diagonale degli autovalori e la matrice modale di Σ vale Λ 1 2 V ΣV Λ 1 2 I k quindi: nx µ W 1 X µ nx µ V Λ 1 2 Λ 1 2 V W V Λ Λ 1 2 V X µ T 2 kn 2.30 W k I,n N k o,i