DISTRIBUZIONE NORMALE MULTIVARIATA

Transcript

1 Distribuzioe ormale uivariata DISTRIBUZIONE NORMALE MULTIVARIATA ANALISI MULTIVARIATA A.A. 00/ CORSO DI LAUREA IN STATISTICA Carla Rampichii Desità Normale μ, σ Normale stadardizzata: μ=0, σ= Distribuzioe ormale bivariata Se e soo icorrelate, la ormale bivariata si riduce al prodotto tra due ormali uivariate f(, ) = exp + πσσ σ σ μ μ Distribuzioe ormale bivariata i forma matriciale f π Σ (, ) = exp ( )' ( ) / μ Σ μ σ ρσσ Matrice di covariaza Σ = ρσσ σ μ Vettore delle medie μ = μ ρ=0.3 ρ=0.6

2 Proprietà distribuzioe ormale bivariata () μ Vettore degli scarti dalla media % = μ La forma quadratica χ = % ' Σ % è distribuita come ua v.c. chi-quadrato co gradi di libertà f (, ) exp / π χ = Σ Ricordare: el caso uivariato Z =(-μ) /σ ~χ co g.l. Distribuzioe ormale multivariata / f ( ) π = Σ exp ( )' ( ) μ Σ μ Si idica co N p (μ,σ) Relazioe tra ormale multivariata e ormale multivariata stadard N p (0,Ι) Y = Σ ( μ)~ ( 0I, ) N p p Possiamo creare ua N p (μ,σ) data la multiormale stadard Y N p (0,Ι) utilizzado la / trasformazioe lieare iversa: = Σ Y + μ bivariata.sas Ellissi di desità costate Cosideriamo c = % ' Σ % = ( μ)' Σ ( μ) Ellissoidi di isodesità La distribuzioe N p (μ,σ) assega probabilità -α all ellissoide x:( x μ)' Σ ( x μ) χ ( α) { p } dove χ p ( α) è il 00α percetile della distribuzioe chi-quadrato co p gradi di libertà Ellissi cetrati i μ Assi proporzioali agli autovalori di Σ ± c λ e, Σe = λ e j j j j j L ellissoide dei valori x che soddisfa ( x μ )' Σ ( x μ ) χ p ( α ) ha probabilità (-α)

3 Esempio isodesità: ~N (μ,σ) Come si modifica la forma al variare di ρ? -α=0.90, il quatile di χ corrispodete a α=0.0 è pari a ( x μ)' Σ ( x μ) I puti (x,x ): cadoo all'itero o si trovao sull'ellissi di isodesità che cotiee il 90% della distribuzioe. Esempio: Puti (x,x ) c P (8,5).563 P (-5,-5).50 P3 (4,-5.565) P4 (-3,8) μ =[5 0] σ =σ =5, σ =5 ρ=0.6 ρ=0 ρ=0.6 ρ=0.9 surface_borm.sas Proprietà della ormale multivariata p / / f ( ) = ( π ) Σ exp ( )' ( ) μ Σ μ f(x) è massima i x=μ μ=moda=e() Le combiazioi lieari delle compoeti di soo distribuite ormalmete Tutti i sottoisiemi delle compoeti di hao distribuzioe ormale (multivariata) Covariaza ulla le compoeti corrispodeti soo idipedeti Le distribuzioi codizioate delle compoeti soo ormali (multivariate) Combiazioi lieari e distribuzioi codizioate

4 Normale multivariata È utile cooscere ulteriori proprietà di questa distribuzioe, perchè: è ua buoa approssimazioe i molte situtazioi. ha molte buoe proprietà: è stabile rispetto a trasformazioi lieari correlazioe ulla idipedeza tutte le distribuzioi margiali e tutte le codizioate soo acora ormali multivariate le proprietà aalitiche della multiormale redoo le aalisi più semplci Combiazioi lieari di ~N p (μ,σ) Ogi combiazioe lieare delle variabili a =a + +a p p è distribuita come ua Normale uivariata di parametri a μ e a Σa. Vale ache che se a ~N(a μ, a Σa) per qualuque a, allora deve essere ~N p (μ,σ). Esempio a =[,0,,0] a = ~N(μ,σ ) ogi compoete margiale di ~N(μ, Σ) è ormale Cosideriamo q combiazioi lieari di ~N p (μ, Σ): A~N q (Aμ, AΣA ) Ache +d co d vettore di costati è N p (μ+d, Σ) Esempio combiazioe lieare Sia ~N 3 (μ, Σ), trovare la distribuzioe di A~N (Aμ, AΣA ) 0 0, A μ μ σ + σ σ ~ N, 3 μ μ3 σ3 + σ σ3 σ σ + σ3 σ3 A= = Sottoisiemi di Ogi sottoisieme di q compoeti di ha distribuzioe q ~N q (μ q, Σ qq ) Per dimostrare questo risultato basta cosiderare come matrice della combiazioe lieare la matrice partizioata I 0 A = ( q q) ( q ( p q))

5 Correlazioe e idipedeza Se e soo idipedeti Cov(, )=0 Data μ Σ Σ ~ N, q + q μ Σ Σ allora e soo idipedeti se e solo se Σ =0 Se q ~ N q (μ, Σ ) e ~N q (μ, Σ ) soo idipedeti allora μ Σ 0 ~ N q, + q μ 0 Σ Esempio Sia ~ N 3 (μ, Σ) co 4 0 Σ = e soo idipedeti? E (, ) e 3? Poiché e hao covariaza pari a NON soo idipedeti. Tuttavia possiamo partizioare Σ Σ Σ = = Σ Σ Osserviamo che (, ) e 3 hao matrice di covariaza Σ =0 e quidi soo idipedeti. Sotto-vettori idipedeti e sotto-vettori di =[, ] N p (μ,σ), er r, er p-r co matrice di covariaza partizioata Σ Σ Σ = Σ Σ È possibile trasformare per otteere. idipedete da Defiiamo. = -Σ Σ -. Allora. e soo idipedeti, co ~ Nr ( μ, Σ) ~ N ( μ, Σ ). p r.. μ = μ Σ Σ μ, Σ = Σ Σ Σ Σ.. vedi esempio Distribuzioi codizioate Sia ~ N p (μ, Σ) co Σ >0 μ Σ Σ =, =, = μ Σ μ Σ Σ Allora la distribuzioe codizioata di dato = x è Normale co: media = μ + Σ Σ ( x μ ) cov = Σ ΣΣΣ NB: la covariaza o dipede dal valore = x cui ci si codizioa.

6 Desità codizioata della Normale bivariata I geerale, la desità codizioata di dato =x è defiita come f( x x ) = Se f(x,x ) è N (μ, Σ) co σ >0 f ( x, x) f ( x ) σ σ f( x x ) è N ( x ),, μ+ μ σ σ σ σ = ( ) σ σ σ ρ Proprietà distribuzioi codizioate Sia ~ N p (μ, Σ), tutte le distribuzioi codizioate soo acora ormali (multivariate) Il vettore della media codizioata ha la forma μ +β,q+ (x q+ -μ q+ )+ +β,p (x p -μ p ) μ q +β q,q+ (x q+ -μ q+ )+ +β,p (x p -μ p ) dove i termii β l,l+ soo gli elemeti della matrice Σ Σ - La matrice di covariaza codizioata Σ Σ Σ - Σ o dipede dal valore/i cui ci si codizioa Campioameto da Normale multivariata Cosideriamo v.c. multivariate, idipedeti e ideticamete distribuite (IID): i -iid~n p (μ,σ), i=,,, Possiamo scrivere la fuzioe di desità cogiuta del campioe p / / f (, K, ) = ( π ) Σ exp ( i )' ( i ) i μ Σ μ = p / / = ( π ) Σ exp ( i )' ( i ) μ Σ μ i= Verosimigliaza Cosiderado le come dati, la fuzioe di desità cogiuta vista come fuzioe di μ e di Σ ed è la VEROSIMIGLIANZA del campioe: p / / L( μσ, ) = ( π ) Σ exp ( i )' ( i ) x μ Σ x μ i= Le stime di MV per μ e Σ si ottegoo massimizado la verosimigliaza rispetto a μ e Σ ˆ μˆ =, Σ = ( )( )' = S ML ML i i i=

7 Distribuzioi campioarie Se i -iid~n p (μ,σ), si ha: ~ N p ( μ, Σ) ( ) S ~ Wishart S Se i -iid~f p (μ,σ), F qualuque, per il teorema del limite cetrale si ha asy ( μ)~ N p ( 0, Σ)