Proprietà asitotiche stimatori OLS e statistiche collegate Eduardo Rossi 2 2 Uiversità di Pavia (Italy) Maggio 2014 Rossi Proprietà asitotiche Ecoometria - 2014 1 / 30
Sommario Risultati prelimiari Distribuzioe asitotica dello stimatore OLS Errori stadard robusti all eteroschedasticità Itervalli di cofideza Distribuzioe asitotica della statistica t Rossi Proprietà asitotiche Ecoometria - 2014 2 / 30
Risultati prelimiari Diseguagliaza di Cauchy-Schwarz Data ua variabile casuale sia b = E[XY ] E[X 2 ] dato che E[W 2 ] 0, W = Y + bx E[W 2 ] = E[Y 2 ] + b 2 E[X 2 ] + 2bE[XY ] E[W 2 ] = E[Y 2 ] + E[XY ]2 E[XY E[X 2 ] 2 E[X2 ]2 ] 2 E[X 2 ] allora E[W 2 ] = E[Y 2 ] E[XY ]2 E[X 2 ] E(XY ) 2 E[Y 2 ]E[X 2 ] E(XY ) E[Y 2 ]E[X 2 ] 0 Rossi Proprietà asitotiche Ecoometria - 2014 3 / 30
Risultati prelimiari Covergeza i probabilità S 1, S 2,..., S successioe di variabili casuali. S potrebbe essere la media campioaria Ȳ per u campioe di osservazioi della variabile casuale Y. Covergeza i probabilità S coverge i probabilità al limite µ, S µ, se la probabilità che S appartega all itervallo (µ δ, µ + δ) tede a 1 co δ > 0: Pr{ S µ δ} 0 per e δ > 0. p Rossi Proprietà asitotiche Ecoometria - 2014 4 / 30
Risultati prelimiari Legge dei gradi umeri Data la successioe di v.c. i.i.d. Y 1,..., Y co E[Y i ] = µ Y, Var[Y i ] = σy 2 <, la media campioaria coverge i probabilità alla media della popolazioe Ȳ p µ Al crescere del campioe () la distribuzioe campioaria si cocetra itoro alla media della popolazioe µ. La variaze di Ȳ dimiuisce al crescere della dimesioe campioaria la probabilità che Ȳ cada fuori dell itervallo ±δ dimiuisce al crescere di Rossi Proprietà asitotiche Ecoometria - 2014 5 / 30
Risultati prelimiari Diseguagliaza di Chebychev Il legame tra Var[Ȳ ] e la probabilità che Ȳ sia a distaza ±δ da µ Y è forito dalla diseguagliaza di Chebychev Dato Y i i.i.d.(µ Y, σ 2 Y ), co. Segue che Pr{ Ȳ µ Y δ} Var[Ȳ ]/δ2, δ > 0 Var[Ȳ ] = σ2 Y Var[Ȳ ] δ 2 = σ2 Y δ 2 0 Pr{ Ȳ µ Y δ} 0 dimostrado la legge dei gradi umeri. Rossi Proprietà asitotiche Ecoometria - 2014 6 / 30
Risultati prelimiari Covergeza i distribuzioe Sia F 1, F 2,..., F ua successioe di fuzioi di ripartizioe corrispodeti alle variabili S 1, S 2,..., S, per esempio dove σ = σ Y Ȳ. Covergeza i distribuzioe S = Ȳ µ Y σ Ȳ La successioe di variabili casuali {S } coverge i distribuzioe a d S, S S se le fuzioi di ripartizioe {F } covergoo a F, la distribuzioe di S: lim F (t) = F (t) dove il limite esiste per tutti i puti i cui la distribuzioe limite F è cotiua. F è la distribuzioe asitotica di S. Rossi Proprietà asitotiche Ecoometria - 2014 7 / 30
Risultati prelimiari Teorema del limite cetrale Y 1, Y 2,..., Y soo i.i.d. e 0 < σ 2 Y < allora poichè Ȳ µ Y σ Ȳ d N(0, 1) σ Ȳ = σ Y (Ȳ µ Y ) σ Y Il TLC può ache essere espresso come ( Ȳ µ Y ) d σ Y Z dove Z N(0, 1). Questo sigifica che ( Ȳ µ Y ) d N(0, σy 2 ) per. Rossi Proprietà asitotiche Ecoometria - 2014 8 / 30
Risultati prelimiari MRL semplice Y i = β 0 + β 1 X i + u i i = 1, 2,..., Sotto le assuzioi dei miimi quadrati, per grade, la distribuzioe di ˆβ 1 è approssimata da Lo stimatore di σ 2ˆβ1 = ( σ ˆβ 2 ) v 1 N β 1, (σx 2 )2 σ2 v : (σx 2 )2 ˆσ 2ˆβ1 = 1 stimatore di σv 2 (stimatore di σx 2 )2 = 1 1 2 i ˆv2 i [ 1 i (X i X) 2] 2 Rossi Proprietà asitotiche Ecoometria - 2014 9 / 30
Risultati prelimiari Cosisteza dello stimatore ˆσ 2ˆβ1 Sotto le prime tre assuzioi degli OLS, lo SE( ˆβ 1 ) robusto all eteroschedasticità costituisce la base per ua valida ifereza statistica, perchè ˆσ 2ˆβ1 σ 2ˆβ1 p 1 ˆσ 2ˆβ1 σ 2ˆβ1 = 1 1 [ 2 i ˆv2 i [ 1 i (X i X) 2] 2 / = [ ] [ 2 σv 2 (σx 2 )2 i (X i X) 2 û 2 i / Var[v i ] ] ] / [ i (X i X) 2 / Var[X i ] ] 2 Ciascuo dei tre fattori coverge i probabilità a 1. Rossi Proprietà asitotiche Ecoometria - 2014 10 / 30
Risultati prelimiari Cosisteza dello stimatore ˆσ 2ˆβ1 E ovvio che Resta da dimostrare che 1 1 i v2 i 1 [ 2 1 i (X i X) 2 / Var[X i ] (X i X) 2 û 2 i i ] p 1 p Var[v i ] Per farlo, cioè per ivocare la legge dei gradi umeri, si deve dimostrare: p Var[v i ] 2 1 i (X i X) 2 û 2 i 1 i v2 i p 0 Rossi Proprietà asitotiche Ecoometria - 2014 11 / 30
Risultati prelimiari Cosisteza dello stimatore ˆσ 2ˆβ1 Per dimostrare che 1 i v 2 i p Var[v i ] si assume che v i siao i.i.d. (assicurato dalla Ass.2 degli OLS) e Var[vi 2 ] <. Per dimostrare quest ultima si usa la diseguagliaza di Cauchy-Schwarz. Assumiamo che E[X 8 i ] < E[u 8 i ] < Var[v 2 i ] E[v 4 i ] = E[(X i µ X ) 4 u 4 i ] {E[(X i µ X ) 8 ]E[u 8 i ]} 1/2 Coclusioe: Se X i e u i hao i mometi ottavi fiiti allora v 2 i ha ua variaza fiita e soddisfa la legge dei gradi umeri. Rossi Proprietà asitotiche Ecoometria - 2014 12 / 30
Risultati prelimiari Cosisteza dello stimatore ˆσ 2ˆβ1 Secodo passo: [ ] 1 (X i X) 2 û 2 i 1 (X i µ X ) 2 u 2 p i 0 i E u po lugo, o lo vediamo el dettaglio... i Rossi Proprietà asitotiche Ecoometria - 2014 13 / 30
Risultati prelimiari Distribuzioe asitotica della statistica t robusta Sotto l ipotesi ulla H 0 : β 1 = β 1,0 la statistica t robusta all eteroschedasticità si distribuisce asitoticamete come ua ormale stadard se le assuzioi 1,2 e 3 degli OLS soo verificate. t = ˆβ 1 β 1,0 ˆσ ˆβ1 = ( ˆβ1 β 1,0 ) / σ 2ˆβ1 ˆσ2ˆβ1 σ 2ˆβ1 Sappiamo che quidi ˆβ 1 N ( σ 2 ) v β 1,0, (σx 2 )2 ( ˆβ1 β 1,0 ) d N(0, 1) σ 2ˆβ1 Rossi Proprietà asitotiche Ecoometria - 2014 14 / 30
Risultati prelimiari Distribuzioe asitotica della statistica t robusta Ioltre, ˆσ2ˆβ1 σ 2ˆβ1 p 1 segue che per il Teorema di Slutsky. d t N(0, 1) 1 = N(0, 1) Rossi Proprietà asitotiche Ecoometria - 2014 15 / 30
Risultati prelimiari Distribuzioe ormale multivariata W (m 1) N(µ W, Σ W ) E[W ] = µ W Var[W ] = E[(W µ W )(W µ W ) ] = Σ W Fuzioe di probabilità cogiuta: { 1 f(w) = (2π) m/2 exp 1 } Σ W 1/2 2 (W µ W ) Σ 1 W (W µ W ) Se V 1, (m 1 1) e V 2, (m 2 1) cogiutamete distribuiti secodo ua ormale multivariata e Cov[V 1, V 2 ] = E[(V 1 µ V1 )(V 2 µ V2 ) ] = 0 (m1 m 2 ) allora V 1 e V 2 soo idipedeti. Rossi Proprietà asitotiche Ecoometria - 2014 16 / 30
Risultati prelimiari Distribuzioe ormale multivariata Dato W = [W 1,..., W m ], se W i i.i.d.n(0, σ 2 V ) allora Σ W = σ 2 W I m e la distribuzioe ormale multivariate si semplifica el prodotto di m desità ormali multivariate: { 1 f(w) = (2π) m/2 exp 1 } Σ W 1/2 2 (W µ W ) Σ 1 W (W µ W ) { 1 = (2π) m/2 (σv 2 exp 1 } )m/2 2σV 2 (W µ W ) (W µ W ) m 1 = (2π) 1/2 (σv 2 exp { (W i µ W ) 2 } )1/2 2σV 2 i=1 Rossi Proprietà asitotiche Ecoometria - 2014 17 / 30
Risultati prelimiari Distribuzioi di combiazioi lieari e di forme quadratiche V R m, (m 1), V N(µ V, Σ V ) A, (a m); B, (b m); d, (a 1) d + AV N(d + Aµ V, AΣ V A ) E[d + AV ] = d + AE[V ] = d + Aµ V Var[d + AV ] = E[(AV Aµ v )(AV Aµ v ) ] = E[A(V µ v )(V µ v ) A ] = AE[(V µ V )(V µ V ) ]A = AΣ V A Rossi Proprietà asitotiche Ecoometria - 2014 18 / 30
Risultati prelimiari Distribuzioi di combiazioi lieari e di forme quadratiche Cov[AV, BV ] = E[(AV Aµ v )(BV Bµ v ) ] = E[A(V µ v )(V µ v ) B ] = AE[(V µ V )(V µ V ) ]B = AΣ V B Se AΣ V B = 0 (a b) AV e BV soo idipedeti. Rossi Proprietà asitotiche Ecoometria - 2014 19 / 30
Risultati prelimiari Distribuzioi di combiazioi lieari e di forme quadratiche V N(µ V, Σ V ) si distribuisce come ua χ 2 m (V µ V ) Σ 1 V (V µ V ) U N(0, I m ) se C è simmetrica ed idempotete U CU χ 2 r Rossi Proprietà asitotiche Ecoometria - 2014 20 / 30
Distribuzioe asitotica stimatore OLS el MRLM TLC multivariato Applicazioe del TLC multivariato, a vettori di v.c. V (m 1), codizioi sulle variaze: W 1,..., W (m 1) 0 < Var[c W ] < c R m, c 0 E[W i ] = µ W Var[W i ] = E[(W i µ W )(W i µ W ) ] = Σ W W = 1 i=1 W i ( W µw ) d N(0, Σ W ) Rossi Proprietà asitotiche Ecoometria - 2014 21 / 30
Distribuzioe asitotica stimatore OLS el MRLM Distribuzioe asitotica ˆβ Distribuzioe asitotica ˆβ OLS d (ˆβ β) N(0 (k+1), Σ (ˆβ β) ) dove co Σ (ˆβ β) = Q 1 X Σ vq 1 X Q X = E[X i X i] Distribuzioe per grade: Σ v = E[v i v i] = E[(X i u i )(X i u i ) ] ˆβ N ( ) β, Q 1 X Σ vq 1 X Rossi Proprietà asitotiche Ecoometria - 2014 22 / 30
Distribuzioe asitotica stimatore OLS el MRLM Dimostrazioe Stimatore OLS: ˆβ = (X X) 1 X Y ˆβ = (X X) 1 X Y = (X X) 1 X (Xβ + u) = β + (X X) 1 X u ˆβ β = (X X) 1 X u (ˆβ β) = (X X) 1 X u ( X ) X 1 ( X ) u = Rossi Proprietà asitotiche Ecoometria - 2014 23 / 30
Distribuzioe asitotica stimatore OLS el MRLM Dimostrazioe Cosideriamo X X = 1 X i X i i=1 di cui l elemeto (j, l) è dato da ( X ) ( ) X = 1 e j X i X i e l = j,l i=1 X ji X li i=1 X i is i.i.d. X ji X li i.i.d. Dato E[Xji] 4 < Per Cauchy-Schwarz: E[XjiX 2 li E[X 2 ] ji 4 ]E[X4 li ] Rossi Proprietà asitotiche Ecoometria - 2014 24 / 30
Distribuzioe asitotica stimatore OLS el MRLM Dimostrazioe X ji X li è i.i.d. X ji X li ha mometi secodi fiiti 1 i=1 X jix li soddisfa la legge dei gradi umeri: 1 p X ji X li E[X ji X li ] i=1 questo è vero per tutti gli elemeti di ( ) X X, segue che ( X ) X p E[X i X i] = Q X Rossi Proprietà asitotiche Ecoometria - 2014 25 / 30
Distribuzioe asitotica stimatore OLS el MRLM Dimostrazioe Cosideriamo X u = 1 X i u i = i 1 E[v i ] = E[X i u i ] = 0 Per la Ass.2 degli OLS, v i è i.i.d.. Dato c R k+1, per la diseguagliaza di Cauchy-Schwarz, E[(c v i ) 2 ] = E[(c X i u i ) 2 ] = E[(c X i ) 2 (u i ) 2 ] E[(c X i ) 4 ]E[u 4 i ] < per l Ass.3 degli OLS. i v i Rossi Proprietà asitotiche Ecoometria - 2014 26 / 30
Distribuzioe asitotica stimatore OLS el MRLM Dimostrazioe Segue che i E[v i v i] = Σ v è fiita e defiita positiva. Possiamo applicare il TLC multivariato: 1 v i = ( 1 per cui i v i ) d N(0 k+1, Σ v ) ( X ) X 1 ( X ) u d (ˆβ β) = Q 1 X N(0 k+1, Σ v ) d (ˆβ β) N(0 k+1, Q 1 X Σ vq 1 X ) Rossi Proprietà asitotiche Ecoometria - 2014 27 / 30
Distribuzioe asitotica stimatore OLS el MRLM Errori stadard robusti all eteroschedasticità Stimatore della Σ (ˆβ β) otteuto co i mometi campioari dove ( X ) X 1 ( X ) X 1 ˆΣ (ˆβ β) = Σv Σ v = 1 k 1 X i X iû 2 i i=1 Lo stimatore robusto all eteroschedasticità della Σ ˆβ è ˆΣ ˆβ = 1 ˆΣ (ˆβ β) Rossi Proprietà asitotiche Ecoometria - 2014 28 / 30
Distribuzioe asitotica stimatore OLS el MRLM Errori stadard robusti all eteroschedasticità Fuzioe lieare di ˆβ, c ˆβ: c ˆβ N(c β, c Σˆβc) Se c = e i, quidi ˆβ i = e i ˆβ N(e iβ, e iσˆβe i ) Var[ ˆβ i ] = e iσˆβe i da cui lo stadard error di ˆβ i SE( ˆβ i ) = e i ˆΣˆβe i Rossi Proprietà asitotiche Ecoometria - 2014 29 / 30
Distribuzioe asitotica stimatore OLS el MRLM Itervalli di cofideza L itervallo di cofideza al 5% per ˆβ i { ˆβ i ± 1, 96 e ˆΣˆβe i i } L itervallo di cofideza al 5% per ua combiazioe lieare c β {c ˆβ ± 1, 96 c ˆΣˆβc i i } Statistica t: ˆβ i β i d c ˆΣˆβc N(0, 1) i i Rossi Proprietà asitotiche Ecoometria - 2014 30 / 30