Lezioe 3 Proprieà saisiche degli simaori OLS - Ache i queso capiolo si cosidera il modello di regressioe lieare y x β + u co E( u Ω ) 0, x appariee a Ω per,,, e si assume che sia assegao il processo (fiio) delle osservazioi ( y, x ) per,,, per il processo socasico {( y, x )}. Nelle applicazioi il modello di regressioe e` u modello ecoomerico che si assume correamee specificao, el seso che i dai a disposizioe provegoo da u DGP del modello. Si osservi che qui (erambe) le variabili y e x soo variabili aleaorie, mere gli argomei del precedee capiolo richiedoo solao la dispoibilià del veore y di R e della marice (di umeri reali) di dimesioe. Si segalao i due semplici esempi di modelli di regressioe lieare che si cosiderao ei corsi di saisica di base. () y x β u u iid σ, +,.. (0, ) () y x β u u id σ, +,.. (0, ) co i valori di x fissai (e quidi la variabile x può essere cosideraa o aleaoria). Nel seguio quado si fara` uso delle oazioi i () e (), la variabile x può essere aleaoria ma si soiede che le variabili aleaorie u e x soo idipedei e quidi che E( u x ) 0. Evideemee i due modelli soo paramerici, il primo è parzialmee specificao (o e` oa la disribuzioe degli errori) mere il secodo è compleamee specificao (e` oa la disribuzioe degli errori). I ecoomeria le proprieà degli simaori che hao maggiore ieresse soo quelle asioiche (valide cioè i preseza di gradi campioi), Per compleezza si riporao le proprieà, spesso ralasciado la prova, degli simaori OLS valide per campioi fiii, che soo ceramee oe a coloro che hao seguio u corso di saisica. Ci sarao piccoli aggiusamee perche possao essere uilizzae ache i problemi ecoomerici. Proprieà dello simaore OLS per campioi fiii Proposizioe Se sussise E( u ) 0 per ogi,,, ( ) allora lo simaore ˆβ è correo; ( ) Quesa ipoesi, deomiaa srea esogeeià delle variabili idipedei, è evideemee più resriiva di E( u per ogi, presee el modello, che ivece è dea esogeeià coemporaea delle variabili x) 0,, idipedei. Si segala che la srea esogeeià, che può essere abbasaza ragioevole per dai cross-secio, è poco verosimile (ma o esclusa a priori) i preseza di ime series, ma è ceramee o valida se el modello soo presei (ra le variabili idipedei) variabili dipedei riardae (modelli diamici).
più precisamee E( βˆ ) β, da cui ovviamee segue E( βˆ ) β. (La verifica è immediaa e la prova mosra che i asseza della srea esogeeià lo simaore o è correo). Proposizioe ( ) Nelle ipoesi: le variabili x soo sreamee esogee ( E( u ) 0 ), gli errori soo omoschedaici ( E( u ) σ ); gli errori soo o correlai ( E( uu ) 0 per s) s (e quidi i paricolare se { u } iid...(0, σ ) che equivale a { u} iid σ variabili u e soo idipedei), si ha:...(0, ) e le ( ) σ I var( β ) ( E ( )( ) E ( ) ( ) ββ β β uu ) σ I. Osservazioe: Se si defiisce (marice di) precisioe di uo simaore correo la marice iversa della sua variaza, allora elle ipoesi di proposizioe si ha: la precisioe dello simaore aumea co la lughezza del campioe e dimiuisce i preseza di quasi-mulicolliearià (Si dice che c è mulicolliearià ella marice se le sue coloe soo liearmee dipedei come veori di R e duque se il deermiae di è ullo). Lo simaore OLS è il più efficiee (cioè ha la miore variaza e quidi la maggiore precisioe ( 3 ) ) ra gli simaori correi e lieari i y. Ifai sia β Ay u alro simaore di β lieare i y e correo, co A marice di ordie. Allora si ha ( A ) A( β y β + u) e quidi β E( β ) E( Ay ) E( Aβ + Au ) Aβ (quale che sia il valore di β ) dode si ha A I. Ora poso C A( ) si ha C 0 (segue dalla rappreseazioe di C e da A I ); ( ) Le ipoesi della proposizioe soo ceramee valide se{ ( y, x) } i.. id. e quidi ragioevoli i modelli co dai cross-secio. ( 3 ) Si segala il seguee risulao che sarà uilizzao i seguio, il cui euciao è abbasaza prevedibile ma la cui dimosrazioe o è baale e per quesa ragioe è saa sposaa ell appedice. Teorema: Siao A e B marici quadrae dello sesso ordie, allora le seguei proposizioi soo equivalei: a) 0 < A B ; b) 0 B < A.
Cy + βˆ β ( Ay Cy+ ( ) y ) C + C + ˆ C + ˆ β u β u β ; quidi cov (, C ) E ( )( ) E ( ) C' β y ββ β β uu 0(essedo C 0) e cov( βˆ, C y) 0. L assero a queso puo segue dalla rappreseazioe β Cy + βˆ essedo cov( β ˆ, C y) 0. Nella seguee proposizioe soo elecae alcue proprieà dei residui, valide sempre per campioi fiii. Proposizioe 3 Nelle ipoesi di proposizioe (duque le variabili idipedei soo sreamee esogee e il processo degli errori è a) E( uˆ ) E( u ) E( u ) 0 ; ( 4) iid...(0, σ )) si ha: b) c) uˆ uu σ σ (duque le coordiae di û, a var( ) E( ) ( ( I ( ) )) differeza di quelle degli errori u soo correlae e duque o soo idipedei; i realà la preseza di correlazioe elle coordiae di û è gia saa segalaa ella oa (4). S u u ˆ ( ) è uo simaore correo di σ ; dicesi ache simaore OLS della u variaza. Ifai osservao che ˆ ˆ, essedo h il e simo elemeo var( u ) E( u ) ( h) σ diagoale della marice P, si ha h Tr( P ) Tr(( ) ) Tr( I) e quidi σ σ E( S ) E( uˆ ) ( h) (e i paricolare E( S ) σ ). d) ˆ cov( β, S ) 0 ; (euo coo della rappreseazioe di S è sufficiee ricooscere che è cov( βˆ, u) 0. Ifai si ha ˆ ˆ β u β β u uu 0). cov (, ) E ( ) E ( ) Osservazioe: ( 4) uˆ ˆ u ; i paricolare è orogoale a ciascu veore coloa di e se il modello y β + u û coiee l iercea allora la somma delle coordiae del veore û è ulla (e perao le coordiae o possoo essere idipedei, circosaza che ivece si verifica per u ). 3
) Ua quesioe che qui o è affroaa, ma di sicuro ieresse per le applicazioi, è l effeo sulle sime dei seguei due errori di specificazioe (i u qualuque eso di ecoomeria l argomeo è raao esaurieemee). i) E presee el modello ua variabile idipedee o ecessaria per spiegare la variabile dipedee y (sovraspecificazioe). ii) Ua variabile idipedee uile per spiegare la variabile dipedee y o è saa iseria el modello (soospecificazioe). Si segala solao (la prova è quasi imediaa) che l errore di sovraspecificazioe o alera le proprieà dello simaore ma e riduce la precisioe, mere l errore di soospecificazioe alera (geeralmee) le proprieà dello simaore. Proprieà degli simaori OLS per campioi fiii e modelli ormali Fermo resado le alre ipoesi (i paricolare la srea esogeeià delle variabili idipedei) si u id...(0, σ )(o equivaleemee u N(; 0 σ I )). Allora alle precedei assume che { } proprieà si aggiugoo le seguei: a) ˆ (,( ) β N β σ I (o equivaleemee ) ( ˆ ) ( β ) β N( 0; σ I) ); è evidee o appea si osserva che β ˆ si oiee da ua variabile aleaoria co disribuzioe ormale mediae ua rasformazioe lieare. b) Le variabili ˆβ ed S (codizioae ad ) soo idipedei; ifai le variabili ˆβ e u ( ) soo cogiuamee ormali e o correlae 5 e quidi idipedei e iolre S è fuzioe di u. c) Si ha S ( ) χ σ ; segue dalla rappreseazioe ( ) S u u e dal eorema i appedice. Appedice Proposizioe: Siao A e B marici simmeriche defiie posiive dello sesso ordie. Allora I A defiia posiiva A I defiia posiiva. ( 5) cov (, ) E ( )( ) E ( )( ) ( ) E( )( I ( β u β β u β β u uu ) ) σ ( ) ( I ( ) ) 0. 4
Ifai sia x R, x 0 ( A), e si cosideri z x. Allora essedo A ( A) si ha > ( A x I) x z A( A I) Az z ( I A) z 0 AB è defiia posiiva se A e B commuao. ABA è defiia posiiva (essua ipoesi su A salvo l iveribilià); i paricolare ABA è defiia posiiva se A è simmerica. A B B A defiia posiiva defiia posiiva. Ifai / / / / A B > 0 I A BA > 0 I A B A < 0 A B < 0 Teorema : Sia x u veore aleaorio di dimesioe. Allora x N(, 0 Ω) x Ω x χ. / Basa osservare che Ω x N(, 0 I ) e duque x Ω x e la somma di dei quadrai di variabili co disribuzioe ormale sadard. P Sia ua proiezioe orogoale sullo spazio geerao dai veori coloa della marice di dimesioe ( < ) (si oi che ua proiezioe è orogoale se e solao se è simmerica). Allora z N(, 0 I ) z P z χ. Segue dalla precedee o appea si osserva che z P z z z e z N(, 0 ). ( ) 5