Facoltà di Economia - Università di Sassari Anno Accademico Dispense Corso di Econometria Docente: Luciano Gutierrez

Transcript

1 Facolà di Economia - Universià di Sassari Anno Accademico Dispense Corso di Economeria Docene: Luciano Guierrez La Regressione Mulipla Programma:... Il problema dell omissione di variabili.... Il modello di regressione mulipla..3. Lo simaore minimi quadrai..4. Le ipoesi del modello di regressione mulipla..5. La disribuzione degli simaori minimi quadrai nella regressione mulipla...6. I es di ipoesi e gli inervalli di confidenza dei singoli coefficieni..7. I es di ipoesi congiuna..8. I es sulle resrizioni dei parameri sui coefficieni della regressione..9. Il coefficiene di deerminazione nella regressione mulipla Luciano Guierrez Deparimeno di Economia e Sisemi Arborei el.: Universià of Sassari Fa: Via E. De Nicola, Sassari lguierr@uniss.i web: hp://

2 37.. Il problema dell omissione di variabili. Nell esempio precedene abbiamo ipoizzao che gli invesimeni fissi ialiani siano influenzai esclusivamene dal prodoo inerno lordo. In realà dal corso di macroeconomia sappiamo che un alra variabile può essere rilevane. Quesa variabile è il asso di ineresse reale. Il asso di ineresse è senza dubbio correlao con il regressore prodoo inerno lordo (ad esempio ramie i consumi delle famiglie) ed correlao sicuramene con la variabile dipendene. Infai, maggiore è il asso di ineresse maggiore, a parià di alre condizioni, sarà il coso del credio srumeno finanziario soliamene uilizzao per il finanziameno degli invesimeni. Allora gli invesimeni dovrebbero essere influenzai negaivamene dal asso di ineresse. Se variabili imporani non sono inserii nel modello di regressione è molo probabile che i valori calcolai del coefficiene simao β siano disori. In economeria avremo un problema di disorsione da omissione di variabili se:. la variabile omessa e correlaa con il regressore.. la variabile omessa influenza la variabile dipendene. Noa come enrambe le condizioni calzino abbasanza bene al nosro caso. Se la variabile asso di ineresse, esclusa dalla regressione in cui vi è un solo regressore, è nascosa nel ermine di errore avremo che corr( ε ), = ρ 0. Ma allora la prima ε delle ipoesi del modello di regressione lineare (ricorda E( ) 0 violaa in quano avr emo che E( ) 0 riprendere l equazione ˆ = β = β + ε = ) è palesemene ε. Per calcolare la disorsione possiamo = ( ) ( ) ε (3.) Per che cresce, il secondo addendo al denominaore ende alla varianza della variabile, menre il numeraore enderà alla covarianza ra ε e. Allora possiamo scrivere che La formula (3.) ci dice diverse cose + (3.) ˆ p ε β β ρε Ricorda che ρ = ( ) ε ε ε

3 38. Dao che ora ˆβ β non converge in probabilià la valore della popolazione lo simaore minimi quadrai nel caso di variabili omesse è non consisene. Il ermine ε ρε esprime la disorsione dello simaore che si risconra anche nel caso di grandi campioni.. L enià della disorsione dipende sosanzialmene dalla correlazione ra errore e regressore. Maggiore è ρ ε maggiore è la disorsione. 3. La direzione della disorsione dipende se la correlazione è posiiva o negaiva. Ad esempio se ρ ε < 0 avremo che β > βˆ soosimiamo il vero coefficiene della popolazione. Uno dei modi per risolvere il problema legao all omissione di variabili è quello di aumenare il numero di regressori, ossia scrivendo l equazione di regressione come o in ermini mariciali K y = α + β + ε =,,..., ; (3.3) k k k = Y = Xγ + U (3.4) in cui y K α ε y K β ε Y ; X= = ; γ = ; U=. (3.5) y K βk ε Noa che ora il modello di regressione lineare presena K come caso generale, che nauralmene include anche il caso precedenemene analizzao di K=... Il modello di regressione mulipla Nel seguio uilizzeremo la noazione mariciale. L equazione (3.4) presena K regressori. Allora se si conoscono le sime relaive a ciascun coefficiene incluso nel veore γ. Ad esempio è possibile calcolare l effeo su Y di un cambiameno nei valori del regressore manenendo cosane il livello degli alri ( K ) regressori. Possiamo calcolare il valore aeso condizionao di Y rispeo ai K regressori. Queso è dao semplicemene da ( ) Xγˆ EYX = (3.6)

4 39 L equazione (3.6) è la funzione di regressione nel caso di regressione mulipla. Il primo elemeno nel veore γ ˆ è la cosane di regressione o inercea, le alre sime relaive ai K regressori consenono di calcolare come già deo l effeo su Y di una variazione in un regressore manenendo cosani gli alri regressori. Ad esempio l effeo di su Y è dao da Y = β (3.7) in cui la derivaa parziale è indicaa in quano calcoliamo l effeo di una variazione di manenendo cosane il livello delle alre variabili...3 Lo simaore minimi quadrai Come nel caso della regressione in cui abbiamo un solo regressore, anche nel caso della regressione gli simaori minimi quadrai sono oenui minimizzando l espressione la (3.8) può essere riscria come: e la condizione del primo ordine è daa da cui oeniamo min Q= Y X Y X = UU (3.8) γ ( γ) ( γ) Q = YY γ ' X ' y + γ XX γ (3.9) Q = XY + XXγ = 0 γ ( XX) (3.0) γ = XY (3.) Noa che ( XX ) è una marice quadraa di dimensioni ( K, K ) + +. Se esise l inversa di quesa marice lo simaore minimi quadrai può essere facilmene oenuo ( ) ( ) γ ( ) γˆ ( ) XX XX = XX XY = XX XY (3.) Noa che dao che il prodoo ( XX) X è una marice di cosani gli elemeni di γ ˆ sono funzioni lineari di Y. Allora lo simaore minimi quadrai γ ˆ è uno simaore lineare...4. Le ipoesi del modello di regressione mulipla

5 40 Anche nel caso di regressione mulipla possiamo dire affermare che gli simaori minimi quadrai saranno gli simaori lineari migliori o, nella erminologia saisica più efficieni, se valgono le segueni ipoesi. EUX ( ) = 0 e ( ) ( ) VAR UX = E UU = I K +. ( Y, X ) sono indipendenemene e idenicamene disribuie, cioè è i.i.d. 3. Esise il momeno quaro sia delle K variabili incluse nella marice X sia dell errore U. 4. I regressori non sono perfeamene mulicollineari. Esaminiamo il significao delle re ipoesi: Le ipoesi -3 sono già sae analizzae nel caso di regressione semplice e si applicano al caso di regressione mulipla. Valgono le sesse considerazioni già fae nel precedene capiolo, solo che ora devono essere ampliae al caso di K+ regressori. L ipoesi 4. è invece nuova. L ipoesi richiede che un qualsiasi regressore non possa essere espresso come combinazione lineare dei rimaneni K regressori. Se ciò si verificasse, non poremo calcolare l inversa ( XX) di rango pieno r( XX) K '. In praica dovremo avere che la marice ( ) = +. XX deve essere..5 La disribuzione degli simaori minimi quadrai nella regressione mulipla. Dao che i dai possono differire ra un campione e un alro campione, differeni campioni daranno luogo a differeni valori degli simaori minimi quadrai. Come nel caso della regressione semplice avremo che la variazione degli simaori da un campione e un alro può essere sineizzaa nella disribuzione degli simaori. E possibile mosrare anche in queso che gli simaori minimi quadrai sono correi e consiseni. Per il eorema del limie cenrale al crescere della numerosià del campione, la disribuzione congiuna degli simaori converge asinoicamene ad una disribuzione normale (mulidimensionale). Come calcolare gli errori sandard degli simaori OLS? Pariamo dalla (3.) che può essere riscria,uilizzando la (3.4),come ( ) ( ) ( ) ( ) ( ) γˆ = XX X Xγ + U = XX XX γ + XX XU = γ + XX XU (3.3)

6 4 e dalla (3.3) abbiamo γ γ ( ) ˆ = XX XU. Allora VAR = E = XX XE UU X XX (3.4) ( γ ) ( γˆ γ ) ( γˆ γ) ( ) ( ) ( ) e dall ipoesi. sappiamo che ( ) = e quindi possiamo scrivere EUU I K + ( γˆ ) ( ) ( ) ( ) VAR = XX XX XX = XX (3.5) ( ) Allora per grandi campioni avremo che γˆ N γ, ( XX ) in cui N (.) disribuzione normale mulivariaa. L espressione ( XX) dimensioni ( K +, K + ) α αβ, αβ, K αβ, β = βk, βk αβ, K βk, βk βk ( XX) è una è una marice di (3.6) Si noi come la marice sia simmerica. Nella diagonale principale abbiamo le varianze degli simaori minimi quadrai e gli alri elemeni sono dai dalle covarianza. Allora una vola calcolae le sime dei K+ parameri uilizzando la (3.), possiamo calcolare anche i loro errori sandard. Quesi saranno dai dalla radice degli elemeni posizionai nella diagonale principale della (3.6). Nauralmene per calcolare la (3.6) occorre una sima della varianza dei residui di regressione U. Noa che, come nel caso della regressione semplice, una sima dei residui può essere oenua dalla seguene espressione Da cui abbiamo che la sima di Uˆ = Y Xγˆ (3.7) sarà calcolaa come ˆ Perché abbiamo diviso per ( K ) +? UU = (3.8) + ( K )..6 I es di ipoesi e gli inervalli di confidenza dei singoli coefficieni Anche in queso caso, l ipoesi che si vuole soliamene analizzare è quella che la variazione di un regressore non influenzi la variabile dipendene, ossia che il coefficiene di regressione associao a quel regressore sia uguale a zero.

7 4 Il es di ipoesi nel caso in cui l alernaiva è che il coefficiene di regressione sia diverso da zero (es a due code) è dao H : β = 0 H : β 0 (3.9) 0 k Abbiamo viso sopra come calcolare l errore sandard relaivo al k-esimo coefficiene di regressione. Una vola calcolao l errore sandard possiamo calcolare il es come k βˆ k 0 = (3.0) ˆβ k Una vola calcolao il valore di, confroneremo ale valore con il valore criico di una valore normale al di soo di livello di probabilià dello,5% e 97,5% di probabilià. I valori sono uguali a -.96 e.96. Se il valore di si rova all eserno dell inervallo [-,96,96], poremo rifiuare l ipoesi nulla β k = 0 al livello di significaivià del 5% (probabilià assegnaa all errore del I ipo). Nauralmene poremo calcolare i valori criici per differeni livelli di significaivià. Soliamene quelli uilizzai sono il livello di significaivià dell % e il livello di significaivià del 0%. Esercizio. E possibile analizzare i precedeni concei, uilizzando i dai relaivi agli invesimeni e prodoo inerno lordo ialiano. Come è noo dal corso di macroeconomia, gli invesimeni dovrebbero essere influenzai, olre che dal livello dell aivià economica effeo colo dalla variabile prodoo inerno lordo, anche dal livello del asso di ineresse reale. Nella abella soo sono presenai i valori dei coefficieni simai relaivi alla seguene regressione mulipla in cui ( ) INFL = α + β PIL + β r π + ε (3.) INFL è la variabile dipendene daa dagli invesimeni fissi lordi ialiani (a prezzi cosani) rilevaa nel periodo rimesre rimesre 004, in oale quindi 47 osservazioni. La variabile PIL è il prodoo inerno lordo espresso sempre a prezzi cosani e osservao nello sesso periodo emporale. Infine, ( r π ) è il asso di ineresse reale calcolao come differenza ra il asso di ineresse nominale sui ioli a lungo ermine, r, (fone Economis) e il asso di inflazione relaivo ai prezzi al consumo, π, (fone Isa). Dao che gli invesimeni sono soliamene finanziai facendo ricorso al credio di lungo periodo, la variabile ( r π ) coglie il coso di indebiameno. Nel caso dell inercea il es sarà dao H0 : α = 0 H: α 0.

8 43 Un incremeno del asso di ineresse reale dovrebbe avere quindi un effeo negaivo sugli invesimeni fissi lordi. abella 3: Regressione mulipla: variabile dipendene invesimeni fissi lordi Valid cases: 47 Dependen variable: INFL Missing cases: 0 Deleion mehod: None oal SS: Degrees of freedom: 44 R-squared: 0.97 Rbar-squared: Residual SS: Sd error of es: F(,44): Probabiliy of F: Sandard Prob Cor wih Variable Esimae Error -value > Dep Var α β β Nella prima colonna della abella roviamo i coefficieni simai. Come è possibile noare, l effeo della variabile PIL, infai il coefficiene è posiivo, menre è possibile il coefficiene simao relaivo al asso di ineresse reale è negaivo. Nella seconda colonna è inserio l errore sandard dei coefficieni di regressione. Nella erza colonna è presenao il valore della saisica presenaa nella (3.0). Come si ricorda l ipoesi nulla è che il coefficiene di regressione sia uguale a zero, ossia il regressore non influenzi la variabile dipendene. Uilizzando il livello di significaivià del 5% sappiamo che i valori criici sono uguali a -,96 e +,96 per un es a due code. Se osserviamo il valore della saisica è uguale a 8.4, quindi abbondanemene al di fuori dell inervallo [-,96,96], per cui il es (3.0) pora a rifiuare l ipoesi nulla di un coefficiene β = 0, il che consene di affermare ancora che il prodoo inerno lordo influenza il livello di invesimeni. Se osserviamo invece il valore del es del coefficiene relaivo al asso di ineresse reale, noiamo che il suo valore, -0,467, è all inerno dell inervallo [-,96,96], per cui non possiamo rifiuare in queso caso l ipoesi nulla di un coefficiene β = 0. Anche nel caso della regressione mulipla è possibile calcolare l inervallo di confidenza. Come per il es la procedura è idenica a quella già analizzaa per la

9 44 regressione semplice e si rinvia quindi a quelle pagine per il calcolo dell inervallo di confidenza...7. I es di ipoesi congiuna Esaminiamo la regressione (3.), e ipoizziamo di voler sooporre a es l ipoesi che enrambi i regressori PIL e asso di ineresse non influenzino il livello degli invesimeni. Abbiamo quindi un es di ipoesi congiuna in quano si impongono più di una resrizione sui parameri. Il es di ipoesi può essere scrio come: H : β = 0 e β = 0 0 H : β 0 e β 0 (3.) Quasi ui i programmi di regressione hanno incluso il es di ipoesi congiuna (3.) relaivamene ai coefficieni di regressione. Il es ha una disribuzione F di Fisher, i cui valori abulai sono preseni in diversi esi di economeria e saisica. Il es può essere facilmene calcolao nel seguene modo in cui F = ( risreo non risreo ) SQR /( k ) SQR SQR / k non risreo (3.3) SQR risreo è uguale alla somma dei residui al quadrao del modello in cui abbiamo imposo che i coefficieni di regressione siano uguali a zero, cioè nel caso della regressione (3.) risreo ( ˆ ) (3.4) SQR = INFL α menre SQRnon risreo è la somma dei residui al quadrao della regressione (3.) = ( ( )) αˆ βˆ ˆ ˆ β π ε (3.5) SQR = INFL PIL r = risreo = = La disribuzione F ha due gradi di liberà. Quelli al numeraore, k, sono relaivi ai vincoli imposi sui coefficieni, nel nosro caso due. Quelli al denominaore ( k ) sono quelli già noi nella regressione mulipla. Come è possibile noare dalla abella 3, il valore della F è pari a Se confronao con il valore abulao della disribuzione F con e 44 gradi di liberà al livello di significaivià uguale a 3., noiamo che è molo maggiore per cui concludiamo rifiuando l ipoesi congiuna che enrambi i coefficieni della regressione siano uguali a zero...8. I es sulle resrizioni dei parameri sui coefficieni della regressione

10 45 Un procedimeno simile può essere uilizzao per ipoesi relaive a resrizioni sui coefficieni di regressione. Per capire meglio il problema riscriviamo la regressione (3.) come INFL = α + β PIL + β r + βπ + ε (3.6) 3 Osservando la (3.6) noiamo che nella regressione (3.) abbiamo imposo la resrizione β3 = β. In queso caso quindi la regressione (3.) è la regressione risrea menre la regressione (3.6) è la regressione non risrea. Possiamo uilizzare il es F (3.3) per sooporre a es l ipoesi H : β 0 3 H : β = β β 3 (3.7) Dovremo calcolare la somma dei residui al quadrao dell equazione risrea (3.) e la somma dei residui la quadrao della regressione non risrea (3.6). Il numero di vincoli è ora k =. ui programmi economerici prevedono la possibilià di inrodurre es di ipoesi di resrizione sui parameri e es saisici..9. Il coefficiene di deerminazione nella regressione mulipla Abbiamo già viso il conceo di coefficiene di deerminazione R nel caso della regressione semplice. Il coefficiene di deerminazione esprime la percenuale di varianza della variabile dipendene spiegaa dal modello di regressione. Il problema nel caso della regressione mulipla è che ogni vola noi inseriamo un regressore, anche se queso non migliora significaivamene il fi di regressione, il coefficiene di deerminazione aumena. Per ridurre ale disorsione della saisica il coefficiene di deerminazione viene aggiusao Definiamo con SQR = εˆ la somma dei residui simai del modello di regressione e = con SQ = ( Y Y) sarà calcolao come, avremo che il coefficiene di deerminazione aggiusao, = R R, SQR = (3.8) k SQ in cui k è il numero di regressori inserii nella regressione. Occorre osservare che a) k è un numero sempre maggiore di uno, per cui R < R sempre!!

11 46 b) l inserimeno di un nuovo regressore ha un duplice effeo. Riduce il valore di SQR e, quindi, influenza posiivamene il coefficiene di deerminazione aggiusao R. uavia, il rapporo aumena e allora riduce il valore del coefficiene di k deerminazione aggiusao R. Allora il comporameno di R all inserimeno di un nuovo regressore dipenderà da quale ra quesi due effei sarà prevalene. Occorre uavia dire che l imporanza del coefficiene di deerminazione nel decidere se una variabile è imporane o meno in una regressione. Abbiamo viso che il comporameno del coefficiene di deerminazione semplice aumena sempre se inseriamo un nuovo regressore menre quello aggiusao può aumenare o ridursi a seconda di quale ra i due effei prima esaminai è prevalene. Se includere o meno una nuova variabile nella regressione è una decisione che deve essere presa guardando il es di ipoesi e non il coefficiene di deerminazione. Nella abella 3 è inserio sia il valore del coefficiene di deerminazione semplice pari a 0.97, sia quello aggiusao (Rbar-squared) pari a calcolao uilizzando l espressione (3.8).