UNIVERSITA DEGLI STUDI MEDITERRANEA DI REGGIO CALABRIA Corso d Statstca Ecoomca a.a. / Prof. Alberto Botta
DERIVAZIONE DEGLI STIMATORI OLS La regressoe semplce Il procedmeto d calcolo degl stmator OLS sa el caso d ua regressoe leare semplce sa el caso della regressoe leare multpla s foda sulla stessa logca: la mmzzazoe della somma del quadrato degl scart. S defscao prmo luogo scart la dffereza tra valor effettv della varable dpedete emers dall operazoe d campoameto e corrspodet valor stmat svolgmeto dell aals d regressoe: otteut attraverso lo Essedo la fuzoe d regressoe del campoe PRF questo caso s tratta d ua + regressoe semplce a cu s fa rfermeto per stmare la varable casuale sulla base d varazo della varable dpedete. Obbettvo d qualsvogla regressoe è fttare el mglor modo possble dat effettv d cu s dspoe, ossa operare maera tale che le stme emerget dalla regressoe s dscosto el mor modo possble da dat effettv coteut el campoe. Tale obbettvo vee stetzzato matematcamete attraverso l cocetto d mmzzazoe della somma de quadrat degl scart: Come s evce charamete dall equazoe appea rportata, la sommatora del quadrato degl scart dpede, è fuzoe del valore assegato agl stmator e ; bsoga duque sceglere valor d e tal per cu la sommatora de quadrat degl scart sa la more possble N.B: gl altr elemet dell equazoe e soo ot quato soo rsultat dell opera d campoameto della varable dpedete e della varable esplcatva. Il procedmeto d mmzzazoe d ua fuzoe vettorale quale l equazoe è be oto e rchede che tutte le dervate parzal della fuzoe rspetto le propre varabl esplcatve sao tutte
cotemporaeamete poste uguale a zero. S tratta delle cosddette FOC Frst Order Codtos, esprmbl questo modo: Le dervate parzal appea rportate vao a formare u sstema d due equazo due cogte e che, ua volta soddsfatte cotemporaeamete, darao valor cercat d e : La soluzoe d tale sstema d equazo può essere otteuta attuado l be oto procedmeto d sosttuzoe. Dalla prma equazoe el sstema precedete s avrà: ossa: + Dvdedo da ambo lat per l umero d osservazo ossa la dmesoe del campoe, s ha: + ossa: + e qud: co e valor med della varable e rspettvamete. Sosttuedo l equazoe all tero della secoda equazoe del sstema poc az rportato, s ottee: Va da sé che preseza d regresso multple caratterzzate da pù d ua varable esplcatva e da u umero d stmator maggore d due, l umero d codzo da soddsfare cotemporaeamete sarà ach esso maggore d due e par al umero d stmator d cu s desdera determare l valore ottmale.
4 Moltplcado da ambo lat per, s ottee: + Raggustado: [ ] Da cu s può rcavare la seguete forma esplcta per lo stmatore : L equazoe umero può essere sesblmete semplfcata e resa pù dgerble prededo cosderazoe cocett d varaza e covaraza, attraverso qual, l equazoe s può rscrvere attraverso alcu aggustamet algebrc el modo seguete: 4 Co ;
5 La regressoe multpla Il procedmeto d calcolo degl stmator OLS o muta, da u puto d vsta cocettuale, el caso cu s abba a che fare co ua regressoe multpla, ossa ua regressoe cu s assume l essteza d due o pù varabl esplcatve. S preda come puto d rfermeto l caso della seguete regressoe caratterzzata dalla preseza d due varabl esplcatve e. S avrà: + + E qud: La sommatora de quadrat degl scart sarà: I questo caso sarao ovvamete tre le codzo da mettere a sstema al fe d determare valor de tre stmator, e che mmzzerao la somma del quadrato degl scart. Pù partcolare: Ovvero:
6 Dopo ua sere d calcol artmetc, s può dmostrare che le equazo rsolutve de tre stmator cosderat sarao le seguet:
CAPACITA ESPLICATIVA DI UNA REGRESSIONE Ua regressoe sarà tato mglore quato maggore sarà la sua capactà d spegare la varabltà della varable dpedete, ossa la sua capactà d spegare, attraverso gl effett delle varabl esplcatve cluse ella regressoe sulla varable dpedete, gl scostamet della varable dpedete rspetto l suo valor medo. I effett, sulla base d quato detto precedete, s può scrvere: + Dove rappreseta la parte del valore effettvo della varable dpedete colto e spegato dalla regressoe ed espresso attraverso l valore stmato dalla regressoe stessa. Vceversa, l terme d scarto dca quata parte del valore effettvo o vee colto dalla regressoe, restado duque o spegato. Tale espressoe può essere opportuamete relaborata sottraedo da ambo lat l valore medo : + 5 E opportuo questa sede rcordare che propretà tpca degl stmator OLS o meglo, della stma codotta co l metodo degl OLS è l uguaglaza tra valor medo de valor effettv e valor medo de valor stmat : modo seguete:. Per tale ragoe, l equazoe 5 potrà essere rscrtta el + 6 Co S preda ora l quadrato dell equazoe 6: + + + 7
Facedo la sommatora da ambo lat: + + 7 I vrtù delle propretà umer degl stmator OLS e degl scart da ess dervat, s può dmostrare che l doppo prodotto è ullo perché asseza d correlazoe tra scart e valor stmat. L equazoe 7 potrà duque essere rscrtta el modo seguete: + cu: TSS Total Sum of Squares ESS Eplaed Sum of Squares, ossa la parte d varabltà attoro alla sua meda della varable dpedete spegata e colta dalla regressoe. RSS Resdual Sum of Squares, ossa la parte d varabltà attoro alla sua meda della varable dpedete o spegata e o colta dalla regressoe, duque racchusa egl scart. Sulla base d tal defzo s defsce l dcatore stetco d botà della regressoe R : R ESS TSS RSS TSS 8 Il coeffcete R potrà assumere valor compres tra e ; la regressoe sarà tato mglore e pù effcace quato pù vco a sarà R. Il calcolo del coeffcete R sarà vco ad ; al cotraro, la regressoe sarà tato peggore, quato more e R è certamete utle per compredere la botà e la capacta esplcatva d ua regressoe. Cò oostate, tale coeffcete è altamete fluezato dal umero d varabl esplcatve cluse ella regressoe e deve percò essere aalzzato co cautela. I effett, partedo dalla defzoe stessa d R, s può be vedere come esso sa o-decrescete el umero d varabl esplcatve cluse ella regressoe. Se s aumeta artfcalmete l umero d varabl 8
esplcatve cluse ella regressoe, è assa probable che resdu della regressoe stessa, e d cosegueza la somma de loro quadrat, dmuscao. No camba ulla, vece, per quato rguarda la varabltà della varable dpedete, la quale emerge da dat e o è duque mmamete fluezata dalle operazo d stma. Ne cosegue che all aumetare del umero d varabl esplcatve, magar ache d portata esplcatva rdotta e trascurable, l coeffcete assumere valor pù alt. R tederà ad aumetare e ad Dal puto d vsta dell ecoometrco, è mportate evtare d correre ell errore d estedere artfcalmete ua regressoe co la sola faltà d far apparre la stessa mglore attraverso u valore pù elevato del coeffcete R. I vertà, ua regressoe è tato mglore quato pù è parsmoosa el umero d varabl esplcatve e cò oostate resce ad avere ua otevole capactà esplcatva del feomeo ecoomco che s cerca d aalzzare. Per capre se è davvero opportuo estedere l modello ecoometrco ed cludere uove varabl esplcatve ello stesso, è stato elaborato l coeffcete R aggustato adjusted modo seguete: R, formulato el R / k / k R k RSS TSS TSS ESS / TSS k TSS / TSS 9 Dove -k dcao grad d lbertà assocat agl scart, essedo l umero delle osservazo e k l umero d parametr da stmare; -, vece, rappresetao grad d lbertà assocat allo scostameto della varable dpedete rspetto alla propra meda. S prov ora ad osservare cosa accade agl dcator R e R el caso cu s espada ua data regressoe troducedo ua varable esplcatva aggutva, co l auslo d questa tabella: Effetto agguta varable esplcatva R R / + k / k / + / k / / / + + / 9
Come s dceva, l agguta d ua varable esplcatva produce, geerale quatomeo o aumeta, ua rduzoe della sommatora de quadrat degl scart e qud del rapporto RSS/TSS varazoe cotrassegata dal sego meo ella tabella. Secodo la defzoe d R ved equazoe 8, è evdete che R aumeterà. L sermeto d ua uova varable e duque d u uovo parametro da stmare, tuttava, farà ache dmure -k, ossa grad d lbertà assocat agl scart. Il rapporto / k potrà duque sa crescere che aumetare, a secoda d quale de due effett prevarrà rduzoe della somma del quadrato degl scart o rduzoe de grad d lbertà. E evdete che tale certezza s rverbera sulla varazoe d R, l quale potrà ach esso aumetare, ovvero rdurs. Se l troduzoe della uova varable esplcatva durrà ua rduzoe sgfcatva degl scart tale da fare dmure e o aumetare l rapporto / k, allora l coeffcete R, sulla base della sua defzoe, tederà ad aumetare. Evdetemete, avremo trodotto ella regressoe ua varable esplcatva rlevate che era opportuo cludere el ostro modello. I alteratva, qualora l agguta d ua varable esplcatva dovesse rvelars poco sgfcatva e rdurre d poco la Resdual Sum of Squrares, allora l rapporto / k tederà probablmete ad aumetare. Il coeffcete R, vece, s rdurrà s veda la sua formula, dcado come la uova varable esplcatva cosderata sa realtà poco rlevate e possa traqullamete essere esclusa dalla regressoe. Il coeffcete R assume sempre valor feror al coeffcete R e può assumere ache valor egatv ad dcare, evdetemete, ua regressoe mal posta che forsce scars rsultat. I questo caso, l valore del coeffcete R può essere semplcemete posto uguale a zero.