REGRESSIONE LINEARE. È caratterizzata da semplicità: i modelli utilizzati sono basati essenzialmente su funzioni lineari

Transcript

1 REGRESSIONE LINEARE Ha un obettvo mportante: nvestgare sulle relazon emprche tra varabl allo scopo d analzzare le cause che possono spegare un determnato fenomeno È caratterzzata da semplctà: modell utlzzat sono basat essenzalmente su funzon lnear Anche n caso d relazon non lnear, una prma anals fondata su forme funzonal semplc (lnear) è un punto d partenza per passare po ad eventual modell pù compless

2 REGRESSIONE LINEARE Esempo per prevedere le vendte d un nuovo punto vendta l responsable d una catena d supermercat ha rlevato da un campone d supermercat: l volume delle vendte la dmensone la denstà della popolazone la spesa per promozone Quest: c è una relazone tra l volume delle vendte e quelle varabl? sulla base d tale relazone come posso prevedere l volume delle vendte del nuovo punto vendta?

3 Le prncpal fas 1. S potzza una relazone funzonale lneare tra una varable oggetto d studo (varable dpendente o rsposta) e una o pù altre varabl (ndpendent o esplcatve) 2. S stmano parametr d tale relazone funzonale sulla base de dat camponar a dsposzone 3. S effettuano test statstc sulla sgnfcatvtà de parametr e s valuta la bontà dell adattamento del modello a dat 4. S effettuano altre anals d conferma sulla valdtà delle assunzon su cu s basa la stma del modello (lneartà e altre assunzon)

4 I MODELLI DI REGRESSIONE LINEARE Modell d dpendenza per la rappresentazone d relazon non smmetrche tra le varabl Y varable dpendente (varable target da spegare) X 1,,X p varabl ndpendent (varabl esplcatve o regressor) S vuole descrvere la relazone tra Y e X 1,,X p con una funzone lneare se p=1 osservazon n uno spazo a due dmenson (=1,,n) Y = f (X 1 ) se p>1 osservazon n uno spazo a p+1 dmenson (=1,,n) Y = g(x 1,..., X p )

5 X I MODELLI DI REGRESSIONE LINEARE se p=1 spazo a due dmenson retta d regressone lneare semplce Y

6 Y Il modello d regressone lneare se p>1 spazo a p+1 dmenson pano d regressone lneare X 1

7 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Esempo per prevedere le vendte d un nuovo punto vendta vengono rlevat da un campone d supermercat: Il volume delle vendte La dmensone Campone d supermercat Dagramma d dspersone (scatter) V o l u m e v e n d t e ,0 50,0 100,0 150,0 200,0 Spazo espostvo

8 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Relazone lneare potzzata: Y X u 1,2,... n α e β : parametr del modello d regressone α : ntercetta; β : coeffcente d regressone La relazone lneare non vale con esattezza: dscrepanze tra valor osservat d Y e quell dervant da una relazone esatta con X Cause delle dscrepanze: Error d specfcazone (altre varabl esplcatve non consderate nel modello); Error d msura o d rsposta present nella varable Y

9 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Y X u 1,2,... n Il termne d errore u rappresenta le dscrepanze e dstngue una relazone statstca (o stocastca) da una determnstca u : varabl casual che s potzzano Indpendent dstrbute normalmente con meda E(u ) = 0 e varanza costante E(u 2 ) = σ 2 u

10 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello Stmando la retta d regressone s commette un errore d prevsone: Metodo de Mnm Quadrat Y VALORE OSS. Y ERRORE Y VALORE STIMATO X

11 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello In base alle n osservazon camponare: stme de parametr α e β del modello d regressone, ndcate con a e b Stmat parametr, la relazone che lega le due varabl corrsponde a una partcolare retta nel pano: Ŷ = a+bx Retta d regressone stmata dove: ndca l ordnata teorca corrspondente ad un dato valore d X l coeffcente a - o ntercetta - rappresenta l ordnata all orgne della retta l coeffcente d regressone b è l coeffcente angolare della retta

12 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello La retta d regressone stmata è tanto pù adatta a descrvere la relazone tra le due varabl quanto pù punt osservat sono vcn a tale retta Esempo: V o l u m e v e n d t e Spazo espostvo

13 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello Resdu camponar: e Y Yˆ Y a bx Crtero de mnm quadrat (OLS): a e b sono scelt n modo da mnmzzare la somma de quadrat de resdu camponar n n f ( a, b) e Y a bx Le stme s ottengono uguaglando a zero le dervate parzal: f ( a, b) f ( a, b) 0; 0 a b

14 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello rsolvendo abbamo: a b y b n 1 y y n 1 2 IL COEFFICIENTE DI REGRESSIONE ESPRIME DI QUANTO, IN MEDIA, VARIA IL CARATTERE DIPENDENTE ALL AUMENTARE DI UNA UNITA DEL CARATTERE INDIPENDENTE.

15 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE La stma del modello Esempo: V o l u m e v e n d t e Spazo espostvo Parametr Stma a b 0.67 Yˆ 10,19 0,67 X l coeffcente d regressone c dce che ad un ncremento untaro della varable X (un m 2 nella superfce) la varable Y subsce un ncremento d 0,67 (centnaa d euro d vendte: 67 euro

16 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Dstrbuzone de parametr Gl stmator a e b - entramb funzon lnear della varable casuale Y, dstrbuta come l termne d errore u, hanno anch ess dstrbuzone d probabltà normale: b N ; n 2 2 u 1 Da cu le seguent varabl standardzzate: a n u 1 n X N(0,1) u b n 1 2 N(0,1)

17 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Dstrbuzone de parametr Sosttuta la varanza ncognta dell errore σ 2 u con un suo stmatore corretto s 2 : n s ( e ) / ( n 2) dalle dstrbuzon normal standardzzate s passa alle dstrbuzon t d Student: s b n 1 2 t ( n2) Ne denomnator fgurano gl error standard de parametr

18 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Inferenza su sngol parametr Sstema d potes: H H 0 1 : 0 : 0 La statstca test: rapporto tra stma e suo errore standard s b n 1 2 t, n2 2 sì s respnge H 0 β =0 no s accetta H 0 β =0

19 IL MODELLO DI REGRESSIONE LINEARE SEMPLICE Inferenza su sngol parametr Esempo (precedente): Yˆ 10,19 0,67 X V o l u m e v e n d t e Spazo espostvo l p-value c dce che l test è sgnfcatvo: l suo valore ha staccato un area d probabltà par a 0,0005 sulla coda della dstrbuzone; c trovamo qund nella regone d rfuto del test

20 IL MODELLO DI REGRESSIONE LINEARE MULTIPLA Caso d due varabl ndpendent X 1 e X 2 : y 1 2 u dove α, β 1 e β 2 sono parametr del modello d regressone e u è la componente d errore Attraverso le stme a, b 1 e b 2 de parametr vene defnto l pano d regressone stmato nello spazo a 3 dmenson: Caso generale: Ŷ = a+ b 1 X 1 + b 2 X 2 Y X X u ( =1,...,n) k k

21 Il modello d regressone lneare L errore presente nel modello s potzza essere d natura casuale. Può essere determnato da: varabl non consderate problem d msurazone modello nadeguato effett puramente casual Le potes del modello

22 IL MODELLO LINEARE NORMALE Quando s parla d modello lneare generale s ntende fare rfermento ad n modello atto a formalzzare e studare LA DIPENDENZA IN MEDIA d una v.c. Y da k varabl matematche (non casual) X 1,, X 2., X k, In termn matrcal: Y Y1 Y2... Yn X Y = XB + ε n n k1 k 2... kn n k1 k 2... kn B k n

23 Il modello d regressone lneare Le potes del modello 1. Error a meda nulla E( ) 0 2. Error con varanza costante (omoschedastctà) Cov( ) 2 In 3. Error non correlat (per ogn j) Cov(, j) 0 4. Error con dstrbuzone Normale ~ N(0, In) * 1 3 hp debol 1 4 hp fort

24 Il modello d regressone lneare Le potes del modello Da un punto d vsta statstco Y è un vettore aleatoro d cu s osserva una specfca realzzazone camponara hp sulla dstrbuzone X è una matrce costante con valore noto no hp sulla dstrbuzone beta è un vettore costante non noto l errore è un vettore aleatoro d cu s osserva una specfca realzzazone camponara hp sulla dstrbuzone

25 Il modello d regressone lneare Le potes del modello n meda Y può essere rappresentata come funzone lneare delle sole (X1,,Xp) E( Y) X ogn osservazone d Y è uguale ad una combnazone lneare de regressor con pes=coeffcent beta + un termne d errore Y X

26 Indce d Determnazone DEVIANZA TOTALE DEVIANZA DI REGRESSIONE DEVIANZA RESIDUA L INDICE DI DETERMINAZIONE, esprme QUANTA PARTE DELLA DEVIANZA TOTALE DI Y E DETERMINATA o SPIEGATA DALLA RETTA DI REGRESSIONE Assume valore 0 quando la Devanza d Regressone è nulla (b=0) Assume valore 1 quando la Devanza Resdua è nulla ossa quando punt sono allneat e gaccono sulla retta d Regressone. 26