1. variabili dicotomiche: 2 sole categorie A e B

Transcript

1 Variabile X su scala qualitativa (due categorie) modello di regressione: variabili quantitative misurate almeno su scala intervallo (meglio se Y è di questo tipo e preferibilmente anche le X i ) variabili esplicative X i su scala qualitativa 1. variabili dicotomiche: sole categorie A e B es sesso: M X = 1 F X = 0 Y = reddito interpretazione coefficienti: y ˆ = a + bx y ˆ = a reddito medio per Femmine (X = 0) y ˆ = a + b reddito medio per Maschi (X = 1) differenza tra il reddito medio delle Femmine e dei Maschi variabili dummy X = 0 se A X = 1 se B 13

2 Variabile X su scala qualitativa (più categorie). variabili politomiche ordinali nominali uso variabili dummy: una variabile espressa in C categorie può essere rappresentata in C -1 variabili dummy Y = contributo in dollari ad una campagna elettorale X = interesse politico del rispondente 1 = nessun interesse = poco interesse 3 = molto interesse modello di regressione: Y a + b X + b X + X 1 = 1 se X = (poco interesse) X 1 = 0 altrimenti = 1 1 X = 1 se X = 3 (molto interesse) X = 0 altrimenti non serve una terza variabile per X = 1 (nessun interesse) e u definite X 1 e X, X 3 è una perfetta combinazione lineare 3 a modalità (nessun interesse, X 3 = 1) definita da X 1 = 0 e X = 0 multicollinearità 133

3 Variabile X su scala qualitativa (più categorie) a stima del contributo medio alla campagna elettorale quando X = 1 (nessun interesse politico) base per confrontare gli effetti della altre categorie su Y es X = poco interesse politico X 1 = 1 e X = 0 Y = a + b1 X1 + b X + eu Y ˆ = a + b 1 (1) + b (0) Y ˆ = a + b 1 differenza nel contributo medio tra la categoria di rispondenti con poco interesse politico e quelli con nessun interesse ( a + b 1 ) - a = b 1 X = 3 molto interesse politico X 1 = 0 e X = 1 Y ˆ = a + b 1 (0) + b (1) Y ˆ = a + b 134

4 Inferenza sul coefficiente di regressione Un coefficiente angolare diverso da 0 indica che c è dipendenza della Y dalla x. Tuttavia non basta il risultato della stima ottenuto da un campione. Occorre condurre il seguente test per inferire il valore del coefficiente angolare della popolazione: H 0 : 1 =0 H 1 : 1 0 assenza di si relazione 135

5 Ipotesi per inferenza Y = a+ bx + u i i i a) n osservazioni indipendenti b) x i valori prefissati (non variabili casuali) c) E(u i ) = 0 (media nulla) d) E(u i ) = (varianza costante) e) u i segue la distribuzione normale N(0, )) 136

6 Distribuzione dei parametri a e b Gli stimatori dei minimi quadrati a e b - entrambi funzioni lineari del termine di errore u - hanno anch essi distribuzione di probabilità normale: n æ é ùö a! Nç as ; u ê 1 n+ X å xi è ë i= 1 ûø n æ ö b! Nç bs ; å u xi è i= 1 ø Per effettuare delle operazioni di inferenza σ u deve essere opportunamente sostituita con un suo stimatore corretto s passando da una distribuzione normale a una distribuzione t a -a n i i= 1 s 1 n+ X å x! t ( n-) s b - b n å i= 1 x i! t ( n-) 137

7 Stimatore s yx i Una stima corretta di è data da: DEV ( E) n n. gdl: n nr. parametri S YX n i 1 ( Y i Yˆ n i ) DEV ( E) n 138

8 Inferenza sul coefficiente di regressione β In corrispondenza del seguente sistema di ipotesi: H 0 : β = β 0 contro H 1 : β β 0 si respinge l ipotesi nulla se per un certo livello di significatività α si verifica che: s b - b n å i= 1 0 x i > t a,( n-) t di Student con n- gdl L intervallo di confidenza per la stima di β è pari a : n ± a å i= 1 b t s x i 139

9 Esempio supermercati p-value: probabilità di ottenere un valore più estremo della statistica t se vera H 0 il valore del p-value indica che il test è significativo il suo valore ha staccato un area di probabilità pari a 0,0005 sulla coda della distribuzione (regione di rifiuto del test) 140

10 Esempio famiglie p-value: t b β S b1 0,483 0 t 14, 144 0, Decisione: Rifiuto H 0 d.f. = 0- = 18 a/=.05 Rifiuto H 0 -t α/ Non rifiuto H 0 0 t α/ a/=.05 Rifiuto H ,144 Conclusioni: Non ci sono elementi per ritenere che il reddito non influenzi il consumo: rifiuto H0, in quanto alla luce del campione è troppo 141 inverosimile

11 Oltre la regressione lineare semplice Verosimilmente, effetti molteplici di più variabili indipendenti possono agire sulla variabile dipendente Y Se la variabile Y dipende da due variabili indipendenti X 1 e X, il modello lineare assumerebbe la seguente forma: con: Y = a+ bx + gx + u i 1i i i α, β e γ costanti che caratterizzano il modello - dette parametri del modello di regressione u i termine di errore Attraverso le stime a, b e c dei parametri è possibile definire il piano di regressione stimato nello spazio a 3 dimensioni: Ŷ = a+ bx1+ cx 14

12 143

13 Analisi grafica: matrice di diagrammi di dispersione 3 Spesa per consumi PIL Y = Spesa annuale per consumi X 1 = Prodotto interno lordo PIL X = Popolazione X 3 = Tasso di disoccupazione USA Popolazione Tasso disoccupazione Figura

14 Modello di regressione lineare multipla - contributo di un maggior numero di variabili indipendenti per l analisi della variabilità di Y: - generico modello con k variabili X (di cui k-1 di interesse) y= bx + b x + + b x + u k k y un vettore delle osservazioni campionarie di dimensione n 1 x 1 è un vettore di dimensione n composto da tutti elementi unitari - il parametro β 1 rappresenta quindi l intercetta del modello vettori x j (j =, 3,, k) di dimensione n dei valori delle k- 1 variabili esplicative osservati sulle n unità campionarie U vettore degli n termini di errore (disturbi) β, β 3,, β k sono i coefficienti di regressione (parametri) del modello 145

15 Notazione matriciale del modello di regressione lineare multipla modello espresso in forma matriciale: con y= Xβ + u éy1 ù é1 X1 X13... X1 k ù ê Y ê 1 X X3... X ê ê k ê. ê y = ê ; X= ê ; β = ê Yi ê 1 Xi Xi3... Xik ê. ê ê ê Y 1 X X... X ë n û ë n n3 nk û ) éb1 ù éu1 ù ê b ê u ê ê ê. ê. ê ; u =. b ê ê j ê ui ê. ê. ê ê ëb u k û ë n û! " = % & ' ( "' '*+ + - " 146

16 Ipotesi modello di regressione multipla 1. linearità del modello. matrice X: a. valori noti e misurati senza errore (b. a rango pieno è ρ(x) = k [rango(x)/r(x), rank(x)/rk(x)] variabili X non perfettamente correlate tra loro) 3. errore u media 0, varianza costante e non correlati tra loro Euu ( i j) = s " i= j Euu ( ) = 0 " i¹ j i j u! N 0 I (, s ) I. D. 147

17 Stima coefficienti di regressione stima del vettore dei coefficienti di regressione b, in modo che il modello sia univocamente determinato yˆ = Xb ŷ : vettore delle ordinate teoriche nello spazio a k dimensioni Criterio: somma dei residui (= differenza tra y osservato e teorico), al quadrato, pari al minimo 148

18 Stima coefficienti di regressione vettore n-variato dei residui: éy1 - ( b1 X11 + b X bkx1k) ù ê Y - ( b1 X1 + b X bkx k) ê e= y- yˆ = y- Xb= ê... ê ê... êëyn - ( b1xn 1+ bxn bk Xnk ) û metodo dei minimi quadrati: i valori del vettore b sono individuati in modo da minimizzare la somma dei quadrati dei residui n å ei = ee = y-xb y-xb i= 1 ( ) ( ) noti i dati campionari relativi ad y e ad X la somma dei quadrati dei residui può essere considerata una funzione in k dimensioni delle componenti del vettore b 149

19 Minimi quadrati (OLS) in regressione multipla Somma quadrati dei residui: ee = y-xb y- Xb = yy -yxb - bxy + bxxb = ( ) ( ) = yy - bxy + bxxb Derivata rispetto a b posta = 0 ( ee ) min ( ee ) = =- Xy + XXb = 0 b b Risoluzione rispetto a b per ottenere: ( ) -1 b= XX Xy 150

20 Proprietà stimatori a minimi quadrati in regressione multipla stimatori non distorto a minima varianza tra stimatori lineari e non distorti distribuzione (b è funzione lineare di y -a sua volta funzione dell errore u con distribuzione normale) j-sima componente E ( b) = β ( ( ) -1, s ) b! N β XX ( b, s ) b! N a j j jj usualmente non noto, si usa stimatore s t b - b j j =! s a jj t ( n-k) a jj = j-esimo elemento sulla diagonale principale della matrice ( ) -1 XX 151