Analisi di Regressione Multivariata. β matrice incognita dei coeff. di regressione (regr. lineare in β)

Transcript

1 Analisi di Regressione Multivariata Regressione: metodologia per dedurre info e per anticipare risposte di una variabile dip. Modello classico di regressione lineare: Y {z} n k = {z} X β + ρ {z} {z} n (p+1) (p+1) k n k X var. indip. (predittori) (note) Y var. risposta ρ matrice di errore (o disturbo) β matrice incognita dei coeff. di regressione (regr. lineare in β) 128

2 Caso unidimensionale y = β + β 1 x 1 + β 2 x β p x p + r y = [1, x] β + r {z } X In più dimensioni (n > 1, k = 1) y i = β x i, + β 1 x i,1 + β 2 x i,2 + + β p x i,p + r i, i = 1,..., n y = Xβ + r Ipotesi sul vettore di errore: E(r) = R n, Cov(r) = σ 2 {z} I n n β e σ sono incognite Funzione di regressione: E(y) = Xβ = β x i, + β 1 x i,1 + β 2 x i,2 + + β p x i,p 129

3 Esempio Determinare il modello di regressione lineare per l accostamento alla linea retta (p = 1) x y Sol. Si ha X = C A y = C A y = C β β 1 1 A+ r 1 r 2. r 5 1 C A 13

4 Scopo dell analisi di regressione Valutare l importanza di ogni predittore in X Dare stime per la funzione di regressione E(y) Buona stima del modello per predire valori di y 131

5 Stime del vettore β rispettando il modello? Stima per β risolvendo il problema: Metodo dei Minimi Quadrati min y Xb 2 b Rp dove y Xb 2 = (y Xb) T (y Xb) = nx (y i x i, b x i,1 b 1 x i,p b p ) 2 i=1 b β soluzione del problema: stima di β b β consistente coi dati disponibili ( y X b β 2 minima possibile) Residuo: br = y X b β (per stime di σ 2 ) 132

6 Minimi Quadrati Teorema. Se X R n (p+1) ha rango pieno (= p + 1) allora bβ = (X T X) 1 X T y by = X b β valori approssimanti (Fitted values) y = by + br nx Nota: X T br = 1 T br = ˆr i = da cui ȳ = 1 n nx y i = 1 n i=1 i=1 nx (by i + ˆr i ) = 1 n i=1 nx by i + 1 n i=1 nx ˆr i = by i=1 133

7 Esempio x y y = X 2 4 β β r X = C A X T X = X T y = bβ = (X T X) 1 X T y = ŷ = 1 + 2x 134

8 Coefficiente di determinazione y = by + br R n e by T br =, da cui y T y = (by + br) T (by + br) = by T by + br T br = by 2 + br 2 Usando ȳ = by (e aggiungo nȳ 2 a entrambi i lati) y 2 nȳ 2 = by 2 n by 2 + br 2 y ȳ1 2 {z } somma di quadrati intorno alla media = by by1 2 {z } regressione somma dei quadrati + br 2 {z} residuo R 2 : = 1 br 2 2 by by1 y ȳ1 2 y ȳ

9 Coefficiente di determinazione R 2 = 1 br 2 2 by by1 y ȳ1 2 y ȳ1 2 è misura della variazione dei dati attribuibile alle var.predittrici x 1,..., x p R 2 = 1 se r i = i R 2 = se b β = ȳ e b β i = i > (cioè x 1,..., x p non influiscono) 136

10 Proprietà campionarie della stima E( b β) = β stimatore corretto (unbiased) Cov( β) b = σ 2 (X T X) 1 (se X ortogonale, Cov( β) b = σ 2 I) Proprietà campionarie del residuo E(br) = Cov(br) = σ 2 (I X(X T X) 1 X T ) β b e br sono non correlate Posto si ha E(s 2 ) = σ 2 s 2 := br 2 n p 1 137

11 Perchè la stima coi Minimi Quadrati è buona? Proprietà di minima varianza della stima: Teorema (dei Minimi quadrati di Gauss). Sia y = Xβ + r con E(r) = e Cov(r) = σ 2 I con X rango massimo. Sia b β = (X T X) 1 X T y. Per ogni c, lo stimatore di c T β dato da c T b β = c b β + c 1 b β1 + + c p b βp ha la più piccola varianza possibile tra tutti gli stimatori lineari corretti (non distorti) di c T β, nella forma a T y = a 1 y 1 + a 2 y a n y n c T b β Best linear unbiased estimator (B.L.U.E.) di c T β 138

12 Intervalli di confidenza per β y = Xβ + r Se r è N n (, σ 2 I), allora bβ è distribuita come N p+1 (β, σ 2 (X T X) 1 ) e Regione di confidenza al 1(1 α)% per β: (β b β) T X T X(β b β) (p + 1)s 2 F p+1,n p 1 (α) Intervalli simultanei: q bβ i ± dv ar( β b i ) p (p + 1)F p+1,n p 1 (α), i =,..., p dove d V ar( b β i ) = (s 2 (X T X) 1 ) i,i 139

13 Esempio (Tab.7.1 JW).: Y = Xβ + r n = 2, p = X T X = 1 C A b β = (X T X) 1 X T y = C A.45 by = x x 2 s = 3.473, R 2 =.834 Intervalli simultanei: (α =.5) q bβ 2 ± dv ar( ˆβ 2 ) p (p + 1)F p+1,n p 1 (α) =.45 ± (.837,.927) x 2 non utile? 14

14 Test di ipotesi sull influenza di X Possibile ipotesi nulla: H : β q+1 = = β p = Posto β (2) = [β q+1,..., β p ] T, riscrivo X = [ X {z} 1, X 2 ] β = {z} n (q+1) n (p q) 2 3 y = Xβ + r = [X 1, X 2 ] 4 β (1) β (2) 2 4 β (1) β (2) r = X 1 β (1) + X 2 β (2) + r Sotto l ipotesi nulla H : β (2) =, y = X 1 β (1) + r 141

15 X rango massimo e r in N n (, σ 2 I) Definiamo: Test di ipotesi sull influenza di X S res (X) = br 2 = y X b β 2 S res (X 1 ) = y X 1 b β(1) 2 con b β = (X T X) 1 X T y con b β (1) = (X T 1 X 1 ) 1 X T 1 y H : β (2) = viene rifiutata (con livello di sign. 1α%) se S res (X 1 ) S res (X) (p q)s 2 > F p q,n p 1 (α) dove s 2 = br 2 n (p+1) 142

16 Esempio (es.7.23) n = 76, p = 8 y : Prezzo di vendita (SalePr) Test sull influenza delle singole variabili (q = 7): F -value di rif.: p q n p 1 F p q,n p 1(α) = 1 67 F 1,66(.5) =.6 Variabile testata S res (X 1 ) S res (X) br 2 143

17 Test sulla bontà della stima Analisi del residuo br = y Xβ b br stima di r (con r in N n (, σ 2 I)) Studio grafico del residuo: Grafico (br i, by i ), i = 1, n, dove by = Xβ b Grafico (br i, X i,k ), i = 1, n per qualche k Istogramma di br 144

18 Esempio: Campione di 79 aziende dal Forbes 5 del 1986 Per ogni compagnia: x 1 x 2 x 3 x 4 x 5 Assets: Amount of assets (in millions) Sales: Amount of sales (in millions) Profits: Profits (in millions) Cash Flow: Cash Flow (in millions) Employees: Number of employees (in thousands) y : Market Value: Market Value of the company (in millions) 145

19 R = corr(x) : R = C A Aggiungiamo la colonna di costanti: X = [1, X] 146

20 Stime: ˆβ = , C A R 2 =.96, s =

21 Bontà del modello 45 Normal Probability Plot Probability Data 148

22 x 1 4 (by i, r i ) 149

23 Escludendo dati di IBM e General Electric: 3 Normal Probability Plot Probability Data ˆβ T = (1.61,.93458,.19943, 3.711, , ), R 2 =.72, s 2 =

24 Escudendo dati di IBM e General Electric: errore X 1 x 1 4 (by i, r i ) (Assets, r i ) 151

25 Previsione di un osservazione Fissato x : Secondo il modello di regressione: y = x T β + r y : nuova risposta, r in N (, σ 2 ) (nuova risposta y ) = (valore atteso di y in x ) + (nuovo errore) x T b β stima corretta Varianza del residuo: V ar(y x T b β) = σ 2 (1 + x T (X T X) 1 x ) Per r in N n (, σ 2 I), intervallo di confidenza: q x T b β ± t n (p+1) (α/2) s 2 (1 + x T (XT X) 1 x ) Esempio precedente: x T = (1, 31, 18, 129, 35, 5) intervallo : (565.87, 5263.) 152