Regressione lineare. Lucio Demeio Dipartimento di Ingegneria Industriale e Scienze Matematiche Università Politecnica delle Marche.

Transcript

1 Regressione lineare Lucio Demeio Dipartimento di Ingegneria Industriale e Scienze Matematiche Università Politecnica delle Marche Siano x ed y due variabili legate tra loro da una forma funzionale del tipo y = fx. Supponiamo di eseguire n misure o n esperimenti in corrispondenza ai valori x, x 2,..., x n della variabile indipendente x. I valori Y i, corrispondenti alle x = x i, non seguiranno esattamente la forma funzionale fx perchè sono soggetti ad errori; le Y i sono quindi delle variabili casuali tali che Y i = fx i + W i dove W i è un errore che si può rappresentare come una variabile casuale di media nulla e varianza σ 2 incognita. Facciamo l ipotesi che W i N0, σ 2, quindi Y i Nfx i, σ 2. Sia F Y,...,Y n y,..., y n la distribuzione congiunta delle n variabili Y,..., Y n. Per le ipotesi fatte abbiamo F Y,...,Y n y,..., y n = exp { y } fx 2... exp { y } n fx n 2 = 2 π σ σ 2 2 π σ σ { } 2 = 2 π σ exp y i fx i 2 n σ 2 i= Limitiamoci ad esaminare il caso semplice della dipendenza lineare, fx = α + β x. Abbiamo allora { } F Y,...,Y n y,..., y n = 2 π σ exp y i α β x i 2, 2 n σ 2 con α e β parametri da stimare. Seguiamo il principio di massima verosimiglianza; la 2 è massima quando l esponente è minimo. Gli stimatori per α e β corrispondono quindi alle soluzioni delle equazioni i= α β y i α β x i 2 = 0 σ 2 3 y i α β x i 2 = 0. σ 2 4 i= i= Sviluppando i dettagli otteniamo: y i α β x i = 0 5 i= x i y i α β x i = 0 6 i=

2 Introduciamo ora Le equazioni 5 e 6 diventano così x n = n y n = n x i 7 i= y i 8 i= n y n n α n β x n = 0 x i y i n α x n β x 2 i = 0, i= i= cioè il sistema α + x n β = y n 9 n x n α + x 2 i β = x i y i 0 i= i= L equazione 9 fornisce α = y n x n β; introducendo per comodità la notazione = x 2 i n x = i= x i x n 2, 2 i= sostituendo la nella 0, otteniamo: n x n y n x n β + x 2 i β = β = i= x i y i n x n y n i= x i y i i= n i= β = x i y i n x n y n Gli stimatori per α e β sono pertanto β = B x i Y i n x n Y n = i= x i x n Y i 3 α = A Y n x n B 4 i= dove Y n = n Y i. 5 i= 2

3 Dimostriamo che gli stimatori 3 e 4 sono corretti. A tal proposito ricordiamo che e quindi E[Y n ] = n E[Y i ] = α + β x i 6 E[Y i ] = α + β x n 7 i= Usando le equazioni 6 e 7 e le proprietà dell operatore di media otteniamo quindi: E[ β] = x i E[Y i ] n x n E[Y n ] = i= [ ] = x i α + β x i n x n α + β x n = β x 2 i n x = β 8 i= i= E[ α] = E[Y n ] x n E[ β] = α + β x n x n β = α 9 Gli stimatori A e B dati dalle equazioni 3 e 4 sono dunque corretti. Calcoliamo ora le varianze. Notiamo, preliminarmente, che Y n e β sono scorrelati: CovY n, β = Cov Y i, x j x n Y j = n i= j= = x j x n Cov Y i, Y j = x i x n V ar Y i = n n = σ2 n i,j= i= x i x n = 0, 20 i= dove abbiamo usato l indipendenza di Y i ed Y j per i j. Passando alle varianze: V ar β = V ar x i x n Y i = x 2 i x n 2 σ 2 = σ2 i= V ar α = V ary n x n β = V ary n + x V ar β = σ2 n + x = σ2 n + n x = Possiamo pertanto concludere che i= σ 2 = 2 n i= x2 i n σ2 22 n i= x2 i α N α, n β N β, σ2 Per determinare gli intervalli di confidenza consideriamo inizialmente la variabile SR 2 Y i α β x i 2 = i= 3 σ 2 σ

4 che è la somma di n variabili normali standard, quindi R χ. Se ai parametri α e β sostituiamo gli stimatori α e β perdiamo due gradi di libertà, il che, in analogia con quanto succede per la varianza campionaria, rende plausibile l affermazione che R = Y i α β x i 2 i= σ 2 χ Abbiamo quindi β β n 2 = β β n 2 = β β n 2 t σ SR 2 σ 2 SR 2 n 2 26 α α n n 2 n n 2 σ n = α α i= x2 i SR 2 S t n 2, i= x2 i 27 dove = n i= Y i α β x i 2. Pertanto, fissato un livello di confidenza γ, in analogia con il problema degli intervalli di confidenza per la media, abbiamo P B β n 2 t n 2 γ/2 = γ ovvero P P P A α n n 2 n i= x2 i t n 2 γ/2 = γ B n 2 t n 2γ/2 β B + n 2 t n 2γ/2 = γ S A i= x2 i n n 2 t S n 2γ/2 α A + i= x2 i n n 2 t n 2γ/2 = γ Gli intervalli di confidenza di livello γ per i parametri α e β sono pertanto S A i= x2 i n n 2 t S n 2γ/2, A + i= x2 i n n 2 t n 2γ/2 B n 2 t n 2γ/2, B + n 2 t n 2γ/ Problema. L ossigeno consumato da una persona che cammina è funzione della sua velocità. La seguente tabella riporta il volume di ossigeno consumato a varie velocità di cammino. Ipotizzando una relazione lineare, scrivere l equazione della retta di regressione. 4

5 Velocità km/h Ossigeno l/h Soluzione. La retta di regressione ha equazione y = A + B x e le formule da applicare sono le 3 e 4: 0 i= B = x i y i n x y 0 i= x2 i n x2 A = y B x ottenendo B =.47 e A = Per il calcolo degli intervalli di confidenza ricaviamo innanzitutto dalle tavole i quantili di Student a 9 gradi di libertà: t n =.833 per l intervallo al 90%, t n = per l intervallo al 95% e t n = per l intervallo al 99%. Applicando le formule 29 e 29 otteniamo: intervallo al 90%: a 9.87, 2.54 b.33,.6 intervallo al 95%: a 9.68, 2.74 b.30,.64 intervallo al 99%: a 9.23, 22.9 b.22,.72 Problema. I dati seguenti mettono in relazione la percentuale di acqua x, contenuta in un certo materiale in una delle fasi di lavorazione, con la densità Y del prodotto finito: acqua densità

6 Figura : Retta di regressione per l esempio nel testo. Determinare gli intervalli di confidenza per i parametri della retta di regressione. noindent Soluzione. La retta di regressione ha equazione y = A + B x e le formule da applicare sono le 3 e 4: 0 i= B = x i y i n x y 0 i= x2 i n x2 A = y B x ottenendo B = e A = Per il calcolo degli intervalli di confidenza ricaviamo innanzitutto dalle tavole i quantili di Student a 6 gradi di libertà: t n =.943 per l intervallo al 90%, t n = per l intervallo al 95% e t n = per l intervallo al 99%. Applicando le formule 29 e 29 otteniamo: intervallo al 90%: a 2.06,.22 b 0.46,.08 intervallo al 95%: a 0.87, 2.4 b 0.38,.6 intervallo al 99%: a 2.0, 5.39 b 0.8,.36 6

7 Figura 2: Retta di regressione per l esempio nel testo. 7