Il termine regressione fu introdotto da Francis Galton ( ), antropologo (promotore dell eugenetica).

Transcript

1 Regressoe leare Il terme regressoe fu trodotto da Fracs Galto (8-9), atropologo (promotore dell eugeetca). I u suo famoso studo ( ), Galto scoprì che, sebbee c fosse ua tedeza de getor alt ad avere fgl alt e de getor bass ad avere fgl bass, l altezza meda de fgl at da getor d ua data altezza tedeva a muovers verso l altezza meda della popolazoe tera (reversoe). I altre parole, l altezza de fgl d getor eccezoalmete alt o bass tedeva a muovers verso la meda (l eccezoaltà regredva). La Legge d regressoe uversale d Galto fu cofermata da Karl Pearso, che raccolse pù d u mglao d altezze d membr d grupp d famgle. Egl trovò che l altezza meda de fgl d u gruppo d padr bass era maggore dell altezza meda del gruppo de loro padr e che l altezza meda de fgl d u gruppo d padr alt era more dell altezza meda del gruppo de loro padr, ossa che l altezza de fgl alt e bass regredsce verso l altezza meda d tutt gl uom. Nelle parole d Galto, questo corrspodeva al cocetto d regressotoward medocrt.

2 Che cos è u modello? Per la matematca u modello è ua descrzoe term matematc, coè medate fuzo, equazo, ecc., d u feomeo reale ed è grado d defre legam esstet tra le gradezze caratterstche del feomeo. Modello leare: = α + βx Equazoe della retta che descrve la relazoe tra ed. Iterpolazoe: calcolo d α e β Per la statstca u modello è u seme d potes su dat che s presume approssmo suffcetemete bee l meccasmo probablstco che l ha geerat. Modello d regressoe leare:. = α + βx + ε. E(ε ) = 0 3. var(ε ) = var( ) = σ 4. cov(ε, ε j ) = 0 ( j) 5. ota e seza errore 6. ε N(0, σ )

3 Regressoe leare Studa la relazoe tra varabl quattatve: x x x varable dpedete varable dpedete tra le qual è potzzable ua relazoe d tpo leare = α + βx S cerca la retta che approssm al meglo possble la poszoe de put el pao x, = α + βx α β I cu: α è la parte d varabltà d che o dpede da β msura la varazoe d coseguete ad ua varazoe utara d 3

4 Feomeo determstco Feomeo stocastco (o aleatoro) = temperatura grad Celsus = temperatura grad Fahrehet = spese pubblctà = fatturato = x 5 Se s osserva s può dedurre uvocamete (= seza errore) perché la relazoe è determstca (= esatta) ed è ota ella sua totaltà o s può dedurre dall osservazoe d perché ella relazoe c è ua parte che può essere rcodotta ad u modello (ad es. leare), ed ua parte casuale (o stocastca, o aleatora) che è detta errore

5 Per cascua osservazoe: e { ŷ Dat = modello + errore = α + β x + ε parte spegable attraverso ua fuzoe leare parte casuale che la fuzoe o può spegare a b x La mglore stma della vera retta, è quella pù vca possble a put: cu: ŷ = a + bx a è la stma dell tercetta b è la stma del coeffcete agolare 5

6 e { ŷ a b x ε = errore e = resduo Data la retta s ha: ŷ = a + bx = a + bx + e ŷ = e Valore teorco = valore d corrspodete a x che s trova sulla retta Valore osservato = valore d osservato corrspodeza d x Resduo = dffereza tra valore osservato e valore teorco

7 METODO DEI MINIMI QUADRATI Stma d α e β medate a e b che redoo mma la somma de quadrat de resdu e Fuzoe obettvo: ( ) ( ˆ ) ( ) f a,b = e = = a bx = m! = = = Codzo del I orde: f = ( ) = a bx 0 a = f = x ( a bx ) = 0 b = Codzo del II orde: f = ( ) 0 a f = ( ) x 0 b = Soluzo: b ( x x) ( ) ( x x) = = = = dev x σx = cod x, cov x, a = bx 7

8 Iterpretazoe del coeffcete d regressoe b b = 0: ed soo dpedet b > 0: aumeta all aumetare d = ed drettamete proporzoal b < 0: dmusce all aumetare d = ed versamete proporzoal b > 0 α µ µ b < 0 α µ µ α = b = 0 µ N.B.: la retta passa sempre per l puto d coordate (µ, µ ) µ 8

9 Ivertedo l ruolo delle varabl: = a + bx µ x = c + d a c µ x = c d c = a bx a µ µ Propretà delle due rette:. soo clate etrambe postvamete o etrambe egatvamete. s tersecao el puto d coordate (µ, µ )

10 VARIANZE DI REGRESSIONE = Varaza d regressoe: s e s = errore = stadard della regressoe dev ( reg) = e = ( ) Devaza d regressoe: Varaza d a: s s = a + = x ( x x) = = s a = errore stadard della stma d α Varaza d b: s = s b = ( x x) s b = errore stadard della stma d β 0

11 ANALISI DEI RESIDUI: MISURA DELL ADATTAMENTO D tutta a varabltà d (feomeo da spegare) la retta (modello) spega solo ua parte. Quato spega la retta? Idce d determazoe leare R Propretà d decomposzoe della devaza totale d : ( ) dev = = = ( ˆ ˆ ) = + = = ( ˆ ) ( ˆ ) = + = = dev() ŷ dev(e) dev(reg) cu ( ŷ ) = dev ( reg) = ( ˆ ) = dev ( e) = dev(e) dev(reg) = devaza d regressoe = parte della varabltà d spegata dal modello (dalla retta) = devaza resdua = parte della varabltà d o spegata dal modello (dalla retta) dev reg dev e R = = dev dev

12 Iterpretazoe dell R dev reg dev e R = = dev dev Msura la porzoe d varabltà del feomeo (formazoe) che l modello resce a rappresetare R = 0 R = 0 R la devaza totale è par alla devaza resdua: Il modello leare o spega ulla della relazoe tra e La relazoe tra ed o è leare I dat o cofermao l potes d leartà (l modello leare o è adatto a dat) la devaza totale è par alla devaza d regressoe: l modello leare spega completamete la relazoe tra e La relazoe tra ed è propro leare ( put s trovao esattamete sulla retta) = I dat cofermao perfettamete l potes d leartà (l modello s adatta perfettamete a dat) = dev ( reg) = 0 dev ( e) = 0

13 Relazo tra alcu dc dev( ) cov, cod, b = = σ dev( ) cov, cod, d = = σ ρ = = = = = = σσ σ σ cov, cod, σ dev σ dev b b d d dev dev dev dev ρ = ± b d cov, R = ρ = σσ

14 Iterpretazoe grafca Correlazoe ulla: σ = ρ = 0 R = 0 Correlazoe massma postva σ = σ σ ρ = + R = + Correlazoe massma egatva σ = -σ σ ρ = - R = +

15 Correlazoe postva: σ > 0; ρ > 0 (ovvero 0 < ρ < ) R =? ρ 0. R 0.04 ρ 0.5 R 0.4 ρ 0.8 R 0.64

16 Correlazoe postva: σ < 0; ρ < 0 (ovvero - < ρ < 0) R =? ρ -0. R 0.04 ρ -0.5 R 0.4 ρ -0.8 R

17 Prcpal obettv della regressoe leare Descrvere la relazoe tra ed Msurare la dpedeza d da Prevedere valor d corrspodet a valor d o osservat: Idcatore fedeltà () 0,933 0,400 0,80,000 Idcatore rsposta a reclam () 0,067 0,600 0,80 0,000 Dall terpolazoe rsulta: = x Domada: quale sarebbe l dcatore d fedeltà () per u azeda che avesse u dcatore d rsposta a reclam (x) par a 0.5? Rsposta: = = 4.