STATISTICA DESCRITTIVA - SCHEDA N. 5 REGRESSIONE LINEARE

Transcript

1 Matematca e statstca: da dat a modell alle scelte Responsabl scentfc M.P. Rogantn e E. Sasso (Dpartmento d Matematca Unverstà d Genova) STATISTICA DESCRITTIVA - SCHEDA N. REGRESSIONE LINEARE Nella dcheda precedente abbamo vsto che l coeffcente d correlazone fra due varabl quanttatve X e Y fornsce nformazon sull esstenza o meno d un legame lneare fra le due varabl. Tale ndce, però, non permette d ndvduare se è X che nflusce su Y, oppure se è Y che nflusce su X, oppure ancora - se sa X che Y sono conseguenze d un fenomeno che nflusce su tutte e due: solo la conoscenza del problema oggetto d studo può n alcun cas permettere d fare alcune potes d dpendenza d una varable dall altra. Se s può potzzare l esstenza d una dpendenza lneare ad esempo d Y da X, s può dre che le osservazon della varable Y s possono ottenere, a meno d un errore (o resduo), da una funzone lneare delle osservazon della varable X. Per cascuna osservazone avremo qund: y = a x + b + resduo La varable Y vene detta varable rsposta (o varable dpendente), la varable X vene detta varable esplcatva (o varable ndpendente o regressore). Se ndchamo con ε l errore d approssmazone d y tramte una funzone lneare delle x, allora la relazone precedente dventa: y = a x + b + ε. Naturalmente escludamo l caso n cu X sa costante, perché n tal caso l modello perderebbe sgnfcato. A fanco è rportato un esempo con dat. Indchamo con Yˆ valor della retta, per dstnguerl da dat della varable rsposta Y. La retta ndcata è: Y ˆ =.9 -. X Nel grafco è anche evdenzato l resduo per l punto d coordnate (9.,.). L approssmazone lneare d Y tramte X per tale punto è: ŷ =.9 -. x 9. = 8.4 Il resduo rsulta qund:.-8.4 = -. Ma come sceglere coeffcent a e b della retta? Scuramente vorremmo poter sceglere parametr n modo da mnmzzare resdu ε, ma n che senso? Inoltre devono essere pccol sa resdu postv, che quell negatv. Qund dobbamo consderare una funzone de resdu che prescnda dal loro segno (l valore assoluto o l quadrato, ad esempo). S scegle la coppa ( â, ˆb ) che rende mnma la somma de resdu al quadrato SS(a,b), ovvero la quanttà n n SS(a,b) = ( ) ε = y ax b. = =

2 Per rsolvere questo problema è suffcente calcolare le dervate parzal n a e b e porle ugual a zero. S ottene così un sstema a due equazon e due ncognte con un unca soluzone. Oppure s mpone anche la condzone che la somma de resdu sa ; usando questa condzone s ottene che la somma de quadrat de resdu è funzone d un solo coeffcente SS(a): pù precsamente s ottene una parabola con coeffcente d secondo grado postvo e mnmo nel vertce. Le soluzon cercate sono Cov ( X, Y ) â = σ X X ˆb = y ˆ ax Sosttuendo nell equazone della retta s ottene Y ˆ Cov ( X, Y ) = ( X x ) + y σ detta retta d regressone d Y rspetto a X. Osservamo che tale retta passa per l barcentro de dat ( x, y ) e che l segno del suo coeffcente angolare è quello della covaranza fra le due varabl. L errore che s commette approssmando Y con Yˆ è: SS( â, ˆb ) = n σ Y (-ρ (X,Y)) Qund l errore è tanto pù pccolo quanto pù è pccola la numerostà de dat osservat e la varanza d Y e quanto pù è grande l coeffcente d correlazone fra le varabl. ESEMPIO: Rprendamo l esempo de Pes e delle Altezze (Scheda N. 3). S può pensare l altezza come varable ndpendente X (non s può ntervenre faclmente per modfcare l altezza d una persona) e l peso come varable rsposta Y. 9 8 La retta d regressone rsulta: peso = - 9,9 +,99 altezza Peso La somma de quadrat de resdu è: 4, 4 Altezza 8 9 Il modello d regressone lneare può essere costruto anche quando s ha pù d una varable esplcatva: Y = b + b X + b X + + b p X p + resduo L nterpretazone geometrca è meno evdente; per esempo se abbamo due varabl esplcatve ottenamo l equazone d un pano nello spazo. La scelta de coeffcent s effettua sempre mnmzzando la somma de quadrat de resdu; non rportamo qu le espresson delle soluzon per coeffcent, ma possamo utlzzare Mntab per calcolarle. Bontà del modello Dat un nseme d osservazon spermental è sempre possble costrure un modello d regressone lneare, ma è necessaro valutare la bontà dell approssmazone.

3 Vedamo due stratege per verfcare la bontà del modello. a) Coeffcente R Il modello è tanto mglore quanto pù la varable rsposta, ndcata con Y, e la sua approssmazone lneare tramte X, ndcata con Y ˆ, hanno una correlazone vcna a. Il quadrato del coeffcente d correlazone fra Y e Y ˆ, s ndca con R : R = ρ ( Y, Yˆ ) e n genere vene fornto da software statstc. Osservamo che se come ne cas esamnat sopra abbamo una sola varable esplcatva: R = ρ ( Y, Yˆ ) = ρ ( Y, ˆ ax + ˆ b) = ρ ( Y, X ) Abbamo vsto che se R ha un valore alto allora ha un valore bsso la somma de quadrat de resdu, ossa SS( â, ˆb ) = n σ Y (-ρ (X,Y)).. Esste un caso n cu ρ (Y,X) è crca, ma resdu sono pccol: pensatec. b) Grafco de resdu È nteressante analzzare l grafco de resdu rspetto a valor predett, ovvero lo scatterplot de punt (â x + ˆb, y -â x+ ˆb ); se s ottene una nuvola omogenea d punt l modello è corretto. Questo avvene nell esempo precedente. Osservamo che l omogenetà de resdu deve essere consderata rspetto alla retta Res=. Resdual - Resduals Versus the Ftted Values (response s Peso) - Ftted Value 8 Se la dpendenza della varable rsposta dalle varabl esplcatve non è lneare (ad esempo, quadratca, esponenzale, logartmca, ecc.) l grafco de resdu rspetto a valor predett enfatzzerà questa dpendenza non lneare. Vedamo questo fatto con un esempo. ESEMPIO S vuole stablre se esste una dpendenza fra l flusso d un corso d acqua (coè la quanttà d acqua che passa n un dato punto n un determnato ntervallo d tempo) e la profondtà del corso d acqua. I dat sono rlevat n stazon. A fanco è rportato lo scatterplot de dat osservat. Provate a dsegnare a matta una buona retta che approssm l flusso rspetto alla profondtà. flusso V sembra che l flusso sa ben approssmato da una retta? profondta..8 3

4 Utlzzando Mntab possamo calcolare - la correlazone lneare: ρ(prof, flusso) =,93. - la retta d regressone: flusso = - 3,98 + 3,8 profondta 8 Osservando bene dat, s può notare che la dpendenza fra l flusso e la profondtà può essere anche quadratca. Cancellate la retta che avete dsegnato sul prmo grafco e provate a dsegnare una buona parabola che approssm l flusso rspetto alla profondtà. flusso 4 3 Per comprendere meglo se la dpendenza è lneare oppure no consderamo resdu relatv a cascuna stazone d rlevazone. Sul grafco con la retta: flusso = - 3,98 + 3,8 profondta profondta..8 ndcate resdu d cascun punto. Nel grafco a fanco sono rportat: - n ascssa valor del flusso approssmat lnearmente tramte la profondtà - n ordnata corrspondent resdu. La dpendenza non lneare è scuramente pù evdente se s osserva l grafco de resdu puttosto che se s osserva lo scatterplot del flusso e della profondtà. Resdual Resduals Versus the Ftted Values (response s flusso) Ftted Value Supponamo che essta una dpendenza quadratca e ndchamo con profondta la varable corrspondente al quadrato della profondtà. Calcolamo con l auslo Mntab l approssmazone del flusso tramte le varabl profondta e profondta ; s ha che: Flusso= profondta profondta Il grafco de resdu dventa: 8 Resduals Versus the Ftted Values (response s flusso).4 flusso 4 3 Resdual profondta Ftted Value Questo tpo d modello: Y = b + b X+ b X + vene detto modello lneare polnomale del secondo ordne. 4

5 Output d Mntab Vedamo l output d Mntab per quest ultmo modello lneare; sono evdenzate n neretto le part che samo n grado d comprendere a questo lvello d approfondmento delle nostre conoscenze statstche. I dat sono rportat a fanco. The regresson equaton s flusso = profondta + 3. profondta Predctor Coef SE Coef T P Constant profondta profondta S =.948 R-Sq = 99.% R-Sq(adj) = 98.% Analyss of Varance Source DF SS MS F P Regresson Resdual Error.4.8 Total 9 4. Source DF Seq SS profondta.39 profondta.3 Obs profondta flusso Ft SE Ft Resdual St Resd Stazone flusso profondta profondta Negl output d Mntab, nzalmente è rportata l approssmazone lneare. Po segue una prma tabella che rguarda coeffcent dell approssmazone lneare: nella colonna Predctor c sono le varabl a cu s rferscono coeffcent o l ndcazone Constant per l prmo coeffcente (l ntercetta); nella seconda colonna vengono rportat valor de coeffcent. Non prendamo n consderazone le altre colonne. Seguono po alcune nformazon tra cu l coeffcente R (ndcato con R-sq). Della seconda tabella Analyss of varance sappamo solo leggere la somma de quadrat de resdu d questo modello: s trova nella colonna SS n corrspondenza della rga Resdual Error ; è l valore che abbamo ndcato con SS( â, ˆb, ĉ ) (n questo caso c è anche l terzo coeffcente). Nell ultma tabella vengono rportat: - nella colonna Obs l numero consecutvo delle untà spermental - la prma varable esplcatva, nel nostro caso profondta. - la varable rsposta, n questo caso flusso - l approssmazone lneare Y ˆ ndcat con Ft - resdu, coè Y-Y ˆ

6 COMMENTO E POSSIBILI SVILUPPI Perché s cotruscono modell d regressone lneare? Sa per fn descrttv che prevsonal. Se s trova un buon modello per approssmare la varable rsposta Y è nfatt possble avere una valutazone de valor d Y utlzzando le sole varabl esplcatve n que cas n cu raccoglere dat per le varabl esplcatve è pù comodo o meno costoso che msurare la varable rsposta; vedremo un esempo a questo proposto. Con metodologe statstche che esulano da questo corso s può anche calcolare per assegnat valor delle varabl esplcatve - un ntervallo n cu la rsposta dovrebbe stare con una probabltà prefssata, per esempo del 9%. Inoltre le metodologe statstche de modell lnear permettono d capre qual varabl esplcatve sano effettvamente utl per descrvere la varable rsposta e qual nvece non strettamente necessare. Anche questo tpo d procedure rchedono però conoscenze pù approfondte d quelle mparate n queste schede. ESEMPIO S vuole descrvere l consumo d ossgeno d atlet che pratcano sport d fondo tramte le seguent varabl esplcatve: l età, l peso, l tempo per effettuare un percorso d corsa, le pulsazon cardache da fermo, mede e massme durante la corsa. È evdente che tal varabl esplcatve sono molto faclmente rlevabl su un campo, mentre per msurare l consumo d ossgeno occorrono strument adeguat. L output della regressone è l seguente: The regresson equaton s Ossgeno = 3 -. Eta -.4 Peso -.3 TempoCorsa -. PulsFermo -.3 PulsCorsa +.33 PulsMax Predctor Coef SE Coef T P Constant Eta Peso TempoCorsa PulsFermo PulsCorsa PulsMax Resduals Versus the Ftted Values (response s Ossgeno) S =.39 R-Sq = 84.9% R-Sq(adj) = 8.% Resdual. Analyss of Varance -. Source DF SS MS F P Regresson Resdual Error Total Ftted Value Il modello è buono, sa per quel che rguarda l grafco de resdu, ma anche per l coeffcente R. Utlzzando strument statstc pù approfondt s deduce anche che l peso e le pulsazon da fermo possono essere entrambe non necessare per una buona approssmazone del consumo d ossgeno; n tal caso l modello dventa: The regresson equaton s Ossgeno = Eta -. TempoCorsa PulsCorsa +. PulsMax Calcolare quale consumo d ossgeno dovrebbe avere, secondo questo modello, un atleta con le seguent rlevazon: Eta: 44 TempoCorsa:.3 PulsCorsa: 8 PulsMax: 8

7 ESERCIZI ) A fanco sono rportat rsultat d due rlevazon quanttatve su element. Per quest dat s ha: x = 43 x = 89 = = y = 4 y = 4 = = xy = 8 = X Y a) Dsegnare l grafco della dstrbuzone congunta. b) Calcolare meda d X e d Y, la varanza d X e Cov(X,Y). c) Calcolare la retta d regressone d Y rspetto a X e dsegnarla sul sstema d ass dove è stata dsegnata la dstrbuzone congunta. Qu sotto sono rportat rsultat della regressone effettuata con l software Mntab da cu sono stat cancellat (e ndcat con xxx) alcun valor. Predctor Coef SE Coef T P Constant xxx xxx X xxx S = 4. R-Sq = xxx% R-Sq(adj) =.% Analyss of Varance Source DF SS MS F P Regresson Resdual Error 8 44 Total 9 94 Obs C C4 Ft SE Ft Resdual St Resd xxx 8. xxx d) Calcolare l ndce R e) Calcolare l valore d Y approssmato e l resduo per la seconda untà spermentale. f) Dsegnare l grafco de resdu e valutare la bontà del modello.

8 ) S consderano, per due spece d pesc, l peso, la lunghezza, la larghezza e l'altezza e s vuole stablre se l peso è esprmble come funzone lneare delle altre varabl. Qu sotto sono rportat grafc de resdu della regressone lneare per le due spece. Commentare due grafc e stablre - tramte ess - se l peso delle due spece d pesc è esprmble come funzone lneare della lunghezza, larghezza e altezza. 8