Analisi bivariata con variabili quantitative

Transcript

1 Anals bvarata con varabl quanttatve Regressone lneare Correlazone lneare LA REGRESSIONE LINEARE In un campone d 33 donne, d età compresa tra 22 e 81 ann, è stata msurata la pressone sstolca (n mm d mercuro). È noto dalla letteratura medca che, all aumentare aumentare dell et età,, tende ad aumentare anche la pressone sstolca. I dat d cu dsponamo sono seguent; rguardano, da una parte (varable X) l etl età, espressa n ann comput, delle 33 donne; dall altra altra la pressone sstolca (varable Y), msurata n mm Hg, delle stesse 33 donne. L vedamo organzzat nella tabella che segue. 26 ottobre e 2 novembre 2011 Statstca socale 2 1

2 Identfcatvo soggetto Età (ann) Pressone sstolca (mm Hg) ottobre e 2 novembre Statstca 81 socale Confronto tra l grafco della X e l grafco della Y Età (ann) Età (ann) Id.soggetto Pre ssone s stolca (m m Hg) Pressone sstolca (mm Hg) ottobre e 2 novembre 2011 Id.s oggetto Statstca socale 4 2

3 Dal semplce confronto de due grafc (a barre), c accorgamo che esste una relazone tra due fenomen: anche se non possamo ancora dre n quale msura, s può vedere charamente come, al crescere dell et età,, tende ad aumentare, anche se con una spccata varabltà ndvduale, anche la pressone sstolca. Ancora pù ndcatvo, n proposto, è l terzo grafco che vedamo nella prossma dapostva, nel quale punt rappresentano le coppe ordnate (X,Y) d dat. Un grafco d questo tpo è detto DIAGRAMMA DI DISPERSIONE (o scatter plot). 26 ottobre e 2 novembre 2011 Statstca socale 5 Dagramma d dspersone tra X e Y Dagramma dspersone Pressone sstolca (mm Hg) ottobre e 2 novembre 2011 Statstca socale 6 3

4 È qund evdente che tra due fenomen consderat esste una RELAZIONE, n questo caso POSITIVA: al crescere dell et età,, s rscontra una tendenza all aumento aumento della pressone sstolca. La metodologa statstca c offre un metodo per tradurre n termn quanttatv la presenza d questa relazone tra fenomen: gl strument sono, con dfferent sgnfcat che vedremo nel seguto, l COEFFICIENTE DI REGRESSIONE ed l COEFFICIENTE DI CORRELAZIONE. 26 ottobre e 2 novembre 2011 Statstca socale 7 Il prmo passo che dobbamo fare è quello d dentfcare un MODELLO INTERPRETATIVO, che c permetta d LEGGERE LA RELAZIONE ESISTENTE TRA I DATI nel mglor modo possble. Il modello d gran lunga pù utlzzato (anche se ne esstono altr) è l cosddetto MODELLO LINEARE; tale modello consste sostanzalmente nel traccare una RETTA che INTERPOLI dat (secondo un certo CRITERIO, che vedremo successvamente). 26 ottobre e 2 novembre 2011 Statstca socale 8 4

5 Possbl confgurazon de dat n relazone al modello lneare 26 ottobre e 2 novembre 2011 Statstca socale 9 Nel grafco che vedamo qu, abbamo traccato (per ora, n modo approssmatvo) la retta che nterpola (coè passa attraverso ) ) punt sul pano cartesano. Dagramma dspersone Pressone sstolca (mm Hg) ottobre e 2 novembre 2011 Statstca socale 10 5

6 La retta d regressone e l coeffcente d regressone Il modello lneare s esprme con l EQUAZIONE l della retta nterpolante, che possamo scrvere nel seguente modo : y = a + bx 26 ottobre e 2 novembre 2011 Statstca socale 11 La retta d regressone e l coeffcente d regressone Questa equazone ha due PARAMETRI, che sono seguent: a è l ntercetta,, coè l punto d ntersezone tra la retta e l asse l delle Y; b,, che è l parametro pù mportante, non è altro che l COEFFICIENTE ANGOLARE della retta nterpolante. La retta che nterpola dat è detta RETTA DI REGRESSIONE,, e l parametro b è detto COEFFICIENTE DI REGRESSIONE. 26 ottobre e 2 novembre 2011 Statstca socale 12 6

7 IL METODO DEI MINIMI QUADRATI Ma n che modo, a partre da dat a nostra dsposzone, possamo rcavare la retta che approssma meglo dat? Il crtero comunemente adottato, e che s è rvelato l mglore sulla base delle sue propretà matematche (sulle qual, n questa sede, non c dlunghamo), è l cosddetto METODO DEI MINIMI QUADRATI : tale metodo consste nella MINIMIZZAZIONE della somma delle dstanze al quadrato tra punt (teorc) dealmente gacent sulla retta e punt emprc corrspondent a dat. 26 ottobre e 2 novembre 2011 Statstca socale 13 Il metodo de mnm quadrat consste, n pratca, nel porre la seguente condzone d mnmo: n 1 y * y 2 mn Dove : y * è l ordnata del punto teorco stuato sulla retta d regressone; y è l ordnata del punto emprco corrspondente, coè d uno de nostr dat. 26 ottobre e 2 novembre 2011 Statstca socale 14 7

8 In termn grafc: 26 ottobre e 2 novembre 2011 Statstca socale 15 Dall applcazone applcazone del crtero de mnm quadrat, tralascando qu dettagl tecnc, s ottene la seguente formula: b Y X n 1 x x y y n 1 x x 2 26 ottobre e 2 novembre 2011 Statstca socale 16 8

9 In statstca, l coeffcente d regressone, b, è una delle grandezze pù studate e pù mportant. Esso esprme, NELLA STESSA UNITA DI MISURA DELLA VARIABILE Y, quante untà servono n meda (n pù o n meno: l coeffcente d regressone può essere POSITIVO, come nel nostro esempo, oppure NEGATIVO), per ogn corrspondente untà d ncremento della varable X. 26 ottobre e 2 novembre 2011 Statstca socale 17 In termn geometrc Il coeffcente angolare, b, è par alla tangente trgonometrca dell angolo, formato dall ntersezone tra la retta d regressone e una retta parallela all asse delle X. 26 ottobre e 2 novembre 2011 Statstca socale 18 9

10 Ad esempo, se s studasse la relazone (che è postva) tra peso (Y) e altezza (X), l coeffcente d regressone c drebbe quant gramm n pù d peso s hanno (n meda) per ogn centmetro n pù d altezza. Nel nostro esempo, l coeffcente b c drà quant mm d mercuro d pressone sstolca IN PIU s avranno per ogn ncremento untaro d età (anno). 26 ottobre e 2 novembre 2011 Statstca socale 19 La vera retta d regressone Età (ann) Pressone sstolca (mm Hg) Ftted values EQUAZIONE DELLA RETTA DI REGRESSIONE: y = 1,222*x + 81, ottobre e 2 novembre 2011 Statstca socale 20 10

11 Tornando al nostro esempo, l coeffcente d regressone relatvo a nostr dat è rsultato essere par a +1,22+ 1,22: : accade, coè,, che, n meda, ad ogn anno d età n pù,, s hanno crca 1,22 mllmetr d mercuro n pù d pressone sstolca. Questo rsultato, se c pensate bene, non è d poco conto, vsto che l pertensone l è un fattore d rscho che svolge un ruolo fondamentale nelle malatte cardovascolar. Il fatto che sa così fortemente legato all et età,, fa sìs che esso s somm ad altr Fattor D Rscho fortemente correlat all et età,, come, ad esempo, l nattvtl nattvtà fsca, l eccesso l ponderale, ecc. 26 ottobre e 2 novembre 2011 Statstca socale 21 Anals de resdu La quanttà y - y * è detta RESIDUO del valore -esmo della Y rspetto al modello d regressone. L anals de resdu e del relatvo grafco è molto utle perché permette d analzzare n modo effcace due cose: l adattamento pù o meno buono del modello rspetto a dat; 2) l eventuale l presenza nel dataset d DATI ANOMALI (outlers). 26 ottobre e 2 novembre 2011 Statstca socale 22 11

12 Identfcatvo soggetto Età (ann) Resdu , , , , , , , , ,8 Con dat del , ,6 nostro esempo, , , ,7 abbamo quest , ,2 resdu: , , , , , , , , , , , , , , ,7 26 ottobre e 2 novembre 2011 Statstca 32 socale 77 2, ,5 In termn grafc: Grafco de resdu 50,0 40,0 30,0 20,0 10,0 Resdu 0, ,0-20,0-30,0-40,0-50,0 X (Età) 26 ottobre e 2 novembre 2011 Statstca socale 24 12

13 La correlazone lneare Età (ann) Pressone sstolca (mm Hg) Ftted values Tornamo al dagramma d dspersone relatvo al nostro esempo. La retta d regressone che abbamo traccato ha X come VARIABILE INDIPENDENTE (l età n ann comput) e Y come VARIABILE DIPENDENTE (la pressone sstolca). Anche se, dal punto d vsta del fenomeno analzzato, la cosa non ha alcun senso, s potrebbe rcavare anche la retta che ha Y come VARIABILE INDIPENDENTE e la X come VARIABILE DIPENDENTE. S otterrebbe allora l rsultato rappresentato nel dagramma d dspersone che segue: 26 ottobre e 2 novembre 2011 Statstca socale Pressone sstolca (mm Hg) Età (ann) Ftted values 26 ottobre e 2 novembre 2011 Statstca socale 26 13

14 La correlazone lneare S otterrebbe, coè,, un coeffcente d regressone par a +0,422 ; un rsultato che (per quanto sa del tutto prvo d sgnfcato dal punto d vsta emprco) è DIVERSO da quello vsto n precedenza; Questo accade perché l anals della regressone HA UNA DIREZIONE: : s prende n esame cò che accade a una varable (dpendente) IN CORRISPONDENZA delle varazon dell altra varable (ndpendente). Come abbamo vsto, l coeffcente d regressone è espresso NELLA STESSA UNITA DI MISURA della varable dpendente, Y. 26 ottobre e 2 novembre 2011 Statstca socale 27 Il coeffcente d correlazone Potrebbe rvelars utle, nvece, dsporre d una msura statstca ca della relazone tra X e Y che NON VADA LETTA IN UNA PRECISA DIREZIONE, ma che esprma semplcemente l COVARIARE o l CONTROVARIARE delle due varabl, senza che sa necessara leggere la msura rspetto a a una certa varable. Questo compto è svolto dal COEFFICIENTE DI CORRELAZIONE ( r ); l coeffcente d correlazone ha le seguent caratterstche: è un NUMERO PURO, e non è qund espresso n ALCUNA UNITA DI MISURA, nén dell una, nén dell altra varable. è un numero che VARIA TRA 1 E +1: 26 ottobre e 2 novembre 2011 Statstca socale 28 14

15 Il coeffcente d correlazone r = -1 r = 0 r = 1 CORRELAZIONE NEGATIVA PERFETTA ASSENZA TOTALE DI CORRELAZIONE CORRELAZIONE POSITIVA PERFETTA. Va sottolneato che l coeffcente d correlazone s rfersce, sempre e comunque, a una relazone d tpo LINEARE tra dat; se, per caso, la relazone tra X e Y NON FOSSE LINEARE ma, ad esempo, parabolca, l coeffcente d correlazone (lneare) NON TERREBBE CONTO n alcun modo dell esstenza esstenza d questa relazone. 26 ottobre e 2 novembre 2011 Statstca socale 29 Rcham da una lezone precedente Rcordate la devazone standard (o scarto quadratco medo) d X? Il quadrato della devazone standard è detto VARIANZA d X [Var(X)] La varanza, moltplcata per n, è detta DEVIANZA d X [Dev(X)] X 26 ottobre e 2 novembre 2011 Statstca socale 30 Var( X ) n 1 n 1 x x n n x x Dev( X ) nvar( X ) x x 2 2 n

16 Come s ottene la formula del coeffcente d correlazone? Il coeffcente d correlazone non è altro che la MEDIA GEOMETRICA de due COEFFICIENTI DI REGRESSIONE (l uno, relatvo ad Y rspetto ad X; l altro, l relatvo ad X rspetto ad Y) calcolat su nostr dat: r b b Y X X Y C ov ( X, Y ) C ov ( X, Y ) V a r ( X ) V a r ( Y ) C o v ( X, Y ) V ar ( X ) V a r ( Y ) x x y y x x y y 26 ottobre e 2 novembre 2011 Statstca socale Il coeffcente d correlazone Il coeffcente d correlazone permette d dare conto n modo mmedato, con un semplce numero, della relazone lneare esstente tra le due varabl. Così,, su dat del nostro esempo, s calcola un coeffcente d correlazone par a: r = 0,7178: : s tratta d un valore MOLTO ELEVATO. 26 ottobre e 2 novembre 2011 Statstca socale 32 16

17 ATTENZIONE! Spesso, l solo calcolo del coeffcente d correlazone può trarre n nganno; è sempre opportuno osservare bene, prma, l dagramma d dspersone. Spesso, nfatt, un valore d r elevato (0,7, come nel nostro esempo) può nascondere la presenza d dat anomal, oppure la presenza d una relazone non lneare ma, ad esempo, parabolca, oppure la presenza, ne dat, d due o pù sottogrupp ne qual la tendenza de dat è d drezone opposta ma che, una volta aggregat, creano una relazone spura opposta a quella realmente calcolata. Vedamo tutt quest cas lmte nelle due fgure che seguono: 26 ottobre e 2 novembre 2011 Statstca socale 33 ATTENZIONE: l coeffcente d correlazone, per tutt quest dagramm d dspersone, è sempre 0,7. 26 ottobre e 2 novembre 2011 Statstca socale 34 17

18 Un esempo con dat real. Relazone tra bossdo d azoto (nqunamento atmosferco) e asma: : l effetto l dell nqunamento SI COMBINA con quello dell ozono dovuto al clma medterraneo (temperature pù elevate), dando luogo a valor elevat della prevalenza d asma anche n presenza d valor bass d NO 2. [Fonte: Studo ISAYA] Ferrara Cttà dell area clmatca medterranea Meda NO 2 : 31 Cttà dell area clmatca subcontnentale Meda NO 2 : ottobre e 2 novembre 2011 Statstca socale 35 La bontà dell adattamento lneare: l ndce d determnazone lneare Fnora abbamo vsto due metod (regressone e correlazone) che c permettono d msurare l ntenstà della relazone tra X e Y; Samo partt, però, dal presupposto che la relazone tra dat fosse lneare. Abbamo, pertanto, potzzato che tale relazone esstesse e fosse d forma lneare (e non quadratca, cubca, ecc.); La msura che vedamo ora serve a dare una valutazone della bontà dell adattamento (to ft) lneare de dat emprc al modello (retta d regressone) da no utlzzato. 26 ottobre e 2 novembre 2011 Statstca socale 36 18

19 La bontà dell adattamento lneare: l ndce d determnazone lneare Prma d tutto, sono necessare due defnzon.. La quanttà: * y y 2 Dev( Y ) regr è detta devanza d regressone della Y, ed esprme la varazone tra punt teorc stuat sulla retta d regressone ed l valore medo della varable Y. 26 ottobre e 2 novembre 2011 Statstca socale 37 La bontà dell adattamento lneare: l ndce d determnazone lneare Invece, la quanttà: * y y 2 Dev( Y) dsp è detta devanza d dspersone della Y, ed esprme la varazone tra punt teorc stuat sulla retta ed rspettv punt emprc. 26 ottobre e 2 novembre 2011 Statstca socale 38 19

20 La bontà dell adattamento lneare: l ndce d determnazone lneare S può dmostrare che vale la relazone : Dev ( Y ) Dev( Y) Dev( Y ) regr dsp ovvero che la devanza totale (complessva) della Y è scomponble addtvamente tra le due devanze sopra descrtte, la prma delle qual (la devanza d regressone) sarà tanto pù grande quanto maggore è la parte della varabltà complessva della Y che vene assorbta dal modello lneare, coè dalla relazone lneare con la X. X Infatt, nel caso lmte n cu punt emprc concdessero tutt con punt teorc gacent sulla retta, la devanza d dspersone s annullerebbe. 26 ottobre e 2 novembre 2011 Statstca socale 39 In termn grafc: 26 ottobre e 2 novembre 2011 Statstca socale 40 20

21 Il coeffcente d determnazone lneare (R 2 ) Pertanto, l rapporto: R 2 Dev( Y ) Dev( Y ) regr 1 Dev( Y ) dsp Dev( Y ) È un ndcatore della bontà dell adattamento de dat (Y) alla retta, coè alla relazone lneare con la varable ndpendente X. 26 ottobre e 2 novembre 2011 Statstca socale 41 Propretà d R 2 È un rapporto d composzone, e pertanto vara tra 0 e 1. S ha: R 2 = 0 RELAZIONE LINEARE INESISTENTE; R 2 = 1 RELAZIONE LINEARE PERFETTA (tutt punt emprc gaccono sulla retta d regressone). 26 ottobre e 2 novembre 2011 Statstca socale 42 21

22 Propretà d R 2 S può dmostrare che l coeffcente d determnazone lneare R 2 è par al quadrato d r,, coeffcente d correlazone. Questa propretà fa sìs che non sa necessaro calcolare R 2, ma s possa rcavare drettamente da r. 26 ottobre e 2 novembre 2011 Statstca socale 43 Con dat del nostro esempo R 2 = (r) 2 = =(0,7178 ) 2 = 0,5153 S tratta d un valore dscreto, ma non molto elevato: In sostanza, questo sgnfca che solo l 51,5% della varabltà totale della Y è attrbuble alla relazone lneare con la X; la rmanente parte deve essere attrbuta ad altr fattor esplcatv. 26 ottobre e 2 novembre 2011 Statstca socale 44 22

23 Un esempo (n ambto epdemologco) In questo artcolo, vene potzzata una forte relazone esstente tra consumo d sale, consumo d ntrat e tass d mortaltà per tumore dello stomaco. 26 ottobre e 2 novembre 2011 Statstca socale 45 Consumo d sale e mortaltà ne masch 26 ottobre e 2 novembre 2011 Statstca socale 46 23

24 Consumo d sale e mortaltà nelle femmne 26 ottobre e 2 novembre 2011 Statstca socale 47 Un altro esempo, tratto da un artcolo (puttosto dscutble) 26 ottobre e 2 novembre 2011 Statstca socale 48 24

25 L autore ha utlzzato alcune varabl 26 ottobre e 2 novembre 2011 Statstca socale 49 E su queste ha po calcolato coeffcent d correlazone. 26 ottobre e 2 novembre 2011 Statstca socale 50 25

26 Fare prevson con le sere storche: un esempo ANNO ARRIVI ANNO ARRIVI Sere storca (MILIONI) (MILIONI) degl arrv , ,11 turstc nel , , , ,13 complesso , ,95 de paes , ,28 europe, dal , , , , al , , , , , , , , , , , , , , , , , , , , , , , ,52 26 ottobre e 2 novembre 2011 Statstca socale 51 In termn grafc Se osservamo l grafco, possamo faclmente notare che s tratta d un andamento quas perfettamente lneare. Arrv (mglaa) Ann 26 ottobre e 2 novembre 2011 Statstca socale 52 26

27 Uso della regressone lneare a scopo prevsvo Pertanto, per la sere storca appena vsta, anzché utlzzare l metodo decompostvo (che abbamo gà vsto), possamo applcare a quest dat un metodo analtco. Possamo, coè,, adattare a dat una retta d regressone lneare, e cercare così d prevedere l andamento futuro della sere storca. Infatt, l anals l d regressone può avere anche una fnaltà prevsva (estra-polazone), oltre a quella nterpretatva vsta sopra. 26 ottobre e 2 novembre 2011 Statstca socale 53 Per fare questo, utlzzeremo gl ann d calendaro ( ) nella loro qualtà d varable ndpendente X, mentre gl arrv turstc saranno la nostra Y. 26 ottobre e 2 novembre 2011 Statstca socale 54 27

28 Stmando come d consueto parametr della retta con l metodo de mnm quadrat, s ottene la retta: y = ,877+8,253x Pertanto, b = 8,253 Questo sgnfca che, n meda, durante l perodo consderato, s è avuto, per ogn anno d calendaro, un ncremento par a 8,253 mlon d arrv n pù. 26 ottobre e 2 novembre 2011 Statstca socale 55 Ecco la retta d regressone stmata 26 ottobre e 2 novembre 2011 Statstca socale 56 28

29 Sottolneamo l adattamento l molto buono de dat alla retta nterpolante: nfatt l coeffcente d determnazone lneare è par al 97,05%; ; appena l 3% della varabltà della Y non è spegato dalla relazone lneare con la X. 26 ottobre e 2 novembre 2011 Statstca socale 57 La prevsone Supponamo d voler prevedere l dato che s sarebbe regstrato nell anno Come possamo fare? È semplce: basta sostture 2001 (coè un certo valore della X) nella nostra equazone della retta (adesso, ha un ruolo mportante anche l ntercetta): l L equazone è y = f(x) = ,877+8,253x Pertanto: Y = f(2001) = ,877+8,253* 16145,877+8,253* = = 368, ottobre e 2 novembre 2011 Statstca socale 58 29

30 La prevsone Pertanto, supponendo che anche per gl ann successv s mantenga la tendenza lneare all aumento aumento degl arrv turstc che s è regstrata negl ann dal 1960 al 1998, prevedamo che nel 2001 c saranno: Crca 368,4 mlon d arrv turstc ne paes europe. 26 ottobre e 2 novembre 2011 Statstca socale 59 Oppure Se, nvece, rtenamo pù realstco consderare l andamento l solo degl ann dal 1980 al 1998, che fanno regstrare un ncremento annuo pù marcato,, dobbamo usare l equazone: l y = f(x) = ,47+11,579x La prevsone per l 2001 dventerà,, con la nuova equazone: y = f(2001) = ,47+11,579*2001 = = 404, ottobre e 2 novembre 2011 Statstca socale 60 30

31 Utlzzando sempre la seconda equazone, possamo prosegure con gl ann successv Anno Arrv Dato reale ,60 " ,26 " ,51 " ,52 Prevsone ,95 " ,53 " ,11 " ,69 Prevsone ,42 26 ottobre e 2 novembre 2011 Statstca socale 61 31