STATISTICA DESCRITTIVA - SCHEDA N. 4 VARIABILI QUANTITATIVE (Trasformazioni lineari Indici di covarianza e correlazione)

Transcript

1 STATISTICA DESCRITTIVA - SCHEDA N. 4 VARIABILI QUANTITATIVE (Trasformazioi lieari Idici di covariaza e correlazioe) ) Trasformazioi lieari di variabili statistiche I varie situazioi si operao trasformazioi dei dati. Alcui esempi ci soo familiari: operiamo ua trasformazioe di ua variabile quado cambiamo uità di misura, ad esempio passado da dati espressi i cetimetri a dati espressi i metri, oppure quado trasformiamo le temperature espresse i gradi Celsius i quelle i gradi Fahreheit. Se idichiamo co X misure espresse i cetimetri e co Y le stesse espresse i metri, avremo: Y = 0.0 X Se idichiamo co X le temperature espresse i gradi Celsius e co Y quelle i gradi Fahreheit, avremo: Y= (X-3) 00/80 Operiamo ua trasformazioe di ua variabile ache quado sottraiamo a misure della massa di oggetti la massa del coteitore utilizzato; avremo, ad esempio: Y = X - I questi casi le trasformazioi soo lieari, cioè del tipo: Y = a X + b co a e b valori reali. Ciascu dato viee trasformato el seguete modo: yi = a xi + b Il coefficiete b opera ua traslazioe metre il coefficiete a è u fattore di scala che icide sulla variabile mediate ua dilatazioe o ua cotrazioe (dilatazioe se a > e cotrazioe se a < ). Se a è egativo si ha u ribaltameto rispetto all asse delle ordiate. Vediamo ora come si comportao media e variaza della variabile trasformata liearmete rispetto agli stessi idici della variabile origiale. Idichiamo co x e y le medie e co σ X e σ Y le variaze delle due variabili. A) Traslazioe Y = X + b X Y=X La media cambia: viee traslata di b, così come i sigoli dati. yi = ( xi + b) = x + b La variaza resta uguale; ifatti è basata sugli scarti dalla media, che restao uguali dopo la traslazioe: yi y = xi + b ( x + b ) = xi x Nell esempio riportato a fiaco si ha Y = X-0 e: x = 49. e σ X = 9.0 y = 39. e σ Y = 9.0

2 B) Dilatazioe/cotrazioe Y = a X La media cambia: viee dilatata o cotratta del fattore a, così come i sigoli dati. a yi = a xi = xi = a x La variaza cambia; gli scarti dalla media divetao: y i y = a x i a x = a ( x i x ) e quidi σ = ( y y ) = a ( x x ) = a ( x x ) = a σ Y i i i. X Il sego del coefficiete a o icide sulla variaza. A fiaco soo rappresetate, oltre alla variabile X dell esempio precedete, ua variabile Y dilatata 3 volte e ua W cotratta 3 volte, cioè: Y = 3 X e W = X/3 X Y=3X W=X/ Each symbol represets up to 3 observatios. 5 X Si ha: x = 49. e σ = 9.0 e quidi: y = 4.3 e σ Y = 8.63 w = 6.3 e σ W =.0 Bisoga fare attezioe ai pallii: per problemi di scala ei tre grafici u pallio corrispode a u diverso umero di osservazioi. I preseza sia di traslazioe che di dilatazioe/cotrazioe si ha: la media si trasforma secodo la stessa trasformazioe della variabile X, ovvero y = ax + b. la variaza, ivece, ha u comportameto differete σ Y = a σ X. e la deviazioe stadard si trasforma el seguete modo: σ = a σ Y X ifatti la deviazioe stadard è u idice positivo. C) Cetratura e stadardizzazioe La trasformazioe Y = X-x è detta cetratura. La variabile X viee traformata i ua variabile Y co media zero. X x La trasformazioe Z = è detta stadardizzazioe. σ X La variabile X viee traformata i ua variabile Z co media zero e variaza uo. NB: Le formule precedeti valgoo solo per trasformazioi lieari. Ad esempio se Y= /X o è vero che y = / x!

3 ) Distribuzioe cogiuta di due variabili quatitative e loro rappresetazioe grafica I risultati di due variabili quatitative X e Y rilevate sulla stessa popolazioe possoo essere rappresetati attraverso puti di u piao: a ciascua osservazioe è associato u puto le cui coordiate soo i valori di X e Y per quella osservazioe, idicati co (x i,y i ). Il grafico si chiama diagramma di dispersioe bidimesioale o scatterplot. L isieme delle K differeti coppie di valori (x k,y k ) e delle corrispodeti frequeze relative è detta distribuzioe cogiuta di X e Y. ESEMPIO. Cosideriamo il grafico della distribuzioe cogiuta dei pesi e delle altezze dei soggetti dell esperimeto sulle pulsazioi (già visto elle schede. e 3). Notiamo che el titolo dei diagrammi relativi a due variabili i software statistici scrivoo: variabile rappresetata sulle ordiate rispetto (versus i iglese) variabile rappresetata sulle ascisse Peso Scatterplot of Peso vs Altezza Altezza 90 La rappresetazioe grafica a fiaco evidezia, oltre alla distribuzioe cogiuta delle due variabili, ache le due distribuzioi margiali di X e Y. La situazioe è del tutto aaloga a quato abbiamo visto el caso di variabili qualitative. 00 Margial Plot of Peso vs Altezza Il baricetro dei dati relativi a due variabili è il puto ( x, y ) cioè il puto che ha coordiate i due baricetri della variabile X e della variabile Y. Ache i questo caso il baricetro è il puto di equilibrio della distribuzioe. Peso Altezza 90 Nel grafico della distribuzioe cogiuta si può ache evideziare l apparteeza dei soggetti ai livelli di ua variabile qualitativa, così come è fatto a fiaco per il geere: maschi () e femmie (). Peso Scatterplot of Peso vs Altezza Sex Altezza

4 3) Idici per due variabili quatitative: la covariaza e la correlazioe. Quado si hao due variabili quatitative X e Y, defiite sulla stessa popolazioe di uità, ci possiamo chiedere se esiste u legame lieare tra le due variabili e, i caso affermativo, di che tipo sia. Esamieremo come si costruiscoo e che proprietà hao due uovi idici: la covariaza e la correlazioe. A) Gli idici di covariaza e correlazioe hao la proprietà di essere: positivi per dati che hao u comportameto come quello a fiaco vicii a zero per dati che hao u comportameto come quello a fiaco egativi per dati che hao u comportameto come quello a fiaco B) Gli idici di covariaza e correlazioe soo costruiti azittutto cetrado i dati el baricetro. Idichiamo co ~ X e co ~ Y le variabili cetrate. Osserviamo che, ua volta cetrati i dati el baricetro, i prodotti ~ x ~ i y i soo positivi per i dati che soo rappresetati el primo e el terzo quadrate e egativi per i dati che soo rappresetati el secodo e el quarto quadrate dei uovi assi. Nell esempio riportato a fiaco la maggior parte dei prodotti è positiva e ioltre i prodotti egativi soo piccoli. La covariaza fra X e Y è data da m Cov(X,Y)= ~ x ~ i yi = ( xi x )( yi y ) oppure fk ( xk x )( yk y ) k = avedo idicato co (x k,y k ) gli m differeti valori assuti dalle variabili e co f k le corrispodeti frequeze relative. Talvolta come el caso della variaza, l idice di covariaza può avere (-) al deomiatore. Come la variaza, la covariaza può essere scritta i modo più semplice per i calcoli Cov(X,Y)= m xi y i x y oppure f x y k k x y k i = k = ovvero come la differeza fra la media del prodotto dei dati e il prodotto delle medie. 4

5 Ua covariaza positiva idica che per la maggior parte dei dati: - a valori alti della variabile X corrispodoo valori alti della variabile Y - a valori bassi della variabile X corrispodoo valori bassi della variabile Y Ua covariaza egativa idica che per la maggior parte dei dati: - a valori alti della variabile X corrispodoo valori bassi della variabile Y - a valori bassi della variabile X corrispodoo valori alti della variabile Y Ua covariaza circa ulla idica che o esiste essu legame di questo geere. ESEMPIO: Per le variabili Altezza e Peso la covariaza vale 8,55. Covariaza e trasformazioi lieari. Abbiamo visto che la covariaza è otteuta cetrado le variabili e quidi o risete di evetuali traslazioi delle variabili. Quidi: Cov(X + b, Y + d) = Cov(X,Y). Ivece risete, come la variaza, delle dilatazioi/cotrazioi. Ifatti Cov(, ) a c a X cy = a x c y x y a c x y i i x y i i = a c Cov( X, Y ) = i = I geerale: Cov( a X + b, cy + d ) = a c Cov( X, Y ) L uità di misura della covariaza fra X e Y (ad esempio espresse ua i cm e l altra i kg) è data dal prodotto delle uità di misura di X e di Y (quidi, cm x kg): quidi risete della scelta dell uità di misura. Come si potrebbe defiire u idice, che dia le iformazioi della covariaza ma o dipeda dalla scelta delle uità di misura di X e Y? Bisoga trasformare le variabili X e Y operado, oltre che ua cetratura, ache ua stadardizzazioe, cosiderado quidi variabili co variaza. Idichiamo ora co X ~ e co Y ~ ~ X x ~ Y y le variabili stadardizzate: X = e Y =. σ σ ~ ~ Il coefficiete di correlazioe ρ(x,y) è defiito come Cov( X, Y ) : ρ(x,y) = ~ x ~ i y i Quidi X x Y y Cov ( X, Y ) ρ(x,y) = = ( X x )( Y y ) = σ X σy σ X σy σ X σy Il sego della correlazioe coicide co quello della covariaza. L idice di correlazioe è u umero compreso fra e. Se è vicio ai valori estremi le due variabili hao u forte legame lieare. Se è vicio a 0 o esistoo legami lieari apprezzabili fra le due variabili. X Y 5

6 ATTENZIONE: la covariaza e la correlazioe misurao solo il legame lieare fra le variabili; altri tipi di legami o soo idividuati. Ua covariaza o correlazioe circa ulla o sigifica che o esista essua relazioe fra le variabili stesse. Il grafico a fiaco mostra u caso di correlazioe pressoché ulla, pur i preseza di ua relazioe quasi quadratica fra le variabili. Osserviamo ifie come el caso delle variabili qualitative che aver idividuato u legame lieare o vuol dire aver idividuato ua relazioe di causa/effetto. Ad esempio se da u idagie statistica si trova che il umero di figli per famiglia e il cosumo di alcool pro capite per famiglia hao ua correlazioe positiva abbastaza alta, questo o vuol dire che l avere ua famiglia umerosa iduce ecessariamete u maggior cosumo di alcolici, oppure che u alto cosumo di alcolici abbia come cosegueza diretta ua famiglia umerosa. I questo caso si può ipotizzare che le cause dell alto cosumo di alcolici e della umerosità dei figli siao le codizioi culturali e ecoomiche delle famiglie, ovvero che esistoo altre variabili, magari o rilevate dall idagie, che ifluiscoo sulle variabili studiate. Correlazioe e trasformazioi lieari. Abbiamo visto che la correlazioe è otteuta stadardizzado le variabili e quidi o risete di evetuali traslazioi e dilatazioi/cotrazioi delle variabili, a parte il sego. Cov ( ax + b, cy + d ) a c Cov( X, Y ) ρ (ax + b, cy + d) = = = sego( a c) ρ( X, Y ) σ σ a c ax + b cy + d Alcue osservazioi:. Si ha: Cov(X,X) = σ X, Cov(X,Y) = Cov(Y,X) e ρ(x,x) =, ρ(x,-x) = -.. Date due (o più) variabili quatitative X e X la matrice di variaza-covariaza è quella matrice simmetrica coteete sulla diagoale pricipale Var(X i )e el posto (i,j) Cov(X i,x j ). Nel caso delle variabili Altezza e Peso si ha altezza peso altezza 86,3896 8,558 peso 8,558 5,950 Aalogamete la matrice di correlazioe è quella matrice simmetrica coteete sulla diagoale pricipale e el posto (i,j) ρ (X i,x j ). Nel caso delle variabili Altezza e Peso si ha altezza peso altezza 0.85 peso

7 4) Covariaza e correlazioe ella popolazioe e i sottogruppi Come abbiamo visto ella scheda precedete per la media e la variaza, quado la popolazioe è suddivisa i sottogruppi è iteressate cofrotare gli idici di covariaza e di correlazioe fra due variabili calcolato sull itera popolazioe co quelli calcolati ei sottogruppi. Ad esempio, se si cosiderao le variabili Pesi X e Altezze Y, suddividedo la popolazioe i maschi e femmie si ha che ρ M (X,Y)= 0.4 e ρ F (X,Y)= 0.494, metre ρ tot (X,Y)= I questo caso i tre valori soo abbastaza simili (ache se il coefficiete di correlazioe totale è più alto i quato le femmie soo mediamete più basse e più leggere dei maschi) Talvolta, però, si presetao situazioi che possoo sembrare strae, ad esempio: le correlazioi elle sottopopolazioi soo piuttosto basse (i valore assoluto) metre quella ella popolazioe totale è alta: è il caso i cui il grafico della distribuzioe cogiuta preseta uvole omogeee e uiformi per le sottopopolazioi, ma la totalità dei puti preseta u adameto lieare; soo piuttosto alte (i valore assoluto) metre quello ella popolazioe totale è basso: è il caso i cui il grafico della distribuzioe cogiuta preseta uvole co adameto elle sottopolazioi, ma la totalità dei puti si preseta omogeea; le correlazioi elle sottopopolazioi hao sego egativo, metre l idice relativo alla totalità dei dati è positivo (o viceversa); è il caso i cui il grafico della distribuzioe cogiuta preseta uvole co adameto elle sottopolazioi di sego diverso da quello della totalità dei puti; UN ESEMPIO REALE: Cosideriamo alcui dati relativi a tre varietà di Iris; soo misurate la lughezza e la larghezza dei petali e lughezza e la larghezza dei sepali. Nella rappresetazioe grafica a fiaco soo riportate le distribuzioi cogiute della lughezza e della larghezza dei petali di tre varietà di Iris. Si vede che la correlazioe complessiva fra la lughezza e la larghezza è positiva e questo dovuto a u fattore di scala : le tre specie soo di dimesioi diverse: la è piccola, la è media e la 3 è grade. Le correlazioi fra la lughezza e la larghezza dei petali per ciascua varietà soo molto più basse. Qui di seguito vediamo altre due aomalie. lughezza petali larghezza petali 5 varieta 3 ρ tot =0.964 ρ =0.36 ρ =0.8 ρ 3=0.3

8 Lughezza e larghezza sepali: ρ totale egativo quasi ullo; ρ elle sottopopolazioi positivo e i u caso piuttosto alto Lughezza petali e larghezza sepali: ρ totale egativo basso; ρ elle sottopopolazioi positivo 45 varieta 3 0 varieta 3 larghezza sepali lughezza petali lughezza sepali larghezza sepali 45 ρ tot = -0.8 ρ =0.48 ρ =0.56 ρ 3 =0.45 ρ tot = ρ =0.86 ρ =0.56 ρ 3=0. UN ALTRO ESEMPIO REALE (tratto dalla rivista Nature del ottobre 005): Nei tre grafici soo riportate le distribuzioe cogiute del peso (X) e delle ore di soo gioraliere (Y) di alcui aimali; soo idicati: - i carivori co i rombi - gli erbivori co i triagoli - gli oivori co i quadrati Nelle tre sottopopolazioi si ottiee: - carivori: ρ c ( X, Y ) = erbivori: ρ e ( X, Y ) = oivori: ρ o ( X, Y ) = Studieremo i seguito il sigificato delle rette tracciate 8

9 Quidi i tutte le sottopopolazioi la correlazioe è egativa, ma per gli erbivori tale correlazioe è piuttosto alta, metre per gli altri due gruppi la correlazioe è o sigificativa. Il grafico a fiaco riguarda l itera popolazioe degli aimali. Nella popolazioe complessiva si ottiee: ρ ( X, Y ) = La relazioe fra la covariaza della popolazioe e quelle dei sottogruppi è simile a quella che abbiamo già visto per la variaza. Suppoiamo per semplicità di avere due sottogruppi A e B co frequeza relativa f A e f B, medie x A e x B ; la relazioe è la seguete: Cov tot (X,Y) = fa CovA(X,Y) + fb CovB (X,Y) + fa ( xa xtot )( ya ytot ) + fb ( xb xtot )( yb ytot ) Ovvero la covariaza della popolazioe totale è la somma (pesata) delle covariaze delle sottopopolazioi più ua quatità che può essere cosiderata ua covariaza (pesata) fra le medie dei sottogruppi. Come abbiamo già detto ua correlazioe alta o forisce iformazioi su evetuali cause/effetto fra le variabili. Talvolta però queste iformazioi soo ote a chi sta studiado ua situazioe reale: c è ua variabile (che idicheremo co X) che produce degli effetti su u altra variabile (che idicheremo co Y). I questi casi di correlazioe alta e di dipedeza di Y da X, possiamo dire che Y è approssimabile tramite X i questo modo: Y = ax + b + u errore Quali coefficieti a e b si devoo scegliere affiché la retta che approssima i dati osservati sia la migliore el seso che l errore di approssimazioe di Y tramite X sia il più piccolo possibile? Lo vedremo ella prossima scheda. 9

10 ESERCIZI ) A fiaco soo riportati i risultati di due caratteristiche quatitative effettuate sulla stessa popolazioe. a. Costruire u diagramma di dispersioe che visualizzi la distribuzioe della variabile X b. Calcolare la media di X. c. Calcolare la variaza di X. d. Costruire u grafico della fuzioe di distribuzioe cumulata della variabile X. e. Costruire u box-plot per la variabile X. f. Sapedo che per la variabile Y si ottiee: y i = 35.9 e y i X Y = 85.55, calcolare media e variaza di Y. g. Costruire u diagramma di dispersioe bidimesioale che visualizzi la distribuzioe cogiuta delle variabili X e Y h. Calcolare il coefficiete di correlazioe delle variabili X e Y ) I dati riportati ella tabella seguete soo misure di u particolare parametro di fuzioalità epatica (SGOT) co il livello di colesterolo HDL el sague. SGOT [x] HDL (mg/dl) [y] x 0 x =.5 i y i = 300. y = 900. x i i y i = a) Calcolare media e variaza delle variabili SGOT e HDL. b) Costruire u diagramma di dispersioe bidimesioale che visualizzi la distribuzioe cogiuta delle variabili X e Y c) Calcolare la covariaza fra le variabili SGOT e HDL. d) Calcolare la correlazioe fra le variabili SGOT e HDL. 3) A fiaco soo riportati i 3 risultati di ua rilevazioe quatitativa, idicata co X. Calcolare la media e la variaza di X

11 4) Per alcui, l iizio di questo milleio è il geaio 000, per altri è il geaio 00. Si effettuao 50 misure di tempo riferite all'iizio del terzo milleio. Dire quale dei segueti idici statistici riferiti alle sue 50 misure è ivariate rispetto alle due scelte per l origie: media variaza mediaa IQR