Note di statistica descrittiva per il corso di Matematica per le scienze sociali A. A. 1998/99

Transcript

1 Note di statistica descrittiva per il corso di Matematica per le scienze sociali A. A. 1998/99 Andrea Pugliese La statistica descrittiva è un insieme di tecniche per descrivere e riassumere dati. La scelta di una rappresentazione o un altra dei dati è dovuta a ragioni psicologiche, estetiche o convenzionali, non ha quindi giustificazioni matematiche. Invece, i metodi usati ricorreranno a tecniche matematiche. 1 Le variabili Uno studio statistico riguarderà un gruppo 1 di individui. Gli individui possono essere persone, ma anche (a seconda del campo di studio) famiglie, villaggi, cellule, molecole... Gli individui costituiscono le nostre unità di osservazione. Il gruppo studiato verrà classificato secondo una o più caratteristiche degli individui che formano il gruppo. Queste caratteristiche potrebbero essere il sesso, l opinione su qualche argomento, il reddito, la velocità di replicazione. La cosa importante è che questa classificazione sia univoca e esauriente: in altre parole a ogni individuo deve essere attribuito uno e un solo valore della caratteristica che consideriamo. Notiamo che, per essere utile, questa classificazione non dovrà essere né troppo grossolana, né troppo fine: se intendiamo studiare l effetto dell obesità sulla salute, dividere la popolazione soltanto in grassi e magri potrebbe non Esempi tratti dall indagine sugli studenti di Economia , sulla pagina Web di tale Facoltà e dai libri D. Freedman, R. Pisani e R. Purves, Statistics, Norton, 1980 e J.K. Lindsey, Introductory Statistics, Oxford Univ. Press, 1995 senza particolari autorizzazioni 1 Gli individui osservati possono costituire la totalità della popolazione di interesse; oppure, più spesso, possono essere un campione di una popolazione più vasta che si intende studiare. Le tecniche per costruire un campione adeguato; ovvero per risalire dalle osservazioni sul campione ad affermazioni sulla popolazione non verranno discusse in questo corso. 1

2 far notare effetti più sottili. D altra parte, se classificassimo in modo così fine che ogni individuo va a finire in una classe diversa (poiché riteniamo che tutti gli individui siano diversi, ciò è sempre possibile), la classificazione sarebbe priva di ogni interesse. Come trovare il giusto mezzo dipenderà da caso a caso, ed è al di fuori dello scopo di queste note. In statistica denoteremo come variabile una caratteristica che permette questo tipo di classificazione. Il significato sembra diverso da quello comune in matematica, ma si vedrà che si integra coerentemente nella terminologia normale. Ad alcune di queste caratteristiche possiamo associare un numero (ad esempio il reddito, l altezza, il numero di esami svolti) e allora la variabile verrà definita quantitativa. Altre variabili non ammettono questa rappresentazione e allora verranno dette qualitative (ad esempio il sesso, la classe sociale, il colore dei capelli). Le variabili quantitative possono inoltre essere divise in quelle discrete (ad esempio il numero di esami svolti) i cui valori possono essere soltanto interi, e quelle continue che (almeno concettualmente) possono assumere tutti i valori reali (ad esempio l altezza o il reddito) 2. A seconda del tipo di variabile (qualitativa, discreta o continua) si useranno tecniche diverse di rappresentazione e analisi. Mentre nella statistica inferenziale tutti i tipi di variabile pongono problemi interessanti dal punto di vista matematico, la statistica descrittiva di variabili qualitative si limita a rappresentazioni molto semplici. Quindi, nel seguito discuteremo soprattutto di variabili quantitative, in particolare continue. 2 Istogrammi, poligoni di frequenza, funzione di distribuzione cumulativa L osservazione di una variabile qualitativa in una popolazione si può riassumere in una tabella che elenca quanti individui assumono i vari valori della variabile (vedi, ad esempio la Tabella 1 sui diplomi di maturità degli iscritti a 2 Si può notare che quando effettuo una misura, otterrò comunque un numero intero nell unità di misura che sto usando: se misuro l altezza con la precisione di un centimetro (m 1,83 o 1,71) il valore è un numero intero di centimetri; se misuro il reddito in lire, otterrò un numero intero di lire. Ci sono due motivi per cui è però preferibile considerare queste variabili diversamente da quelle intere: prima di tutto, il numero di unità dipende dalla precisione dello strumento; quindi passando a uno strumento che misura l altezza al millimetro, troverei degli interi tutti diversi, il ché è fastidioso. In secondo luogo, il numero di classi che otterrei considerando l altezza in centimetri o il reddito in lire come variabili intere è molto alto; l uso delle tecniche delle variabili continue permette di mantenere tutta l informazione presente in una misurazione accurata senza dover considerare un numero altissimo di classi discrete. 2

3 Economia Politica del 1994/95); è normale esprimere la distribuzione tramite le frequenze, ossia il numero di individui che hanno un dato valore (ad esempio maturità tecnica) diviso il numero totale degli individui osservati. Sulla base della tabella, si può costruire un istogramma, ossia su ogni valore della variabile alzare un rettangolo di altezza (o area) proporzionale alla frequenza di quel valore (vedi Fig. 1). Tabella e Figura 1. Composizione per diploma di maturità degli iscritti a Economia Politica A/A 1994/95 I dati per una variabile quantitativa discreta sono analoghi a quelli per una variabile qualitativa. Nella rappresentazione di queste variabili, si vuole spesso mettere in risalto la natura numerica della variabile. Quindi verrà rappresentato l asse dei valori, come un asse delle x del piano cartesiano (ciò non avrebbe senso per variabili qualitative); i rettangoli costituenti l istogramma verranno centrati sul valore corrispondente (ad esempio, la base del rettangolo che rappresenta la frequenza del valore 1 si estenderà da 0,5 a 1,5; quella del valore 2 da 1,5 a 2,5; e così via) (vedi Fig. 2a). 3

4 Fig. 2. Distribuzione del numero di esami svolti dagli iscritti al primo anno di Economia e Commercio fra l 1/11/1994 e il 31/10/95. Dati in Tab. 3. Si può costruire (al posto dell istogramma o sovrapposto a esso) un poligono di frequenza: ossia se p 1 è la frequenza del valore 1 (e quindi l altezza del rettangolo corrispondente), p 2 la frequenza del valore 2..., si tracceranno sul grafico i punti (1, p 1 ), (2, p 2 ) e l intero segmento che li congiunge, e così via. Spesso, per convenzione, si aggiungono due segmenti che congiungono il punto iniziale e quello finale all asse delle x (vedi Fig. 2b). Il poligono di frequenza assomiglia al grafico di una funzione definita sui reali; si possono quindi usare grafici di funzioni note come confronto, per avere un idea migliore del tipo di distribuzione trovata. Tab. 2. Distribuzione delle famiglie statunitensi per reddito nel

5 Quando si presentano le osservazioni di una variabile continua, le osservazioni saranno raggruppate in intervalli (vedi tabella 2). Quando queste osservazioni vengono rappresentate tramite un istogramma, è importante ricordare il principio che le aree (non le altezze) dei rettangoli devono essere proporzionali alle frequenze; in Fig. 3 i dati della Tabella 2 sono rappresentati in modo non corretto ponendo le altezze dei rettangoli proporzionali alla percentuale dei dati in ogni intervallo. Fig. 3. Istogramma non corretto dei dati sul reddito Per rappresentarli in modo corretto, si ricordi che l area di un rettangolo è uguale a base altezza; quindi, se la lunghezza di due intervalli (e quindi la base dei rettangoli dell istogramma) è diversa, l altezza dovrà essere calcolata opportunamente. Ad esempio, nella Tabella 2 l 1% delle osservazioni cade nell intervallo (0,1.000) e il 15% nell intervallo (7.000,10.000); allora, se poniamo uguale a 1 l altezza del rettangolo costruito su (0,1.000), l altezza del rettangolo costruito su (7.000,10.000) dovrà essere uguale a 5: così, infatti, l area del rettangolo su (7.000,10.000) è uguale a 15 volte l area del rettangolo su (0,1.000) 3 (vedi Fig. 4). 3 In un tale istogramma i valori sull asse delle y rappresentano la percentuale di osservazioni per unità di misura dell asse x. La funzione di cui viene fatto il grafico è una densità di frequenza per unità di misura dell asse x. 5

6 Fig. 4. Istogramma corretto dei dati sul reddito Tab. 3. Distribuzione del numero di esami svolti dagli iscritti al primo anno di Economia e Commercio fra l 1/11/1994 e il 31/10/95 Oltre all istogramma, per una variabile quantitativa, si può costruire la funzione di distribuzione cumulata, o funzione di ripartizione. Per ogni valore x della variabile, si sommano le frequenze di tutte le osservazioni minori o uguali a x ; questo è il valore della funzione di ripartizione in x. Si può poi tracciare il grafico di questa funzione, secondo le regole usuali. Nella terza colonna di Tabella 3 è calcolata tale funzione per i dati sugli esami, il cui istogramma era in Fig. 2; il grafico è in Fig Abbiamo scelto una rappresentazione seguendo esattamente la definizione, per cui si ha una funzione a scalino. E normale anche congiungere i punti con una spezzata 6

7 Fig. 5. Funzione di distribuzione cumulativa del numero di esami svolti, tratta dai dati di Tab. 3 Si può notare che necessariamente i valori della funzione di ripartizione sono compresi fra 0 e 1 e che la funzione è crescente: se x < y, tutte le osservazioni minori o uguali a x sono anche minori o uguali di y. Nel grafico della funzione di ripartizione sono contenute tutte le informazioni presenti in un istogramma; però è, in genere, più difficile vedere le proprietà di una distribuzione dalla funzione di ripartizione. D altra parte, si vedrà che per certi scopi questa è la rappresentazione più adatta. 3 Indici di posizione Spesso la rappresentazione completa dei dati (in forma di tabella o istogramma o altra) è troppo dettagliata per trarne informazioni utili. E perciò naturale cercare di estrarre dall intera distribuzione alcuni indici sintetici riassuntivi. In genere, si sceglie un indice di posizione centrale (che dia un idea di dove sia all incirca il centro della distribuzione lungo l asse x della variabile) e un indice di dispersione (che chiarisca se la distribuzione è molto dispersa o, al contrario, concentrata intorno alla posizione centrale). Questi due indici riassumono bene l insieme della distribuzione, se essa ha una forma all incirca a campana (come succede spesso in statistica, vedi Fig. 6a); se invece, la distribuzione è molto differente (ad esempio ha due picchi con una valle 7

8 in mezzo, vedi Fig. 6b), la sintesi della distribuzione nei due indici è poco riuscita 5. Fig. 6. Distribuzioni ipotetiche di frequenza La media geometrica L indice di posizione centrale più comune è la media (per la precisione, media aritmetica), soprattutto per la grossa facilità di calcolo e successive elaborazioni matematiche: Definizione 1 se x 1, x 2,..., x N sono i valori delle osservazioni di una variabile, si dice loro media x = 1 N (x 1 + x x N ) = 1 N N x i. i=1 La media è chiaramente un valore centrale fra quelli delle osservazioni. Per avere un idea riguardiamo gli istogrammi già presentati, e vediamo dove si situa la media (2,576 per gli esami svolti, per i dati del reddito). Il potere riassuntivo della media si vede esaminando la Fig. 7. Essa riassume i dati di peso e altezza di statunitensi esaminati fra il 1960 e il 1962 dal Public Health Service. Tali dati sono stati raccolti secondo l età (7 gruppi di età ) e il sesso, per un totale di 14 gruppi. Essendo state considerate 2 variabili (peso e altezza) per rappresentare questi dati avremmo bisogno di 28 istogrammi, dai quali sarebbe difficile capire qualcosa. Calcolando invece 5 questi istogrammi sono tracciati come curve continue per comodità ; si deve pensare che sono istogrammi molto fitti da non essere quasi distinguibili da una curva continua. 8

9 la media per ognuno dei 14 gruppi, è possibile rappresentare in due semplici grafici come variano altezza e peso medio in funzione dell età, separatamente per maschi e femmine (vedi Fig. 7). Fig. 7. Media di altezza e peso per età e sesso Notate che il fatto che l altezza media diminuisca con l età non significa che invecchiando ci si accorci. Poiché lo studio è stato fatto in un dato momento temporale ( ), gli individui di età diverse sono nati in epoche diverse. E probabile che l effetto sia dovuto principalmente alla diversa alimentazione da giovani delle classi di età. Si potrebbe pensare che, confrontando la media con l istogramma dei dati da cui è ricavata la media, essa stia in mezzo, nel senso che all incirca il 50% delle osservazioni sia al di sotto, il 50% di sopra. Ciò non è affatto vero, perché la media è molto sensibile ai valori estremi. Supponiamo per esempio che ci siano 9 persone che guadagnano $ e una che guadagna $: il reddito medio di tali 10 persone è uguale a $, ossia il doppio del reddito del 90% della popolazione. In generale se la distribuzione delle frequenze ha una lunga coda verso destra (c è una parte della popolazione che ha valori molto maggiori di quelli usuali nel resto della popolazione), la maggior parte della popolazione avrà valori inferiori alla media; viceversa, nel caso vi sia una lunga coda verso sinistra. Ad esempio, dai dati completi sul reddito USA nel 1973 (Fig. 4), risulta che la media del reddito familiare è circa $ (come previsto, meno della metà dei dati sono maggiori di $ ). 9

10 La mediana Questa osservazione fa, in alcuni casi, preferire alla media la mediana come indice di posizione centrale. Definizione 2 La mediana è quel valore m tale che almeno metà delle osservazioni sono maggiori o uguali a m, e almeno metà sono minori o uguali a m 6. L osservazione precedente sulle distribuzioni asimmetriche si può tradurre in termini della mediana: se una distribuzione ha una lunga coda verso destra [sinistra], la media sarà maggiore [minore] della mediana; se una distribuzione è simmetrica, la mediana e la media saranno all incirca uguali. Media geometrica e armonica E possibile definire anche altre medie (non aritmetiche). Ad esempio, se x 1, x 2,..., x N sono tutti numeri positivi, si può definire la loro media geometrica MG = N x 1 x 2 x N. Tale media è utile soprattutto quando si voglia calcolare la media di processi di tipo moltiplicativo (inflazione, remunerazione del capitale, crescita di popolazioni) su vari periodi di tempo. E anche possibile definire la media armonica: N MA = 1 x x x N Questa media compare naturalmente, quando si voglia calcolare la velocità media in un tragitto, conoscendo le velocità medie tenute sui vari intervalli spaziali che costituiscono il tragitto. Con alcuni passaggi matematici, si vede che queste due medie hanno una struttura matematica simile (che permetterebbe, se si fosse interessati, di definire ancora altre medie). Infatti (scegliendo la base e soltanto perché è la più comune) si ha log e MG = 1 N (log e(x 1 ) + log e (x 2 ) + + log e (x N )), 6 questa definizione non pone problemi nel caso di una distribuzione continua di probabilità teoriche; nel caso di un numero finito di osservazioni, viene ad assumere un senso parzialmente diverso a seconda che il numero di osservazioni N sia pari o dispari; quando N è pari, inoltre, non necessariamente un unico numero soddisfa la definizione di mediana. Però, se N è abbastanza grande, queste ambiguità sono irrilevanti. 10

11 ossia il logaritmo della media geometrica è la media aritmetica dei logaritmi delle osservazioni. Di conseguenza, chiamando exp(x) = e x, si ha 7 MG = exp(media aritmetica di log e (x 1 ),..., log e (x N )). D altra parte, dalla sua definizione si vede MA = 1 media aritmetica di 1 x 1,... 1 x N. In altri termini, se f(x) = log e (x), g(x) = exp(x), si ha MG = g(media aritmetica di f(x 1 ),..., f(x N )). Lo stesso si ha per la media armonica, ponendo invece f(x) = 1/x e g(x) = 1/x. Notate che in ambedue i casi vale g(f(x)) = x, quindi f e g si dicono funzioni inverse una dell altra 8. 4 Indici di dispersione Cerchiamo un indice, costruito in modo simile alla media, che caratterizzi la dispersione della distribuzione. Lo scostamento di un osservazione x i dalla media è dato da x i x. Se però facciamo la somma su tutte le osservazioni di queste quantità otteniamo 0, perché alcune di esse sono positive, altre sono negative, e la media ha la proprietà che la somma di quelle positive si compensa con la somma di quelle negative 9 : N (x i x) = [(x 1 x) + (x 2 x) + + (x N x)] = 0. i=1 E necessario quindi dare un segno positivo a tutti gli scostamenti. Per fare questo si potrebbe usare il valore assoluto: x i x e fare la media degli scostamenti in valore assoluto: ossia sommarli per tutte le osservazioni e dividere per N: 1 N N x i x = 1 i=1 N [ x 1 x + x 2 x + + x N x ]. 7 fra l altro questa espressione è molto più semplice per il calcolo pratico. 8è così anche se, nel secondo caso, f e g sono in realtà la stessa funzione. 9 per verificare l identità seguente, basta scomporre le somme opportunamente. 11

12 Questo indice è perfettamente ragionevole, ma non è molto usato, soprattutto per ragioni di convenienza matematica. Si preferisce, anziché fare il valore assoluto degli scostamenti, farne il quadrato; poiché il quadrato di qualunque numero è positivo, anche in questo modo non si pone il problema della cancellazione degli scostamenti di segno diverso. Facendo la media del quadrato degli scostamenti, si ottiene un indice che si chiama varianza. Definizione 3 La varianza, V (x), delle osservazioni x = x 1, x 2,..., x N è V = 1 N N i=1(x i x) 2 = 1 N [ (x1 x) 2 + (x 2 x) (x N x) 2]. Vedremo più avanti un metodo di calcolo della varianza più pratico. Notiamo subito che su alcuni libri (e su alcuni programmi di calcolatrici) la varianza viene definita dividendo per N 1 e non per N; questo è legato alla statistica inferenziale, e non ci interessa qui 10. Uno svantaggio della varianza è che, poiché si eleva al quadrato, bisogna elevare al quadrato anche le unità in cui si misurano le osservazioni: se le osservazioni sono espresse in metri, la varianza si esprime in metri quadri. Poiché si misura in unità diverse, non è quindi possibile rappresentare la varianza su un diagramma in cui venga presentata la distribuzione delle osservazioni. Quindi è naturale calcolare la radice quadrata della varianza: Definizione 4 La deviazione standard (DS) delle osservazioni x = x 1, x 2,..., x N è la radice quadrata della varianza. Per avere un idea visiva del significato della deviazione standard, diamo il seguente principio. Nella maggior parte delle distribuzioni di frequenza con un solo picco (unimodali) e non troppo asimmetriche, all incirca i due terzi delle osservazioni sono compresi fra x DS e x+ds; questo intervallo verrà anche espresso come Media ± 1 DS; inoltre, praticamente tutte le osservazioni saranno comprese in Media ± 3 DS. Si possono definire anche delle misure di dispersione analoghe alla mediana. Dato un intero K compreso fra 0 e 100, si può definire il K-esimo percentile p K come il numero tale che la frequenza delle osservazioni minori o uguali di p K sia uguale a K% (e la frequenza di quelle maggiori sia (100 K)%). In particolare il primo percentile è tale che 1% della distribuzione è alla sua sinistra; il decimo percentile è tale che 10% della distribuzione è alla sua sinistra; e così via. Notare che, in particolare, la mediana 10 Notate solo che se avete una calcolatrice che divide per N 1, per ottenere i risultati che presentiamo qui dovete moltiplicare per N e dividere per N 1. 12

13 è uguale a p 50. E abbastanza usuale, calcolare i quartili Q 1 = p 25 (quello che ha il 25% della distribuzione al di sotto e il 75% di sopra) e Q 3 = p 75 (quello che ha il 75% della distribuzione al di sotto e il 25% di sopra). Volendo, si può usare Q 3 Q 1 come indice di dispersione, se si ritiene che la deviazione standard sia troppo influenzata dalle code della distribuzione. 5 Calcoli della media, varianza e mediana Se i dati sono presentati in forma di tabella, come in Tabella 3, ossia si elencano i valori ottenuti {y 1, y 2,..., y k } 11 e il numero di osservazioni per ciascuna di esse {n 1, n 2,..., n k }, la media si può calcolare in modo più semplice come x = 1 k N (n 1y 1 + n 2 y n k y k ) = f j y j j=1 dove f j = n j N è la frequenza dell osservazione y j. Poiché Il numero totale di osservazioni N è uguale alla somma del numero di osservazioni per ciascun valore: n 1 + n 2 + +n k, l espressione precedente si può scrivere in modo più simmetrico come x = (n 1y 1 + n 2 y n k y k ) (n 1 + n n k ) = kj=1 n j y j kj=1 n j. Per quanto riguarda il calcolo della varianza, si può usare la seguente identità 12 : V = 1 N N i=1 x 2 i ( x) 2 = 1 N [ x x x 2 N ] ( x) in sostanza stiamo considerando una variabile discreta. 12 per chi avesse interessi matematici, fornisco qua una dimostrazione. Si ha, svolgendo i quadrati: 1 N N (x i x) 2 = 1 N i=1 N (x 2 i 2x i x + x 2 ); questa espressione, scomponendo le somme e evitando per facilità di comprensione alcuni simboli di sommatoria, è uguale a { N } 1 x 2 i 2[x 1 x + + x N x] + [ x x 2 ] N i=1 { = 1 N } x 2 i 2 x N x + N x 2 = 1 N x 2 i x 2. N N i=1 Con la stessa tecnica si dimostra una identità più generale che serve in alcune 13 i=1 i=1

14 In questo modo, se si è già calcolata la media x, basta sommare i quadrati delle osservazioni. Sempre nel caso di dati in forma di tabella, si ha V = kj=1 n j y 2 j N k ( x) 2 = f j yj 2 ( x) 2. j=1 Un esempio del calcolo di media e varianza è fatto nella quarta e quinta colonna di Tab. 3. Risulta che il numero medio di esami svolti è 2,576 e la deviazione standard è 1,744. Si noti che in questo caso la media è minore della mediana; questo per il peso sulla coda sinistra di coloro che hanno svolto 0 esami (Fig. 2). Popolazione divisa in gruppi Supponiamo ora che le osservazioni (e le prime elaborazioni statistiche) siano state effettuate avendo suddiviso la popolazione in gruppi: per esempio potremmo avere compiuto osservazioni e calcolato medie e varianze su maschi e femmine separatamente, e poi volere comunque calcolare una media e varianza generale). Supponiamo che vi siano k gruppi di osservazioni, con n 1 individui nel primo gruppo, n 2 nel secondo,..., n k nel k-esimo. Supponiamo che la media e la varianza del primo gruppo siano x 1 e V 1, del secondo x 2 e V 2,..., x k e V k del k-esimo. Allora x = 1 N (n 1 x 1 + n 2 x n k x k ) = n 1 x 1 + n 2 x n k x k n 1 + n n k ; a parole, facciamo la media (pesata in base alle numerosità dei gruppi) delle medie nei singoli gruppi. Per quanto riguarda la varianza, si ha V T OT = n 1V 1 + n 2 V n k V k n 1 + n n k + n 1( x 1 x) 2 + n 2 ( x k x) n k ( x k x) 2 n 1 + n n k dove x è la media generale, come calcolata sopra. dimostrazioni; per ogni m vale 1 N N (x i m) 2 = 1 N i=1 N (x i x) 2 + (m x) 2. i=1 14

15 Il primo termine in V T OT è la media delle varianze interne ai singoli gruppi e rappresenta le differenze esistenti all interno dei gruppi; il secondo termine è tanto maggiore quanto più diverse sono le medie dei vari gruppi e rappresenta le differenze fra i gruppi. Questa suddivisione è il nucleo di quella che si chiama l analisi della varianza: il rapporto fra il secondo termine in V T OT e la varianza totale può dare un idea di quanto la variabile esaminata dipenda dal gruppo di appartenenza. Ad esempio, la variabile considerata potrebbe essere il reddito; i gruppi potrebbero essere la classe sociale di origine, e studieremmo quindi quanto il reddito dipenda dall origine sociale. Supponiamo infine che, come è comune per una variabile continua, sia presentato soltanto un piccolo numero di intervalli e il numero di osservazioni che cadono in un ciascuno di essi (come in Tabella 2). Se noi conoscessimo la media delle osservazioni che cadono in un certo intervallo (per esempio, il reddito medio di coloro che guadagnano fra e $) potremmo usare la formula precedente e ottenere il valore esatto della media generale. Se però non lo conosciamo, possiamo ancora fare un calcolo approssimato, assegnando a ogni intervallo di frequenza il punto di mezzo di quell intervallo (nell esempio precedente, decideremo che il valor medio di coloro che guadagnano fra e $ è $ e presumibilmente non sbaglieremo molto). Tab. 4. Calcoli sui dati di Tab. 2 Nell esempio (vedi Tabella 4) si vede che il valore ottenuto non è esatto 15

16 (si trova circa $ , mentre, come detto sopra, usando i dati completi la media è circa $ ), ma non è lontano dal vero. In questo approccio, vi è un punto delicato quando uno degli intervalli di frequenza è aperto (quelli che guadagnano più di $): anche se la frequenza di tale intervallo è piccolo (meno dell 1% della popolazione), il valor medio del reddito che attribuissimo alla popolazione che guadagna più di $ può influenzare il valor medio generale (come discusso in precedenza); bisognerà avere un po di ragionevolezza, assegnando un valor medio per tale classe non troppo maggiore di $. Uno può compiere un approssimazione simile per la varianza, dando valori ragionevoli per le varianze dei singoli gruppi. Cambio di scala nel calcolo di medie e varianze. Sia y una quantità legata alle osservazioni x da una relazione del tipo y = a + bx. Un caso classico è quello di un cambio di scala; per esempio, x sia la temperatura misurata in Fahrenheit e y in gradi centigradi: in tal caso, come noto, y = 5 (x 32). In tal caso la media e varianza di y possono 9 calcolarsi 13 come ȳ = a + b x, V (y) = b 2 V (x). E spesso più comodo usare la trasformazione per le deviazioni standard, anziché per le varianze: facendo le radici quadrate si ottiene DS(y) = b DS(x). Calcolo della mediana Per il calcolo della mediana, è necessario ordinare le osservazioni dalla più piccola alla più grande e trovare il valore che sta a metà della lista. Naturalmente se si hanno le osservazioni in forma di tabella, si conterà il numero di osservazioni, in modo che sia il numero di quelle minori della mediana, sia di quelle maggiori siano meno di metà delle osservazioni: dalla seconda e la terza colonna di Tabella 3, si vede che la mediana degli esami svolti è 3. Uno strumento comodo per calcolare la mediana è il grafico della funzione di distribuzione cumulata: il valore delle x nel punto in cui il grafico di tale funzione taglia la retta y = 0, 5 è la mediana della distribuzione; nel caso di Fig. 5 si vede che la mediana è 3. I percentili si possono calcolare nello stesso modo in cui si calcola la mediana: il percentile p K si trova come il valore delle x nel punto in cui il grafico della funzione di distribuzione cumulativa taglia la retta y = K/100. Statistica di più variabili 13 queste formule si dimostrano facilmente usando le definizioni 16

17 E normale negli studi statistici considerare più di una variabile alla volta. Spesso, scopo di uno studio è proprio di mostrare l effetto di un fattore sui valori di una variabile. In alcuni casi il fattore studiato viene fissato dallo sperimentatore (ad esempio, quando si vuole studiare l effetto di un nuovo farmaco, è prassi suddividere la popolazione in un gruppo sperimentale a cui viene somministrato il farmaco, e un gruppo di controllo); si vuole valutare come cambia una qualche variabile a seconda del valore del fattore. In altri casi, nessun fattore è sotto controllo sperimentale; tutti i fattori vanno considerati come variabili e si vuole osservare la loro variazione congiunta. 6 Variabili qualitative Il caso più semplice è quello in cui vi siano due variabili, ognuna delle quali può assumere solo due valori. Consideriamo ad esempio i dati di Tabella 5 che considera il risultato delle lesioni subite in un incidente stradale (mortali o meno) a seconda che il soggetto considerato indossasse la cintura di sicurezza. Se noi avessimo solo i dati sulla frequenza in cui le lesioni sono mortali (2.111/ dalla tabella) o sulla frequenza in cui veniva indossata la cintura ( / ), non potremmo avere idea sull effetto delle cinture negli incidenti. E necessario avere i dati di distribuzione congiunta, ossia quanti sono morti senza la cintura, quanti sono morti con la cintura, ecc.. come in tabella. Tab. 5. Dati sugli incidenti stradali in Florida nel cintura indossata lesioni sì no totale mortali non mortali totale Da una tale tabella si possono facilmente calcolare varie frequenze: sempre facendo riferimento alla Tabella, la frequenza di morti fra coloro che hanno subito lesioni in un incidente stradale senza indossare la cintura (1.601/ =0,0098), ovvero la frequenza di morti fra coloro che hanno subito lesioni in un incidente stradale indossando la cintura (510/ = 0,0012). Il rischio relativo (RR) (di morte se coinvolti in un incidente) per il non indossare la cintura è il rapporto fra queste due frequenze: RR = 1.601/ / = 7,

18 Naturalmente la scelta di calcolare un dato rischio relativo dipende dalla logica dello studio, non da ragioni matematiche. Potremmo benissimo calcolare la frequenza di indossare la cintura se si sono subite lesioni mortali in un incidente (510/2.111 = 0,24), la frequenza di indossarla se si sono subite lesioni non mortali ( / = 0,72), e quindi il rischio relativo di indossare la cintura se si sono subite lesioni mortali: 510/ / = 0, 34. Come si vede dagli esempi il rischio relativo può essere un qualunque numero positivo (maggiore o minore di 1). Un altra misura che si può costruire a partire da questo tipo di dati è la odds ratio (OR), letteralmente il rapporto delle quote. Dati due eventi mutuamente esclusivi (ad esempio la vittoria o la sconfitta di una squadra) nelle scommesse si considera la quota delle due: ad esempio la quota della vittoria (ad esempio 3:1) sarà il rapporto fra la frequenza attesa delle vittorie e quella delle sconfitte. Possiamo allora considerare la quota della morte in caso di incidente senza cinture allacciate (1.601/ = 0,00985) e quella in caso di incidente con le cinture allacciate (510/ = 0,0012). Il rapporto fra queste due quantità è la odds ratio: OR = 1.601/ / = 7, 96. In questo caso OR è molto simile a RR, ma non è necessariamente così. La odds ratio ha alcuni vantaggi rispetto al rischio relativo (anche se è meno direttamente interpretabile). Prima di tutto può essere calcolata anche in un disegno sperimentale in cui i totali delle colonne sono fissati a priori (per esempio nei disegni retrospettivi comuni in epidemiologia) e quindi non si conosce il denominatore necessario per calcolare i rischi. In secondo luogo, è simmetrico nelle variabili: la odds ratio che abbiamo calcolata è uguale a quella di non indossare le cinture se l incidente è mortale rispetto a quando l incidente non è mortale: 1.601/ / Infatti se una tabella è costituita dai numeri si ha OR = ad/bc. a c 18 b d = 7, 96.

19 La odds ratio può assumere tutti i valori positivi. Spesso per comodità matematica, si usa il suo logaritmo. Il rischio relativo e la odds ratio si possono calcolare anche quando si hanno tabelle più complesse: le variabili x e y abbiano più di due valori. Possiamo certamente isolare due valori qualunque della x e della y e calcolare i rischi relativi e odds ratio relative a questa sottotabella. Le tecniche migliori per estrarre informazioni in tabelle complesse verranno comunque esaminate in altri corsi. 7 Variabili quantitative Correlazione Nel caso di variabili quantitative, vogliamo, analogamente al caso di variabili qualitative, capire se il valore di una variabile, poniamo x, influenza il valore dell altra, y. Se conosciamo soltanto le medie ( x e ȳ) e le deviazioni standard di x e y, non possiamo avere idea della relazione esistente fra x e y. Un indice che invece sintetizza questa relazione è il coefficiente di correlazione lineare: 1 Ni=1 (x N i x)(y i ȳ) ρ =. DS(x) DS(y) Quali sono le proprietà del coefficiente di correlazione? 1. ρ è un numero puro; non dipende dalle unità di misura usate per le variabili x e y. 2. Qualunque sia il valore dei dati x e y, ρ è compreso fra -1 e 1 (estremi compresi). Ciò discende da una disuguaglianza non elementare. 3. Per capire il significato di ρ, immaginiamo di centrare un sistema di assi cartesiani in ( x, ȳ). Se i punti (x i, y i ) sono soprattutto nel primo (x > x e y > ȳ) e nel quarto (x < x e y < ȳ) quadrante, allora ρ sarà positivo perché il prodotto (x i x)(y i ȳ) sarà positivo per la maggioranza delle i. Invece, se i punti (x i, y i ) sono soprattutto nel secondo (x > x e y < ȳ) e nel terzo (x < x e y > ȳ) quadrante, allora ρ sarà negativo, poiché in genere il prodotto (x i x)(y i ȳ) sarà negativo. Nel caso in cui i punti siano sparsi uniformemente nei quattro quadranti, ρ sarà vicino a Il valore assoluto di ρ è uguale a 1, quando i dati giacciono esattamente su una retta. In particolare sarà uguale a 1 se il coefficiente angolare 19

20 di tale retta è positivo, a -1 se il coefficiente angolare di tale retta è negativo. Un idea visiva di cosa rappresenta il valore del coefficiente di correlazione è data nelle Fig. 8 e 9, in cui vengono presentati dati simulati che differiscono soltanto per il coefficiente di correlazione. 20

21 Fig. 8. Dati simulati con diversi coefficienti di correlazione nonnegativi. Ogni variabile ha media 3 e DS 1 21

22 Fig. 9. Dati simulati con diversi coefficienti di correlazione negativi. Ogni variabile ha media 3 e DS 1 22

23 E importante avere chiaro che un coefficiente di correlazione vicino a 1 indica che esiste un associazione fra le due variabili, ma non implica di per sé un rapporto di causalità: le variabili potrebbero non avere nulla a che fare fra loro, ma essere entrambe influenzate da qualche altra variabile. Viceversa, è possibile che esista una relazione stretta fra due variabili, ma che essa non sia di tipo lineare, e quindi ρ sia vicino a 0: un esempio ipotetico è in figura 10. Fig. 10. Dati ipotetici sul piano (x, y). Il coefficiente di correlazione sarebbe vicino a 0, ma esiste evidentemente una relazione non-lineare fra x e y. y Esistono anche altri indici di correlazione che non dipendono dal fatto che x e y siano legati da una relazione lineare; essi verranno considerati in altri corsi. Per calcolare ρ può essere utile usare la seguente identità: x 1 N N i=1(x i x)(y i ȳ) = 1 N N x i y i xȳ. i=1 Di conseguenza ρ si può calcolare come ρ = 1 Ni=1 x N i y i xȳ DS(x) DS(y) 23

24 Regressione lineare Nella regressione lineare si usano all incirca gli stessi calcoli usati per il calcolo della correlazione. Cambia molto invece l impostazione concettuale. Nella regressione facciamo l ipotesi che la variabile x sia una causa della variabile y. Esisteranno inoltre altri fattori non considerati che influenzano il valore di y; di conseguenza tramite la x non potremo prevedere la y esattamente, ma soltanto in media. Nella regressione lineare 14 scegliamo una relazione del tipo y = a + bx per opportuni coefficienti a e b. In altre parole, supponiamo che i punti x e y giacciano intorno a una retta di equazione y = a + bx. Proprio perché il modello usato è di tipo statistico, non ci aspettiamo che i punti giacciano esattamente su una retta. Come scegliamo i coefficienti della retta a e b? Vogliamo sceglierli in modo che la retta passi il più vicino possibile ai punti (x i, y i ), ma bisogna precisare cosa vuol dire vicino. Per ogni coppia (x i, y i ) definiamo il residuo i-esimo come y i (a+bx i ); esso è la distanza (con segno) in verticale dal punto (x i, y i ) alla retta y = a + bx. Esso rappresenta l errore che facciamo, usando l equazione y = a + bx, nel punto x i. In Fig. 11 si può vedere l idea geometrica 14 si possono considerare anche relazioni non-lineari; i calcoli sono più complessi ed erano proibitivi prima dell avvento dei computer 24

25 Fig. 11. Alcuni punti nel piano (x, y) e una retta y = a + bx. I segmenti tratteggiati rappresentano i residui nei vari tratti. La retta di regressione minimizza la somma della lunghezza al quadrato di questi segmenti. y y= a + b x x 25

26 La retta di regressione lineare è quella che minimizza questi residui. Naturalmente, poiché alcuni dei residui saranno positivi, altri negativi, non avrebbe senso sommarli. Analogamente a quanto fatto nella definizione della varianza, la cosa più conveniente dal punto di vista matematico è elevarli al quadrato e sommarli. Quindi definiamo la distanza della retta y = a + bx dai punti (x i, y i ), i = 1,..., N la somma dei residui ai quadrati: N [y i (a + bx i )] 2. (ERR) i=1 La retta di regressione avrà i valori dei coefficienti a e b tali che questa somma sia la più piccola possibile. Sarebbe potuto venire in mente di definire la distanza dei punti dalla retta in modo diverso: per ogni punto (x i, y i ) avremmo potuto tracciare una retta perpendicolare a y = a + bx e misurato la distanza lungo tale retta. Questa sarebbe la distanza considerata normalmente in geometria euclidea. La scelta compiuta è dovuta, da una parte, a ragioni di convenienza matematica, dall altro al fatto che (almeno nei primi modelli di regressione) si assume che la variabile x sia misurata con esattezza e non vi sia quindi errore nella sua determinazione; la misura della variabile y presenta invece un errore: la distanza dei punti dalla retta va considerata come la somma degli errori (al quadrato) e quindi essa va compiuta in verticale, perché errori sono presenti soltanto nella detereminazione di y. Come calcolare i valori di a e b? L espressione in (ERR) può essere considerata come una funzione di a e b. Si possono quindi usare le tecniche del calcolo differenziale per trovarne il minimo. Mi limito qua a fornire il risultato che si ottiene con tali tecniche 15 : b = DS(y) 1 Ni=1 DS(x) ρ = (x N i x)(y i ȳ) V (x) a = ȳ b x. Notiamo dal valore di a che la retta di regressione passa necessariamente per il punto con coordinate le medie di x e y: ( x, ȳ). Notiamo poi che (al contrario di ρ) il valore di b dipende dalle unità di misura usate e può essere un qualunque numero reale (non è limitato fra -1 e 1). Naturalmente b e ρ hanno lo stesso segno. Nella tabella 6 presento un esempio dei calcoli del coefficiente di correlazione lineare e della retta di regressione. In genere, tutti questi calcoli 15 chi è abile nelle manipolazioni algebriche può dimostrarlo svolgendo e raggruppando opportunamente le somme di quadrati. 26

27 vengono svolti automaticamente da un opportuno programma su calcolatrice o computer. Tabella 6. Calcolo del coefficiente di correlazione e della retta di regressione. Come detto, questi calcoli sono validi solo nel caso in cui la legge che unisce la y alla x sia di tipo lineare. Nelle applicazioni succede spesso che si vogliano esplorare relazioni non-lineari. In alcuni casi, opportune trasformazioni dei dati permettono di trovare relazioni non-lineari usando le tecniche della regressione lineare. Un caso molto usato in biologia (ma che forse potrebbe avere interesse anche in sociologia) è quello delle trasformazioni logaritmiche. Supponiamo che tutti i dati x i e y i siano positivi. Poniamo allora w i = log 10 x i e z i = log 10 y i e studiamo la regressione lineare di z su w. Supponiamo di scoprire che una retta di equazione z = a+bw rappresenta bene i dati. Cosa rappresenta tale retta nelle variabili originali? Le equazioni della retta di regressione sono log 10 y = a + b log 10 x. Allora 10 log 10 y = 10 a + b log 10 x. 27

28 Poiché, per definizione di logaritmo, vale 10 log 0 310x = x per ogni x > 0, otteniamo y = 10 a 10 b log 10 x = 10 a 10 log 10 (xb) = 10 a x b. Ponendo c = 10 a, abbiamo y = cx b, ossia y è legato a x tramite una potenza con esponente b. Di conseguenza, queste relazioni possono essere studiate compiendo una regressione lineare dopo una trasformazione log-log dei dati. In Fig. 11 mostriamo un applicazione di questa tecnica ai dati sul peso del corpo e del cervello dei vertebrati, separatamente per i superiori (mammiferi e uccelli) e gli inferiori: l esponente trovato è 2/3. La distanza (in verticale) di ogni punto dalla retta (in coordinate log-log) di regressione rappresenta (in un certo senso) la grandezza relativa del cervello per ogni specie; si vede che le specie che noi consideriamo più intelligenti sono al di sopra di tale retta (più di tutti Homo sapiens, evviva!). Fig. 11. Relazione fra peso del corpo e peso del cervello in varie specie di vertebrati. Tutte le specie studiate sono nelle aree ombreggiate; i singoli punti mettono in evidenza specie di interesse. 28