Corso di Statistica (canale P-Z) A.A. 2009/10 Prof.ssa P. Vicard LA VARIABILITÀ

Transcript

1 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard LA VARIABILITÀ Mediante i valori medi abbiamo cercato di sintetizzare una distribuzione statistica mediante un solo valore tipico. Questo valore, in linea di principio, aveva lo scopo di raccogliere in sé parte rilevante delle informazioni contenute nell intera distribuzione. A questo scopo abbiamo visto principalmente tre valori medi: la media aritmetica, la mediana e la moda. Ognuno di questi tre valori di sintesi coglie caratteristiche diverse della distribuzione: la media aritmetica fornisce un valore centrale della distribuzione; la mediana fornisce un valore che bipartisce la distribuzione in due parti di uguale numerosità; la moda è quella modalità che si presenta con maggiore frequenza nella distribuzione. Inoltre la media può essere calcolata solo se il carattere è quantitativo e la mediana può essere calcolata solo se il carattere è almeno qualitativo ordinato. Ma poniamoci la domanda seguente: un valore medio (qualunque esso sia) è sufficiente a sintetizzare bene la distribuzione, oppure si trascurano informazioni importanti? Risposta: Un valore medio è una prima sintesi ma non fornisce (e quindi trascura) informazioni su altri aspetti importanti della distribuzione. Spieghiamo questa risposta con il seguente Esempio: Consideriamo le seguenti distribuzioni unitarie relative al reddito mensile (in centinaia di Euro) percepito da due gruppi, X e Y di unità ciascuno, di persone con contratto di collaborazione coordinato e continuativo. Distribuzione X Distribuzione Y 4,3, 4,7,,,,6,,9, 6, 6,9 6,4 6,9 6,6 6,9 7,3 6,9 7,9 7, 8, 7, Calcoliamo le due medie aritmetiche: µ X = x i = = i µ Y = y = = 6. 4 e vediamo che sono uguali.

2 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Allora cerchiamo di vedere la distribuzione e costruiamo i rispettivi diagrammi ramofoglia. Distribuzione X Distribuzione Y Guardando questi diagrammi, ci si accorge subito che le due distribuzioni sono molto diverse. La seconda distribuzione è molto concentrata intorno a valori che hanno il e il 6 come valore intero (cioè intorno a salari di 00 e 600 Euro mensili), cosa che invece non succede nella distribuzione X che, invece, assume un numero maggiore di valori possibili e quindi sembra più sparsa. Questo risultato ci sorprende: insomma, la media aritmetica doveva essere quel valore in grado di sintetizzare la distribuzione e adesso abbiamo due distribuzioni con una forma molto diversa ma uguale media. Allora, per essere ancora più convinti di quanto abbiamo osservato e toglierci ogni dubbio residuo, costruiamo anche gli istogrammi della distribuzione X e della distribuzione Y. Per fare ciò raggruppiamo in classi le nostre modalità e costruiamo le seguenti distribuzioni di frequenze. Classi Distribuzione X Distribuzione Y di reddito α i n i f i h i n i f i h i 4 0,8 0, ,7 0,7 0,46 0, ,7 0,7 4 0,36 0, ,8 0,8 0,8 0, ,0 0, TOTALI Disegniamo gli istogrammi. otiamo che l ampiezza delle classi è sempre uguale e pari ad e quindi le frequenze e le densità coincidono. Gli istogrammi sono i seguenti Istogramma della distribuzione X Frequenze relative

3 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Istogramma della distribuzione Y Frequenze relative Come già avevamo visto dal diagramma ramo-foglia, la distribuzione X è molto più dispersa della distribuzione Y. Più esattamente diciamo che la distribuzione X è molto più dispersa intono alla media della distribuzione Y perché tende con più facilità ad assumere valori più lontani dalla media che è la stessa per le due distribuzioni (ed è pari a 6.4). In termini più intuitivi possiamo dire che la distribuzione X assume più valori differenti della distribuzione Y, cioè la prima distribuzione è molto più varia in quanto a livelli di salario. La variabilità esprime l'attitudine di un carattere a presentarsi con modalità differenti nelle diverse unità statistiche di un collettivo. La teoria della variabilità ha lo scopo di esprimere numericamente questa attitudine. In questo corso si studierà la variabilità solo con riferimento ai caratteri quantitativi. Il problema della variabilità e, in particolar modo, del suo studio e dell analisi delle sue origini è estremamente importante in statistica (come è già stato fatto rilevare nell introduzione). In sostanza la variabilità è una caratteristica intrinseca ad ogni fenomeno che dobbiamo in qualche modo quantificare ai fini non solo di conoscerla e spiegarla ma anche di eventualmente ridurla. Esistono vari modi di misurare la variabilità di un carattere in un determinato collettivo. Gli indici di variabilità possono essere raggruppati in tre gruppi principali:. Indici che misurano la variabilità rispetto ad una media. Indici che misurano la variabilità mediante il confronto di valori caratteristici della distribuzione 3. Indici che misurano la variabilità mediante una sintesi delle misure della diversità di tutti i termini della distribuzione fra loro el seguito vedremo indici del primo e del secondo tipo. ota: ci sono alcune proprietà che un indice di variabilità deve avere per essere considerato tale. a) Quando tutte le unità del collettivo presentano la stessa modalità, cioè quando il carattere non varia, allora l indice di variabilità deve essere nullo. 3

4 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard b) Il valore dell indice di variabilità deve crescere al crescere della dispersione del carattere.. Variabilità intorno ad una media Con questi indici di variabilità ci si propone di misurare di quanto le modalità con cui il carattere si manifesta nel collettivo, si discostano da una misura di sintesi della distribuzione. Il valore medio viene pertanto preso come punto di riferimento e si va a misurare la dispersione delle modalità intorno a questo valore medio. In sostanza si vanno a quantificare le considerazioni che erano state fatte alla luce degli istogrammi nell esempio iniziale. L indice di variabilità più utilizzato è la varianza e prende come valore medio di riferimento la media aritmetica della distribuzione. Definizione: la varianza è data dalla media del quadrato degli scarti dalla media aritmetica e si indica con. L unità di misura in cui è espressa la varianza è data dal quadrato dell unità di misura in cui è espresso il carattere. Questo perché la varianza si calcola come media di quantità al quadrato. Pertanto generalmente si considera la radice quadrata della varianza che prende il nome di scarto quadratico medio (o deviazione standard). Vediamo adesso la definizione analitica della varianza. Come già fatto per le medie, per maggiore chiarezza si riporta la definizione di varianza sia per il caso in cui i dati sono sotto forma di distribuzione unitaria sia per il caso in cui i dati sono sotto forma di distribuzione di frequenza. Distribuzione unitaria Data la distribuzione unitaria x, x,, x, con media aritmetica µ; la varianza è = ( x ) i µ () Il numeratore della varianza è detto devianza. Lo scarto quadratico medio (o deviazione standard) è = µ ( x ) i Un formula equivalente per il calcolo della varianza è data da = x i µ (6) dove x i i = è detto momento secondo (dall origine) della distribuzione. Dimostriamo che la (6) è equivalente alla (). Per fare ciò consideriamo la formula () e vediamo che sviluppandola, si arriva alla formula (6). n µ = ( xi µ ) = ( xi µ xi + µ ) = xi µ xi i i i + = = = = = xi µ + µ = xi µ 4

5 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Esempio: consideriamo la distribuzione X dell esempio precedente e calcoliamone la varianza x i (x i - µ) 4.3 ( ) = ( ) =.376. (.-6.4) = (.6-6.4) = (.9-6.4) = (6.-6.4) = ( ) = ( ) = ( ) = ( ) = (9.-6.4) = ( x 6 4) i i. =.086 Pertanto = =. 37 in centinaia di Euro e =.37 =, 7 in centinaia di Euro. Questo significa che lo stipendio di una unità si discosta in media quadratica dallo stipendio medio(pari a 64 ) di 7 Euro. Verifichiamo che le formule () e (6) forniscono lo stesso risultato a meno di arrotondamenti x i 6. 4 = 6. 4 = =. 33 La differenza tra i due risultati è solamente dovuta alla presenza delle cifre decimali. Infatti l arrotondamento della media aritmetica con 6.4 nel primo caso è presente in ogni addendo, nel secondo caso è presente solo nel passaggio finale quando al momento secondo si sottrae la media al quadrato. Se calcolate lo scarto quadratico medio anche per la distribuzione Y si trova che =0.94 (centinaia di Euro) e proprio come ci aspettavamo la seconda distribuzione è meno variabile della prima visto che lo stipendio di una unità della seconda distribuzione si discosta in media quadratica dallo stipendio medio di 94 Euro. La formula (6) è del tutto equivalente alla (). ella pratica i risultati possono differire ma questa differenza è dovuta solo agli arrotondamenti che si eseguono nei calcoli. Proprio perché usando la formula (6) è necessario fare meno arrotondamenti, in genere è preferibile usare la (6) invece della (). Infatti usando questa formula è più facile evitare sia errori di calcolo in presenza di cifre decimali sia arrotondamenti errati.

6 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Distribuzioni di frequenza Data una distribuzione di frequenza del carattere X avente media µ la varianza è data da X n i f i x n f x n f x k n k f k TOTALI K K = µ = µ e lo scarto quadratico medio (o deviazione standard) è ( xi ) ni ( xi ) fi (7) K ( x ) K i ni ( xi ) fi = µ = µ Proprio come per le distribuzioni unitarie, anche per quelle di frequenza si ha la formula equivalente per il calcolo della varianza. = K x K i ni = xi fi (8) µ µ la dimostrazione è del tutto analoga a quella vista per il caso della distribuzione unitaria. Inoltre valgono tutte le considerazioni fatte sopra in merito all uso delle due formule. Esempio: consideriamo la seguente distribuzione di =4 paesi in base alle ore di lavoro settimanali. Calcoliamo lo scarto quadratico medio. x i n i f i x i f i (x i µ) (x i µ) f i Totali Come prima cosa si deve calcolare la media aritmetica e per calcolare questa si aggiunge una colonna in cui si scrivono i prodotti x i f i e in fondo si riporta la somma per colonna di tali prodotti. La media è x f i i = A questo punto non resta che calcolare 6

7 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard ( x i 3.47) f = = i Come si vede, per ottenere questo risultato abbiamo aggiunto alla distribuzione due nuove colonne: nella prima calcoliamo (x i µ), nella seconda calcoliamo il prodotto di (x i µ) per le frequenze relative. Lo scarto quadratico medio è = =. 4 Questo ci dice che il numero di ore di lavoro settimanali in ciascun paese differisce dal numero medio, in media quadratica, di.4 ore. Per completezza vediamo come si gestisce il calcolo della varianza quando si applica la formula (8). In questo caso il calcolo è più rapido e comporta meno rischi di errore di calcolo, in più occorre fare meno arrotondamenti numerici. Come prima, occorre innanzitutto calcolare la media aritmetica e lo si fa come scritto sopra. Poi basta aggiungere una colonna per il calcolo degli addendi del momento secondo cioè per il calcolo degli x i fi. Quindi il momento secondo, visto che stiamo usando le frequenze relative, è dato semplicemente dalla somma per colonna. Vediamo la tabella che si usa per fare i calcoli. x i n i f i x i f i x i fi Totali Quindi = x f 3.47 = = i i La differenza con il valore ottenuto sopra è solamente dovuta ad arrotondamenti. Lo scarto quadratico medio è = =. 4. Caso delle distribuzioni in classi. Proprio come nel caso del calcolo della media aritmetica, quando si ha una distribuzione in classi si assume che tutte le unità di una classe assumono il valore centrale della classe cui appartengono. In sostanza data l i-esima classe, di estremi c i e c i, se ne calcola il valore centrale ci + ci come segue: c xi = La varianza si calcola con una delle quattro espressioni sotto riportate. µ µ µ µ K K K K = ( c xi ) ni = ( c xi ) fi = c xi ni = c xi fi 7

8 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Esempio: Altezza (in cm.) di 34 individui Classi di altezza n i c x i c ini c i n i TOTALI x 907 Si ha µ = = c xi ni = = = e lo scarto quadratico medio è = 47.3 = 6.88 La statura di ciascun individuo differisce dalla statura media, in media quadratica, di 6.88 cm. Proprietà della varianza Anzitutto notiamo che la varianza, essendo una media di quadrati di scarti, dà maggior rilievo a scarti maggiori. Vediamo ora le proprietà fondamentali della varianza. Ovviamente queste proprietà sono valide anche per lo scarto quadratico medio (o deviazione standard).. La varianza è una quantità non negativa (cioè positiva o nulla) perché è una media di quadrati.. = 0 se e solo se tutte le unità presentano la stessa modalità. Consideriamo per esempio la distribuzione (unitaria) x = x, x = x, x = x allora µ = x e = ( xi µ ) = ( x x) = 0 8

9 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard 3. Lo scarto quadratico medio è invariante per cambiamenti di unità di misura e non risente di traslazioni. Sia x, x,, x una distribuzione unitaria di media µ X e varianza X. Effettuiamo una trasformazione lineare y i = c x i + d i =,, dove c e d sono due costanti (c indica il cambiamento di unità di misura e d indica la traslazione) Si ha che = c Y X Y = c X = c X Si ricordi che per la media aritmetica si ha µ Y = cµ X + d Dimostrazione: andando a sostituire all interno della formula della varianza sia y i = c x i + d sia µ Y = cµ X + d, si ha: Y = ( yi µ Y ) = ( cxi + d ) ( cµ X + d ) = [ cxi + d cµ X d ] = = ( ) = ( ) = cxi cµ X c xi µ X c X Esempio: riprendiamo l esempio degli stipendi di Giulio, Marco e Paola e calcoliamo la varianza. Gli stipendi i Euro sono: 00,00 30,00 099,00 e µ = 093,00. La varianza in Euro al quadrato è data da = 093 = = 3.93 Per ottenere la varianza in Lire basta applicare la proprietà Y = c X con c= Si ha = = = = Facciamo il calcolo della varianza a partire dai tre stipendi convertiti in Lire: , e = = 6343 = e = le differenze tra i due risultati sono dovute solo ad arrotondamenti. 9

10 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Il coefficiente di variazione Come abbiamo visto lo scarto quadratico medio e la varianza danno una misura di quanto le osservazioni si discostano in media quadratica dal valore centrale (la media aritmetica) della distribuzione. Inoltre il valore di questi indici è tanto più alto quanto più la distribuzione è dispersa intorno alla media. Gli indici di variabilità visti sono indici assoluti pertanto essi: risentono dell unità di misura ( è espresso nella stessa unità di misura in cui è misurato il carattere e è espresso nel quadrato dell unità di misura). e segue che non è possibile confrontare la variabilità di distribuzioni secondo caratteri misurati in unità di misura diverse. sono influenzati dall intensità del carattere (cioè dall ordine di grandezza con cui tale carattere si manifesta nella popolazione). Ad esempio l intensità del carattere peso sarà molto diversa in un collettivo di neonati ed in un collettivo di adulti. Risulta quindi difficile confrontare la variabilità di due distribuzioni di uno stesso carattere in due collettivi diversi. Tornando all esempio del peso dei neonati e degli adulti, il primo avrà certamente un ordine di grandezza molto inferiore al secondo. Abbiamo visto che sintetizziamo l intensità del fenomeno mediante la media aritmetica. Supponiamo che il peso medio nel collettivo di neonati sia µ =3Kg e il peso medio nel collettivo degli adulti sia µ A =60Kg. Se trovo =0. Kg nel collettivo di neonati A =Kg nel collettivo di adulti, ho l impressione che ci sia maggiore variabilità nella distribuzione degli adulti (A) piuttosto che in quella dei neonati (). Ma l analisi così fatta O è corretta. Devo tenere conto del fatto che l intensità del fenomeno è molto diversa nei due collettivi (vedere le due medie). Quindi per confrontare la variabilità dei due collettivi confronto i due rapporti µ 0. = = e µ A A = 60 = 0.07 Per eliminare l influenza dell unità di misura e della intensità del carattere, si può usare il coefficiente di variazione (CV) che è così definito: CV = 00 µ Ovviamente µ deve essere diversa da zero. Inoltre ha senso calcolare questo indice solo quando tutte le modalità del carattere sono positive. In sostanza il coefficiente di variazione fornisce una misura della variabilità che non dipende dall unità di misura e dall intensità del carattere. Esempio: supponiamo di avere rilevato il fatturato in due collettivi: uno di piccole imprese (P) e uno di imprese di grandi dimensioni (G). Abbiamo i due fatturati medi: µ P = 40 (migliaia di Euro) e µ P = 0 (migliaia di Euro) Abbiamo anche calcolato gli scarti quadratici medi che sono: P = 6 (migliaia di Euro) e P = 4 (migliaia di Euro). Per fare il confronto tra le variabilità delle piccole e delle grandi imprese occorre calcolare i CV. 0

11 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard P 6 G 4 CVP = 00 = 00 = e CVG = 00 = 00 = µ P 40 µ G 0 In questo modo vediamo che la variabilità è molto più alta nel collettivo delle grandi imprese. La standardizzazione Come abbiamo visto, quando si vogliono confrontare distribuzioni diverse, si deve stare attenti al fatto che le due distribuzioni siano confrontabili. In altre parole si deve controllare se l unità di misura usata è la stessa e se il fenomeno si manifesta con la stessa intensità nelle due distribuzioni. Quando almeno una delle due condizioni non è verificata, abbiamo visto che se misuriamo la variabilità, possiamo ricorrere al coefficiente di variazione. Se intendiamo confrontare altre caratteristiche di due distribuzioni aventi media e scarto quadratico medio diversi, esiste un altro strumento molto generale che consente di eliminare sia la differenza di intensità sia la differenza di unità di misura: la standardizzazione. Sia X il carattere rilevato; indichiamo con µ la sua media e il sua scarto quadratico medio. La distribuzione è la seguente X n i f i x n f x n f x k n k f k Totali Consideriamo la seguente trasformazione lineare di X: xi µ z i = i =,...,K Con questa trasformazione diciamo che abbiamo standardizzato il carattere X. Questo perché ogni volta che standardizziamo un carattere, la distribuzione che si ottiene (detta distribuzione standardizzata) ha media zero e scarto quadratico medio pari a. La distribuzione standardizzata si ottiene semplicemente sostituendo alle modalità del carattere X, la loro standardizzazione, ovvero Z n i f i x µ = n f z x µ = n f z x µ K = K n k f k z TOTALI Dimostriamo che µ Z = 0 e Z =.

12 Corso di Statistica (canale P-Z) A.A. 009/0 Prof.ssa P. Vicard Possiamo calcolare semplicemente la media di Z grazie alla proprietà di linearità della media aritmetica. Infatti scriviamo più chiaramente la trasformazione lineare xi µ µ zi = = xi pertanto c = / e d = -µ/ µ Allora µ Z = cµ + d = µ = 0 Qui abbiamo dimostrato che la media è nulla usando la linearità; la dimostrazione sarebbe stata ancora più rapida usando la proprietà della media aritmetica in base alla quale lo somma degli scarti dalla media è nulla. K x K i µ µ Z = = ( xi µ ) = 0 Inoltre per la proprietà 3 della varianza si ha che Z = c = = Da cui ovviamente segue = Z Osservazione: da quanto esposto segue che se vogliamo mettere a confronto due distribuzioni relative a caratteri diversi misurati in unità di misura diverse, basta standardizzare entrambe le distribuzioni per ottenere non solo distribuzioni che hanno la stessa media a la stessa deviazione standard ma anche due distribuzioni le cui modalità sono numeri puri cioè indipendenti da qualunque unità di misura. Esempio: supponiamo di avere una distribuzione di pesi (espressi in Kg) alla nascita di bambini Si calcola immediatamente µ = 3 e = 0.36 Calcoliamo i valori standardizzati =.39 = 0.6 = 0 = 0.8 = Vediamo che la media è nulla e la varianza è approssimativamente (l approssimazione è dovuta agli arrotondamenti che si fanno nel procedimento di standardizzazione).