La variabilità. Dott. Cazzaniga Paolo. Dip. di Scienze Umane e Sociali

Transcript

1 Dip. di Scienze Umane e Sociali paolo.cazzaniga@unibg.it

2 Introduzione [1/2] Gli indici di variabilità consentono di riassumere le principali caratteristiche di una distribuzione (assieme alle medie) Le medie sono rappresentative solo nel caso in cui le unità statistiche presentano modalità vicine a questi indici di posizione Distribuzioni con medie di uguale valore presentano caratteristiche diverse: X = {160, 161, 164, 190, 195} Y = {167, 166, 174, 178, 185} Z = {174, 174, 174, 174, 174} Media aritmetica = 174 Un singolo valore di sintesi non consente di descrivere appieno la distribuzione di un carattere

3 Introduzione [1/2] Distribuzioni caratterizzate dalla stessa media aritmetica possono avere una diversa variabilità:

4 Variabilità [1/2] Variabilità V (x): misura che esprime la tendenza delle unità di un collettivo ad assumere diverse modalità del carattere x V (x) = 0 se tutte le unità presentano la stessa modalità del carattere (distribuzione degenere) V (x) > 0 la variabilità aumenta all aumentare della diversità tra le modalità assunte dalle unità V (x + c) = V (x) + c: aggiungendo una costante c ai valori di X la variabilità non cambia Se V (x) > V (y) allora il carattere X è più variabile di Y

5 Variabilità [2/2] Esistono diverse categorie di indici di variabilità: indici di dispersione rispetto a una media indici di disuguaglianza a coppie (mutua variabilità o variabilità reciproca) indici di mutabilità che misurano l omogeneità/eterogeneità tra le modalità di una distribuzione di frequenza Che possono essere ulteriormente classificati in: assoluti usano la stessa unità di misura della modalità della distribuzione non permettono confronti tra distribuzioni statistiche con unità di misura diverse relativi si ottengono rapportando un indice assoluto al suo massimo o ad una media non hanno unità di misura permettono confronti tra distribuzioni

6 Variabilità rispetto alla media Servono a misurare se esiste una certa stabilità dei valori assunti dalle unità rispetto alla misura di tendenza centrale Si basano sul concetto di scarto o scostamento rispetto alla media varianza devianza scarto quadratico medio o deviazione standard scostamento semplice dalla media

7 Varianza Variabilità rispetto alla media Rappresenta il valore medio degli scarti al quadrato dalla media Viene calcolata come: σ 2 = 1 n n (x i x) 2 i=1 Nel caso di distribuzioni di frequenza: σ 2 = 1 n k (x j x) 2 n j = j=1 k (x j x) 2 f j j=1 dove n j e f j sono rispettivamente le frequenze assolute e relative della j-esima modalità

8 Varianza e Devianza La varianza può essere calcolata anche come: σ 2 = 1 n n i=1 x 2 i x 2 La devianza è la somma degli scarti al quadrato dalla media Viene calcolata come: Dev(x) = E il numeratore della varianza σ 2 n (x i x) 2 i=1

9 Scarto quadratico medio o deviazione standard [1/2] Per avere una misura con la stessa unità di misura dei dati, viene spesso usata la deviazione standard La deviazione standard è la radice quadrata della media degli scarti delle unità dalla loro media, per questo viene anche chiamata scarto quadratico medio Corrisponde alla radice quadrata della varianza e viene calcolato come: σ = 1 n (x i x) 2 n Nel caso di distribuzioni di frequenza viene calcolato come: σ = 1 k (x j x) 2 n j = k (x j x) 2 f j n j=1 i=1 j=1

10 Scostamento semplice dalla media Scostamento semplice medio dalla media: S M = 1 n n x i x i=1 ovvero la media degli scarti (in valore assoluto) dalla media x Scostamento semplice dalla mediana: S Me = 1 n n x i Me i=1 ovvero la media degli scarti (in valore assoluto) dalla mediana Me Per le proprietà della media aritmetica, vale la relazione S M S Me

11 Coefficiente di variazione σ 2, Dev, σ, S M e S Me sono indici di variabilità assoluta Assumono valori in una scala dipendente dall unità di misura e dall intervallo di valori della variabile a cui sono associati Per questo è difficile confrontare distribuzioni diverse E quindi possibile costruire indici di variabilità relativa coefficiente di variazione CV ottenuto rapportando la deviazione standard alla media: CV = σ x CV è un numero puro che viene spesso espresso in forma percentuale CV è una misura proporzionale della variabilità rispetto alla media

12 Altri indici di variabilità Dato un insieme di n valori ordinati x 1, x 2,..., x n Range: Calcolato come R = x n x 1 Indice molto semplice da calcolare Non fornisce indicazioni precise, soprattutto nel caso di valori anomali nella distribuzione Differenza interquartile: Calcolata come distanza tra terzo e primo quartile DI = Q 3 Q 1 Indice semplice da calcolare, esclude eventuali valori anomali Se DI è piccola, allora la metà dei valori si trova concentrata intorno alla mediana All aumentare di DI aumenta quindi la dispersione del 50% dei valori intorno alla mediana

13 Rappresentazione grafica [1/3] La descrizione di un carattere tramite indice di posizione (ad es. media) dovrebbe essere sempre accompagnato da un indice di variabilità Box-plot: realizzabile per caratteri quantitativi o qualitativi ordinabili è composto da: una scatola con un segmento orizzontale che identifica la mediana o la media un box che rappresenta la variabilità della distribuzione (50% centrale della distribuzione) due segmenti che identificano gli intervalli in cui sono presenti i valori < Q 1 e > Q 3 eventuali valori anomali esterni individuati come Q 1 (α DI) e Q 3 + (α DI), con α = 1, 5

14 Rappresentazione grafica [2/3] Informazioni date dal box-plot: distanze tra la mediana e i quartili descrivono la forma della distribuzione (simmetria/asimmetria) valori adiacenti inferiori e superiori forniscono informazioni sulla dispersione e sulle code della distribuzione Per disegnare un box-plot: 1 ordinare i dati 2 calcolare la mediana, il primo e il terzo quartile 3 identificare i valori massimo e minimo

15 Rappresentazione grafica [3/3]

16 Indici di mutua variabilità [1/4] Permettono di effettuare confronti a coppie tra le diverse modalità assunte dalle unità del collettivo Differenza semplice media senza ripetizione: = 1 n(n 1) n i=1 j=1 n x i x j dove i, j = 1,..., n e i j. Ovvero la media aritmetica delle differenze (in valore assoluto) di tutte le coppie di termini distinti Differenza semplice media con ripetizione: R = 1 n 2 n n x i x j i=1 j=1 vengono considerate tutte le coppie, anche quelle formate da una modalità con sé stessa

17 Indici di mutua variabilità [2/4] Nel caso di distribuzioni di frequenza, sapendo che il numero di coppie è pari a n i n j : = 1 n(n 1) R = 1 n 2 n i=1 j=1 n i=1 j=1 La relazione tra i due indici è la seguente: n x i x j n i n j n x i x j n i n j n = R n 1

18 Indici di mutua variabilità [3/4] e R assumono valore 0 quando tutti i dati sono uguali e R assumono valore massimo quando (n 1) valori sono pari a 0 tranne l n-esimo Un indice normalizzato (tra 0 e 1, ovvero una percentuale) può essere ottenuto come segue: dividendo per il suo massimo teorico 2 x R = /2 x viene chiamato rapporto di concentrazione

19 Indici di mutua variabilità [4/4] Differenza quadratica media senza e con ripetizione: 2 = 1 n n x i x j, 2R = 1 n n(n 1) n 2 i=1 j=1 Si può inoltre dimostrare che: 2n 2 = σ n 1 = σ 2 i=1 j=1 n x i x j

20 La concentrazione [1/3] Misura specifica dei caratteri quantitativi e trasferibili Dato un insieme di n valori 0 x 1 x 2 x n La ricchezza complessiva del carattere è A n = x 1 + x x n Se tutte le unità hanno lo stesso ammontare di ricchezza A n /n, allora c è assenza di concentrazione Se (n 1) unità hanno 0 e l n-esima possiede tutta la ricchezza, allora concentrazione è massima Per le situazioni intermedie si considerano: la frequenza cumulata F i delle prime i unità la quota del carattere Q i = x 1+x 2 + +x i A n = A i A n posseduta dalle prime i unità in generale F i Q i

21 La concentrazione [2/3] Curva di Lorenz Asse delle ascisse (asse x): frequenze cumulate relative F i Asse delle ordinate (asse y): quantità cumulate relative Q i

22 La concentrazione [3/3] Curva di Lorenz: equidistribuzione e massima concentrazione

23 Indici di mutabilità Attitudine dei caratteri qualitativi ad assumere differenti modalità Esempio: colore degli occhi

24 Indici di omogeneità [1/2] L indice di omogeneità viene definito a partire dalle frequenze relative f j di una distribuzione come: O 1 = f f f 2 k = k j=1 f 2 j aumenta se le frequenze sono concentrate su poche modalità aumenta al diminuire del numero di modalità il valore è massimo quando una sola modalità ha frequenza relativa f j = 1 il valore minimo è O 1 = 1/k, quando tutte le frequenze sono uguali tra loro Il risultato dipende dal numero di modalità del carattere

25 Indici di omogeneità [2/2] Indice di omogeneità relativo: O 1_rel = k k 1 (O 1) assume valore 1 quando tutti i casi si trovano nella stessa categoria assume valore 0 quando tutte le modalità hanno uguale frequenza Entropia: k O 2 = f j log(f j ) j=1 assume valore 0 nel caso di massima omogeneità assume valore log(k) nel caso di minima omogeneità

26 Indici di eterogeneità Calcolati come complemento a uno degli indici di omogeneità: Indice di eterogeneità: Indice relativo di eterogeneità: E 1 = 1 E 1_rel = k j=1 f 2 j k k 1 E 1 Indice di eterogeneità (rispetto all entropia): E 2 = 1 Indice relativo di eterogeneità: k f j log(f j ) j=1 E 2_rel = E 2 log(k)

27 La forma di una distribuzione [1/3] Caratteristiche di una distribuzione: asimmetria curtosi Una distribuzione è simmetrica quando il ramo destro della distribuzione può essere ribaltato e perfettamente sovrapposto a quello sinistro La differenza tra media, mediana e moda: fornisce una misura assoluta riguardo alla simmetria di una distribuzione non permette di fare confronti tra fenomeni diversi

28 La forma di una distribuzione [2/3] Indice di asimmetria di Pearson (skewness): misura relativa e quantitativa del grado di asimmetria di una distribuzione viene calcolato come: Indice di Fisher: S k = x Mo σ = 3( x Me) σ assume valori positivi (negativi) nel caso di asimmetria positiva (negativa) assume valori nulli in caso di simmetria l indice nullo è una condizione necessaria ma non sufficiente per avere simmetria viene calcolato come: n ( xi x ) 3 γ 1 = 1 n i=1 σ

29 La forma di una distribuzione [3/3] Curtosi o disnormalità: rileva quanto una distribuzione è piatta o appuntita rispetto alla distribuzione normale distribuzioni piatte con code ampie sono dette platicurtiche distribuzioni appuntite con code piccole sono dette leptocurtiche la distribuzione normale è mesocurtica o normocurtica

30 Ricapitolando Popolazione Campione rappresentativo della popolazione Indagine Medie di posizione Moda Mediana Dati primari (ottenuti tramite indagini) Quartili Dati secondari (ottenuti tramite altre fonti) Collezionare dati Media aritmetica Misure di sintesi Medie analitiche Media geometrica Dati Dati qualitativi Media armonica Discreti Continui Dati quantitativi Boxplot Statistica Range Varianza Devianza Variabilità Deviazione standard Rappresentazione grafica Scostamento semplice dalla media Diagramma a barre Istogramma

31 Dove studio questi argomenti? Capitolo 9 del libro!