Rappresentazione dei dati

Transcript

1 Rappresentazione dei dati

2 Riprendiamo il data set Ore: > setwd(..) > ore<-read.table( datasetore.txt',header=true) > attach(ore) > head(ore) ORE > ore_frame<-data.frame(ore) > ore_frame$ore [1] [16]

3 Diagramma delle frequenze cumulate Nella scuola del Signor X quale percentuale di studenti intervistati trascorre al più 15 ore a studiare? Un primo diagramma associa a ciascun elemento del campione la percentuale di dati che assume un valore uguale o inferiore ad esso. Proprietà:. 1) È funzione non decrescente. 2) Assume valori tra 0 e 1. Come si calcola? Fn(x) > plot.ecdf(ore_frame$ore,col.points='blue',col.hor='red',lwd=4,main='f. Rip. empirica') F. Rip. empirica E. Di Nardo, a.a. 15/16 3 x

4 1. Gli elementi del campione casuale vanno ordinati. 15.0; 23.7; 19.7; 15.4; 18.3; 23.0; 14.2; 20.8; 13.5; 20.7; 17.4; 18.6; 12.9; 20.3; 13.7; 21.4; 18.3; 29.8; 17.1; 18.9; 10.3; 26.1; 15.7; 14.0; 17.8; 33.8; 23.2; 12.9; 27.1; ; 12.9; 12.9; 13.5; 13.7; 14.0; 14.2; 15.0; 15.4; 15.7; 16.6; 17.1; 17.4; 17.8; 18.3; 18.3; 18.6; 18.9; 19.7; 20.3; 20.7; 20.8; 21.4; 23.0; 23.2; 23.7; 26.1; 27.1; 29.8; Agli elementi (senza ripetizioni) vanno associate le frequenze cumulate. Dati Ordinati Frequenze cumul =1/ =3/ =4/ =5/ =15/30 E. Di Nardo, a.a. 15/16 4

5 A cosa serve? Per rispondere al quesito iniziale: Nella scuola del Signor X quale percentuale di studenti intervistati trascorre al più 15 ore a studiare? F. Rip. empirica Fn(x) > ecdfx<-ecdf(ore_frame$ore) > ecdfx(15) [1] Si traccia una linea verticale in corrispondenza di 15 ore fino ad x incontrare il grafico (rosso) e poi si traccia una linea orizzontale fino ad incontrare l asse delle y. E. Di Nardo, a.a. 15/16 5

6 A cosa serve? Ma si può rispondere anche al quesito inverso: Nella scuola del Signor X quante ore (al più) trascorre a studiare il 50% degli studenti meno volenterosi? F. Rip. empirica 0.50 Fn(x) Circa 18 ore. > quantile(ore_frame$ore,0.50) 50% Si traccia una linea orizzontale in corrispondenza di 0.5 fino ad incontrare il grafico x (rosso) e poi si traccia una linea verticale in basso fino ad incontrare l asse delle x. E. Di Nardo, a.a. 15/16 6

7 Box-plot E un grafico a scatola, che fornisce informazioni sul 50% dei dati che si colloca al centro del campione. Massimo ( ) Valore anomalo= outlier Metà 50% dei dati Minimo ( ) > boxplot(ore_frame$ore,col='red',main='box-plot ore') E. Di Nardo, a.a. 15/16 7

8 > boxplot(ore_frame$ore,ore_frame2$ore2,col=c('red','blue'),main='box-plot ore',xlab='i scuola vs II scuola') Box-plot ore I scuola vs II scuola Oltre alle informazioni sul singolo campione, è utile per confrontare più campioni. E. Di Nardo, a.a. 15/16 8

9 Le misure numeriche

10 La media aritmetica Indice centrale dei dati: somma dei valori numerici presi in considerazione diviso la numerosità. Per variabili quantitative: scala intervallare o rapporto. Per il suo calcolo vengono usati tutti i valori. Un insiemedi datiha unasola media. La media risente di valori anomali. Se ai dati viene aggiunta una costante, la media risulta traslata di quella costante. La sommadelledistanzedeidatidallamedia è zero. Esempio: Per i dati (3;4;5) la media è 4; inoltre (3-4)+(4-4)+(5-4)=0 è 0. Esempio: Per i dati (3;4;5) la media è 4. Per i dati (4;5;6) la media è 5=4+1. Esempio: il valore della media per i dati relativi al dataset sulle ore di studio (capitolo precedente) è > mean(ore_frame$ore) [1]

11 Significato della media: Il sistema nella figura risulta in equilibrio: Per i dati relativi al primo dataset sulle ore di studio (capitolo precedente), il valore della media risulta La media è detta statistica. Una statistica è una funzione del campione casuale. La media è una statistica non robusta La media è La media è La media è 22

12 Classi [10;15) [15;20) [20;25) [25;30) [30;35) Centri Freq. Assolute La media per classi di modalità Supponiamo che i dati relativi al numero di ore, siano stati forniti in tabella, secondo le classi di modalità (ad esempio quelle usate per l istogramma). > objhist<-hist(ore_frame$ore) > str(objhist) List of 6 $ breaks : num[1:6] $ counts : int[1:5] $ density: num[1:5] $ mids : num[1:5] $ xname : chr"ore_frame$ore".! =18.8 Come si calcola la media? " > media<-objhist$counts%*%objhist$mids/sum(objhist$counts) > media [,1] Media pesata [1,]

13 La media pesata La media pesata (o ponderata) di un insieme di numeri, secondo degli assegnati coefficienti (=pesi), è data dalla seguente formula: #$ %&#$ #$ Se i pesi sono pari a 1 Esempio:Voto medio di uno studente alla fine del primo anno del corso di Laurea in Economia Materia CFU Voto Materia CFU Voto Materia CFU Voto Matematica generale 6 21 Diritto privato Economia aziendale Economia politica Economia e gestione delle imprese Geografia Economica 6 27 > CFU<-c(6,10,10,10,10,6) > voto<-c(21,25,26,23,27,27) > mediapesata<-cfu%*%voto/sum(cfu) > mediapesata [,1] [1,] > mean(voto) [1]

14 Rientra nel caso della media pesata, la media di una distribuzione di frequenza: > stanze<-c(1,2,3,4,5,6,7) > app<-c(300,500,2000,3000,150,100,300) > mediaapp<-stanze%*%app/sum(app) > mediaapp [,1] [1,] # stanze # appartamenti

15 La media geometrica La media geometrica di un insieme di numeri è la radice n-esima del loro prodotto: * ' ( La media geometrica viene utilizzata quando si vuole analizzare il variare di un fenomeno nel tempo, per esempio il tasso di variazione dei prezzi o i tassi di rendimento di capitali. Esempio: Un impiegato ha ricevuto un 5% di aumento di stipendio nel 2012 e un 15% di aumento nell anno successivo. Quanto vale la percentuale di crescita media? Un 5% di aumento nel salario = da 100 a 105 Un 15% di aumento nel salario = da 100 a 115 In percentuale 1.05=105/100 e 1.15=115/ = L aumento medio è di 9.89% > (1.15*1.05)^(1/2) [1] L impiegato che all inizio del 2012 aveva 1 euro, alla fine del 2012, per effetto dell aumento, ha 1.05 euro = euro. All inizio del 2013 l impiegato ha un 1.05 euro che, per effetto dell aumento, diventa alla fine del 2013.

16 La media armonica La media armonica di un insieme di numeri è l inverso della media aritmetica degli inversi. Serve a ricavare un valore centrale sul tempo per dati che si riferiscono a intervalli temporali diversi. 1 0' / Esempio: Tempo in secondi di 4 impiegati per produrre un singolo pezzo: 32, 28, 35, 31 Gli inversi ' 1( 0.03, ' ( , ' , ' 1' rappresentano il no. di pezzi prodotti per unità di tempo (per sec.) '/1(:'/(4:'/16:'/1' La media: =0.032 ; rappresenta il no. medio di pezzi prodotti per unità di tempo (per sec.) ' L inverso della media <.<1( =31.25 rappresenta il tempo medio (in secondi) per produrre un singolo pezzo

17 Esercizio1: Si calcoli la media della serie storica riportata in Tabella Anno Prodotto interno lordo 1166,5 1218,5 1260,6 1300,9 1351,3 Esercizio2: Un automobile percorre 3 tratti di autostrada della stessa lunghezza di 50 km alle seguenti velocità orarie (km/h) costanti: 100, 120 e 130. Si determini la velocità media. Gli inversi ' '<<, ' '(<, ' '1< rappresentano il tempo impiegato per percorrere 1 km La media: > (1/100+1/120+1/130)/3 [1] rappresenta il tempo medio impiegato per percorrere 1 km L inverso della media ' <.<<4= = rappresenta la velocità media (spazio/tempo)

18 Mediana La mediana è il valore centrale dei dati. Esempio1: L età per un campione di 5 studenti è 21; 25; 19; 20; Campione ordinato: 19; 20; 21; 22; La mediana è: 19; 20; 21; 22; 25. Esempio2: L altezza(in cm) di 4 giocatoridi basket è 185; 186;? 189; 190 Una possibile scelta: > '4=:'4? ( 187,5 Per variabili qualitative ordinali. Per variabili quantitative: scala intervallare o rapporto. Un insiemedi datiha unasola mediana. La mediana non risente di valori anomali. > summary(c(186,189,190,185)) Min. 1st Qu. Median Mean 3rd Qu. Max Proprietà

19 La mediana è una statistica robusta La mediana è La mediana è La mediana è 3 La mediana per distribuzioni di frequenze # stanze # appartamenti > stanze<-c(1,2,3,4,5,6,7) > app<-c(300,500,2000,3000,150,100,300) > library('hmisc') > wtd.quantile(stanze,app) 0% 25% 50% 75% 100% Per installare la libreria: > install.packages('hmisc')

20 Moda E l elemento che appare più spesso nel campione. Ordinali Colore capelli (carattere) N persone (frequenza assoluta) Neri 10 Castani 6 Rossi 1 biondi 5 totale 22 Moda Può essere calcolata per tutti i tipi di variabili. Moda Nominali # stanze # appartamenti

21 Per dati di tipo intervallare o rapporto, bisogna in genere far riferimento alle classi di modalità. Unimodale Bimodale Multimodale Puòessereunasola (unimodale), possonoesseredue (bimodale), più di tre(multimodale). Può non essere significativa. La moda è il punto medio della classe con frequenza più elevata. Il valore della moda è Moda Peso (in grammi) # neonati

22 Asimmetria Un poligono di frequenza simmetrico ha questa forma: Media=Moda=Mediana Indici di posizione Coda sinistra Coda destra Poligoni asimmetrici hanno questa forma: Asimmetria Positiva Moda Coda destra Asimmetria Negativa Moda Coda Sinistra Mediana Media Regola: Coda destra se Media > Mediana. Media Mediana Coda sinistra se Media < Mediana.

23 Possibile indice: Asimmetria = media - mediana Modalità Frequenza Coda destra Come calcolare le medie? E un metodo robusto? Modalità Coda sinistra Frequenza

24 Possibile indice: Asimmetria = media - mediana > x1<-c(1,2,3,4,5,6,7) > fr1<-c(1,2,3,4,5,6,7) > wtd.quantile(x1,fr1) 0% 25% 50% 75% 100% > wtd.mean(x1,fr1) [1] E un metodo robusto? Coda sinistra In entrambi i casi media mediana =0 Coda destra > fr2<-c(7,6,5,4,3,2,1) > wtd.quantile(x1,fr2) 0% 25% 50% 75% 100% > wtd.mean(x1,fr2) [1] 3 >

25 Generiamo i due insiemi di dati: > x<-c(rep(1,1),rep(2,2),rep(3,3),rep(4,4),rep(5,5),rep(6,6),rep(7,7)) > x [1] > library('e1071') > skewness(x) [1] Coefficiente di asimmetria (skewness) negativo = coda sinistra! > y<-c(rep(7,1),rep(6,2),rep(5,3),rep(4,4),rep(3,5),rep(2,6),rep(1,7)) 8 > skewness(y) 7 [1] Coefficiente di asimmetria (skewness) positivo = coda destra!

26 Quartili Il primo quartile è quel valore che lascia a sinistra il 25% dei dati. o Il primo quartile può appartenere al campione casuale oppure no. Esempio: L età per un campione di 5 studenti è 21; 25; 19; 20; Il campione va ordinato: 19; 20; 21; 22; Il primo quartile è: 19;? 20; 21; 22; 25. > summary(c(21, 25, 19, 20, 22)) Min. 1st Qu. Median Mean 3rd Qu. Max Esempio: L altezzadi 4 giocatoridi basket è 186; 189; 190; 185 Il primo quartile è.185;?186; 189; 190 > summary(c(186,189,190,185)) Min. 1st Qu. Median Mean 3rd Qu. Max

27 Quartili Il terzo quartile è quel valore che lascia a sinistra il 75% dei dati. o Il terzo quartile può appartenere al campione casuale oppure no. Esempio: L età per un campione di 5 studenti è 21; 25; 19; 20; Il campione va ordinato: 19; 20; 21; 22; Il terzo quartile è: 19; 20; 21; 22;?25. > summary(c(21, 25, 19, 20, 22)) Min. 1st Qu. Median Mean 3rd Qu. Max Esempio: L altezzadi 4 giocatoridi basket è 186; 189; 190; 185 Il terzo quartile è. 185; 186; 189;?190 > summary(c(186,189,190,185)) Min. 1st Qu. Median Mean 3rd Qu. Max Il secondo quartile vale?

28 Esempio: Box-plot 10.3; 12.9; 12.9; 13.5; 13.7; 14.0; 14.2; 15.0; 15.4; 15.7; 16.6; 17.1; 17.4; 17.8; 18.3; 18.3; 18.6; 18.9; 19.7; 20.3; 20.7; 20.8; 21.4; 23.0; 23.2; 23.7; 26.1; 27.1; 29.8; 33.8 > summary(ore_frame$ore) Min. 1st Qu. Median Mean 3rd Qu. Max > IQR(ore_frame$ORE) [1] 6.15 Intervallo interquartile = Q3 Q1

29 Sono valori del campione casuale troppo «distanti» dal resto del campione casuale. Regola del pollice: Si dicono outliersquei valori che distano dal primo e dal terzo quartile più di 1.5*(Q3-Q1). > 1.5*IQR(ore_frame$ORE) [1] Sono considerati outliers i valori inferiori a Q =5.875 Poiché il min=10.3 > 5.875, allora il baffo inferiore è collocato in corrispondenza del minimo. Sono considerati outliers i valori superiori a Q = =30.47 Poiché il max=33.8 > 30.47, allora 33.8 è un outliere il baffo superiore è collocato in corrispondenza di Outliers

30 Percentili Andando da un medico per fare una visita di controllo a vostro cugino, dopo aver misurato l altezza, vedrete che farà uso di un grafico tipo quello della figura sottostante: Poi rivolgendosi alla mamma sentenzierà con aria preoccupataqualcosa del tipo: Signora, suo figlio è al 95-esimo percentile. Cosa significa percentile? Un percentile x è quel valore (non necessariamente del campione) che lascia a sinistra x% dei dati. E allora dire che il proprio figlio ha un peso al 95-esimo percentile, vuole dire che il 95% della popolazione maschile della stessa età ha un peso inferiore.

31 Esempio: Calcolo dei percentili 10.3; 12.9; 12.9; 13.5; 13.7; 14.0; 14.2; 15.0; 15.4; 15.7; 16.6; 17.1; 17.4; 17.8; 18.3; 18.3; 18.6; 18.9; 19.7; 20.3; 20.7; 20.8; 21.4; 23.0; 23.2; 23.7; 26.1; 27.1; 29.8; 33.8 > quantile(ore_frame$ore, probs = 0.90) 90% Il 90% degli intervistati dedica allo studio non più di 26.2 ore. Se volessi avere l informazione inversa Quale percentuale di studenti studia non più di 26.2 ore? > ecdfx<-ecdf(ore_frame$ore) > ecdfx(26.2) [1]

32 Calcolo dei percentili per le classi di modalità Se non si conoscono i valori del campione, ma un suo riassunto in forma tabellare [10;14) [14;18) [18;22) [22;26) [26;30) [30;34) > oreclassi<-c(10,14,18,22,26,30,34) > orefreq<-c(0,5,14,23,26,29,30) > wtd.ecdf(oreclassi,orefreq) $x [1] $ecdf [1] > cumsum(orefreq)/sum(orefreq) [1]

33 Indici di dispersione Si dicono indici di dispersione quegli indici che misurano la variabilità del campione casuale. Campo di variazione (CV) = max-min Intervallo interquartile (IQR)= Q3 Q1 Deviazione standard (campionaria) B#& Esempio: La media campionaria è risultata ; 12.9; 12.9; 13.5; 13.7; 14.0; 14.2; 15.0; 15.4; 15.7; 16.6; 17.1; 17.4; 17.8; 18.3; 18.3; 18.6; 18.9; 19.7; 20.3; 20.7; 20.8; 21.4; 23.0; 23.2; 23.7; 26.1; 27.1; 29.8; 33.8 La varianza è la media aritmetica dei quadrati delle distanze dei singoli elementi del campione dalla media: > var(ore_frame$ore) [1]

34 (è il quadrato di una distanza) > sd(ore_frame$ore) [1] La deviazione standard fornisce una misura della «concentrazione» dei dati attorno alla media. Il I dataset ha una variabilità maggiore del II dataset.

35 La deviazione standard non è una statistica robusta C.V. = 4 IQR = 2 S = C.V. = 14 IQR = 2 S = C.V. = 99 IQR = 2 S = Per variabili quantitative: scala intervallare o rapporto. Per ilsuocalcolovengonousatituttiidati. Un insieme di dati ha una sola deviazione standard C.V. = 99 IQR = 2 S = Assume valore sempre positivo. Vale zero quando tutti i dati assumono lo stesso valore(variabile statistica degenere) (Esempio: (2,2,2), media =2, s=0) Invariante per traslazione: ossia se ad ogni dato viene aggiunta una quantità costante, la deviazione standard non cambia.

36 Classi [10;14) [14;18) [18;22) [22;26) [26;30) [30;34) Centri Freq. Assolute La deviazione standard per classi di modalità Supponiamo che i dati relativi al numero di ore, siano stati forniti in tabella, secondo le classi di modalità (ad esempio quelle usate per l istogramma). Per il calcolo della varianza (e quindi della deviazione standard) si usa lo stesso procedimento visto per la media, ossia > wtd.mean(objhist$mids, objhist$counts) [1] > wtd.var(objhist$mids, objhist$counts) [1] Un caso particolare: stessa media 0, stessa varianza 1.

37 Per variabili qualitative, è opportuno usare un indice di dispersione di natura diversa: Indice di eterogeneità (di Gini) E 1 G ' ( + +G I ( Minimo: quando vi è una sola modalità con frequenza relativa 1 E=0 Massimo: quando tutte le modalità sono equifrequenti ' I. # stanze # appartamenti Freq.rel E=1 1 K (+ + 1 K ( =1 K K ( = K 1 K > stanze Esempio: [1] > app [1] > freqapp<-app/sum(app) > freqapp Assume sempre valori positivi. > 1-freqapp%*%freqapp [,1] [1,] [1]