Introduzione all Analisi Esplorativa dei Dati mediante R 1

Transcript

1 Introduzione all Analisi Esplorativa dei Dati mediante R 1 Giovanna Menardi Giovanna.Menardi@econ.units.it A.A. 2008/ Materiale liberamente tratto da appunti a cura di M. Trevisani. Menardi Lezione () 2 1 / 33

2 Prime funzioni statistiche Per iniziare costruiamo il seguente vettore, che si riferisce all età di 16 studenti che frequentano un corso di formazione post lauream x <- c(23, 23, 24, 24, 24, 25, 25, 25, 25, 25, 26, + 26, 27, 27, 27, 37 ). Menardi Lezione () 2 2 / 33

3 Prime funzioni utili allo statistico La media di un insieme di dati µ = P n i=1 x i n La varianza di un insieme di dati σ 2 P n i=1 = (x i µ) 2 n La mediana di un insieme ordinato di dati x (1), x (2),..., x ( n+1 2 ),..., x (n 1), x (n). Menardi Lezione () 2 3 / 33

4 Prime funzioni utili allo statistico La media P n di un insieme di dati i=1 µ = x i n >mu<-sum(x)/length(x) oppure >mu<-mean(x) La varianza di un insieme di dati σ 2 P n i=1 = (x i µ) 2 n La mediana di un insieme ordinato di dati x (1), x (2),..., x ( n+1 2 ),..., x (n 1), x (n). Menardi Lezione () 2 4 / 33

5 Prime funzioni utili allo statistico La media P n di un insieme di dati i=1 µ = x i n >mu<-sum(x)/length(x) oppure >mu<-mean(x) La varianza di un insieme di dati σ 2 P n i=1 = (x i µ) 2 n >sigma2<-sum((x-mean(x))^2)/length(x) oppure >sigma2<-var(x)*(length(x)-1)/length(x) La mediana di un insieme ordinato di dati x (1), x (2),..., x ( n+1 2 ),..., x (n 1), x (n). Menardi Lezione () 2 5 / 33

6 Prime funzioni utili allo statistico La media P n di un insieme di dati i=1 µ = x i n >mu<-sum(x)/length(x) oppure >mu<-mean(x) La varianza di un insieme di dati σ 2 P n i=1 = (x i µ) 2 n >sigma2<-sum((x-mean(x))^2)/length(x) oppure >sigma2<-var(x)*(length(x)-1)/length(x) La mediana di un insieme ordinato di dati x (1), x (2),..., x ( n+1 2 ),..., x (n 1), x (n) >xord<-sort(x) >pos<-(length(x)+1)/2 >med<-xord[pos] oppure >med<-median(x). Menardi Lezione () 2 6 / 33

7 Prime funzioni utili allo statistico la distribuzione delle frequenze assolute VALORE FREQ. ASSOLUTA x (1) f i. x (k). f k...e relative VALORE FREQ. RELATIVA x (1) f i /n.. x (k) f k /n. Menardi Lezione () 2 7 / 33

8 Prime funzioni utili allo statistico la distribuzione delle frequenze assolute VALORE FREQ. ASSOLUTA >table(x) x (1) f i x x (k) f k...e relative VALORE FREQ. RELATIVA x (1) f i /n.. x (k) f k /n >table(x)/length(x) x Menardi Lezione () 2 8 / 33

9 Prime funzioni utili allo statistico i quantili di una distribuzione Il quantile di ordine p di un insieme di valori è quel valore x p che ripartisce la distribuzione ordinata dei valori in due parti tali che la proporzione di osservazioni minori di x p è pari a p > quantile(x,0.25) 25% 24 > quantile(x,c(0.25,0.50,0.75)) 25% 50% 75% La funzione summary fornisce in un unico comando vari indicatori di sintesi > summary(x) Min. 1st Qu. Median Mean 3rd Qu. Max Menardi Lezione () 2 9 / 33

10 Esercizio Ad una classe di studenti è stato chiesto con quante persone condividessero l abitazione. Il risultato è: Si vuole: (2, 3, 5, 2, 2, 1, 3, 4, 1, 1, 2, 3, 3, 8, 5, 4, 1, 3, 3, 1). Determinare la numerosità della classe Determinare il numero di persone con cui vivono il terzo e il sesto studente Ordinare in senso decrescente le osservazioni Calcolare il valore medio e la mediana delle osservazioni e verificare che la moda è 3. Calcolare la deviazione standard delle osservazioni Determinare i decili del vettore.. Menardi Lezione () 2 10 / 33

11 Matrici Una matrice è un insieme ordinato di vettori di uguale lunghezza. Si crea una matrice con l istruzione > x <- matrix(c(2,1,3,4,9,4), nrow=3,ncol=2,byrow=f) > x [,1] [,2] [1,] 2 4 [2,] 1 9 [3,] 3 4 gli elementi di una matrice sono identificati da due indici > x[2,1] [1] 1. Menardi Lezione () 2 11 / 33

12 Richiamare righe e colonne Per estrarre una colonna di una matrice, si lascia vuoto il posto dell indice di riga e si indica la colonna > x[,2] [1] > x[1,]?. Menardi Lezione () 2 12 / 33

13 Estrazioni di elementi Tutte le tecniche viste per estrarre elementi da un vettore si applicano anche alle matrici > x[c(1,3),2] [1] 4 4 > x[c(1,3),c(f,t)] [1] 4 4 > x[-c(2),c(f,t)] [1] 4 4. Menardi Lezione () 2 13 / 33

14 Esercizio Si costruisca una matrice di 1 e si verifichi di averla realizzata correttamente visualizzando solo le prime 5 righe e le ultime 5. Si controlli inoltre che: l oggetto costruito sia realmente una matrice (si ricordi quanto visto per i vettori) le dimensioni della matrice siano quelle desiderate (si utilizzi la funzione dim). Menardi Lezione () 2 14 / 33

15 Data frame Un data frame è quanto comunemente si indica con il termine tabella di dati (data set) Può essere pensato come un insieme di vettori (colonne del data frame) della stessa lunghezza. mese sesso peso eta gest ordine Menardi Lezione () 2 15 / 33

16 Creazione e importazione in R di data frame Si crea un data frame con l istruzione >neonati<-data.frame(nomevariabile1=c(...), + nomevariabile2=c(...)...) Oppure una tabella contenuta in un file può essere caricata in R come data frame col comando >neonati <- read.table(file="neonati.txt",header=t) dove: header=t fa sì che la prima riga del file vanga interpretata come contenente i nomi delle variabili "neonati.txt" è un file di testo contenuto nella working directory. Menardi Lezione () 2 16 / 33

17 Struttura del data frame > neonati mese sesso peso eta gest ordine riga=individuo (177 righe) colonna=variabile (6 colonne). Menardi Lezione () 2 17 / 33

18 Estrazioni di parti del data frame Per richiamare singole variabili del data frame mediante il loro nome: > neonati$mese [1] [34] [67]... o, equivalentemente, mediante l indicatore di colonna > neonati[,1] > neonati[[1]] Per richiamare elementi del dataframe >neonati$mese[3]. Menardi Lezione () 2 18 / 33

19 Estrazione in base a condizioni R consente di estrarre parti delle variabili (vettori) in base a condizioni, ad esempio > neonati$peso[neonati$sesso==1] estrae i valori di peso per gli individui per cui sesso è pari a 1. Questo permette di determinare frequenze e indicatori sintetici condizionati. >mean(neonati$peso[neonati$sesso=1]) In alternativa, è utile la funzione tapply: >tapply(neonati$peso,neonati$sesso,mean) che calcola il valore di una funzione (in questo caso la media) su ciascun gruppo di componenti del primo argomento (in questo caso il peso), dove i gruppi sono definiti dal secondo argomento (in questo caso il genere). Menardi Lezione () 2 19 / 33

20 Accedere direttamente alle singole variabili L istruzione >attach(neonati) rende le variabili del data frame neonati direttamente accessibili per nome. Sarà quindi sufficiente, per l intera sessione di lavoro, digitare mese, peso, ecc. anziché neonati$mese, neonati$peso. L istruzione detach(neonati) ripristina la situazione iniziale. Le modifiche fatte sulle singole variabili cui si ha avuto accesso solo mediante il nome, non hanno effetto sul data frame di partenza.. Menardi Lezione () 2 20 / 33

21 Esercizio A partire dali dati contenuti nel file neonati.txt determinare: La durata media gestazionale La varianza delle età delle madri I quantili di ordine 0.1 e 0.9 del peso Il peso medio dei nati maschi L età media delle madri che hanno partorito il primo figlio La tabella delle frequenze assolute e relative della variabile sesso Il numero di maschi e femmine tra i nati con più di 3 Kg La percentuale di neonati con peso inferiore ai 2.5 Kg Costruire una tabella delle frequenze dei nati nelle diverse stagioni (si considerino stagioni di 3 mesi con dicembre, gennaio e febbraio mesi invernali) e si dica se tra le famiglie di Camposampiero esiste una tendenza ad avere figli in una stagione piuttosto che in un altra.. Menardi Lezione () 2 21 / 33

22 Rappresentazioni grafiche Come possiamo rappresentare graficamente dati univariati? Variabili qualitative Variabili quantitative discrete con poche modalità Variabili quantitative discrete Variabili quantitative continue 9 >= >; 9 = ; diagrammi a barre diagrammi a torta istogrammi diagrammi a scatola, diagrammi a ramo-e-foglia, diagrammi dei quantili. Menardi Lezione () 2 22 / 33

23 Esempi: i neonati di Camposampiero Dal campione di dati abbiamo osservazioni individuali su: sesso: variabile qualitativa dicotomica mese: variabile qualitativa sconnessa ordine: variabile quantitativa discreta peso: variabile quantitativa continua G. Menardi Lezione () 2 23 / 33

24 Grafici: barplot Una tabella di frequenze può essere rappresentata graficamente con un diagramma a barre > barplot(table(neonati$mese), Grafico a barre del mese main="grafico a barre del mese") mese. Menardi Lezione () 2 24 / 33

25 Grafici: pie Una tabella di frequenze può essere rappresentata graficamente con una torta > pie(table(neonati$mese)) Menardi Lezione () 2 25 / 33

26 Grafici: ramo e foglia Si usa quando si vuole rappresentare un numero ridotto di valori (riferiti ad una variabile quantitativa) senza perdita di informazione > stem(neonati$gest) The decimal point is 1 digit(s) to the right of the Menardi Lezione () 2 26 / 33

27 Grafici: hist Le osservazioni sono suddivise in classi di ampiezza non necessariamente uguale Le aree dei rettangoli sono proporzionali alle frequenze delle classi cui si riferiscono.. Menardi Lezione () 2 27 / 33

28 peso del neonato peso: variabile quantitativa continua Si definiscono classi di ampiezza diversa per il peso dei neonati. classi (g) N i i k=1 N i f i i k=1 f i a i d i 1 (2000,2500] (2500,3000] (3000,3200] (3200,3400] (3400,3600] (3600,3800] (3800,4000] (4000,5000] Menardi Lezione () 2 28 / 33

29 Dettagli sugli istogrammi >isto<-hist(neonati$peso,breaks=c(2000,2500,3000,3200,3400,3600,3800,4000 +,5000),xlab="peso",ylab="densità",main="Istogramma) >isto $breaks [1] $counts [1] $intensities [1] e e e e e-04 [6] e e e-05 $density [1] e e e e e-04 [6] e e e-05 $mids [1] $xname [1] "neonati$peso" $equidist [1] FALSE attr("class") [1] "histogram". Menardi Lezione () 2 29 / 33

30 Grafici: boxplot peso dei neonati Menardi Lezione () 2 30 / 33

31 Boxplot La scatola corrisponde alla parte centrale della distribuzione, delimitata da x 0.25 e x Un segmento verticale all interno della scatola segna la posizione della mediana x La lunghezza della scatola è lo scarto interquartile (SIQ) e misura la dispersione dei dati compresi nella parte centrale. Il diagramma scatola-baffi incorpora una regola empirica per il riconoscimento di dati statisticamente anomali, cioè molto diversi dalla maggior parte dei dati del campione (outliers). Un dato si deve considerare anomalo se è esterno all intervallo I = [x SIQ, x SIQ]. La posizione di ciascun dato anomalo è indicata con un asterisco o altro simbolo grafico. I baffi corrispondono alle code della distribuzione. Sono segmenti che partono dai lati della scatola e si prolungano fino ai dati osservati interni ad I e più vicini agli estremi.. Menardi Lezione () 2 31 / 33

32 Grafici: boxplot >box<-boxplot(neonati$peso,main="peso dei neonati") >box $stats [,1] [1,] 2050 [2,] 3000 [3,] 3300 [4,] 3650 [5,] 4600 $n [1] 177 $conf [,1] [1,] [2,] $out [1] 4680 $group... Menardi Lezione () 2 32 / 33

33 Rappresentare graficamente la distribuzione della variabile sesso (mediante grafico a barre e torta) la distribuzione delle età delle madri che hanno partorito il primo figlio (mediante istogramma) la distribuzione del peso per i nati femmina (mediante boxplot) confrontare i pesi di maschi e femmine mediante due boxplot tracciati sullo stesso grafico G. Menardi Lezione () 2 33 / 33