INTRODUZIONE A R Lezione 2

Transcript

1 INTRODUZIONE A R Lezione 2 Silvia Bacci e Silvia Pandolfi 1 Importare e esportare i dati Quando la mole di dati è sostanziosa l immissione da tastiera non è agevole. La situazione più comune è che i dati vengano inseriti a partire da file esterni. R è in grado di leggere dati in praticamente qualsiasi formato 1. Per leggere dati da file R fornisce numerose funzioni, tra le quali read.table() e read.csv() che permettono di caricare file di testo.txt e.csv (comma separated value). Questi file possono utilizzare differenti separatori di colonna; i principali sono la virgola, il punto e virgola e la tabulazione. Nel caricare i dati in R occorre prestare attenzione a quale separatore viene utilizzato nel file. > read.table("percorso/file.txt", header = TRUE, sep = " \t", dec = ".") > read.table(file.choose()) Andiamo ad analizzarne gli argomenti: file.choose(): permette di aprire una finestra di navigazione in cui selezionare il file d interesse; header = TRUE: identifica la prima riga della matrice dei dati come quella contenente i nomi delle variabili; sep = "," specifica il tipo di separatore di colonna. Tra virgolette potremmo perciò inserire la virgola, il punto e virgola e per la tabulazione \t. > data = read.table("var_qualitative.txt",header=true) >#Visualizza in maniera compatta la struttura di un oggetto > str(data) data.frame : 500 obs. of 5 variables: $ eta : int $ sesso : Factor w/ 2 levels "F","M": $ titolo_studio: Factor w/ 4 levels "Diploma","Laurea",..: $ reddito : num silvia.bacci@unipg.it pandolfi@stat.unipg.it 1 Tramite il pacchetto foreign, R è in grado di leggere e salvare dati in formati provenienti da altri programmi di analisi statistica, come Stata, SPSS e SAS. 1

2 $ anni_lavoro : int > #Mostra solo le prime sei righe della matrice dei dati > head(data) >#Restituisce il nome delle variabili della matrice > names(data) > sesso Errore: oggetto "sesso" non trovato > attach(data) > sesso > data$sesso > data[,2] I file con estensione.csv sono particolari tipi di documenti di testo che possono essere letti e salvati con Excel. > #Caricare il dataset DATI.csv > data2 = read.csv(file.choose(), header = TRUE, sep = ",") > head(data2) Sesso Diploma Regione Libri Cellulare Fumatore Parrucchiere Caffe Famiglia Altezza 1 F LS Umbria 3 Da 0 a 10 Si M LS Umbria 1 Da 20 a 50 No F COM Umbria 0 Da 0 a 10 No M LC Centro 2 Da 10 a 20 Si M LS Umbria 0 Da 20 a 50 Si F COM Umbria 2 Da 10 a 20 Si > str(data2) data.frame : 138 obs. of 10 variables: $ Sesso : Factor w/ 2 levels "F","M": $ Diploma : Factor w/ 4 levels "Altro","COM",..: $ Regione : Factor w/ 3 levels "Centro","Sud",..: $ Libri : int $ Cellulare : Factor w/ 5 levels "0","Da 0 a 10",..: $ Fumatore : Factor w/ 2 levels "No","Si": $ Parrucchiere: int $ Caffe : int $ Famiglia : int $ Altezza : int Per esportare un data frame o una matrice su un file in R è disponibile la funzione > write.table(data2, file="prova.xls",sep="\t",dec=",", row.names = FALSE) 1.1 I pacchetti in R Le funzioni di R sono organizzate in pacchetti, i più importanti dei quali sono già disponibili quando si accede al programma. Alcuni pacchetti, pur essendo presenti nella release di base di R, devono essere caricati durante la sessione di lavoro, mediante il comando: 2

3 > require(nomepacchetto) > library(nomepacchetto) Per sapere quali sono i pacchetti già presenti nella release di R con cui si sta lavorando, basta scrivere: > library() In alternativa, dal menu Pacchetti si sceglie l opzione Carica pacchetto. In tal caso apparirà una finestra con la lista dei pacchetti già installati. Sarà quindi sufficiente selezionare il nome del pacchetto da caricare con il mouse e poi cliccare su OK. Per avere informazioni sul pacchetto e sulle funzioni in esso contenute: > help(package = "nomepacchetto") Alcuni pacchetti non sono invece presenti nella release di base di R. Per installare un pacchetto non presente, è sufficiente scrivere: > install.packages("nomepacchetto") La prima volta che si usa questa funzione durante una sessione di lavoro si dovrà anche selezionare da una lista il sito mirror da cui scaricare il pacchetto. In alternativa, nel menu Pacchetti si seleziona Installa pacchetti e, successivamente, si seleziona il pacchetto dalla lista di tutti i pacchetti. 1.2 Importare i dati da un file di Excel > install.packages("gdata") > library(gdata) # carica il pacchetto gdata > help(read.xls) > mydata = read.xls("sweat.xls", sheet=1) # legge dal primo foglio di lavoro 1.3 Esercizi Dopo aver caricato il dataset DATI.csv: Estrarre l altezza degli studenti umbri; qual è l altezza dello studente più basso e quella dello studente più alto? Calcolare la spesa complessiva per il parrucchiere degli studenti maschi provenienti dal Sud Italia. Estrarre l altezza degli studenti in base al sesso Estrarre il numero di libri letti dagli studenti dei licei 3

4 2 Introduzione all analisi dei dati Quando si svolge un analisi statistica dei dati è necessario procedere prima con un analisi di tipo esplorativo per capire la struttura generale delle variabili che compongono l insieme di dati e successivamente con una serie di analisi di tipo descrittivo per la comprensione dei fenomeni studiati. Solo dopo queste prime due fasi ha senso procedere ad analisi più approfondite di natura inferenziale. 2.1 Manipolazione dei dati (etichette, ricodifiche, creazione nuove variabili) Per prima cosa carico i dati: > # importo i dati > dati <- read.table(famiglia2.txt, header = TRUE) Come introdotto in precedenza, con la funzione dim ottengo la dimensione del mio dataset, con il numero di righe corrispondente al numero di individui e il numero di colonne corrispondente al numero di variabili: > dim(dati) [1] Successivamente, posso utilizzare le due funzioni str e head per ottenere una descrizione delle variabili contenute in dati: > # visualizzo le prime righe (= individui) del dataset ># e tutte le colonne (= variabili) > head(dati) X1 X2 X3 X4 X > # ottengo informazioni sulla natura delle variabili > str(dati) data.frame : 100 obs. of 5 variables: $ X1: int $ X2: num $ X3: int $ X4: int $ X5: num I nomi delle variabili sono visualizzabili tramite: > names(dati) [1] "X1" "X2" "X3" "X4" "X5" 4

5 Spesso è utile modificare i nomi originari delle variabili: > # cambio i nomi delle variabili > names(dati) <- c("id","reddito","numcomp","sesso","spesaal") > head(dati) > # oppure, in fase di lettura dei dati: > dati2 <- read.table(file.choose(), header = TRUE, + col.names=c("id","reddito","numcomp","sesso","spesaal")) > attach(dati2) > str(dati2) data.frame : 100 obs. of 5 variables: $ id : int $ reddito: num $ numcomp: int $ sesso : int $ spesaal: num Non sempre le variabili originarie presenti nel dataset sono utili ai fini delle analisi che vogliamo svolgere. Può essere necessario ricorrere a delle manipolazioni particolari, quali ridefinizione della natura della variabile, creazione di nuove etichette per le modalità della variabile, definizione di nuove variabili a partire da variabili già esistenti. > ## Trasformo la variabile sesso, vista come intero, in un fattore > is.factor(sesso) [1] FALSE > levels(sesso) NULL > sesso<-as.factor(sesso) > levels(sesso) [1] "0" "1" > # creare le etichette per i livelli di sesso (0=maschio, 1=femmina) > levels(sesso) <- c("maschio","femmina") > is.numeric(reddito) > # Indago sulla presenza di eventuali risposte mancanti: > is.na(reddito) > is.na(dati2) > # Creo una variabile aggregata da numcomp > # (max 1 componente oltre al capofamiglia, 2-3, almeno 4) > sort(numcomp) > = 0 + (numcomp>1) + (numcomp>3) > table(numcomp,) > # Creo tre dummy dalla variabile > n = nrow(dati2) > numcomp3 = matrix(0,n,3) > numcomp3[cbind(1:n, +1)]=1 5

6 > cbind(, +1, numcomp3) > # Alternativa (modo meno parsimonioso!!) > numcomp4 = matrix(0,n,3) > for (i in 1:n){ if ([i]==0) { numcomp4[i,1] = 1 } if ([i]==1) { numcomp4[i,2] = 1 } if ([i]==2) { numcomp4[i,3] = 1 } } > # Aggiungo le due nuove variabili ai dati > dati2 = cbind(dati2,, numcomp3) > names(dati2)[7:9] <- c("0-1 comp", "2-3 comp", "almeno 4 comp") > # ordinare i dati in senso ascendente per la variabile numcomp >?order > dati2[order(numcomp), ] 2.2 Analisi descrittiva dei dati In R ci sono diverse funzioni per l analisi descrittiva dei dati. Tra le più utilizzate, alcune sono state introdotte nelle precedenti sezioni (mean(), median(), sd(), length(), sum()). Altre funzioni utili sono: var(): calcola la varianza di un vettore di dati, la covarianza tra due vettori, o la matrice di varianze e covarianze di una matrice di dati cor(): calcola la correlazione tra due vettori, o la matrice di correlazione di una matrice di dati summary(): riporta le principali statistiche descrittive di un vettore o di una matrice di dati prod(): restituisce il prodotto tra gli elementi di un vettore o di una matrice cumsum(): restituisce la somma cumulata degli elementi di un vettore cumprod(): restituisce il prodotto cumulato degli elementi di un vettore quantile(): calcola i quantili di una distribuzione colmeans() - rowmeans(): calcola le medie di diverse variabili all interno di un dataset (per colonna o per riga) 6

7 Inoltre, la funzione sample() genera un vettore estraendo da un altro oggetto gli elementi in ordine casuale. > y=1:10 > sample(y) [1] > sample(1:90,size=1) [1] 53 > sample(y,size=20,replace=true) [1] Con riferimento alla variabile reddito dei dati famiglia2.txt, vediamo di seguito alcune analisi descrittive base: > summary(dati2) id reddito numcomp sesso spesaal Min. : 1.00 Min. :10.89 Min. :0.00 Min. :0.00 Min. : st Qu.: st Qu.: st Qu.:1.00 1st Qu.:0.00 1st Qu.: Median : Median :25.59 Median :2.00 Median :0.00 Median : Mean : Mean :27.28 Mean :1.97 Mean :0.25 Mean : rd Qu.: rd Qu.: rd Qu.:3.00 3rd Qu.:0.25 3rd Qu.: Max. : Max. :54.78 Max. :5.00 Max. :1.00 Max. : > summary(reddito) Min. 1st Qu. Median Mean 3rd Qu. Max > range(reddito) [1] > mean(reddito) [1] > median(reddito) [1] > quantile(reddito, probs=c(0.10,0.25,0.75, 0.90)) 10% 25% 75% 90% > var(reddito) [1] Distribuzioni di frequenza semplici e doppie Uno strumento molto utile della statistica descrittiva è rappresentato dalle tabelle di frequenza semplici e doppie. Nel caso delle frequenze assolute la funzione principale che si utilizza è table. > # Tabelle delle frequenze di una sola variabile > table(sesso) sesso maschio femmina > table() 7

8 > table()/nrow(dati2) > # Tabelle doppie di frequenza > tab1 <- table(sesso,) # tabella delle frequenze assolute > tab1 sesso maschio femmina > addmargins(tab1, FUN=sum) # aggiungo i totali di riga e colonna Margins computed over dimensions in the following order: 1: sesso 2: sesso sum maschio femmina sum Le corrispondenti tabelle delle frequenze relative o proporzioni si ottengono tramite la funzione prop.table. > # tabelle delle frequenze relative congiunte > tab2 <- prop.table(tab1, margin=null) > addmargins(tab2, FUN=sum) Margins computed over dimensions in the following order: 1: sesso 2: sesso sum maschio femmina sum > prop.table(tab1, margin=null)*100 # tabella delle frequenze percentuali sesso maschio femmina

9 Per le tabelle a doppia entrate si possono definire anche le distribuzioni di frequenza condizionate rispetto ad una variabile attraverso l argomento margin. Se margin =1 si ottiene la distribuzione condizionata rispetta alla variabile sulle righe, se margin=2 si ottiene la condizionata rispetto alla variabile sulle colonne. > # tabelle delle frequenze condizionate rispetto al sesso > # (o frequenze relative di riga) > prop.table(tab1, margin=1) sesso maschio femmina > # tabella delle frequenze condizionate rispetto al numero di > # componenti (o frequenze relative di colonna) > prop.table(tab1, margin=2) sesso maschio femmina > # test di indipendenza Chi-quadrato (attenzione al Warning!) > chisq.test(sesso,) Pearson s Chi-squared test data: sesso and X-squared = 1.786, df = 2, p-value = Warning message: In chisq.test(sesso, ) : Chi-squared approximation may be incorrect 2.4 Le funzioni apply(), tapply(), e aggregate() Nell analisi descrittiva dei dati è spesso utile calcolare una o più misure di sintesi (media, mediana, varianza, ecc.) in presenza di variabili classificazioni e organizzare i risultati in una tabella doppia. A questo proposito non esiste un metodo intuitivo in R per questo tipo di analisi, contrariamente ad altri software di analisi statistica dei dati. Le funzioni maggiormente adatte a tale scopo sono le seguenti: apply(x,dim,fun): permette di calcolare una generica funzione sulle righe o sulle colonne di una matrice di dati (o su una combinazione di dimensioni di un array multidimensionale) tapply(x,index,fun), aggregate(x,by,fun) e by(x,indices,fun): se nel data frame sono presenti variabili di classificazione, permettono di calcolare una funzione separatamente su ciascuna classe di unità. tapply si applica ad un singolo vettore, aggregate ad una matrice di dati. In aggregate, by è una lista, anche composta 9

10 da un solo oggetto, di variabili di classificazione. Simile ad aggregate è la funzione by. > # Mediane di reddito e spesa alimentare > valori=cbind(reddito,spesaal) > apply(valori,2,median) reddito spesaal > # Reddito medio per sesso del capofamiglia > tapply(reddito,sesso,mean) maschio femmina > # oppure > aggregate(reddito, by=list(sesso), FUN=mean) Group.1 x 1 maschio femmina > # Reddito medio per sesso del capofamiglia e numero componenti famiglia > aggregate(reddito, by=list(sesso, ), FUN=mean) Group.1 Group.2 x 1 maschio femmina maschio femmina maschio femmina > # oppure > tab3 <- by(reddito, INDICES=list(sesso, ), FUN=mean) > # Dispongo i dati di tab3 in una tabella > tab3_new<- cbind(tab3[1:2],tab3[3:4],tab3[5:6]) > colnames(tab3_new)=c(0, 1, 2) > rownames(tab3_new)=c( maschio, femmina ) > tab3_new maschio femmina > # Mediana di reddito e spesa alimentare per sesso e numero di componenti > aggregate(valori,by=list(sesso, ), FUN=median) Group.1 Group.2 reddito spesaal 1 maschio femmina maschio femmina maschio

11 6 femmina Variabili in classi Caricare il file DATI.csv e nominarlo dati.studenti. Vogliamo costruire una variabile contenente l altezza degli studenti suddivisa in classi. Il comando da utilizzare è cut(), che suddivide l intero range della variabile quantitativa in base a dei breaking-point specificati dall utente. Per tale motivo è utile conoscere il campo di variazione della variabile (comando range()). > dati.studenti=read.csv(file.choose(),header=t,sep=",") > head(dati.studenti) Sesso Diploma Regione Libri Cellulare Fumatore Parrucchiere Caffe Famiglia Altezza 1 F LS Umbria 3 Da 0 a 10 Si M LS Umbria 1 Da 20 a 50 No F COM Umbria 0 Da 0 a 10 No M LC Centro 2 Da 10 a 20 Si M LS Umbria 0 Da 20 a 50 Si F COM Umbria 2 Da 10 a 20 Si > alt.class=cut(dati.studenti$altezza,breaks=c(150,165,170,175,180,190)) > alt.class [1] (150,165] (175,180] (150,165] (180,190] (165,170] (165,170] (150,165]... [11] (165,170] (180,190] (150,165] (150,165] (165,170] (165,170] (165,170]... [21] (150,165] (175,180] (150,165] (150,165] (165,170] (165,170] (150,165]... [31] (180,190] (170,175] (175,180] (150,165] (150,165] (165,170] (150,165]... [41] (180,190] (150,165] (170,175] (180,190] (150,165] (170,175] (170,175]... [51] (150,165] (150,165] (150,165] (170,175] (170,175] (150,165] (180,190]... [61] (150,165] (150,165] (150,165] (170,175] (175,180] (165,170] (180,190]... [71] (165,170] (165,170] (150,165] (175,180] (170,175] (170,175] (180,190]... [81] (170,175] (150,165] (170,175] (175,180] (175,180] (180,190] (165,170]... [91] (170,175] (150,165] (150,165] (170,175] (150,165] (170,175] (165,170]... [101] (165,170] (165,170] (150,165] (150,165] (175,180] (170,175] (165,170]... [111] (170,175] (150,165] (150,165] (150,165] (150,165] (150,165] (180,190]... [121] (150,165] (165,170] (180,190] (175,180] (180,190] (165,170] (175,180]... [131] (165,170] (165,170] (165,170] (165,170] (150,165] (180,190] (150,165]... Levels: (150,165] (165,170] (170,175] (175,180] (180,190] > table(dati.studenti$sesso,alt.class) Nell argomento break si possono specificare gli estremi delle classi come sopra, (notare che le classi non hanno ampiezze uguali), oppure il numero di classi desiderate. In questo caso R produce classi equidistanti > #5 classi di ampiezza uguale > alt.class=cut(dati.studenti$altezza,breaks=5) 11

12 Per default il comando cut() chiude le classi a destra; con right=false si possono chiudere le classi a sinistra. 2.6 Esercizi Da dataset DATI.csv si costruisca la tabella di contingenza delle variabili Sesso e Parrucchiere, dividendo la variabile Parrucchiere in classi [0 15), [15 20), [20 35), [35 150) (chiusura a sinistra). Fra gli studenti che spendono [20 35) euro dal parrucchiere, quant è la percentuale dei maschi? Fra le femmine, qual è la percentuale di quelle che spendono più di 35 euro? Quant è la proporzione di studenti che prendono più di 4 caffè al giorno? 12