Dai dati al modello teorico

Transcript

1 Dai dati al modello teorico Analisi descrittiva univariata in R 1 Un po di terminologia Popolazione: (insieme dei dispositivi che verranno messi in produzione) finito o infinito sul quale si desidera avere informazioni. insieme Campione casuale: (prototipi) sottoinsieme della popolazione scelta in modo casuale. Unità statistica o campionaria: (un prototipo) un elemento del campione casuale Taglia del campione: (numero di prototipi realizzati) numero di unità statistiche Statistica descrittiva Descrizione per via grafica Descrizione per via numerica Carattere (tempo di rottura del dispositivo) ogni aspetto elementare oggetto di rilevazione nelle unità statistiche della popolazione (e quindi del campione) Modalità o classe di modalità: i diversi modi con cui il carattere si presenta nelle unità statistiche della popolazione (e quindi del campione) 2 1

2 Se si ha un campione casuale di tempi di vita, come si perviene ad un modello teorico? Esempio: si misura il tempo di vita di 20 lampadine, che è stato riportato di seguito Stimare la funzione guasto, la funzione di affidabilità, la densità di guasto, il tempo medio di vita. Determinare quale modello teorico potrebbe descrivere il tempo di vita. 10,45 2,30 19,71 49,81 46,89 69,08 0,32 11,36 43,20 3,24 6,10 1,01 0,71 3,89 5,38 0,37 7,29 9,12 17,52 9,60 dati<-c(10.45,2.30,19.71,49.81,46.89,69.08,0.32,11.36,43.20,3.24,6.10,1.01,0.71,3.89, ,0.37,7.29,9.12,17.52,9.60) hist(dati, col= blue,labels=t, freq=f,ylim=range(0,0.08)) - Labels: Consente di etichettare le barre Sui parametri di input - freq: Consente di scegliere se rappresentare la freq. assoluta oppure la densità E possibile manipolare i valori calcolati dalla funzione hist() 3 Per lavorare con i vettori generati, usare la sintassi Nell esempio: NOMEHISTOGRAMMA$NOMEVETTORE fornisce le frequenze relative. Notare che le frequenze relative sono diverse dai dati forniti nel vettore density, che invece sono calcolati dividendo le frequenze relative per l ampiezza delle classi. 4 2

3 La funzione density() delinea l andamento della distribuzione dei dati una volta suddivisi in classi. Il comando rug(dati) aggiunge il grafico dot-plotall istogramma. Nei grafici la scelta delle classi è stata automatica. Potrebbe essere necessario scegliere un numero di classi diverso. 5 hist(dati,prob=true, col='blue',labels=t,ylim=range(0,0.08), breaks=4) Parametro di input: -Breaks Se intero, specifica Il numero delle classi Non sempre la scelta del numero delle classi produce un effetto sul grafico. Questo dipende dall algoritmo implementato. A volte si rende necessario immettere direttamente gli estremi delle classi. E possibile che il numero delle classi prodotto sia diverso da quello richiesto. 6 3

4 hist(dati,prob=true, col='blue',labels=t,ylim=range(0,0.08), + breaks=c(0,15,30,45,60,75)) Parametro di input: -Breaks Se contiene un vettore, specifica gli estremi delle classi Ad esempio con questa scelta delle classi, il carattere bimodale della stima si attenua. 7 Stimare il tempo medio. Per calcolare il tempo medio di vita, è possibile usare l indice di sintesi media campionaria x 1 n xi n i = 1 = Alternativamente: La media rappresenta un indice di posizione del campione. Rappresenta il suo baricentro, immaginando di assegnare ad ogni elemento del campione casuale peso 1/n. 8 4

5 Altri indici Deviazione standard campionaria. Indice di variabilità dei dati. Campo di variazione Indice di variabilità dei dati. Quartili In particolare la mediana è un indice di posizione più robusto della media. La differenza tra il terzo ed il primo quartile è nota come IQR (interquartile range): ed è un altro indice di variabilità dei dati. Esso rappresenta un indice più robusto rispetto alla deviazione standard. Robustezza di un indice= stabilità rispetto alla presenza di outliers. OUTLIERS? 9 Alla Ricerca degli Outliers. Il BOX - PLOT +/ IQR/sqrt(n) OUTLIERS 10 5

6 Specie in presenza di outliers, può essere utile conoscerne il loro valore e la loro collocazione all interno del campione casuale. Con la seguente sintassi, si ottengono le seguenti informazioni: outliers<-boxplot(dati) outliers $stats [,1] [1,] [2,] [3,] [4,] [5,] Gli estremi necessari alla costruzione del box-plot $n [1] 20 Gli outliers $out [1] Per gestire gli outliers: outliers$out [1] Per conoscere la loro posizione nel campione casuale: dati %in% outliers$out [1] FALSE FALSE FALSE TRUE TRUE TRUE FALSE FALSE TRUE FALSE FALSE FALSE [13] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE 11 Indici di Asimmetria Il confronto tra media e mediana non garantisce la caratterizzazione dell asimmetria. Quello che segue è un controesempio. Supponiamo di costruire i seguenti sets di dati: primo<-c(1,rep(2,2),rep(3,3),rep(4,4),rep(5,5),rep(6,6),rep(7,7)) primo [1] secondo<-c(rep(1,7),rep(2,6),rep(3,5),rep(4,4),rep(5,3),rep(6,2),rep(7,1)) secondo [1]

7 summary(primo) Min. 1st Qu. Median Mean3rd Qu. Max summary(secondo) Min. 1st Qu. Median Mean3rd Qu. Max Le due distribuzioni stesso segno di media mediana=0 Eppure guardando i due istogrammi si vede che le code delle due distribuzioni sono diverse Usando la function skewnessdella libreria e1071 si ha: skewness(primo) [1] skewness(secondo) [1] Indice di curtosi E un indice che misura la variabilità della distribuzione del campione rispetto alla gaussiana standard. 0 distribuzione appuntita =0 distribuzione come quella gaussiana <0 distribuzione piatta kurtosis(dati) [1] Tale indice ha significato soprattutto per quelle distribuzioni con indice di simmetria prossimo allo zero. 14 7

8 Coefficiente di variazione Una proprietà desiderabile per un indice di variabilità è che non dipenda dalla unità di misura in cui è espresso il carattere. Es: altezza di 5 studenti: 172, 175, 176, 178, 180 La media risulta essere cm e la devstandard risulta essere Se esprimiamo gli indici in metri, la media diviene e la dev.standard Esempio: Un processo industriale produce bustine di camomilla del peso medio di 2 grammi. La dev. standard è Un secondo processo industriale produce confezioni di pasta alimentare del peso di 500 grammi. La dev. standard è 2.7. Quale tra i due processi è più preciso? Questa comparazione può essere effettuata in modo appropriato esprimendo la deviazione standard di ciascun processo come percentuale della rispettiva media = = CV = s x sd(dati)/mean(dati) [1] = 1 la media non è un indice corretto = 0 la media è un indice perfetto 0.5 la media non è un indice corretto 0.5 la media è un indice corretto In che senso la media non è un indice corretto? ERRORE STANDARD e= s n Misura la dispersione della media campionaria ossia è una misura della sua imprecisione sd(dati)/sqrt(20) [1]

9 Stima DISTRIBUZIONE EMPIRICA CUMULATIVA Per stimare la funzione di guasto, è possibile usare la functionecdf() che stima la funzione di distribuzione empirica cumulativa Per conoscere i valori dei gradini: Teoricamente In R: ) F x ( ) num. dati x = N cf<-ecdf(dati) cf(sort(dati)) [1] [16] sort(dati) [1] [13] Per stimare la funzione di affidabilità: Stima FUNZIONE DI AFFIDABILITA plot(sort(dati),1-cf(sort(dati)),type='s') title('funzione di affidabilità') points(sort(dati),1-cf(sort(dati)),pch=20) 18 9

10 Se i dati sono in Tabella. Età in mesi Frequenza dei guasti TOTALE 262 Le formule relative a media e varianza vanno corrette con i centri delle classi: k k fi 2 2 fi x = ci e s = ( ci x) n n i= 1 i= 1 Per il loro calcolo conviene usare un ciclo forin R 19 Per calcolare la media classi<-c(0,26.99,54.99,82.99,110.99,138.99,166.99,194.99,222.99,250.99) freq<-c(127,70,27,15,11,7,3,1,1) sum<-0 for(i in 1:9){ + centro<-(classi[i]+classi[i+1])/2 + sum<-sum+centro*freq[i]/262 + } sum [1] Per calcolare la VARIANZA sum1<-0 for(i in 1:9){ + centro<-(classi[i]+classi[i+1])/2 + sum1<-sum1+(centro-sum)^2*freq[i]/262 + } sum1 [1]

11 Per calcolare la Mediana e i QUARTILI Età in mesi Frequenza dei guasti TOTALE 262 Frequenza cumulata 0,48 0,75 0,85 0,91 0,95 0,98 0,992 0, freqcumulate<-cumsum(freq)/262 cumsum(freq)/262 [1] [8] Va prima determinata la classe mediana (ossia quella contenente la frequenza cumulata 0.5, oppure 0.25/0.75 per i quartili) e poi va intersecata la retta y=0.5 con quella ottenuta Interpolando linearmente i valori della frequenza cumulata nella classe così determinata. Per la mediana, la classe di riferimento è (26.99;54.99) 21 Pertanto y = ( x 26.99) y= 0.50 x=29.96 Più in generale risulta 0.50 F( c ) M = c + ( c c ) i i i+ 1 i F( ci+ 1) F( ci) 0.25 F( c ) Q = c + ( c c ) i 1 i i+ 1 i F( ci+ 1) F( ci) 0.75 F( c ) Q = c + ( c c ) i 3 i i+ 1 i F( ci+ 1) F( ci) Qui ( c, c i i+ 1 ] denota la classe contenente rispettivamente M, Q, Q 1 3 Nella tabella, i valori della funzione di ripartizione empirica vengono assegnati all estremo destro dell intervallo. Si assume F( c ) = 0 1 Età in mesi Frequenza dei guasti , , , , , , , , TOTALE

12 Per costruire il Box Plot con questi valori Senza ricorrere a specifici pacchetti software Costruire un vettore dove inserire il min, il maxdei dati e i quartili. Fornire quel vettore come input alla function boxplot() dati<-c(0, 14.1,29.96,54.99,250.99) boxplot(dati) In questo caso, il maxviene segnalato come outliernel grafico 23 Come ripartire i dati in tabella Specialmente in presenza di database estesi, può essere utile costruire una tabella delle frequenze come quella che abbiamo appena visto. Questa tabella si riferisce a un dataset disponibile in rete che riguarda tempi di attesa ad un centralino telefonico. Come procedere 1) Copiare ed incollare il contenuto del file tempi.txt in un file 2) Salvare il file con estensione tempi.txt sul desktop e aggiungere il nome del vettore alla colonna (ad esempio tempi) 3) Spostarsi sulla cartella setwd( C:/Users/ /Desktop ) tempi<-read.table('c:/users/ /Desktop/tempi.txt,header=TRUE) 4) E stato creato un vettore tempicontenente i dati attach(tempi) 5) Stabilire gli estremi delle classi al seguente modo: 24 12

13 Passo 1: Stabilire il numero delle classi Una regola empirica consiste nel determinare quel valore di ktale che 2^k n In tal caso k=9 poiché length(tempi) [1] 262 Passo 2: Determinare l ampiezza delle classi max min h k e 2^8=256, 2^9=512 diff(range(tempi))/9 [1] Il valore viene arrotondato a 28. Passo 3: Determinare gli estremi delle classi Arrotondando l ampiezza della classe, l unione delle classi copre un intervallo di ampiezza maggiore del campo di variazione Unione classi= 252 Campo di variazione= 249 Siccome 28 9= , la quantità = va equamente ripartita a sinistra del minimo e a destra del massimo. 25 Ossia min( tempi) = estremo sinistro I classe Quindi la prima classe è ( , = ) La seconda classe è ( , =.) Per costruire il vettore degli estremi in R, bisogna prima inizializzare un vettore numerico: clas<-numeric(10) Poi calcolare gli estremi delle classi e memorizzarli in clas: clas[1]< for(i in 2:10) { + clas[i]=clas[i-1]+28 + } clas [1] [10] clas[1]<

14 Infine, ripartire i dati nelle classi con la function cut() tempi.cut=cut(tempi,clas,right=true) Calcolare le frequenze di occorrenza nelle classi con la function table() tempi.freq=table(tempi.cut) tempi.freq tempi.cut (0,27] (27,55] (55,83] (83,111] (111,139] (139,167] (167,195] (195,223] (223,251] 1 1 xx<-cbind(tempi.freq) Istruzione per assegnare al vettore XX le frequenze assolute 27 Ad esempio per La funzione di ripartizione plot(clas[2:10],cumsum(xx),type='s',col='red',lwd=4, + main='frequenze cumulate',xlab='tempi',ylab='freq. ass cum') 28 14