Analisi dei dati. Statistica descrittiva

Transcript

1 Analisi dei dati DATI GREZZI SINTESI DELLE OSSERVAZIONI ELABORAZIONE DATI Statistica descrittiva Si occupa dell analisi di un certo fenomeno relativo a un certo gruppo di soggetti (popolazione) sulla base della rilevazione completa delle informazioni (censimento). Tali informazioni vengono sintetizzate tramite opportuni indici statistici (es: voto medio all esame di statistica sulla base dei voti di tutti gli studenti).

2 Definizioni variabile (carattere) caratteristica che viene presa in esame in un certo studio statistico (es: età, sesso, titolo di studio, peso) modalità modo di manifestarsi di una variabile unità statistica singola unità elementare su cui vengono osservati i caratteri oggetto di studio (es.: studente, famiglia) popolazione insieme di unità statistiche omogenee rispetto a una o più caratteristiche (es: studenti dell Università di Napoli, residenti nella regione Campania, popolazione delle famiglie italiane) 3 Frequenze assolute e relative frequenza assoluta (n j ) di una modalità x j, o di una classe di modalità (x j- ;x j ) numero di unità statistiche che presentano tale modalità frequenza relativa (f j ) di una modalità x j, o di una classe di modalità (x j- ;x j ) -la frazione o proporzione di u.s. che presentano tale modalità. Proprietà: n n j j f = J = j =,,..., J j n N j j= 0 f j J f = j j= j =,,..., J 4

3 Finalità delle frequenze relative Facilitare la percezione del PESO delle modalità Sesso M F Freq. Assoluta Freq. Relativa Freq. Rel. % Totale Sesso Freq. Assoluta Freq. Rel. % Facilitare CONFRONTI tra popolazioni M Pop. A 750 Pop. B 850 Pop. A 58.3 Pop. B 85.0 F Totale Frequenze cumulate e funzione di ripartizione Frequenze cumulate numero di unità statistiche con valori di X x j Funzione di ripartizione (F(x j )) di una variabile X - proporzione di unità statistiche con valori di X x j F( x f j ) = = k j freq.cum.( x j ) n j = j k= k 6

4 Mod.tà Freq. Fr. rel. Freq.cum F(x) x n f n f x n f n + n f +f x j x J n j n J f j f J n + n + + n j N f +f + + f j Totale N 7 Esempio: altezza rilevata su 30 individui Individuo n. sesso altezza m 50 f 70 3 m 7 4 f 7 5 m 57 6 f 80 7 m 7 8 m 7 9 m 73 0 f 70 f 67 f 65 3 f 67 4 f 80 5 m 80 6 m 85 7 m 90 8 f 58 9 f 45 0 f 65 m 90 f 90 3 m 60 4 m 60 5 f 67 6 f 68 7 f 56 8 m 66 9 f m 6 Classe Frequenza % cumulativa % % % % % % % % % % % % Altro % Frequenza Percentuale di individui la cui altezza è minore o uguale di 70 cm. Numero di individui la cui altezza è compresa fra 66 e 70 cm. Distribuzione di frequenze 65 Classe di altezza Altro 00.00% 80.00% 60.00% 40.00% 0.00%.00% Frequenza % cumulativa 8

5 Indagine sulla fecondità (INF/, 995) Sottoinsieme delle donne coniugate o conviventi residenti nelle regioni del centro Italia Alcune delle caratteristiche rilevate Anno di nascita, nella forma aa Titolo di studio alla data dell intervista Anno di nascita del primo figlio Anno di nascita del secondo figlio Numero totale di figli Ha mai lavorato? (=no, =in passato, 3=attualmente) 9 Matrice dei dati da INF/ (587 donne) ID ANNONASC TITSTUD FIGLIO FIGLIO NFIGLI MAILAV

6 Operazioni di spoglio: dalla matrice dei dati alle tabelle Numero di figli alla data dell intervista Cumulative Cumulative NFIGLI Frequency Percent Frequency Percent ************************************************************** Anno di nascita della donna Cumulative Cumulative ANNONASC Frequency Percent Frequency Percent ************************************************************** Per una migliore lettura: definizione delle classi di modalità!

7 Anno di nascita della donna: raggruppamento in classi Cumulative Cumulative ANNONASC Frequency Percent Frequency Percent ************************************************************** Titolo di studio alla data dell intervista Cumulative Cumulative TITSTUD Frequency Percent Frequency Percent ************************************************************** Per una migliore lettura: decodifica delle modalità! =licenza elementare; =licenza media 3-5=diploma 6=diploma universitario; 7=laurea 4

8 Titolo di studio alla data dell intervista: decodifica delle modalità Cumulative Cumulative TITSTUD Freq Percent Frequency Percent ************************************************************** lic. elementare lic. media diploma diploma univ laurea Condizione lavorativa alla data dell intervista MAILAV Frequency Percent ******************************** Totale Per una migliore lettura: decodifica delle modalità! MAILAV Frequency Percent ****************************************************** mai lavorato lavorato in passato lavora attualmente Totale

9 Aspetti notevoli delle distribuzioni centro Coda sinistra Coda destra 7 Aspetti caratterizzanti le distribuzioni: posizione e variabilità Posizione Più a sinistra Più a destra Variabilità Meno variabile più variabile 8

10 Aspetti caratterizzanti le distribuzioni: forma Asimmetrica simmetrica 9 Indici caratteristici delle distribuzioni posizione variabilità forma Indice di posizione 0

11 Indici di posizione (Misure di tendenza centrale) Sintesi della distribuzione attraverso un valore rappresentativo che si posiziona nel mezzo della distribuzione MODA MEDIANA MEDIA Moda Modalità a cui corrisponde la frequenza più alta. 4 moda 3 frequenze valori

12 unimodale 4 3 Moda moda frequenze bimodale valori moda 3 frequenze valori 3 4 Moda moda multimodale frequenze valori no moda 4 3 frequenze valori 4

13 Moda E l unica misura di tendenza centrale che può essere usata con dati qualitativi Individuo Scarpa Colore Misura nero 4 blu 38 3 giallo 4 4 blu 4 5 nero 4 6 giallo 40 7 bianco 36 8 nero 36 9 nero 4 0 rosso 36 moda_colore = nero moda_misura = 4 freq Alberghi di Assisi per categoria stella stelle 3 stelle 4 stelle moda categoria Freq. modale 5 Moda Non è influenzata dai valori estremi 4 moda 3 frequenze valori valore estremo 6

14 Moda per Classi Nel caso di distribuzioni di frequenze per classi, la classe cui corrisponde la massima frequenza viene detta classe modale. Bisogna però prestare attenzione nel caso in cui le classi abbiano uguale ampiezza o meno: Nel caso di classi di uguale ampiezza la classe modale è la classe di massima frequenza, e come valore modale si considera di solito il valore centrale della classe ( segno ) Nel caso di classi di ampiezza differente, la classe modale si determina attraverso il calcolo della densità di frequenza d i d i =frequenza assoluta/ampiezza della classe; è classe modale la classe cui corrisponde la massima densità di frequenza, e come valore modale si assume sempre, per brevità, il valore centrale della classe A seconda degli scopi è preferibile usare l'una o l'altra media. In molti casi, tuttavia, l'impiego congiunto degli stessi è utile per fornire un'informazione più completa sul fenomeno in esame. 7 Mediana valore che divide la distribuzione, ordinata in senso non decrescente (o non crescente), in due parti con un numero uguale di termini a destra e a sinistra dell asse mediano valore che occupa la posizione centrale dei dati una volta che questi siano stati ordinati 8

15 Calcolo mediana N dispari mediana + = X ( N ) N pari mediana = X N + X / ( N + ) 9 Mediana N X N X Mediana = 38 Mediana =

16 Mediana Non è influenzata da valori estremi N X Mediana = 38 3 Mediana Applicabile anche a dati qualitativi ordinabili 5 Distribuzione per titolo di studio Analfa beti Alfabe ti Elemen tari Media Diplom a Laurea 0 frequenza cumulata mediana 3

17 Mediana Rende minima la somma delle distanze rispetto ad essa mediana : n = i xi mediana = min 33 Si supponga di voler suddividere gli studenti in due gruppi di uguale numerosità. Un possibile criterio è quello di considerare, per la popolazione Studenti la variabile età, il suo valore mediano e suddividere gli studenti in base a tale valore. Si supponga di voler stabilire, fra due possibili siti A e B di una certa regione, quello che meglio si presti per la localizzazione di un centro commerciale Quartiere Distanza da A Distanza da B Distanza da A Distanza da B media mediana 3 5 max 3 33 La scelta di B assicura una locazione particolarmente conveniente per almeno il 50% dei quartieri (nel raggio di 5 km), penalizzando in compenso (alcuni) altri quartieri. La scelta di A è quella complessivamente migliore 34

18 Quantili Si dice quantile p-esimo di una distribuzione quel valore x p tale che la funzione di ripartizione F(x p )=p p (0,) x p : F( x p ) = p 35 Quantili p =0.5 mediana p =0.5,0.50,0.75 quartili p =0.,0.,,0.8,0.9 decili p=0.0,0.0,,0.98,0.99 percentili 36

19 Quartili Q, Q, Q 3 dividono la distribuzione in quattro porzioni ad ugual numerosità 5% 5% 5% 5% (minimo) Q Q (mediana) Q 3 (massimo) 37 Esempio Si vuole stabilire, fra due possibili siti A e B di una certa regione, quello che meglio si presti per la localizzazione di un centro commerciale Quartiere Distanza da A Distanza da B Distanza da A Distanza da B Quartile 7 4 Quartile Quartile 7.5 max 3 33 Circa il 5% dei quartieri ha una distanza da A maggiore o uguale a 7 e minore di 3 Circa il 50% dei quartieri ha distanza da B maggiore o uguale di 5, mentre circa il 50% dei quartieri ha distanza da A maggiore o uguale di 3. 38

20 Decili D, D, D 3, D 4, D 5, D 6, D 7, D 8, D 9 dividono la distribuzione in dieci porzioni ad ugual numerosità 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% D D D 3 D 4 D 5 D 6 D 7 D 8 D 9 39 Media aritmetica è la più semplice tra le varie analisi univariate (compiute su di una sola variabile) fornisce informazioni sull ordine di grandezza di una variabile statistica 40

21 Si definisce media aritmetica di una variabile statistica quantitativa la seguente quantità: E( X ) = µ = x = Media N X x i N i= Nel caso di dati grezzi E( X ) = µ X = x = N J i= x i n i = J i= x i f i Nel caso di tabelle di frequenza 4 Esempio: Cinetica di acidificazione (ph) di latte pastorizzato inoculato al 4% con ceppi appartenenti al genere Leuconostoc incubati a 35 C Ceppi t=0h t=3h t=4h t=5h t=6h t=7h t=8h t=9h PH medio L00 6,66 6,53 6,5 6,43 6,4 6,39 6,35 6,3 6,455 L0 6,63 6,49 6,46 6,4 6,4 6,36 6,3 6,7 6,45 L03 6,65 6,49 6,48 6,4 6,4 6,35 6,9 6,5 6,475 L04 6,64 6,49 6,46 6,4 6,4 6,36 6,3 6,7 6,4 76G 6,7 6,49 6,47 6,46 6,4 6,38 6,37 6,33 6, ,64 6,5 6,48 6,43 6,4 6,37 6,33 6,7 6,435 53P 6,67 6,5 6,46 6,43 6,4 6,38 6,36 6,7 6,

22 Esempio X = 38 Esempio X = n i= x i Proprietà della media = nx è il numero che sostituito ai singoli x i osservati ne lascia invariata la somma x + x + + xn = x + x x = n x L 44

23 Proprietà della media. 3. n i= n i= ( x i x) = 0 ( x c) è minimo per c x i = 4. se ad ogni termine della distribuzione viene applicata la trasformazione ax+b, allora la media sarà pari a a x + b 45 Media se abbiamo una variabile statistica X, dette x,x,,x k le sue modalità distinte e n,n,,n k le rispettive frequenze assolute invece di calcolare la media aritmetica si può scrivere ( x x = x nvolte nk volte k + L+ + L+ x) + L+ ( x N x n + x n + L+ x n + n + L+ n n k k = = i= k x k ) k x i N n i (MP) I coefficienti n i dei k valori distinti di X, sono detti pesi di tali valori, in quanto ne rappresentano, per così dire il peso che dà diversa importanza ai singoli valori della distribuzione statistica. La (MP) prende il nome di media aritmetica ponderata dei k valori x i,di pesi n i. 46

24 Relazione empirica tra media, moda e mediana media moda = 3(media - mediana) 47 Relazione empirica tra media, moda e mediana Moda = Media = Mediana SIMMETRICA Media Mediana Moda ASIMMETRICA A SINISTRA (negativa) Moda Media Mediana ASIMMETRICA A DESTRA (positiva) 48

25 Indici caratteristici delle distribuzioni posizione variabilità forma 49 Variabilità media diversa, stessa variabilità stessa media, variabilità diversa 50

26 Esempio variabilità A B Individuo altezza Esempio variabilità Popolazione Popolazione Individuo altezza Le due popolazioni, pur essendo notevolmente differenti hanno la stessa altezza media Altezza Media =66 La media offre un valore rappresentativo dei dati, ma non della loro variabilità intorno a tale valore. 5

27 Indice di variabilità esprime la tendenza di un carattere ad assumere modalità differenti non assume valori negativi il valore 0 è associato alla variabilità nulla assume valori via via crescenti quanto più le modalità differiscono tra loro 53 Indici di variabilità (o dispersione) (misure di variazione) indici assoluti: campo di variazione (range) scarto semplice medio varianza deviazione standard (scarto quadratico medio) indici relativi: coefficiente di variazione 54

28 Campo di variazione (range) Valore più alto R= x () -x (n) Valore più basso 50% x () Q Q 3 campo di variazione x (n) differenza interquartile 55 alimento %proteine mele 0. uva 0.5 limoni 0.6 arance 0.7 pesche 0.8 pomodori carote. banane. zucchine.3 lattuga.8 patate. spinaci 3.4 pizza 4 biscotti 6.6 riso 7 pane 8. crackers 9.4 pasta 0.8 fette bisc..3 grissini.3 Calcolo di R e DI Q Q 3 R =.3 0. = Q = = Q3 = = 7.55 DI = Q Q =

29 Scarto i-mo = x i - x Individuo altezza Scarto dalla media Individuo altezza Scarto dalla media Scarti dalla media (Popolazione A) Scarti dalla media (popolazione B) 57 scarto semplice medio media degli scarti assoluti S M x -x + = x -x N x N -x S M x-x n = + x-x n n + n n k x k -x n k Popolazione A S M =.93 Popolazione B S M =

30 Varianza Devianza (somma degli scarti al quadrato) D ( x ) = i x Varianza (media degli scarti al quadrato) ( x) x i σ = n 59 Calcolo della varianza alimento energia kcal xi-m (xi-m)^ pane grissini crackers fette biscotti pasta riso pizza Totale x = σ N = ( x i x) N i= =

31 Deviazione standard (scarto quadratico medio) Deviazione standard (scarto quadratico medio) σ = ( x) n x i 6 Calcolo della deviazione standard alimento energia kcal xi-m (xi-m)^ pane grissini crackers fette biscotti pasta riso pizza Totale x = σ = σ = =

32 Proprietà. gli indici S M, D, σ e σ sono sempre non negativi e assumo il valore minimo (0) se e solo se tutte le modalità della distribuzione sono uguali tra loro. la devianza può essere calcolata come (formula semplificata) D n = i= x i nx 63 Proprietà 3. se ad ogni termine della distribuzione viene applicata la trasformazione ax+b, allora gli indici di variabilità cambieranno nel modo seguente Devianza a D Varianza a σ Deviazione standard aσ 64

33 Indici relativi di variabilità dispersion e relativa = sono dei numeri puri dispersione assoluta media consentono di confrontare la dispersione di variabili con differenti unità di misura 65 Coefficiente di variazione V = σ x σ V % = 00 x 66

34 Esempio Valori di VES (velocità di elettrosedimentazione, mm/ora) misurati su due gruppi di 7 pazienti stessa media {A}: { 8, 5, 7, 6, 35, 5, 4} {B}: {, 8, 0, 9, 7, 8, 7} A = 0 = in {A} i valori sono più dispersi che in {B} in {A} i valori sono inclusi tra 4 e 35 in {B} i valori sono inclusi tra 7 e 7 B 67 {A}: Esempio D = ( ) / 7 = = 740 {B}: σ = 740 / 6 = 3.33 σ =. V% = 00(./0) = % D = ( ) / 7 = = 68 s = 68 / 6 =.33 σ = 3.4 V% = 00(3.4/0) = 34% 68

35 Indici caratteristici delle distribuzioni posizione variabilità forma 69 Indici di forma coefficiente di asimmetria coefficiente di curtosi 70

36 Asimmetria Simmetrica I dati sono distribuiti in modo simmetrico se la parte sinistra e destra dell istogramma sono pressoché speculari Asimmetrica Se la distribuzione non è simmetrica, e si estende di più in una direzione 7 Asimmetria (per distribuzioni unimodali) Moda = Media = Mediana SIMMETRICA Media Mediana Moda ASIMMETRICA A SINISTRA (negativa) Moda Media Mediana ASIMMETRICA A DESTRA (positiva) 7

37 Indici di asimmetria asimmetria = x moda σ asimmetria 3 = x ( mediana) σ γ 3 ( xi x) = nσ β 3 = γ 73 Indici di curtosi

38 Indici di curtosi leptocurtosi mesocurtosi platicurtosi 75 Indici di curtosi γ ( x) 4 x i 4 = nσ 3 76

39 Esempio Ceppi t=0h t=3h t=4h t=5h t=6h t=7h t=8h t=9h PH medio Deviazione standard L00 6,66 6,53 6,5 6,43 6,4 6,39 6,35 6,3 6,455 0,5796 L0 6,63 6,49 6,46 6,4 6,4 6,36 6,3 6,7 6,45 0,4679 L03 6,65 6,49 6,48 6,4 6,4 6,35 6,9 6,5 6,475 0,65758 L04 6,64 6,49 6,46 6,4 6,4 6,36 6,3 6,7 6,4 0, G 6,7 6,49 6,47 6,46 6,4 6,38 6,37 6,33 6,455 0, ,64 6,5 6,48 6,43 6,4 6,37 6,33 6,7 6,435 0, P 6,67 6,5 6,46 6,43 6,4 6,38 6,36 6,7 6, , CAMPIONE 3nm 6nm 68nm 70nm 74nm assorbanza strutto 0,9 0,57 0,57 0,58 0,46 ossidazione primaria 0,96 0,60 0,63 0,6 0,50 ossidazione secondaria Indici spettrofotometrici 0,884 0,6 0,3 0,3 0,9 0,884 0,6 0,30 0,9 0,7 0,968 0,8 0,89 0,89 0,77 media 0,95 0,50 0,54 0,54 0,4 dev std 0,035 0,04 0,05 0,05 0,05 impasto (grasso),59 0,364 0,346 0,343 0,30,308 0,57 0,497 0,494 0,47,90 0,49 0,47 0,468 0,445,08 0,384 0,373 0,373 0,353 media,4 0,439 0,4 0,40 0,397 dev std 0,070 0,076 0,073 0,073 0,07 tarallo,086 0,308 0,94 0,93 0,7 (a cottura, tcott=30min),43 0,34 0,35 0,3 0,30, 0,379 0,36 0,360 0,337,00 0,37 0,3 0,30 0,89,5 0,37 0,3 0,309 0,88 media,38 0,336 0,3 0,39 0,97 dev std 0,049 0,07 0,05 0,05 0,04 tarallo,40 0,350 0,335 0,33 0,30 (a cottura, tcott=40min),47 0,349 0,333 0,33 0,309,96 0,38 0,330 0,369 0,348,06 0,44 0,406 0,406 0,385,87 0,390 0,374 0,37 0,350 media,75 0,377 0,356 0,36 0,340 dev std 0,030 0,08 0,033 0,03 0,03 78