La struttura dei dati

Transcript

1 La struttura dei dati Carattere Qualitativo (mutabile statistica) Unità statistica Osservazione di uno o più caratteri Carattere Quantitativo (variabile statistica) Collettivo statistico Pagina 1 Rilevazione dei dati statistici Da un indagine condotta ad un anno dalla laurea sui laureati nell a.a. 003/004 ad un corso di laurea triennale della facoltà di Scienze della Comunicazione, si sono ottenuti i seguenti dati: A B C D E F G H I J K M N P Q UNITA' genere LaureaNO Tesi VotoL Durata LavOggi Settore Qualifica Contratto OreLav LavAdeguato UnivOggi Solo Reddito u1 F STC NO, non cerco u M STC SI NO 0 u3 F SCPO SI SI 5 u4 F STC NO, in cerca u5 M SCPO NO, non cerco u6 F COOP SI u7 M COOP SI SI u8 M STC SI SI 1 u9 F SCPO NO, non cerco u10 F STC NO, non cerco u11 M SCPO SI SI 3 u1 F SCPO NO, non cerco u13 F SCPO NO, non cerco u14 F SCPO NO, non cerco u15 F STC NO, non cerco u16 F SCPO SI SI 1 u17 F SCPO NO, in cerca u18 F SCPO NO, in cerca u19 M SCPO NO, in cerca u0 F STC NO, non cerco u1 F SCPO NO, non cerco u M STC SI SI 5 u3 M STC NO, non cerco u4 F SCPO NO, non cerco u5 M SCPO NO, non cerco u6 F STC SI x 1 NO Pagina

2 Rilevazione dei dati statistici Da un indagine condotta sui laureati nell a.a. 010/011 ad un corso di laurea triennale della Sapienza Università di Roma, si sono ottenuti i seguenti dati: Unità statistica di rilevazione Corso di laurea Conclusione del percorso di studio Voto di laurea Intervistato 1 Economia In corso 100 Intervistato Economia Fuori corso 106 Intervistato 3 Comunicazione In corso 110 Intervistato 4 Comunicazione Fuori corso 104 Intervistato 5 Comunicazione Fuori corso 101 Intervistato 6 Ingegneria In corso 90 Intervistato 7 Ingegneria In corso 110 Pagina 3 La matrice dei dati Da un indagine condotta sui laureati nell a.a. 010/011 ad un corso di laurea triennale della Sapienza Università di Roma, si sono ottenuti i seguenti dati: Unità statistica di analisi Numero laureati in corso Numero laureati fuori corso Voto medio di laurea Economia Comunicazione Ingegneria Pagina 4

3 Distribuzione di frequenza Carattere X Frequenza Frequenza Frequenza Assoluta Relativa Percentuale n i f i = n i /n p i = f i x 100 x 1 n 1 f 1 p 1 x n f p x i n i f i p i x K n K f K p K Totale n Pagina 1 Trasformazioni della scala di misura dei caratteri DA A Nominale Ordinale Scala di intervalli Scala di rapporti Nominale Introdurre parametri Introdurre parametri Introdurre parametri Ordinale Non tenere conto dell ordine Introdurre parametri Introdurre parametri Scala di intervalli Suddividere in classi e non tenere conto dell ordine Suddividere in classi Scala di rapporti Suddividere in classi e non tenere conto dell ordine Suddividere in classi Pagina 6

4 Trasformazione di un carattere: da quantitativo a qualitativo ordinale Supponiamo di aver rilevato il voto di laurea di un collettivo di laureati : il voto minimo è 90, il massimo 110 e lode (111) Si tratta di un carattere quantitativo Può essere trasformato in una mutabile ordinale raggruppando in classi le modalità numeriche ed associando a ciascuna di esse un attributo Le classi devono essere esaustive e non sovrapposte [ Estremo incluso Classi di reddito [da 90 a 95) [da 95 a 100) [da 100 a 105] Attributo Basso Mediobasso Medio ) Estremo escluso (da 105 a 108) Medio-alto [da 108 a 111] Alto Pagina 7 Trasformazione di un carattere: da quantitativo a qualitativo ordinale Supponiamo di aver rilevato il voto di reddito annuo su un collettivo di occupati: il reddito minimo è 4000 euro, il massimo euro Si tratta di un carattere quantitativo a scala di rapporti Può essere trasformato in una mutabile ordinale raggruppando in classi le modalità numeriche ed associando a ciascuna di esse un attributo Le classi devono essere esaustive e non sovrapposte [ Estremo incluso ( Estremo escluso Classi di reddito [da a ] (da a 0.000] (da a 5.000] (da a ] (da a ] Attributo Basso Mediobasso Medio Medio-alto Alto ] Estremo incluso Pagina 8

5 Trasformazione di un carattere: da qualitativo a quantitativo Supponiamo di aver rilevato la mutabile ordinale Conclusione del percorso di studio in un collettivo di laureati, distinguendo in laureati in corso e laureati fuori corso La mutabile sconnessa può essere trasformata in carattere quantitativo facendo corrispondere a ciascuna modalità il numero di anni accademici necessari per conseguire il titolo in corso e il numero minimo di anni accademici per essere considerato fuori corso Modalità attributo Modalità numerica In corso 3 Fuori corso 4 Pagina 9 Trasformazione di un carattere: da qualitativo a quantitativo Supponiamo di aver rilevato la mutabile ordinale titolo di studio in un collettivo di occupati, distinguendo nessun titolo, licenza elementare, media inferiore, diploma, laurea triennale, laurea magistrale La mutabile ordinale può essere trasformata in carattere quantitativo facendo corrispondere a ciascuna modalità il numero di anni scolastici necessari per conseguire il titolo corrispondente Modalità attributo Modalità numerica Nessun titolo 0 Licenza elementare 5 Licenza media 8 inferiore Diploma 13 Laurea triennale 16 Laurea magistrale 18 Pagina 10

6 Riepilogo sui caratteri = o > o < + o - x o / Sconnessa si no no no Ordinale si si no no Scala intervalli si si si no Scala rapporti si si si si Pagina 11 Frequenze Cumulate Hanno senso solo se il carattere in esame è almeno un carattere qualitativo ordinale La frequenza cumulata associata alla modalità x i del carattere rappresenta il numero di u.s. che presentano una modalità non superiore a x i Frequenze Cumulate si ottengono sommando le frequenze assolute (relative o percentuali) associate alle modalità inferiori o uguali alla modalità per la quale si sta calcolando la frequenza cumulata Pagina

7 Osservazione Sommatoria x : indica in modo sintetico la somma di un insieme di numeri x Sia x 1 =3, x =5, x 3 =1, x 4 =9, x 5 =15 Pagina 13 Calcolo delle frequenze cumulate Ovviamente in corrispondenza della modalità più grande x K si avrà Frequenza assoluta cumulata N K =n Frequenza relativa cumulata F K =1 Frequenza percentuale cumulata P K =100 Pagina 14

8 In sintesi Carattere X Frequenza Assoluta n i Frequenza Cumulata N i x 1 n 1 N 1 =n 1 x n N =n 1 +n x i n i N i =n 1 +n + +n i x K n K N K =n Totale n Pagina 15 Indici sintetici di dimensione Obiettivo dell analisi dei dati : studiare i fenomeni collettivi che si manifestano in modo diverso da unità a unità variabilità Sintesi della distribuzione del carattere con una sola modalità (valore) Indici sintetici di dimensione: medie La media dà un idea sintetica della distribuzione del carattere sul collettivo in esame Pagina 16

9 Le medie Esistono molti tipi di media a seconda dell informazione che si vuole fornire e del tipo di situazione che si sta analizzando La media deve essere un valore omogeneo con i dati osservati compreso tra le modalità della distribuzione (tra le modalità minima e massima se si è in presenza di una mutabile ordinale o di una variabile (principio di Cauchy)) Si distinguono: medie di posizione medie analitiche Pagina 17 Medie di Posizione Moda e Mediana Si possono calcolare sia per caratteri qualitativi che quantitativi Modalità che occupano particolari posizioni all interno della distribuzione del carattere Non necessariamente cambiano se cambiano i dati della distribuzione Sfruttano solo parzialmente l informazione disponibile Pagina 18

10 Moda Si può calcolare sia per caratteri qualitativi che quantitativi Modalità cui corrisponde la max frequenza (assoluta, relativa o percentuale) Può non essere unica Se il carattere è diviso in classi Classe modale: classe di modalità a cui corrisponde la max densità media di frequenza Pagina 19 Esempio: qual è la moda? Distribuzione dei laureati di SDC nell a.a. 003/004 per Corso di Laurea CDL n i STC 48 SCPO 71 La moda è SCPO COOP 6 Totale 15 Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 secondo la Soddisfazione della Scelta Universitaria Soddisfazione n i f i p i Per nulla Poco Abbastanza La moda è ABBASTANZA Pienamente Totale Pagina 0

11 Esempio: qual è la moda? Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Num. Corsi Frequentati Num. Corsi Freq. n i Num. Corsi Freq. n i Totale La moda è 3 Totale 83 Pagina 1 Esempio: distribuzione multimodale Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Tipo di Maturità Tipo di Maturità n i f i p i Classica 1 0,300 30,0 Scientifica 1 0,300 30,0 Tecnica 7 0,175 17,5 Altro 9 0,5,5 Totale Tipo di Maturità n i f i p i Classica 1 0,300 30,0 Scientifica 1 0,300 30,0 Tecnica 7 0,175 17,5 Altro 9 0,5,5 Totale La distribuzione è bimodale Le mode sono Classica e Scientifica Pagina

12 Esempio: classe modale Distribuzione di laureati di SDC nell a.a. 003/004 per Voto di Laurea Voto Laurea n i [87-98] 18 (98-10] 7 (10-105] 5 ( ] 35 Qual è la classe modale? ( ] 5 Totale 130 Voto Laurea n i a i d i [87-98] ,64 (98-10] 7 (10-105] 5 ( ] ,75 8,33 8,75 La classe modale è ( ] ( ] 5 1,50 Totale 130 Pagina 3 Mediana Si può calcolare per caratteri qualitativi ordinati e per caratteri quantitativi Definizione modalità che bipartisce la graduatoria (crescente o decrescente) delle osservazioni U.S. Alice Marco Elisa Lucia Fabio Modalità Basso Basso Medio Medio Alto Mediana Pagina 4

13 Mediana: il calcolo 1) Ordinare in senso crescente (decrescente) le u.s. rispetto alle modalità su di esse osservate del carattere in esame ) Individuare l unità che occupa il posto centrale n dispari Il posto centrale è n pari n 1 Ci sono due posti centrali : n e n 1 Pagina 5 Mediana: il calcolo 3) Calcolare la Mediana: è la modalità presentata dall unità individuata al punto ) n dispari La mediana è la modalità dell u.s. che occupa il posto n 1 cioè Me= x n1 n pari La mediana è rappresentata dalla coppia di modalità delle u.s. che occupano i posti n/ e (n/)+1 cioè Me= x (n/) e Me=x (n/)+1 Se il carattere è quantitativo, la mediana è la semisomma delle modalità individuate cioè x n x n 1 Me Pagina 6

14 Esempio Distribuzione unitaria dei giudizi di 5 studenti Senza ordine U.S. Giudizio U1 Buono U Insuf. U3 Discreto U4 Suff. U5 Ottimo Ordine crescente Posto U.S. Giudizio 1 U Insuf. U4 Suff. 3 U3 Discreto 4 U1 Buono 5 U5 Ottimo n 5 n1 3 x n 1 x Discreto 3 La mediana è Discreto Pagina 7 Esempio Distribuzione unitaria dei voti di 8 studenti Senza ordine U.S. Voto U1 U 30 U3 8 U4 18 U5 7 U6 0 U7 5 U8 8 Ordine crescente Posto U.S. Voto 1 U4 18 U6 0 3 U1 4 U7 5 5 U5 7 6 U3 8 7 U8 8 8 U 30 n 8 n n 15 4 x n x 5 x 7 4 x Me x x n 1 Le mediane sono 5 e 7 n n 1 x4 5 x Pagina 8 6

15 Esempio: mediana per una distribuzione di frequenza Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 secondo la Soddisfazione della Scelta universitaria Soddisfazione n i N i Per nulla 4 4 Poco Abbastanza Posti in graduatoria Da 1 a 4 Da 5 a 38 Da 39 a 3 La mediana è Abbastanza Pienamente Totale 83 Da 4 a 83 n 83 n1 14 x n x 1 14 Abbastanza Pagina 9 Proprietà della Mediana 1) E sempre compresa tra la modalità minima x 1 e la modalità massima x K del carattere ) E robusta cioè è poco sensibile ai cambiamenti che possono avvenire sulle modalità estreme della distribuzione del carattere Pagina 30

16 Quartili Primo quartile Q 1 : modalità che nella graduatoria (crescente o decrescente) bipartisce il 50% delle osservazioni con modalità più piccole o al più uguali alla Me Terzo quartile Q 3 : modalità che nella graduatoria (crescente o decrescente) bipartisce il 50% delle osservazioni con modalità più grandi o al più uguali alla Me U.S. A G I F B D L H E M C x j Me Q 1 Q 3 Pagina 31 Esempio Distribuzione unitaria degli affitti settimanali in euro pagati da 19 studenti Senza ordine U.S. Affitto U1 40 U 43 U3 35 U4 33 U5 45 U6 40 U7 36 U8 36 U9 4 U10 38 U11 48 U1 51 U13 39 U14 4 U15 46 U16 59 U17 53 U18 55 U19 4 Ordine crescente Posto U.S. Affitto 1 U4 33 U U U U U U U U U U U U U U U U U U16 59 Affitto Primo Quartile è 38 La mediana è 4 Terzo Quartile è 48 Pagina 3

17 Esempio: mediana e quartili Calcolo di mediana e quartili MEDIANA n 19 n Me x x n QUARTILI n Q 1 xn x5 4 3 n Q x x 3 n Pagina 33 Medie Analitiche Media aritmetica Si possono calcolare solo per caratteri quantitativi (variabili continue o discrete) Sono funzioni matematiche di tutti i dati osservati Cambiano se si cambia anche un solo dato Sfruttano completamente l informazione statistica disponibile Pagina 34

18 Media Aritmetica: il calcolo 1) Distribuzione unitaria semplice del carattere X x 1, x,, x i, x n U.S. Voto Maturità Ammontare del carattere n M Pagina 35 Media Aritmetica: il calcolo ) Distribuzione semplice di frequenze assolute del carattere X Car. X FREQUENZE ASSOLUTE FREQUENZE RELATIVE x 1 n 1 f 1 x n f x i n i f i x K n K f K Totale n 1 MEDIA ARITMETICA PONDERATA Pagina 36

19 Esempio: distribuzione di frequenze Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Num. Corsi Frequentati n 83 K 7 Num. Corsi n Freq. i Totale 83 x i n i 1*15=15 *43=86 3*103=309 4*80=30 5*3=160 6*8=48 7*=14 95 (1 15) (43) (3103) (480) (53) (68) (7) 95 M Pagina 37 Esempio Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Voto di Maturità n 40 K 4 Voto Maturità n i Totale 40 x i n i Pagina 38

20 Media Aritmetica: il calcolo 3) Distribuzione semplice di frequenze assolute del carattere X raggruppato in classi Car. X n i Valori centrali (x 0, x 1 ] n 1 (x 1, x ] n (x i-1, x i ] n i (x K-1, x K ] n K Totale n c 1 c c i c K Pagina 39 Esempio Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Voto di Maturità n 83 K 5 Voto Maturità n i [60-70] 7 (70-80] 78 (80-90] 65 (90-95] 18 (95-100] 50 Totale 83 c i c i n i i c 1 65 Pagina 40

21 Proprietà della media aritmetica Maschi Voto Maturità n i Totale 16 x i n i Femmine Voto Maturità n i Totale 3 x i n i Pagina 41 segue proprietà della media aritmetica La media di un collettivo è la media aritmetica delle medie dei sottogruppi in cui si può ripartire il collettivo stesso ponderata per le numerosità dei sottogruppi Gruppo 1 3 h L Medie M 1 M M 3 M h M L Numerosità n 1 n n 3 n h n L L Mhnh h M 1 L con n n h1 n h Pagina 4

22 Punti deboli della media aritmetica Robustezza: sensibilità ai valori estremi Rappresentatività nei confronti di distribuzioni asimmetriche. La media aritmetica è un valore rappresentativo nei confronti di distribuzioni simmetriche Pagina 43 Variabilità o Dispersione Definizione Attitudine di un fenomeno ad assumere diverse modalità Pagina 44

23 Le medie non bastano Esempio: caratteri quantitativi Condominio A u.s. Numero televisori u1 8 u 8 u3 8 u4 8 u5 8 Me=M=8 Condominio B u.s. Numero televisori u1 3 u 5 u3 8 u4 10 u5 14 Me=M=8 Misure di sintesi Medie Indici di variabilità/dispersione (Car. Quantitativi) Indici di mutabilità (Car. Qualitativi) Pagina 45 Requisiti degli indici di variabilità e dispersione Assume valore minimo se e sole se tutte le u.s. presentano la stessa modalità Positivo se c è variabilità o dispersione Aumenta all aumentare della diversità tra le modalità assunte dalle u.s. Non cambia se le frequenze vengono moltiplicate per una costante positiva Pagina 46

24 Indici di variabilità e dispersione Indici di variabilità La variabilità si misura considerando tutte le differenze tra le modalità della distribuzione presentate dalle u.s. prese due a due Differenze Medie Indici di dispersione La dispersione si misura con gli scarti tra le modalità presentate dalle u.s. e un indice di dimensione della distribuzione (M o Me) Varianza Scostamento (scarto) quadratico medio Pagina 47 Esempio: calcolo della varianza U.S. Temperatura Minima A 9 (x i - M) 6.9 (x i - M) n 10 B C D E F G H I J ( X) Var( X) Pagina 48

25 Esempio: calcolo della varianza Distribuzione degli studenti di SDC frequentanti la facoltà nell a.a. 001/00 per Num. Corsi Frequentati Num. Corsi n i Freq Totale 83 x i n i (x i -M ) (x i -M ) n i n 83 K 7 ( X) Var( X) Pagina 49 Scarto quadratico medio e varianza Distribuzione unitaria Scostamento quadratico medio (deviazione standard) Varianza (non ha la stessa unità di misura del carattere) Devianza Var( X) x M x M x M 1 n n x M x M x M 1 n x M x M x Dev( X) M 1 n n Distribuzione semplice di frequenze Scostamento quadratico medio (deviazione standard) Varianza (non ha la stessa unità di misura del carattere) Devianza Var( X) x M n x M n x M 1 1 i i K x M n x M n x M 1 1 i x M n xi M ni xk M nk Dev( X) 1 1 n n i K n K n K Pagina 50

26 Indici di variabilità relativa Consentono di effettuare confronti sulla variabilità di fenomeni che presentano unità di misura differenti pur avendo la stessa unità di misura hanno valori medi differenti e quindi distribuzioni differenti In alcune situazioni è fuorviante utilizzare la deviazione standard per il confronto: della variabilità di una variabile osservata su due collettivi differenti di u.s. della variabilità di due o più variabili osservate sul medesimo collettivo di u.s. Pagina 51 Indici di variabilità relativa Ci permettono di misurare la variabilità indipendentemente dalla grandezza e dalla scala di misura del carattere Indici percentuali di variabilità o dispersione Indici di variabilità o dispersione relativa Sono numeri puri non hanno unità di misura Pagina 5

27 Indici di variabilità relativa Indici percentuali di variabilità o dispersione ottenuti dividendo l indice di variabilità (dispersione) assoluto per la media rispetto alla quale è stato calcolato Coefficiente di variazione CV 100 M Indici di variabilità o dispersione relativa ottenuti dividendo l indice di variabilità (dispersione) assoluto per il valore massimo che esso può assumere in una situazione ipotetica Deviazione standard relativa max() Numero compreso tra 0 e 1 Pagina 53 Esempio: due variabili diverse In un collettivo di 91 ragazze la media del peso è pari a 55.1 Kg e la deviazione standard è pari a 5.7 Kg La media della statura è pari a cm e la deviazione standard è pari a 6.1 cm E maggiore la variabilità del peso o la variabilità della statura? Le variabili misurate sono diverse perché espresse in diverse unità di misura Pagina 54

28 Esempio: due gruppi con valori molto distanti Tre neonati pesano rispettivamente 3, 4 e 5 Kg (media=4 Kg e =1 Kg) Tre bambini di 1 anno pesano 10, 11 e 1 Kg (media=11 Kg e =1 Kg) La variabile misurata è la stessa ma i valori medi delle osservazioni nei due gruppi sono molto distanti (le osservazioni nei due gruppi sono su diversi ordini di grandezza) La deviazione standard è uguale nei due gruppi ma il buon senso suggerisce che la variabilità del peso sia maggiore nei neonati!! Pagina 55 Soluzione Media Dev. Standard CV Peso 55.1 Kg 5.7 Kg 10.3% Statura cm 6.1 cm 3.7% La variabilità del Peso è maggiore della variabilità della Statura Media Dev. Standard CV Neonati 4 Kg 1 Kg 5.0% Bambini di 1 anno 11 Kg 1 Kg 9.1% La variabilità del Peso è maggiore nei collettivo dei Neonati Pagina 56

29 Altri indici di variabilità Differenza Interquartilica W Q 3 Q 1 R 0 R=0 non c è variabilità W rappresenta il campo di variazione per il 50% delle unità centrali Pagina 57 BoxPlot Tasso di variazione annua della produttività del lavoro Pagina 58

30 Box Plot Rappresentazione grafica della distribuzione di un carattere quantitativo che mette in evidenza la sua variabilità Elementi caratteristici 1) 1 punto che individua la posizione della media (aritmetica o mediana) della distribuzione ) 1 rettangolo (box) la cui altezza rappresenta la variabilità dei valori prossimi alla media scelta 3) segmenti che partono dai lati maggiori del rettangolo e i cui estremi sono rappresentati dai valori minimo e massimo della distribuzione Pagina 59 BoxPlot Tasso di variazione annua della produttività del lavoro Terzo quartile Mediana Primo quartile Pagina 60

31 Quale Box Plot? Box plot con mediana 1) Media = mediana ) Altezza box = differenza interquartile W Estremo sup.= Q 3 Estremo inf.=q 1 3) Estremi dei segmenti Superiore=valore max Inferiore=valore min Box plot con media aritmetica 1) Media = media aritmetica ) Altezza box = Estremo sup.= M+ Estremo inf.=m- 3) Estremi dei segmenti Superiore=M+1,96 Inferiore=M-1,96 Pagina 61 Esempio Distribuzione delle nascite in 11 ospedali A B C D E F G H I L M Distribuzione ordinata delle nascite in 11 ospedali C B D I E H A G L F M Me Q 1 Q Pagina 6

32 Box Plot Terzo quartile Mediana Primo quartile Pagina 63 Box Plot con valori anomali Valori anomali: LSR + (LSR - LIR) = 5 + 1,5 (5-1) = 11 LIR - (LSR - LIR) = 1-1,5 (5-1) = -5 E anomalo il solo valore 1 dell unità F! Outlier Unità F Terzo quartile Mediana Primo quartile Pagina 64

33 Box Plot: variabilità a confronto Tasso di variazione annua della produttività del lavoro per tre diversi settori produttivi Pagina 65 Mutabilità Sinonimo di eterogeneità Le misure di mutabilità si basano sull analisi delle frequenze Mutabilità nulla = tutte le u.s. presentano la stessa modalità Massima omogeneità Tutte le n i sono uguali a zero tranne una che è pari a n Mutabilità massima = le frequenze delle varie modalità sono tutte uguali Minima omogeneità n 1 =n = =n i = =n K =n/k Pagina 66

34 Indici di mutabilità o eterogeneità Devono esser nulli tutte le u.s. presentano la stessa modalità Crescere all aumentare della mutabilità o eterogeneità Indice di Gini Pagina 67 Indici di mutabilità o eterogeneità Indice di Gini Indice di Gini Relativo G 1 K j1 n j n G G max( G) 1 1 K Assume valori tra 0 e 1-(1/K) Assume valori tra 0 e 1 Pagina 68