Analisi di dati di frequenza

Transcript

1 Analisi di dati di frequenza Fase di raccolta dei dati Fase di memorizzazione dei dati in un foglio elettronico

2 Frequenze attese uguali Si assuma che dalle risposte al questionario sullo stato civile, la distribuzione delle risposte sia stata quella riportata in tabella: Stato Civile Freq.assol. Celibe/Nubile 34 Coniugato/Convivente 27 Separato/Divorziato 39 C è una evidente differenza nella distribuzione delle frequenze? Celibe/Nubile Coniugato/Convivente Separato/Divorziato Se le frequenze fossero uguali, allora il loro valore numerico dovrebbe essere ,3 3 Grafico delle frequenze assolute Se non ci fosse differenza nelle frequenze assolute, l istogramma dovrebbe essere come quello in blu nella figura: Celibe/Nubile Coniugato/Convivente Separato/Divorziato Il test chi-quadrato misura le differenze tra le barre blu e le barre rosse e consente di decidere se tali differenze sono significative oppure no. : : : : Le frequenze attese rappresentano il numero di dati atteso per ogni modalità (o classe) se il modello teorico fosse vero. Scegliere un opportuno errore di I tipo: 0,05. Scegliere un opportuna statistica test: v.a. chiquadrato è vera è una v.a. binomiale = / 2

3 Costruire la regione di accettazione: Se le frequenze osservate sono molto diverse dalle frequenze attese, allora le differenze sono significative. Pertanto la statistica test assume valori elevati. Se le frequenze osservate sono simili alle frequenze attese, allora le differenze non sono significative. Pertanto la statistica test assume valori prossimi a zero. Regione Critica 1 à. Determinare un campione casuale e valutare una stima puntuale della statistica test:,,,,, +, Il quantile per 0,05 e k=3 vale ;, =5,99. = 2,18 Decidere se rigettare o meno l'ipotesi nulla, verificando se tale stima puntale appartiene o meno alla regione di accettazione: 2,18 0;5,99.Non si rigetta. Frequenze attese diverse Esempio: Si assuma che, alle elezioni politiche precedenti, la distribuzione dei voti ricevuti dai Partito % pregresse Freq. osservate partiti A, B e C sia quella assegnata in tabella (% pregresse). In seguito ad un exit pool, la A 0,48 39 distribuzione dei voti delle elezioni che si stanno B 0,24 31 svolgendo, è risultata essere quella relativa all ultima colonna. Stabilire se, in base ai risultati C 0,28 30 degli exit pool, è plausibile ritenere che la distribuzione dei voti sia la stessa. Rispetto all esempio precedente, le frequenze attese vanno calcolate in base alla distribuzione teorica assegnata in I colonna. Le frequenze attese rappresentano la media di una v.a. binomiale che conta il numero di preferenze per ogni partito (classe), ossia = Num.preferenze per il partito Media Freq. attese ~ 100;0, ,48 48 ~ 100;0, ,24 24 ~ 100;0, ,

4 Scegliere un opportuno errore di I tipo: 0,05. Calcolare il valore della statistica test: + = 3,87 NB: Rispetto al caso precedente, le frequenze attese sono diverse. Determinare la regione di accettazione: 0; ;,. Decidere se rigettare o meno l'ipotesi nulla, verificando se 3,87 appartiene o meno alla regione di accettazione: 3,87 0;5,99 :non si rigetta. I due esempi forniscono una applicazione del test chi-quadrato, anche detto test per la bontà di adattamento. Il test chi-quadrato può essere applicato anche per variabili di tipo quantitativo. Le frequenze attese vanno calcolate usando la formula : ; : Variabili quantitative discrete Esempio: Da una rilevazione sugli incidenti stradali condotta per 65 settimane in un dato tratto di autostrada, si è ottenuta la distribuzione di frequenza data in tabella: No. Incidenti o + Frequenza Si verifichi l ipotesi nulla che la v.a. generatrice ha legge di Poisson al livello di significatività dell 1%. E necessario acquisire informazioni sul parametro che caratterizza la v.a. di Poisson. Poiché il parametro rappresenta la media, si usa la media campionaria per ottenere una stima puntuale. = 0,29 Dalle tavole: Le prob. sono 0,741 0,222 0,033 0,004 4

5 Calcolare le frequenze attese 65. No. Incidenti Frequenze osservate Frequenze attese 48,17 14, ,17-14,43=2,40 Affinchè la somma delle frequenze attese sia uguale alla taglia del campione, la freq. attesa dell ultima classe va calcolata come L errore di I tipo è: 0,05. Il valore della statistica test è:,,,, Determinare la regione di accettazione: 0; ;, +,, = 0,098 No.classi-no.parametri stimati-1 Decidere se rigettare o meno l'ipotesi nulla, verificando se 0,098 appartiene o meno alla regione di accettazione: 0,098 0;3,84 :non si rigetta. Variabili quantitative continue Se i dati del campione casuale sono forniti usando una distribuzione in tabella, il test chi-quadrato è ancora la procedura più usata per verificare se il campione casuale proviene da una v.a. generatricecon distribuzione assegnata. Esempio: Verificare se la statura di 400 individui selezionati a caso in una certa città segue una distribuzione gaussiana. Si assuma che la media è 174 e la varianza è 16. Classi < >180 Frequenza Calcolare le frequenze attese 400 Per la prima classe è Per la seconda classe è , ,0124,8 0, ,14758,8 5

6 Per la terza classe è Per la quarta classe è Per la quinta classe è >180 > , ,440176,0 0, ,334133,6 0, ,01226,8 Classi < >180 Frequenza osservata Frequenza osservata 4,8 58,8 176,0 133, ,2=28,8 L errore di I tipo è: 0,05. Il valore della statistica test è:, Determinare la regione di accettazione: 0; ;,,,, + +,, = 3,9 Decidere se rigettare o meno l'ipotesi nulla, verificando se 3,9 appartiene o meno alla regione di accettazione: 3,9 0;9,4877 :non si rigetta. Test di Kolmogorov-Smirnov Se i dati del campione casuale non sono forniti in tabella, conviene usare una procedura diversa: il test di Kolmogorov-Smirnov. Il test di Kolmogorov-Smirnov consente di stabilire se due campioni provengono da due popolazioni aventi la medesima legge di probabilità L idea è quella di costruire le funzioni di ripartizioni empiriche per i due campioni e poi di valutare la distanza massima tra queste ultime. Nell uso che faremo del test, un modello è quello teorico, ipotizzato per la variabile generatrice e l altro è quello empirico. Modello teorico 6

7 Esempio: L osservazione della durata (in ore) della batteria per cellulare di una data marca in 24 esemplari di prodotto ha dato luogo ai seguenti risultati: 58,7 64,9 76,9 67,8 41,7 56,7 64,5 69,7 82,1 82,5 40,8 74,9 71,5 75,4 67,3 73,0 70, ,3 90,4 86,8 72,8 71,8 54,5 Per applicare il test di ipotesi sulla varianza, è stato necessario assumere che la v.a. generatrice è gaussiana. Verifichiamo se tale ipotesi è legittima. I dati vanno ordinati. 40,8 41,7 54,5 56,7 58,7 64,5 64,9 67,3 67,8 69,7 70,4 71,5 71,8 72, ,9 75,4 76,9 82,1 82,3 82,5 86,8 90,4 104 Per ognuno di questi dati, è necessario calcolare il valore della funzione di ripartizione del modello teorico: ossia gaussiano. ~?,? Per effettuare l operazione di standardizzazione è necessario «stimare» puntualmente media e varianza campionaria: 70,89 14,26. La statistica test corrisponde al massimo delle differenze tra la funzione di ripartizione empirica e la funzione di ripartizione teorica. Dette quindi,,, le n osservazioni ordinate, la funzione di ripartizione empirica è definita come La funzione di ripartizione empirica 0 se x < x(1) ˆ k Fn = se x( k ) x < x( k + n 1 se x x( n) Poiché stimalaverafunzionediripartizione distanza tra il modello teorico e il modello empirico. D n = ˆ è uno stimatore corretto di F n La statistica test è la massima differenza (in valore assoluto) tra la funzione di ripartizione empirica e la funzione di ripartizione teorica max Fˆ F0 < x<+ n 1) F 0,èlogico basarsi su una qualche Se Fˆ n e F 0 sono vicine, si accetta l ipotesi nulla.? Mentre se Fˆ e F n ( x ) sono lontane, l ipotesi nulla va rifiutata. 0 Tabelle!! 7

8 Il valore P nella tavola rappresenta il complementare a 1 del livello di significatività del test. Le righerappresentano la taglia del campione casuale. La regione di accettazione del test è (0;0,26931), ossia valori della statistica test inferiori a 0,26931, sono indicatori di una sufficientemente limitata distanza tra modello empirico e modello teorico. Pertanto il campione casuale proviene da una popolazione generatrice con distribuzione gaussiana. Questo risultato valida anche il test sulla varianza, poiché tra le ipotesi necessarie all applicazione del test c è che la variabile generatrice abbia legge gaussiana. 8

9 Esempio: L osservazione della durata (in ore) della batteria per cellulare di una data marca in 24 esemplari di prodotto ha dato luogo ai seguenti risultati: 1,2 1 0,8 0,6 0,4 0,2 58,7 64,9 76,9 67,8 41,7 56,7 64,5 69,7 82,1 82,5 40,8 74,9 71,5 75,4 67,3 73,0 70, ,3 90,4 86,8 72,8 71,8 54,5 E possibile costruire un normal plot per verificare anche graficamente che il campione casuale ha andamento lineare. 0,5 Il normal plot per un test grafico Dati ordinati ,8 0, ,7 0, ,5 0, ,7 0, ,7 0, ,5 0, ,9 0, ,3 0, ,8 0, ,7 0, ,4 0, ,5 0, ,8 0, ,8 0, , ,9 0, ,4 0, ,9 0, ,1 0, ,3 0, ,5 0, ,8 0, ,4 0, , Verifica dell ipotesi di indipendenza Sia data la distribuzione doppia di frequenza relativa ad un campione casuale di individui appartenenti alle forze lavoro per genere e condizione di occupazione. Genere Occupati In cerca Totale Maschio Femmina Totale Si vuole verificare se le variabili «forza lavoro» e «genere» sono indipendenti. Sia,,, Questa procedura è già stata impiegata per calcolare l indice di connessione di Cramer. Genere Occupati In cerca Totale Maschio 61,30% 3,91% 65,22% Femmina 30,00% 4,78% 34,78% Totale 91,30% 8,70% 100% Primo passo: costruire la distribuzione congiunta 9

10 Se le variabili fossero indipendenti, gli eventi assegnati dovrebbero essere indipendenti. Se gli eventi fossero indipendenti, allora = = = = Secondo passo: La distribuzione congiunta se le variabili fossero indipendenti è: A Genere Occupati In cerca Totale Maschio 59,55%=65,22% 91,30% 5,67% 65,22% Femmina 31,76% 3,02% 34,78% Totale 91,30% 8,70% 100% Come nel caso del test chi-quadrato, è necessario misurare la «distanza» tra il modello teorico A e il modello osservato B. B Genere Occupati In cerca Totale Maschio 61,30% 3,91% 65,22% Femmina 30,00% 4,78% 34,78% Totale 91,30% 8,70% 100% Come nel caso del test chi-quadrato, è necessario confrontare le tabelle delle frequenze assolute. Terzo passo: E necessario calcolare le frequenze attese ed osservate. A FREQUENZE ATTESE Genere Occupati In cerca Totale Maschio 59,55%, 5,67%230=13, Femmina 31,76%230=73,04 3,02%2306,96 80 Totale FREQUENZE OSSERVATE B Genere Occupati In cerca Totale Maschio 61,30%230=141 3,91% Femmina 30,00% ,78% Totale NB: le frequenze assolute marginali sono uguali sia nel modello A che nel modello B. L errore di I tipo è: 0,05. 10

11 Seguendo la procedura del test chi-quadrato il valore della statistica test è:.,,,, +,, +,, = 3,95 Nel calcolo dell indice di connessione di Cramer, veniva effettuato il calcolo della differenza tra le due tabelle A e B: Genere Occupati In cerca Maschio 4,04-4,04 Femmina -4,04 4,04 Le differenze così calcolate vanno normalizzate alle frequenze assolute costruite nella tabella (A) e poi sommate al quadrato rispetto ai pesi della tabella (A). Genere Occupati In cerca Maschio 4,04/136,96-4,04/13,04 Femmina -4,04/73,04 4,04/6,96 Il calcolo di èequivalente al calcolo della statistica chi-quadrato. L indice di connessione di Cramérè un indice relativo (che varia tra 0 e 1). Il test chi-quadrato per l indipendenza si conclude mediante i seguenti passi: Determinare la regione di accettazione: 0; ;,. Mosaic-Plot 3, ,017 In generale, la regione di accettazione coinvolge il quantile di una variabile aleatoria chi-quadrato con gradi di libertà Decidere se rigettare o meno l'ipotesi nulla, verificando se 3,94 appartiene o meno alla regione di accettazione: 3,95 0;3,84 :si rigetta. 11