STATISTICA MATEMATICA 1 A.A. 2009/10 LABORATORIO DI SAS A. MICHELETTI

Transcript

1 STATISTICA MATEMATICA 1 A.A. 2009/10 LABORATORIO DI SAS A. MICHELETTI LEZIONE 6: TEST CHI QUADRO Procedura FREQ:tabelle di contingenza e confronti di proporzioni Utilizzo i dati presenti in Laur92fs.txt. Voglio verificare se vi sia una dipendenza fra la zona di residenza e il tempo impiegato per trovare il primo lavoro dopo la laurea. Poiche la variabile mesi assume troppi valori diversi, aggrego i dati in semestri. Programma chisq.sas data chisq; input regione 2-3 mesi 41-42; if regione<=7 then area='nord'; if regione>7 and regione<=12 then area='centro'; if regione>12 then area='sud'; if mesi<=6 then semestr='sem1'; if mesi>6 and mesi<=12 then semestr='sem2'; if mesi>12 and mesi<=18 then semestr='sem3'; if mesi>18 then semestr='over'; data chisq2; set chisq; where mesi>=0; /* elimino i dati persi, altrimenti assegno semestr=sem1 ogni volta che mesi=. */ proc freq data=chisq2; tables semestr*area / chisq expected deviation; /*effettuo un test chi quadro, plottando anche le frequenze attese e le differenze f_osservate - f_attese*/ L ultimo statement crea una tabella di contingenza con i valori assunti da semestr sulle righe e i valori assunti da area sulle colonne, ed effettua un test chi quadro su tale tabella 1

2 Output: Tabella di semestr per area semestr area Frequenza Prevista Deviazione Percentuale Pct riga Pct col cent nord sud Totale over sem sem sem Totale SAS System 11:39 Thursday, January 7, Statistiche per la tabella di semestr per area Statistica DF Valore Prob ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-quadrato Chi-quadrato rapp verosim Chi-quadrato MH Coefficiente Phi Coefficiente di contingenza V di Cramer Dimensione del campione =

3 Posso quindi dire che c e una dipendenza, ma solo se uso significatività piu grandi di circa 0.09 Confronto fra due proporzioni sperimentali Voglio verificare se le proporzioni di persone che trovano lavoro nei primi 6 mesi, secondi 6 mesi, etc dalla laurea siano le stesse fra laureati del nord o del sud. Uso i dati di Laur92fs.txt e creo una tabella di contingenza con sole 2 righe ( o, equivalentemente, con sole due colonne), una per il nord e una per il sud Programma confr_prop.sas data confr_prop; input regione 2-3 mesi 41-42; if regione<=7 then area='nord'; if regione>7 and regione<=12 then area='cent'; if regione>12 then area='sud'; data prop; set confr_prop; where mesi>=0 and (area='nord' or area='sud'); /* elimino i dati persi e seleziono solo nord e sud*/ /*divido i mesi in semestri*/ if mesi<=6 then semestr='sem1'; if mesi>6 and mesi<=12 then semestr='sem2'; if mesi>12 and mesi<=18 then semestr='sem3'; if mesi>18 then semestr='over'; 3

4 Output: Tabella di area per semestr area semestr Frequenza Prevista Percentuale Pct riga Pct col over sem1 sem2 sem3 Totale ƒƒƒƒƒƒƒƒˆ nord ƒƒƒƒƒƒƒƒˆ sud ƒƒƒƒƒƒƒƒˆ Totale Statistiche per la tabella di area per semestr Statistica DF Valore Prob ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-quadrato Chi-quadrato rapp verosim Chi-quadrato MH Coefficiente Phi Coefficiente di contingenza V di Cramer Dimensione del campione = 1360 Dai risultati osservo quindi che le proporzioni di tempi di attesa del primo lavoro non sono significativamente diverse fra nord e sud (misurando il tempo in semestri). Dunque se nel primo test avevo deciso di rigettare H0, la causa erano i tempi di attesa significativamente diversi delle persone residenti al centro. Confronto fra una proporzione sperimentale e una teorica CASO 1: utilizzo dell approssimazione asintotica della binomiale con la normale Mi chiedo se la proporzione di persone che trovano lavoro entro il primo semestre sia uguale al 60% del totale, indistinto rispetto all area di provenienza, ossia verifico H0: prop. persone che trovano lavoro entro il 1 semestre = 0.6 prop. persone che trovano lavoro dopo il 1 semestre = 0.4 4

5 contro tutte le alternative. Programma conf_prop_binom1.sas data confr_prop; input mesi 41-42; data prop; set confr_prop; where mesi>=0 ; /* elimino i dati persi */ /*divido i mesi in semestri*/ if mesi<=6 then semestr='firstsem'; /* cambio nome in modo che risulti prima di over in ordine alfabetico */ if mesi>6 then semestr='over'; proc freq data=prop; tables semestr / binomial (p=0.6); OUTPUT: Frequenza Percentuale semestr Frequenza Percentuale cumulata cumulata ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ firstsem over Proporzione binomiale per semestr = firstsem ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Proporzione ASE Limite conf inferiore 95% Limite conf superiore 95% Limiti conf esatti Limite conf inferiore 95% Limite conf superiore 95% Test di H0: Proporzione = 0.6 ASE con H Z Pr unilaterale > Z Pr bilaterale > Z Dimensione del campione =

6 Dunque sul totale degli intervistati circa il 60% trova lavoro entro il primo semestre. Eseguiamo lo stesso test sugli intervistati divisi per area geografica: Programma conf_prop_binom1.sas data confr_prop; input regione 2-3 mesi 41-42; if regione<=7 then area='nord'; if regione>7 and regione<=12 then area='cent'; if regione>12 then area='sud'; data prop; set confr_prop; where mesi>=0 ; /* elimino i dati persi */ /*divido i mesi in semestri*/ if mesi<=6 then semestr='firstsem'; /* cambio nome in modo che risulti prima di over in ordine alfabetico */ if mesi>6 then semestr='over'; proc sort data=prop; /* ordino per area, per usare by nella proc freq */ by area; proc freq data=prop; tables semestr / binomial (p=0.6); by area; OUTPUT: SAS System area=cent Frequenza Percentuale semestr Frequenza Percentuale cumulata cumulata ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ firstsem over Proporzione binomiale per semestr = firstsem ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Proporzione ASE Limite conf inferiore 95% Limite conf superiore 95% Limiti conf esatti Limite conf inferiore 95%

7 Limite conf superiore 95% Test di H0: Proporzione = 0.6 ASE con H Z Pr unilaterale < Z Pr bilaterale > Z Dimensione del campione = 674 SAS System 11:39 Thursday, January 7, area=nord Frequenza Percentuale semestr Frequenza Percentuale cumulata cumulata ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ firstsem over Proporzione binomiale per semestr = firstsem ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Proporzione ASE Limite conf inferiore 95% Limite conf superiore 95% Limiti conf esatti Limite conf inferiore 95% Limite conf superiore 95% Test di H0: Proporzione = 0.6 ASE con H Z Pr unilaterale > Z Pr bilaterale > Z Dimensione del campione = 990 SAS System 11:39 Thursday, January 7, area=sud Frequenza Percentuale semestr Frequenza Percentuale cumulata cumulata ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ firstsem over Proporzione binomiale per semestr = firstsem ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Proporzione ASE

8 Limite conf inferiore 95% Limite conf superiore 95% Limiti conf esatti Limite conf inferiore 95% Limite conf superiore 95% Test di H0: Proporzione = 0.6 ASE con H Z Pr unilaterale < Z Pr bilaterale > Z Dimensione del campione = 370 Dunque solo al sud posso affermare che la proporzione di chi trova lavoro entro il primo semestre non sia significativamente diversa dal 60%. Al centro tale percentuale sembra essere significativamente piu bassa e al nord significativamente piu alta (con significativita > 0.05). CASO 2: utilizzo del test chi quadro Supponiamo ad esempio di voler verificare l ipotesi che la variabile mesi di attesa fra laurea e primo lavoro abbia una distribuzione Geometrica(0.2) Programma Prop_teorica_sperimentale.sas Estraggo la variabile di interesse e la discretizzo data prop_sperimentale; input mesi 41-42; data prop; set prop_sperimentale; where mesi>=0; /* elimino i dati persi */ /*discretizzo la variabile mesi */ if mesi<=6 then semestr='sem1'; if mesi>6 and mesi<=12 then semestr='sem2'; if mesi>12 and mesi<=18 then semestr='sem3'; if mesi>18 and mesi<=24 then semestr='sem4'; if mesi>24 then semestr='sover'; /*voglio che venga dopo sem... in ordine alfabetico */ Ora calcolo le proporzioni teoriche che dovrei osservare se fosse vera H0 per la discretizzazione scelta. Leggero i risultati nel dataset work.prop_teorica. ATTENZIONE: devo esprimere le proporzioni come percentuali intere, e la loro somma deve essere 100. Arrotondare in modo opportuno! (ceil arrotonda verso inf e floor verso +inf ). data prop_teorica; 8

9 /* Calcolo le proporzioni teoriche in un dataset diverso */ /* sintassi: prob=cdf('geometric',m,p) con p=prob di un successo, m=n. insuccessi prima del 1 successo */ array p{5} p1 p2 p3 p4 p5; p{1}=ceil(cdf('geometric',5,0.2)*100); p{2}=floor(cdf('geometric',11,0.2)*100)-ceil(cdf('geometric',5,0.2)*100);; p{3}=floor(cdf('geometric',17,0.2)*100)-floor(cdf('geometric',11,0.2)*100); p{4}=floor(cdf('geometric',23,0.2)*100)-floor(cdf('geometric',17,0.2)*100); p{5}=100-floor(cdf('geometric',23,0.2)*100); Dopo aver letto i risultati dal dataset work.prop_teorica posso applicare la procedura freq ai dati sperimentali con le percentuali opportune proc freq data=prop; tables semestr/ chisq testp=(74,19,5,1,1); OUTPUT: Test sulla Frequenza Percentuale semestr Frequenza Percentuale percentuale cumulata cumulata ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ sem sem sem sem sove Test del chi-quadrato per proporzioni specificate ƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒƒ Chi-quadrato DF 4 Pr > ChiQuadr <.0001 Dimensione del campione = 2034 Dunque la distribuzione dei dati e significativamente diversa da una geometrica(0.2). 9