Test del χ 2 (di Pearson)

Transcript

1 Test del χ 2 (di Pearson)

2 (goodness of fit) Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = p 1 Viola = p 2 Blu = p 3 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = n 1 Viola = n 2 Blu = n 3

3 (goodness of fit) Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = p 1 Viola = p 2 Blu = p 3 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = n 1 Viola = n 2 Blu = n 3 Teorema (Pearson) Se X 1,...,X n sono v.a.i. equidistribuite che assumono un numero finito di valori x 1,...,x m. Sia N k = #{i n : X i = x k } e p k = P(X 1 = x k ). Allora per n sufficientente grande (n p k > 5 per ogni k) Q = m k=1 n ( Nk ) 2 p i n p i χ 2 m 1

4 (goodness of fit) Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = p 1 Viola = p 2 Blu = p 3 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = n 1 Viola = n 2 Blu = n 3 Teorema (Pearson) Se X 1,...,X n sono v.a.i. equidistribuite che assumono un numero finito di valori x 1,...,x m. Sia N k = #{i n : X i = x k } e p k = P(X 1 = x k ). Allora per n sufficientente grande (n p k > 5 per ogni k) Q = m k=1 n ( Nk ) 2 p i n p i χ 2 m 1 m = 3 n = n 1 +n 2 +n 3

5 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11

6 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Q = 3 k=1 100 ( Nk ) 2 p i 100 p i χ 2 2 n = = 100

7 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Q = 3 k=1 q = ( Nk ) 2 p i 100 p i χ 2 2 n = = 100 ( ) ( ) ( )

8 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Q = 3 k=1 q = = ( Nk ) 2 p i 100 p i χ 2 2 n = = 100 ( ) ( ) ( )

9 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Q = 3 k=1 q = = ( Nk ) 2 p i 100 p i χ 2 2 n = = 100 ( ) ( ) ( ) p-valore = P(Q ) =

10 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Q = 3 k=1 q = = ( Nk ) 2 p i 100 p i χ 2 2 n = = 100 ( ) ( ) ( ) p-valore = P(Q ) = pchisq(5.0833,df= 2)

11 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11

12 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 n1 = 34 n2 = 55 n3 = 11 p1 = 0.3 p2 = 0.5 p3 = 0.2 n = n1 + n2 + n3 Q = 3 k=1 100 ( Nk ) 2 p i 100 p i χ 2 2 q = n * ( (n1/n-p1)^2/p1+(n2/n-p2)^2/p2+(n3/n-p3)^2/p3 ) 1 - pchisq( q, df=2 )

13 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 freq = c ( 34, 55, 11 ) prob = c ( 0.3, 0.5, 0.2 ) n = sum ( freq ) Q = 3 k=1 100 ( Nk ) 2 p i 100 p i χ 2 2 n * sum ( ( freq / n - prob )^2 / prob ) 1-pchisq( q, df=2 )

14 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 freq = c ( 34, 55, 11 ) prob = c ( 0.3, 0.5, 0.2 ) n = sum ( freq ) Q = 3 k=1 100 ( Nk ) 2 p i 100 p i χ 2 2 n * sum ( ( freq / n - prob )^2 / prob ) 1-pchisq( q, df=2 ) chisq.test( freq, p = prob )

15 Un urna contiene una grande quantità di biglie rosse, viola e blu. Vogliamo testare la seguente ipotesi (sulle proporzioni dei tre colori) H 0 : Rosse = 0.3 Viola = 0.5 Blu = 0.2 Estraendo casualmente (con reimbussolamento) otteniamo Dati osservati: Rosse = 34 Viola = 55 Blu = 11 Out[1]: Q = 3 k=1 100 ( Nk ) 2 p i 100 p i χ 2 2 Chi-squared test for given probabilities data: freq X-squared = , df = 2, p-value =

16 Abbiamo un dado con 6 facce e vogliamo testare la seguente ipotesi H 0 : Il dado è equilibrato Lanciando il dado 200 volte otteniamo le sequenti frequenze 31, 38, 30, 36, 26, 39.

17 Abbiamo un dado con 6 facce e vogliamo testare la seguente ipotesi H 0 : Il dado è equilibrato Lanciando il dado 200 volte otteniamo le sequenti frequenze 31, 38, 30, 36, 26, 39. Q = m k=1 n ( Nk ) 2 p k n p k = k=1 ( Nk ) 2 χ q = 1200 = 3.94 ( ( ) ( ) ( ) ( ) ( ) ( ) ) 2 6

18 P(Q 3.94) = 1 - pchisq( 3.94, df=5 ) =

19 P(Q 3.94) = 1 - pchisq( 3.94, df=5 ) = Scorciatoria: freq = c( 31, 38, 30, 36, 26, 39 ) chisq.test( freq ) Out[1]: Chi-squared test for given probabilities data: freq X-squared = 3.94, df = 5, p-value =

20 Un urna contenente biglie di 4 colori { rosso,blu,viola,verde }. Vogliamo testare la seguente ipotesi: H 0 : le proporzioni sono rispettivamente 0.9, 0.09, 0.009, Estraendo 2000 volte una biglia otteniamo le frequenze: 1800, 175, 33, 2

21 Un urna contenente biglie di 4 colori { rosso,blu,viola,verde }. Vogliamo testare la seguente ipotesi: H 0 : le proporzioni sono rispettivamente 0.9, 0.09, 0.009, Estraendo 2000 volte una biglia otteniamo le frequenze: 1800, 175, 33, 2 freq = c( 1800, 175, 33, 2 ) prob = c( 0.9, 0.09, 0.009, 0.001) chisq.test( freq, p=prob )

22 Un urna contenente biglie di 4 colori { rosso,blu,viola,verde }. Vogliamo testare la seguente ipotesi: H 0 : le proporzioni sono rispettivamente 0.9, 0.09, 0.009, Estraendo 2000 volte una biglia otteniamo le frequenze: 1800, 175, 33, 2 freq = c( 1800, 175, 33, 2 ) prob = c( 0.9, 0.09, 0.009, 0.001) chisq.test( freq, p=prob ) Out[1]: Warning message: In chisq.test(freq, p = prob): Chi-squared approximation may be incorrect Chi-squared test for given probabilities data: freq X-squared = , df = 3, p-value =

29 Test di indipendenza Per controllare l efficienza di un vaccino un campione viene diviso in due gruppi. Al primo viene somministrato il vaccino al secondo un placebo. Vengono recensite quante persone si ammalano e con che gravità. Sani Malati l. Malati g. Vaccinati Non vaccinati

30 Test di indipendenza Per controllare l efficienza di un vaccino un campione viene diviso in due gruppi. Al primo viene somministrato il vaccino al secondo un placebo. Vengono recensite quante persone si ammalano e con che gravità. Sani Malati l. Malati g. Vaccinati Non vaccinati Condideriamo due variabili aleatorie X ha valori { vaccinato, non vaccinato } Y ha valori { sano, malato lieve, malato grave } Come ipotesi nulla prendiamo H 0 : X e Y indipendenti.

31 Test di indipendenza Consideriamo due campioni: X 1,...,X n ha valori { x 1,...,x mx } Y 1,...,Y n ha valori { y 1,...,y my }

32 Test di indipendenza Consideriamo due campioni: X 1,...,X n ha valori { x 1,...,x mx } Y 1,...,Y n ha valori { y 1,...,y my } N X h = # { i n : X i = x h } N Y k = # { j n : Y j = y k } P(X = x h ) N X h /n P(Y = y k ) N Y k /n N h,k = # { (i,j) : (X i,y j ) = (x h,y k ) }. P(X,Y = x h,y k ) N h,k /n

33 Test di indipendenza Consideriamo due campioni: X 1,...,X n ha valori { x 1,...,x mx } Y 1,...,Y n ha valori { y 1,...,y my } N X h = # { i n : X i = x h } N Y k = # { j n : Y j = y k } P(X = x h ) N X h /n P(Y = y k ) N Y k /n N h,k = # { (i,j) : (X i,y j ) = (x h,y k ) }. P(X,Y = x h,y k ) N h,k /n Allora (per n sufficientente grande) Q = m X m Y h=1 k=1 n 2 ( Nh,k N h,k n NX h n N Y k n ) 2 χ 2 (mx 1)(mY 1)

34 Test di indipendenza Consideriamo due campioni: X 1,...,X n ha valori { x 1,...,x mx } Y 1,...,Y n ha valori { y 1,...,y my } N X h = # { i n : X i = x h } N Y k = # { j n : Y j = y k } P(X = x h ) N X h /n P(Y = y k ) N Y k /n N h,k = # { (i,j) : (X i,y j ) = (x h,y k ) }. P(X,Y = x h,y k ) N h,k /n Allora (per n sufficientente grande) Q = = m X m Y h=1 k=1 m X m Y h=1 k=1 n 2 ( Nh,k N h,k n NX h n ( nnh,k N X h NY k nn h,k N Y k n ) 2 ) 2 χ 2 (mx 1)(mY 1)

35 Test di indipendenza Consideriamo due campioni: X 1,...,X n ha valori { x 1,x 2 } Y 1,...,Y n ha valori { y 1,y 2,y 3 } N X h = # { i n : X i = x h } N Y k = # { j n : Y j = y k } N h,k = # { (i,j) : (X i,y j ) = (x h,y k ) } Q = q = ( 2 3 nnh,k Nh X NY k N h,k h=1 k=1 ( 2 3 n nh,k nh X ny k n n h,k h=1 k=1 ) 2 ) 2 y 1 = Sani y 2 = M y 3 = M + Totale x 1 = Vacc. n 1,1 = n 1,2 = 24 n 1,3 = 33 n1 X = x 2 = NonV. n 2,1 = n 2,2 = 27 n 2,3 = 65 n2 X = Totale n1 Y = ny 2 = 51 ny 3 = 98 n =

36 Test di indipendenza vacc = c( , 24, 33 ) # vaccinati nonv = c( , 27, 65 ) # non vaccinati cont = rbind( vacc, nonv ) # tabella di contingenza chisq.test( cont ) Out[1]: Pearson s Chi-squared test data: cont X-squared = , df = 2, p-value = y 1 = Sani y 2 = M y 3 = M + Totale x 1 = Vacc. n 1,1 = n 1,2 = 24 n 1,3 = 33 n1 X = x 2 = NonV. n 2,1 = n 2,2 = 27 n 2,3 = 65 n2 X = Totale n1 Y = n( Y 2 = 51 n3 Y = 98 n =

37 Test di indipendenza S = c( , ) # sani M1 = c( 24, 27 ) # malati lievemente M2 = c( 33, 65 ) # malati gravemente cont = cbind( S, M1, M2 ) # tabella di contingenza chisq.test( cont ) Out[1]: Pearson s Chi-squared test data: cont X-squared = , df = 2, p-value = y 1 = Sani y 2 = M y 3 = M + Totale x 1 = Vacc. n 1,1 = n 1,2 = 24 n 1,3 = 33 n1 X = x 2 = NonV. n 2,1 = n 2,2 = 27 n 2,3 = 65 n2 X = Totale n1 Y = n( Y 2 = 51 n3 Y = 98 n =