si tratta del test del chi-quadro di adattamento e di quello di indipendenza. 1 l ipotesi che la popolazione segua una legge fissata;

Transcript

1 di : dado : normale Finora abbiamo visto test d ipotesi per testare ipotesi differenti, ma tutte concernenti il valore atteso di una o due popolazioni. In questo capitolo vediamo come testare 1 l ipotesi che la popolazione segua una legge fissata; 2 l ipotesi che due variabili siano indipendenti si tratta del test del di e di quello di.

2 Esempio: il dado di : dado : normale Partiamo con un esempio che ci aiuta a fissare le idee: ho un dado e mi chiedo se lanciandolo tutte le facce sono equiprobabili: chiamo p 1, p 2, p 3, p 4, p 5, p 6 le probabilità che escano la faccia 1, 2, 3, 4, 5 e 6 rispettivamente. H 0 : p 1 = p 2 = p 3 = p 4 = p 5 = p 6 = 1/6 Come al solito per decidere faremo n lanci. Occorre una statistica (= funzione degli n risultati) per decidere su H 0. Idea: se H 0 è vera la frequenza assoluta osservata di ogni faccia verrà vicina a n/6.

3 Statistica per il dado di : dado : normale La statistica in questo caso particolare (fra poco vedremo la formula generale) è Q = 6 (F a (i) n/6) 2, n/6 i=1 dove F a (i) è il numero di volte che abbiamo osservato la faccia i (= frequenza assoluta osservata di i). Se Q è abbastanza grande rifiuteremo H 0. Resta da capire cosa significhi abbastanza grande.

4 di : dado : normale In generale 1 Dividiamo l insieme dei possibili valori che le singole osservazioni possono assumere in k classi: C 1, C 2,..., C k. 2 Chiamiamo p i la probabilità che una osservazione appartenga alla classe C i. 3 Decidiamo di fare n osservazioni. 4 Ognuna delle classi ha una frequenza assoluta teorica np i e una frequenza assoluta osservata F a (i). 5 La statistica di riferimento è Q = k (np i F a (i)) 2 i=1 np i

5 di Legge Ci serve ora un nuovo tipo di v.a. continua: la χ 2 (n), che si legge a n gradi di libertà. Per ogni n, la v.a. χ 2 (n) può assumere solo valori 0 e densità che ha forma diversa a seconda del valore di n. : dado : normale 0,6 0,5 0,4 0,3 Nero = χ 2 (1) Blu = χ 2 (2) Verde = χ 2 (3) Rosso = χ 2 (4) Arancio = χ 2 (5) 0,2 0,

6 di : dado : normale Teorema del TEOREMA PER TEST CHI-QUADRO La statistica k (np Q = i F a (i)) 2 np i i=1 è una v.a. la cui legge tende (in legge) alla legge chi-quadrato χ 2 (k 1) per n. Se le probabilità p i, invece di essere assegnate a priori, sono calcolate dopo aver stimato r incogniti dai dati del campione, allora Q χ 2 (k 1 r). Regola pratica per approssimare Le approssimazioni Q χ 2 (k 1) e Q χ 2 (k 1 r) valgono se le probabilità p i soddisfano np i 5 per ogni i.

7 di livello α di : dado : normale Se le probabilità p i = P(X 1 C i ) (con k classi), sono determinate senza stimare il test di è H 0 la popolazione ha probabilità p i H 1 la popolazione NON ha probabilità p i Rifiutiamo H 0 se q > χ 2 1 α (k 1) p-value: ᾱ tale che q = χ 2 1 ᾱ (k 1) dove χ 2 1 α (k 1) è il quantile 1 α della legge χ2 (k 1).

8 di livello α di : dado : normale Se le probabilità p i = P(X 1 C i ) (con k classi), sono determinate stimando r il test di è H 0 la popolazione ha probabilità p i H 1 la popolazione NON ha probabilità p i Rifiutiamo H 0 se q > χ 2 1 α (k r 1) p-value: ᾱ tale che q = χ 2 1 ᾱ (k r 1) dove χ 2 1 α (k r 1) è il quantile 1 α della legge χ 2 (k r 1).

9 del di Come per la N(0, 1) e per le Student t(n) anche per i quantili χ 2 (n) ci sono le tavole. : dado : normale

10 di : dado : normale Abbiamo osservato 2000 lanci di un dado, ecco il numero di volte che ciascuna faccia è stata osservata: i F a (i) Si può affermare che il dado non è equilibrato? H 0 : p 1 = p 2 = p 3 = p 4 = p 5 = p 6 = 1/6 Il test χ 2 è applicabile poiché np i = 2000/ per ogni i.

11 di : dado : normale Calcoliamo q = 6 i=1 La statistica (np i F a (i)) 2 ( )2 ( )2 = + np i ( )2 ( ) ( )2 ( ) 2 + = Rifiutiamo H 0, con un livello α, se questo numero è χ 2 1 α (6 1). Prendendo α = 0.025, dato che χ (5) = 12.82, rifiutiamo H 0 e affermiamo che il dado non è equilibrato. Se prendessimo α = 0.01, dato che χ (5) = 15.09, accetteremmo H 0 e affermeremmo che non c è sufficiente evidenza che il dado non sia equilibrato. Il p-value è compreso fra e 0.01.

12 : N(0, 1) di : dado : normale (Dall eserciziario di Baldi-Ladelli-Giuliano, McGraw-Hill). Un software statistico afferma di essere in grado di generare numeri a caso, in modo che la legge sia una N(0, 1). Vogliamo testare questa affermazione e osserviamo 100 numeri, suddividendoli in 4 classi. Classe (, 1] (-1,0] (0,1] (1, + ) F a (i) Possiamo dire che il software non è affidabile?

13 Le p i di : dado : normale Dobbiamo calcolare le probabilità teoriche che una osservazione cada nelle classi: P(N(0, 1) 1) = Φ( 1) = 0.16; P( 1 < N(0, 1) 0) = Φ(0) Φ( 1) = 0.34; e per simmetria si ricavano le altre due. Classe (, 1] (-1,0] (0,1] (1, + ) F a (i) Probabilità np i Il test χ 2 è applicabile poiché np i = 100p i 5 per ogni i.

14 di : dado : normale Calcoliamo q = k (np i F a (i)) 2 i=1 np i La statistica (13 16)2 (31 34)2 = (40 34)2 (16 16) 2 + = Rifiutiamo H 0, con un livello α, se questo numero è χ 2 1 α (4 1). Con α = 0.05, dato che χ (3) = 7.815, accettiamo H 0 (e il p-value è superiore a 0.05). Non c è sufficiente evidenza che il software non sia affidabile.

15 : N(µ, σ 2 ) di : dado : normale La pressione massima misurata in 100 persone ha portato i seguenti dati (arrotondiamo all intero): Valori Num.osservazioni Valori Num.osservazioni Il modello normale è valido per descrivere questi dati?

16 Stima per µ e σ 2 di : dado : normale Valore atteso e varianza non sono dati, perciò li stimiamo con la media e la varianza campionarie. Utilizziamo la somma dei dati e la somma dei quadrati (forniti da un qualsiasi software matematico): 100 x i = 12032; i=1 100 xi 2 = i=1 x n = ; s 2 n = (120.32)2 = 8.40.

17 Divisione in classi di : dado : normale Ora bisogna dividere i valori in classi in modo che in ciascuna di esse la N(120.32, 8.40) abbia frequenza assoluta teorica 5. Si fanno tentativi, ad esempio questa divisione funziona (la frequenza teorica è n per la probabilità che una N(120.32, 8.40) stia in quella classe): Classi Freq.ass.osservata Freq.ass.teorica (, 116] (116,118] (118,120] (120,122] (122, 124] (124, + )

18 di : dado : normale Calcoliamo q = k (np i F a (i)) 2 i=1 np i La statistica ( )2 ( )2 ( )2 = ( )2 ( )2 (10.2 7) = Rifiutiamo H 0, con un livello α, se questo numero è χ 2 1 α (6 2 1). Con α = 0.05, dato che χ (3) = 7.815, accettiamo H 0 (e il p-value è superiore a 0.05). Non c è sufficiente evidenza che il modello normale non descriva bene la pressione arteriosa.

19 di : dado : normale Il test del può essere anche utilizzato quando si ha un campione di osservazioni accoppiate (X 1, Y 1 ),...,(X n, Y n ) per decidere se accettare o meno l ipotesi H 0 : le misurazioni X e le Y sono indipendenti.

20 Costruiamo il test di : dado : normale 1 Dividiamo l insieme dei possibili valori che le singole X possono assumere in k classi: A 1, A 2,..., A k. Allo stesso modo dividiamo l insieme dei possibili valori che le singole Y possono assumere in j classi: B 1, B 2,..., B j. Otteniamo una tabella di questo tipo: }{{} Y A 1 A k B 1 B j

21 Completiamo la tabella di : dado : normale 2 Facciamo n osservazioni. 3 Nella casella (A i, B m ) mettiamo il numero di osservazioni accoppiate in cui la coordinata X sta in A i e la Y in B m. Dunque è la frequenza assoluta osservata della casella (A i, B m ): la indichiamo con F a (i, m). 4 Sommando sulle colonne otteniamo il numero di volte che abbiamo trovato X in A i, la frequenza assoluta osservata della A i : F X (i). 5 Sommando sulle righe otteniamo il numero di volte che abbiamo trovato Y in B m, la frequenza assoluta osservata della B m : F Y (m).

22 Tabella delle frequenze di : dado : normale }{{} Y A 1 A k F Y B 1 F a (1, 1) F a (k, 1) F Y (1) B j F a (1, j) F a (k, j) F Y (j) F X F X (1) F X (k) n

23 Esempio di : dado : normale Campione con X e Y che assumono solo valori interi: (1,2), (1,1), (1,1), (2,3), (2,2), (2,1), (2,1), (1,3), (2,3), (3,2) }{{} Y F Y F X

24 di : dado : normale Stimiamo le probabilità per X e Y : Stimiamo le probabilità P(X A i ) F X(i) = p X (i), n P(Y B m ) F Y(m) = p Y (m). n Idea: se X e Y sono indipendenti vale P(X A i, Y B m ) p X (i) p Y (m) e inoltre la casella (A i, B m ) ha una frequenza assoluta teorica pari a n p X (i) p Y (m) = F X(i)F Y (m). n

25 di : dado : normale Frequenze teoriche e osservate Abbiamo una tabella di frequenze osservate }{{} Y A 1 A k B 1 F a (1, 1) F a (k, 1) B j F a (1, j) F a (k, j) e una di frequenze teoriche }{{} Y \ X } A 1 A k B 1 F X (1)F Y (1) F X (k)f Y (1) n n F B X (1)F Y (j) j n F X (k)f Y (j) n = ci riconduciamo a un test di.

26 Quante classi e quanti stimati? di : dado : normale Le classi sono j k. Abbiamo stimato k 1 probabilità per X: p X (1),, p X (k 1). Infatti p X (k) viene ricavato dal fatto che deve essere k i=1 p X (i) = 1. Allo stesso modo abbiamo stimato j 1 probabilità per Y : p Y (1),, p Y (j 1). I gradi di libertà della χ 2 saranno allora j k (j 1) (k 1) 1 = (j 1)(k 1).

27 di : dado : normale La statistica di riferimento è d k j (F Q = X (i)f Y (m)/n F a (i, m)) 2 F X (i)f Y (m)/n i=1 m=1 e il test H 0 X e Y sono indipendenti H 1 X e Y NON sono indipendenti Rifiutiamo H 0 se q > χ 2 1 α ((j 1) (k 1)) p-value: ᾱ tale che q = χ 2 1 ᾱ ((j 1) (k 1)) dove χ 2 1 α (h) è il quantile 1 α della legge χ2 (h).

28 di : dado : normale (Dal libro Appunti di Metodi matematici e statistici, autore P.Baldi, editore CLUEB). La Cicindela fulgida è una specie di coleottero. Si vuole capire se la sua colorazione (rosso brillante oppure non rosso) dipende dalla stagione oppure no. Si studiano n=671 esemplari con risultato la seguente tabella: periodo }{{} \ colore } rosso non rosso F periodo inizio primavera tarda primavera inizio estate tarda estate F colore

29 di : dado : normale Le frequenze osservate e quelle teoriche Le frequenze teoriche periodo \ colore } }{{} rosso non rosso inizio primavera tarda primavera inizio estate 8 31 tarda estate periodo \ colore } rosso non rosso }{{} inizio primavera 671 = tarda primavera = inizio estate = tarda estate = = = = =56.7

30 La statistica di : dado : normale Ci sono 8 classi: calcoliamo q = 8 (freq.teoriche freq.osservate) 2 i=1 = = freq.teoriche Rifiutiamo H 0, con un livello α, se questo numero è χ 2 1 α ((2 1)(4 1)) = χ2 1 α (3). Con α = 0.01, dato che χ (3) = 11.34, rifiutiamo H 0 (e il p-value è inferiore a 0.01): c è sufficiente evidenza che il colore è correlato alla stagione.