STATISTICA. Federico M. Stefanini. e.mail: a.a (3 CFU)

Transcript

1 STATISTICA a.a (3 CFU) Federico M. Stefanini Dipartimento di Statistica G.Parenti viale Morgagni 59, Firenze, tel PARTE e.mail: Test delle ipotesi La quantità di sottoprodotti (Kg) ottenuti in una singola reazione chimica è assimilabile ad una variabile casuale normale X N(µ, σ 2 ), in cui il valore di µ dipende dallo stato del catalizzatore. Se il catalizzatore è esaurito, µ = 15. Se il catalizzatore è funzionante, µ = 10. Si assuma che la varianza sia σ 2 = 9, Un campione casuale di n = 3 reazioni ha fornito i seguenti Kg di sottoprodotti {11, 15, 13}. Decidere per la sostituzione del catalizzatore. Sottoporre a test statistico l ipotesi che che il catalizzatore sia funzionante, µ = 10 in alternativa a che sia esaurito, µ = 15. 1

2 Catalizzatore funzionante: H Kg di sottoprodotti Catalizzatore esaurito: H Kg di sottoprodotti Test statistico: Regola decisionale per accettare o rifiutare ipotesi statistiche Ipotesi statistica parametrica H: parametro del modello statistico. Asserzione sul valore del Ipotesi nulla H 0 : Ipotesi di lavoro (working hypothesis) Il catalizzatore funziona: H 0 : µ = 10. Ipotesi alternativa H 1 : Ipotesi alternativa ad H 0. Il catalizzatore è esaurito: H 1 : µ = 15. Famiglia di distribuzioni: F = {N(µ, 9) : µ Θ} Spazio parametrico: µ Θ = {10, 15} Ipotesi: partizione dello spazio parametrico In generale: F, Θ, H 0, H 1 con H 0 H1 = Θ H 0 H1 = {} Stato di Natura Decisione (Verità) Funzionante Funzionante OK Funzionante Esaurito Errore di tipo I Stato di Natura Decisione (Verità) Esaurito Esaurito OK Esaurito Funzionante Errore di tipo II 2

3 Stato di Natura Decisione (Verità) H 0 : µ = 10 µ = 10 OK H 0 : µ = 10 µ = 15 Errore di tipo I Stato di Natura Decisione (Verità) H 1 : µ = 15 µ = 10 Errore di tipo II H 1 : µ = 15 µ = 15 OK Quale è la probabilità di commettere un errore? Decisione H 0 H 1 Stato di natura H 0 livello di protezione P [errore tipo I] 1 α α H 1 P [errore tipo II] = β potenza 1 β Livello di significatività: α = massimo(p [errore tipo I]). H 0 ha importanza prevalente (Scelta a priori di α): Condizioni operative standard Informazioni a priori vs novità In relazione con l errore più grave In relazione con costi più alti Quali sono le evidenze sperimentali? Valore di una statistica test. Scegliamo come statistica test lo stimatore puntuale di µ. µ = x = x1+x2+x3 3 = 13 Costruiamo la regola di accettazione in modo che se H 0 è vera allora P [errore tipo I] = α Assumendo H 0 vera X N(µ, σ2 n ) X N(10, 3) 3

4 Catalizzatore funzionante: H n C Kg medi di sottoprodotti Il quantile 95% è c = Regione di rifiuto: C 1 = (12.85, ) Regione di accettazione: C 0 = (0, 12.85) La realizzazione della media campionaria, 13, giace in C 1 quindi rifiutiamo l ipotesi nulla. Potenza Assumo che sia vera H 1 e calcolo P [ x C 1 µ = 15] = N(x; 15, 3)dx = Catalizzatore non funzionante: H n C Kg medi di sottoprodotti 4

5 Ipotesi alternativa composta A differenza da un ipotesi semplice, l ipotesi composta non specifica univocamente la distribuzione in F, ma indica un sottoinsieme della famiglia F Il catalizzatore è esaurito: H 1 : µ > 10. Famiglia di distribuzioni: F = {N(µ, 9) : µ Θ} Spazio parametrico: µ Θ = [10, ) Il test risultante è ad una coda (unilaterale). La probabilità di commettere un errore di secondo tipo è funzione del valore vero di µ quando H 0 è falsa: Funzione di potenza, curva operativa caratteristica P [ x C 1 H 1, µ] = c N(x; µ, 3)dx Costruzione numerica: Stabilisco una griglia di valori {c, c , c ,...} Calcolo la potenza per ogni punto della griglia Rappresento graficamente la spezzata Per alcune famiglie F si può ricavare un espressione matematica esplicita per la funzione di potenza. Funzione potenza C Kg medi di sottoprodotti 5

6 Test a due code (bilaterale) Il catalizzatore è esaurito: H 1 : µ 10. Famiglia di distribuzioni: F = {N(µ, 9) : µ Θ} Spazio parametrico: µ Θ = (0, ) Il test risultante è a due code. Valori di x molto più piccoli di 10 o molto più grandi di 10 costituiscono un evidenza contro H 0. Nella famiglia considerata, il test più potente si ottiene ripartendo α ugualmente sulle due code. Stabilisco il valore di α Lo divido per 2 Trovo i quantili α/2 e 1 α/2 Catalizzatore funzionante: H n n 10-C 10+C Kg medi di sottoprodotti Il valore critico a destra è : accetto H 0. Cosa sarebbe cambiato se avessimo in origine scelto α = 0.01? Assumiamo di avere osservato x = 14.5 Il p-value è la probabilità di osservare un valore uguale o più estremo di quello osservato 1 P [ X ] =

7 Catalizzatore funzionante: H n n 10-C 10+C Kg medi di sottoprodotti Passi operativi Scelta della famiglia F (modello) con parametro θ e spazio parametrico Θ Formulazione delle ipotesi H 0 e H 1 Scelta di α e della statistica test S Calcolo del valore empirico s di S (ed il p-value). Se rifiuto H 0 : stimo θ Se accetto H 0 : valutazione potenza del test Interpretazione applicativa dei risultati Aspetti importanti Informazioni da esperimenti precedenti Studio descrittivo esplorativo Pianificazione sperimentale Analisi delle assunzioni scelte Studio del modello 7

8 Test per µ con varianza ignota Famiglia normale F = {N(µ, σ 2 ) : (µ, σ 2 ) Θ} Parametro d interesse µ [10, ) Varianza ignota e σ 2 (0, ) H 0 : µ = 10. H 1 : µ > 10. Dati {15, 11, 13} Stimo la varianza: S 2 = 4 Statistica test α = 0.1 t emp = / 3 = 2.59 t 0.9,2 = t 0.95,2 = 2.92 x µ S/ n t n 1 Test per la proporzione π Sono stati effettuati n = 596 lanci di una moneta, e x = 310 sono risultati testa. Sottoporre a test l ipotesi che la moneta sia bilanciata (livello di significatività 0.05), in alternativa a che non lo sia. Famiglia binomiale Parametro d interesse π (0, 1) H 0 : π = 0.5. H 1 : π 0.5. Statistica test X n π n π (1 π) N(0, 1) α = 0.05 z emp = = 0.98 z =

9 Test per la varianza σ 2 Nel processo chimico considerato in precedenza, la variabilità dei sottoprodotti potrebbe essere maggiore del dichiarato. Sottoporre a test l ipotesi che la varianza sia pari a 9 (livello di significatività 0.05), in alternativa a che sia uguale a 12. Famiglia normale F = {N(µ, σ 2 ) : (µ, σ 2 ) Θ} Parametro d interesse σ 2 {9, 12} Media ignota e µ (, ) H 0 : σ 2 = 9 H 1 : σ 2 = 12. Dati {15, 11, 13} con x = 13, S 2 = 4 Statistica test (n 1) S 2 σ 2 χ 2 n 1 α = 0.05 χ ,2 = 5.99 χ 2 emp = 0.89 Test per differenze tra medie, con varianza comune ignota In uno studio sulle reazioni chimiche con due differenti catalizzatori, sono stati ottenuti i Kg di sottoprodotti riportati in tabella Cat. A Cat. B Assumendo che le due popolazioni abbiano la medesima varianza σ 2, sottoporre a test (α = 0.05) l ipotesi che non vi sia differenza tra i due catalizzatori A e B. Cat. A Cat. B media varianza 4 1 9

10 Famiglia normale N(µ i, σ 2 ) Parametri d interesse µ 1 e µ 2 Varianza ignota e comune σ 2 H 0 : µ 1 = µ 2 µ 1 µ 2 = 0. H 1 : µ 1 µ 2 µ 1 µ 2 0. Stima pooled della deviazione standard (n 1 1) S1 2 S p = + (n 2 1) S2 2 n 1 + n 2 2 Statistica test x 1 x 2 t n1+n S p n n 2 t emp = 1.55 t 0.975,4 = Test per rapporti di varianze In uno studio sulle reazioni chimiche con due differenti catalizzatori, si desidera saggiare statisticamente l ipotesi che i due diversi catalizzatori comportino una differente variabilità riguardo i Kg di sottoprodotti di reazione. Usando i dati dell esempio precedente, sottoporre a test (α = 0.05) l ipotesi che non vi sia differenza tra varianze per i due catalizzatori A e B. Famiglia normale N(µ i, σi 2) Parametri d interesse σ1 2 e σ2 2 Medie ignote H 0 : σ1 2 = σ2 2 σ2 1 = 1. σ2 2 H 1 : σ 2 1 σ 2 2 σ2 1 σ Statistica test S1 2 S2 2 F (n1 1),(n 2 1) Regione di accettazione C 0 = (F 0.025,2,2, F 0.975,2,2 ) = (0.026, ) F emp = 4 10

11 Test per la bontà dell adattamento Il lago GETFISH contiene principalmente 3 tipi di pesce: trota, pagello, alborella. In tabella è riportata la distribuzione di frequenze per un campione casuale di dimensione n = I funzionari addetti dichiarano che la frequenza relativa delle tipologie di pesce è rispettivamente 0.2, 0.1, 0.5. Sottoporre a test (α = 0.05) l ipotesi che la dichiarazione dei funzionari corrisponda al vero. Trota Pescegatto Alborella Altro Osservata (ass.) Ipotizzata (rel.) Famiglia multinomiale, k classi. Parametri d interesse π 1, π 2,..., π k Dimensione del campione n H 0 : π i = p i per i = 1, 2,..., k H 1 : π j p j per almeno un j. Per H 0 vera la frequenza attesa per la tipologia i è Statistica test (ogni n i > 5) n i = n p i k i=1 (X i n i ) 2 n i = k i=1 X 2 i n i n χ 2 k 1 m Test unilaterale (coda di destra) con m il numero di vincoli indotti dalla stima eventuale di m parametri. χ ,3 = χ 2 emp =

12 Tabelle di contingenza L ufficio federale americano di investigazione effettua un controllo sulla regolarità delle assunzioni in una azienda. Nei precedenti 10 anni, vi sono state n = 1271 domande da parte di bianchi e di neri, con assunzioni riassunte in tabella. Sottoporre a test (α = 0.01) l ipotesi che non vi sia relazione tra colore della pelle e assegnazione dell impiego. Bianchi Neri Assunti Rifiutati Famiglia multinomiale, h k classi. Parametri d interesse π i,j, i = 1,..., h; j = 1,..., k Dimensione del campione n = 1271 Indipendenza statistica, H 0 : π i,j = p i,. p.,j per i = 1,..., h; j = 1,..., k H 1 : π i,j p i,. p.,j per almeno un (i, j). Per H 0 vera, la frequenza attesa per la cella i, j è n i,j = n p i,. p.,j Calcolo le marginali Calcolo le attese sotto H 0 Calcolo la statistica test Statistica test (ogni n i,j > 5) h,k X 2 i,j n i=1,j=1 i,j n χ 2 k 1 m 12

13 Test unilaterale (coda di destra) con m = 2 il numero di vincoli indotti dalla stima delle marginali p 1,., p.,1. Bianchi Neri Ass Rif Bianchi Neri Assunti Rifiutati X i,j Xi,j 2 X n 2 i,j i,j n i,j χ 2 emp = = χ 2 1 = Adattamento ad una distribuzione teorica Un azienda vende cubetti di porfido. Sono state registrate le vendite giornaliere (ton.) di un campione casuale di 287 giorni. Sottoporre a test (α = 0.05) l ipotesi che la distribuzione delle vendite giornaliere sia normale. Intervallo Numero di osservazioni Valore centrale [0, 1.5] (1.5, 2.5] (2.5, 5.0] (5.0, 7.5] Partizione del campo di variazione teorico (k i, k i+1 ] e calcolo valore centrale di classe Conteggio delle osservazioni x i dell intervallo i Stima dei parametri e calcolo della frequenza attesa per ogni i Calcolo del χ 2 empirico 13

14 Media: 3.86 Varianza: 3.23 Frequenze relative teoriche: Teoriche Osservate x 2 i /n i χ 2 emp = χ ,1 =