Parte 1 : Inferenza. Varianza nota test Z. Distribuzioni asintotiche dei test. Varianza ignota test t ad un campione

Transcript

1 ! Test d'ipotesi Parte 1 : Inferenza! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici Distribuzioni asintotiche dei test A seconda dei casi il nostro test può convergere a diverse distribuzioni teoriche. Tutto dipende dalla varianza. Nota! 2 NON nota! 2! s 2 Gaussiana t di Student Varianza nota test Z Varianza ignota test t ad un campione Variabile X su un unico campione di dimensione n e unità statistiche indipendenti e identicamente distribuite (come una Normale) di media µ ignota e varianza! 2 nota. Allora: T x "n (x - µ )! H # N(,1) Tx Variabile X su un unico campione di dimensione n e unità statistiche indipendenti e identicamente distribuite (come una Normale) di media µ e varianza! 2 entrambe non note. Allora: "n (x - µ ) s H # t n-1 si determina la regione di rifiuto si calcola il T oss si accetta o rifiuta si determina la regione di rifiuto si calcola il T oss si accetta o rifiuta

2 Varianza ignota test t a due campioni indipendenti Rilevo la variabile X su due campioni indipendenti di numerosità rispettivamente n 1 e n 2. Le n 1 osservazioni sono i.i.d. (come una Normale) con media µ 1 e varianza! 2 ignote; le n 2 osservazioni sono i.i.d. (come una Normale) con media µ 2 e varianza! 2 ignote. H : µ 1 µ 2 : µ 1 $ µ 2 s 2 p (n 1-1) s (n 2-1) s 2 2 (n 1 + n 2-1) Verifica d ipotesi sulle varianze Rilevo la variabile X su due campioni indipendenti di numerosità rispettivamente n 1 e n 2. Le n 1 osservazioni sono i.i.d. (come una Normale) con media µ 1 e varianza! 2 1 ignote; le n 2 osservazioni sono i.i.d. (come una Normale) con media µ 2 e varianza! 2 2 ignote. H :! 1! 2 :! 1 $! 2 T x s 2 1 s 2 2 H # F n1-1,n 2-1 T x x 1 x 2 H # t n1 +n s p "1/n 1 +1/n Varianza ignota test t per dati appaiati Analisi della varianza Che cosa sono i dati appaiati? soggetto 1 n X Y x 1 y 1 x n y n X Y x 1 y 1 x n y n Abbiamo visto come poter confrontare le medie di due campioni indipendenti. e se i campioni sono più di due? Prima del trattamento Dopo il trattamento H : µ x µ y H : µ x - µ y test t ad un campione : µ x $ µ y : µ x - µ y $ H : µ 1 µ 2 µ 3 : almeno un valore diverso Potrei fare un test t a due campioni per tutte le possibili coppie.

3 Analisi della varianza Confronti Multipli Potrei fare un test t a due campioni per tutte le possibili coppie. Se il numero di campioni è elevato il numero di coppie diventa ingestibile.,2,2,2,1,1,1 " g 1 - (1 - " i ) c # confronti alpha i 3,169 6,85 1,51 15,3 21,24 28,18 36,14 45,11 55,9,1 I risultati possono diventare poco credibili. (I test non sono indipendenti!).,1,1,1,1,1,1 Abbiamo bisogno di un test globale con una probabilità complessiva di errore fissato Ross et al. (2) Nature Gen. 24: Analisi della varianza ad una via 62

4 Assumendo: Analisi della varianza ad una via indipendenza dei campioni e delle osservazioni normalità dei dati varianze all interno dei k gruppi uguali (test F/test di Levene) Perché ad una via? Analisi della varianza y i µ + " i + # i fattore Varianza entro gruppi! 2 w Varianza tra gruppi! 2 B 1 variabile dipendente e 1 variabile indipendente A due vie y ij µ + " i + $ j + (" i % $ j ) + # ij F! 2 B /! 2 w ~ F k-1, n-k fattori 1 variabile dipendente e 2 variabili indipendenti interazione Cos è l interazione? Assenza di interazione L interazione tra i fattori indica se l effetto di un fattore sulla variabile dipende dagli altri fattori, o meglio, dai livelli degli altri fattori. 4 3,75 3,5 3,25 3 2,75 2,5 2,25 2 1,75 " 1 $ 1 " 2 M 11 M 21 " 3 M 31 $ 2 M 12 M 22 M 32 $ 3 M 13 M 23 M 33 1,5 1,25 1,75,5,25 Column J Column K Column L Row 11 Row 12 Row 13 Esiste un effetto separato di " e di $ ma non esiste un effetto incrociato dei due fattori.

5 Presenza di interazione Analisi della varianza 5 4,75 4,5 A due vie 4,25 3,75 3,5 y ij µ + " i + $ j + (" i % $ j ) + # ij 4 3,25 3 2,75 2,5 2,25 2 1,75 1,5 1,25 1,75 " Per analizzare l effetto dei due fattori potremmo fare 2 ANOVA unifattoriali, una per ciascun fattore " oppure, potremo fare tante ANOVA con un singolo fattore ", una per ciascun livello di $ " oppure, potremo fare tante ANOVA con il singolo fattore $, una per ogni ",5,25 Column J Column K Column L Row 11 Row 12 Row 13 Le conclusioni in questo caso sono molto più articolate: " il livello 3 del fattore $ sembra sfavorire il livello 2 di " e favorire invece il livello 1 di "; " il livello 1 del fattore $ sembra favorire invece il livello 2 di ". Questa scelta di fare molte ANOVA non è conveniente: " il numero di analisi aumenta di molto se aumentano i fattori; " facendo molte analisi aumenta l errore complessivo di primo tipo; " sarebbe molto difficile capire se esiste interazione tra i fattori.! Test d'ipotesi Parte 1 : Inferenza! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici Parametrico o non parametrico? I test parametrici si applicano a dati con modalità quantitative, utilizzando indici statistici quali: # la media; # la varianza; # la deviazione standard. Per utilizzarli, è necessario che alcune condizioni siano soddisfatte: # indipendenza delle osservazioni; # normalità delle distribuzioni campionarie; # omogeneità delle varianze campionarie. In particolare sono tanto più sensibili a deviazioni da tali assunzioni quanto maggiori sono le differenze di numerosità tra i campioni!

6 Parametrico o non parametrico? Tabelle di contingenza e test del chi-quadro I test non parametrici: # prescindono dalle assunzioni sulle distribuzioni campionarie; # possono essere applicati anche a dati con caratteri qualitativi. Noi vedremo: # test X 2 di Pearson (o del chi-quadro) # test U di Mann-Whitney # test di Kruskall-Wallis # test di Kolmogorov-Smirnov B NB tot A NA tot f B,A f B,NA f NB,A f NB,NA f.a f.na f B. f NB. f B,A numero osservato di soggetti che hanno congiuntamente i caratteri A e B I soggetti devono assolutamente essere indipendenti. Domanda: I caratteri A e B sono indipendenti? Dobbiamo capire qual è la situazione di indipendenza. n Tabelle di contingenza e test del chi-quadro Tabelle di contingenza e test del chi-quadro B NB tot A f* B,A f* NB,A f.a NA f* B,NA f* NB,NA f* B,A numero atteso di soggetti che hanno congiuntamente i caratteri A e B, in condizione di indipendenza f.na tot f B. f NB. n Domanda: I caratteri A e B sono indipendenti? Il test adatto in questo caso è : X (a o) 2 % 2 a # & 2 (r-1)(c-1) o freq. oss. a freq. attesa r no. righe, c no. colonne f* B,A f B. % f.a / n La regione di rifiuto R è sempre unilaterale destra. A R prodotto delle frequenze marginali diviso il no. totale dei soggetti

7 Tabelle di contingenza e test del chi-quadro osservazione chi-quadro indici di associazione nominali ordinali Il test del chi-quadro consente di misurare la dipendenza di due variabili, ma i risultati sono molto influenzati dai gradi di libertà. Coefficiente ' ) di Kendall D di Somers Inoltre, differenti valori del test del chi-quadro sono confrontabili solo se derivano da esperimenti o inchieste compiute sullo stesso numero di soggetti. Indici: Un valore pari allo zero indica mancanza di associazione, mentre un valore tendente all'unità (+/-) indica la presenza di associazione. Coefficiente di contingenza Coefficiente ( Coefficiente V di Cramér Test U di Mann-Whitney È il corrispondente non parametrico del test t per il confronto delle medie di 2 campioni normali e indipendenti. Molti test non parametrici non si avvalgono dei dati originali ma dei ranghi. Test U di Mann-Whitney # Riunisco i dati come se fossero provenienti da un unico campione. # Ordino tutti i dati dal più piccolo al più grande. # Assegno dei ranghi ad ogni dato. # Sommo i ranghi del campione 1 e del campione 2. dati ranghi,7 6-1,6 1 -,2 3-1,2 2 -,1 4 3,4 9 3,7 1, Trasformazione dei dati: una volta ordinati i dati, ad ognuno di essi viene assegnato un numero relativo alla sua posizione nella scala ordinata. Se i due campioni provengono dalla stessa distribuzione, ci si aspetta che la somma dei ranghi dei due campioni siano più o meno simili. I valori del test sono stati tabulati e il valore risultante va confrontato con apposite tavole.

8 Test di Kruskall-Wallis Test di Kolmogorov-Smirnov È il corrispondente non parametrico del test F per l analisi della varianza (ANOVA). # Assegna i ranghi alle osservazioni indipendentemente dalla classe di appartenenza. # Calcola i ranghi totali e medi di ogni classe. # Si valuta attraverso un indice apposito la variabilità dei ranghi tra e intra classi. Permette di verificare se: # due insiemi di dati (data set ) provengono dalla stessa distribuzione, oppure se: # la distribuzione di un certo campione è significativamente diversa da una certa distribuzione nota. I valori del test sono stati tabulati e il valore risultante va confrontato con apposite tavole. Test di Kolmogorov-Smirnov Test di Kolmogorov-Smirnov??

9 Test di Kolmogorov-Smirnov