Inferenza statistica. Parte 1 : Inferenza. Verifica d ipotesi. Esempio. Test statistico MONDO. Processo di INDUZIONE

Transcript

1 ! Test d'ipotesi Parte 1 : Inferenza! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici Inferenza statistica! Negli studi sperimentali generalmente operiamo con campioni e non con intere popolazioni! La non conoscenza delle caratteristiche della popolazione ci obbliga a dover prendere delle decisioni! Prendere delle decisioni prevede correre dei rischi Processo di INDUZIONE MONDO campione Verifica d ipotesi! Problemi di scelta tra due (o più) ipotesi, in statistica, vengono chiamati: problemi di verifica d ipotesi! Le ipotesi sono generalmente chiamate: Generalizzo le conclusioni ipotesi nulla ipotesi alternativa [H A ] Uso la statistica per verificare le mie ipotesi! Lo strumento utilizzato per affrontare problemi di verifica d ipotesi viene chiamato: TEST statistico Test statistico Esempio! A che cosa serve un test statistico? È il mezzo utile per verificare quanto i dati a disposizione siano o meno a favore delle mie ipotesi A livello teorico alcuni test sono più adatti di altri in certe condizioni per il loro comportamento asintotico Supponiamo di avere a disposizione un campione di 1 galline Per ognuna di queste 1 galline contiamo il numero di uova prodotte in una settimana Formalizziamo il problema: n = 1 X i = numero di uova per gallina i-ma Troviamo che il numero medio di uova in una settimana è di 58

2 Cosa vogliamo sapere? Vari tipi di test statistici Il valore medio che troviamo è significativamente diverso da 5 o no? I test statistici si dividono in: Quello scostamento di 8 è dovuto al caso (perché per esempio la numerosità campionaria è bassa) oppure aumentando n mantengo uno scostamento di 8?! Test parametrici: assumono che i nostri dati si distribuiscano con delle distribuzioni note (eg Gaussiana)! Test non parametrici: non fanno nessuna assunzione sul tipo di distribuzione dei dati originali Posso generalizzare questa mia conclusione all intera popolazione delle galline? E se sì, con quale margine di errore? Cos è una distribuzione? Distribuzioni più comuni Gaussiana/Normale Chi quadrato Binomiale Sono delle curve di frequenza teoriche t di Student F di Snedecor Poisson Possiamo ipotizzare che le nostre variabili all aumentare della dimensione del campione (per n che tende all infinito) si avvicini sempre più ad una certa distribuzione teorica Test parametrici Considero la mia variabile di interesse Ipotizzo una ragionevole distribuzione asintotica per la mia variabile nella intera popolazione Formulo un corretto sistema di ipotesi Esempio n = 1 X i = numero di uova per gallina i-ma Troviamo che il numero medio di uova in una settimana è di 58 Utilizzo un appropriato test statistico che grazie alla distribuzione ipotizzata precedentemente e alla assunzione di indipendenza avrà una certa distribuzione asintotica Domanda: il valore medio di uova per settimana è significativamente maggiore di 5? Confronto il valore con la distribuzione sotto l ipotesi

3 Formalizzo la verifica d ipotesi : la vera media del no di uova = 5 : la vera media del no di uova! 5 Sistema di ipotesi corretto Dato un problema, definire un sistema di ipotesi corretto non è banale Che cos è la vera media? La vera media è la media dell intera popolazione di galline che ci interessa La vera media (µ) non è nota ed è il parametro su cui noi facciamo inferenza : µ " 5 Sistema di ipotesi composto Sistema di ipotesi semplice : µ! 5 : µ > 5 : µ! 5 Generalmente si sceglie come l ipotesi che si vuole rifiutare Test parametrici Considero la mia variabile di interesse Ipotizzo una ragionevole distribuzione asintotica per la mia variabile nella intera popolazione Formulo un corretto sistema di ipotesi Utilizzo un appropriato test statistico che grazie alla distribuzione ipotizzata precedentemente e alla assunzione di indipendenza avrà una certa distribuzione asintotica Confronto il valore con la distribuzione sotto l ipotesi Analisi grafica Supponiamo di avere un certo sistema di ipotesi sulla media di una certa variabile X che chiamiamo µ : µ! 5 Allora sotto i miei dati avranno una certa distribuzione: Sembra improbabile che i nostri dati siano stati generati dalla distribuzione disegnata Test statistico! Non è proponibile andare a controllare dove cadono i valori osservati sulla distribuzione sotto! Il test statistico (T X ) ci deve restituire un valore numerico attraverso il quale siamo in grado di prendere una decisione! Se il test, in valore assoluto, ha valori piccoli allora i dati sembrano soddisfare, se ha valori grandi allora i dati sembrano non soddisfare Esempio n = 1 X i = numero di uova per gallina i-ma Troviamo che il numero medio di uova in una settimana è di 58 Domanda: il valore medio di uova per settimana è significativamente maggiore di 5?

4 Test statistico Distribuzione di un test statistico Dato il sistema d ipotesi: : µ " 5 o : µ! 5 : µ > 5 di un test: Il test appropriato è del tipo: T x = #n $x%m & #varianza l insieme di valori che il test può assumere se è vera nella ipotetica replicazione all infinito dell esperimento svolto (impostazione frequentista) dove nel nostro caso µ = 5 Distribuzione di un test statistico Test parametrici Mondo Campione 1 Test 1 Campione 2 Test 2 Campione 3 Test 3 Campione 4 Test 4 Campione n Test n Considero la mia variabile di interesse Ipotizzo una ragionevole distribuzione asintotica per la mia variabile nella intera popolazione Formulo un corretto sistema di ipotesi Utilizzo un appropriato test statistico che grazie alla distribuzione ipotizzata precedentemente e alla assunzione di indipendenza avrà una certa distribuzione asintotica Confronto il valore con la distribuzione sotto l ipotesi Errori del I e del II tipo Errori del I tipo Prendere una decisione prevede correre dei rischi Il rischio che corriamo è di prendere una decisione sbagliata: scegliere l ipotesi sbagliata Teoricamente la condizione ideale sarebbe ridurre al minimo le probabilità di errore! = probabilità di rifiutare quando è vera Errori del II tipo Domanda: quanti tipi di errori posso fare? E come faccio a minimizzarli? " = probabilità di accettare quando è falsa

5 Come minimizzarli? Regione di rifiuto e di accettazione È stato dimostrato che non è possibile minimizzarli entrambi Abbiamo visto che i valori di T x ci servono per verificare se i nostri dati sono a favore o meno dell ipotesi nulla: Fisso il livello dell errore del primo tipo (!) Valore più comune: 5% Minimizzo il livello dell altro (") valori nelle code portano ad un rifiuto di valori centrali portano ad accettare Motivo per cui le due ipotesi, e, non sono simmetriche Regione di rifiuto e di accettazione " Fissiamo! : prob di rifiutare quando è vera " Se il sistema di ipotesi è del tipo: Regione di rifiuto e di accettazione : µ " 5 siamo interessati a scostamenti da 5 in entrambe le direzioni " La probabilità! deve essere divisa in due per scostamenti a destra e per scostamenti a sinistra:!/2 Rifiuto Accettazione Rifiuto!/2 1-!!/2 Regione di rifiuto e di accettazione Regione di rifiuto e di accettazione Le regioni di accettazione e di rifiuto dipendono però dal tipo di Se T oss cade nella regione di accettazione, allora accetto ipotesi scelte # Nel caso di ipotesi: Rifiuto Accettazione Rifiuto Se T oss cade nella regione di rifiuto, allora rifiuto : µ " 5 la regione di rifiuto sarà bilaterale T oss T oss! Nel caso di ipotesi: : µ < 5 : µ > 5 la regione di rifiuto dipenderà dall ipotesi alternativa

6 Regione di rifiuto e di accettazione Esempio : µ < 5 Rifiuto Accettazione! 1-! n = 1,! = 5 (5%) ' valore critico = 183 X i = numero di uova per gallina i-ma ' x = 58 Sistema d ipotesi: : µ! 5 contro : µ > 5 Accettazione 1-! Rifiuto! : µ > 5 T oss = (n (x - µ ) (varianza Il test cade nella regione A quindi non rifiutiamo l ipotesi = (1 (58-5) 19 = 13 A R Rifiuto p-value Livello di significatività osservato Accettazione Rifiuto T oss T oss Se T oss cade nella regione di accettaz, allora accetto Se T oss cade nella regione di rifiuto, allora rifiuto p-value Livello di significatività osservato È chiaro che il valore del p-value dipende dal sistema di ipotesi che abbiamo: Unilaterale destro/sinistro p-value P( T > Toss ) ' unilaterale destro P( T < Toss ) ' unilaterale sinistro T oss p-value: probabilità di ottenere un valore sotto più estremo di quello osservato: Bilaterale p-value P( T > Toss ) 2 x P( T > Toss ) ' bilaterale T oss p-value/2 p-value/2 -T oss T oss! Test d'ipotesi Parte 1 : Inferenza! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici Dualità tra verifica d ipotesi e intervalli di confidenza Gli intervalli di confidenza si costruiscono utilizzando lo stesso ragionamento della verifica d ipotesi Non vengono però definite le ipotesi e La stima intervallare ci dice di più rispetto alla semplice stima puntuale: ci dà delle informazioni importanti riguardo alla precisione della nostra stima

7 Che cos è una stima? Intervallo di confidenza per µ Il MONDO : la mia popolazione di riferimento Abbiamo assunto che sia una Normale di media µ e varianza # 2 s 68% : x ± s/(n 95% : x ± 2 s /(n X 99% : x ± 3 s /(n L unico modo che abbiamo per stimare µ è attraverso la media campionaria dei miei dati Intervallo di confidenza per µ Dato l intervallo 1! per µ : Parte 1 : Inferenza Dato il sistema d ipotesi : : µ = µ µ µ! Test d'ipotesi! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici : µ " µ Accetto a livello! Rifiuto a livello! Distribuzioni asintotiche dei test A seconda dei casi il nostro test può convergere a diverse distribuzioni teoriche Tutto dipende dalla varianza T x = Varianza nota test Z Variabile X su un unico campione di dimensione n e unità statistiche indipendenti e identicamente distribuite (come una Normale) di media µ ignota e varianza # 2 nota Allora: (n (x - µ ) # ) N(,1) Nota # 2 NON nota # 2 ' s 2 si determina la regione di rifiuto Gaussiana t di Student si calcola il T oss si accetta o rifiuta

8 T x = (n (x - µ ) s Varianza ignota test t ad un campione Variabile X su un unico campione di dimensione n e unità statistiche indipendenti e identicamente distribuite (come una Normale) di media µ e varianza # 2 entrambe non note Allora: ) t n-1 Varianza ignota test t a due campioni indipendenti Rilevo la variabile X su due campioni indipendenti di numerosità rispettivamente n 1 e n 2 Le n 1 osservazioni sono iid (come una Normale) con media µ 1 e varianza # 2 ignote; le n 2 osservazioni sono iid (come una Normale) con media µ 2 e varianza # 2 ignote : µ 1 = µ 2 : µ 1 " µ 2 s 2 p = (n 1-1) s (n 2-1) s 2 2 (n 1 + n 2-1) si determina la regione di rifiuto si calcola il T oss si accetta o rifiuta T x = x 1 x 2 H ) t n1 +n s p (1/n 1 +1/n Verifica d ipotesi sulle varianze Rilevo la variabile X su due campioni indipendenti di numerosità rispettivamente n 1 e n 2 Le n 1 osservazioni sono iid (come una Normale) con media µ 1 e varianza # 2 1 ignote; le n 2 osservazioni sono iid (come una Normale) con media µ 2 e varianza # 2 2 ignote : # 1 = # 2 : # 1 " # 2 T x = s 2 1 s 2 2 ) F n1-1,n 2-1 Varianza ignota test t per dati appaiati Che cosa sono i dati appaiati? soggetto 1 n X Y X Y x 1 y 1 x n y n x n y n x 1 y 1 Prima del trattamento : µ x = µ y : µ x " µ y Dopo il trattamento : µ x - µ y = : µ x - µ y " test t ad un campione Analisi della varianza Abbiamo visto come poter confrontare le medie di due campioni indipendenti Analisi della varianza Potrei fare un test t a due campioni per tutte le possibili coppie e se i campioni sono più di due? : µ 1 = µ 2 = µ 3 : almeno un valore diverso Potrei fare un test t a due campioni per tutte le possibili coppie Se il numero di campioni è elevato il numero di coppie diventa ingestibile I risultati possono diventare poco credibili (I test non sono indipendenti!) Abbiamo bisogno di un test globale con una probabilità complessiva di errore fissato

9 ,2,2,2,1,1,1,1,1,1,1,1,1,1! g = 1 - (1 -! i ) c Confronti Multipli # confronti alpha i 3,169 6,85 1,51 15,3 21,24 28,18 36,14 45,11 55,9 Analisi della varianza ad una via Assumendo: Analisi della varianza ad una via indipendenza dei campioni e delle osservazioni normalità dei dati varianze all interno dei k gruppi uguali (test F/test di Levene) Perché ad una via? Analisi della varianza y i = µ +! i + $ i fattore Varianza entro gruppi # 2 w Varianza tra gruppi # 2 B 1 variabile dipendente e 1 variabile indipendente A due vie y ij = µ +! i + " j + (! i * " j ) + $ ij F = # 2 B / # 2 w ~ F k-1, n-k fattori 1 variabile dipendente e 2 variabili indipendenti interazione Cos è l interazione? Assenza di interazione L interazione tra i fattori indica se l effetto di un fattore sulla variabile dipende dagli altri fattori, o meglio, dai livelli degli altri fattori 4 3,75 3,5 3,25 3 2,75 2,5 2,25 2 1,75! 1 " 1! 2 M 11 M 21! 3 M 31 " 2 M 12 M 22 M 32 " 3 M 13 M 23 M 33 1,5 1,25 1,75,5,25 Column J Column K Column L Row 11 Row 12 Row 13 Esiste un effetto separato di! e di " ma non esiste un effetto incrociato dei due fattori

10 Column J Column K Column L 5 4,75 4,5 4,25 4 3,75 3,5 3,25 3 2,75 2,5 2,25 2 1,75 1,5 1,25 1,75,5,25 Presenza di interazione A due vie Analisi della varianza y ij = µ +! i + " j + (! i * " j ) + $ ij $ Per analizzare l effetto dei due fattori potremmo fare 2 ANOVA unifattoriali, una per ciascun fattore $ oppure, potremo fare tante ANOVA con un singolo fattore!, una per ciascun livello di " $ oppure, potremo fare tante ANOVA con il singolo fattore ", una per ogni! Row 11 Row 12 Row 13 Le conclusioni in questo caso sono molto più articolate: $ il livello 3 del fattore " sembra sfavorire il livello 2 di! e favorire invece il livello 1 di!; $ il livello 1 del fattore " sembra favorire invece il livello 2 di! Questa scelta di fare molte ANOVA non è conveniente: $ il numero di analisi aumenta di molto se aumentano i fattori; $ facendo molte analisi aumenta l errore complessivo di primo tipo; $ sarebbe molto difficile capire se esiste interazione tra i fattori Parte 1 : Inferenza Errori del I e del II tipo Prendere una decisione prevede correre dei rischi! Test d'ipotesi! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici Il rischio che corriamo è di prendere una decisione sbagliata: scegliere l ipotesi sbagliata Teoricamente la condizione ideale sarebbe ridurre al minimo le probabilità di errore Domanda: quanti tipi di errori posso fare? E come faccio a minimizzarli? Errori del I tipo Come minimizzarli? È stato dimostrato che non è possibile minimizzarli entrambi! = probabilità di rifiutare quando è vera Errori del II tipo Fisso il livello dell errore del primo tipo (!) Valore più comune: 5% Minimizzo il livello dell altro (") " = probabilità di accettare quando è falsa Motivo per cui le due ipotesi, e, non sono simmetriche

11 quindi Generalmente si sceglie come l ipotesi che si vuole rifiutare % Se rifiuto, conosco l errore che sto commettendo, o meglio, la sua probabilità:! % Se non la rifiuto, è più difficile determinare la probabilità dell errore che commetto: " Potenza di un test caso classico vera falsa Accetto 1 -! " Rifiuto! 1 - " P(T )! = 5! : errore del I tipo " : errore del II tipo 1 - " : potenza POWER = 1 - " Potenza di un test : probabilità di rifiutare quando effettivamente è falsa Ovvero: la potenza di un test è una misura della confidenza di aver identificato un effetto se questo esiste "! T Il calcolo della potenza però prevede la conoscenza della distribuzione della statistica test sotto effect size = effetto (differenza tra medie) con un! meno conservativo con un! più conservativo P(T )! = 1 P(T )! = 1 POWER = 1 - " POWER = 1 - " "! T "! T effect size = effetto (differenza tra medie) effect size = effetto (differenza tra medie)

12 aumentando l effetto aumentando la dimensione del campione P(T )! = 5 P(T )! = 5 POWER = 1 - " POWER = 1 - " "! effect size = effetto (differenza tra medie) T "! T Ricapitolando e il cerchio si chiude Da cosa dipende la potenza : numerosità campionaria variabilità dei dati effetto atteso soglia usata (!) Per quale motivo per il confronto di medie tra gruppi viene usato il test t ad uno o due campioni oppure una ANOVA? Ci potrebbero essere molti altri test, basati su formule diverse, per verificare l uguaglianza di medie Aumentano i falsi positivi Si può dimostrare che il test t ad uno e due campioni indipendenti, il test per dati appaiati e l ANOVA sono i test parametrici PIÙ POTENTI tra tutti quelli possibili Falsi positivi : casi in cui si rifiuta con vera Falsi negativi : casi in cui si accetta con vera Calcolare la numerosità del campione a priori Calcolare N Di solito si cerca di determinare la dimensione campionaria necessaria per avere un test con una certa potenza Per semplicità assumiamo: test t per due campioni indipendenti con disegno bilanciato (N 1 =N 2 ), 1-" = 8,! = 5 Cosa dobbiamo conoscere per calcolare N? Il metodo di analisi Il livello dell errore del I tipo! (ie 5%) La potenza richiesta (di solito 8%) Varianze uguali % = effetto che si vuole identificare La variabilità delle misure rilevate Se necessario condurre uno studio pilota! Il più piccolo effetto (ie differenza di medie) che abbia un senso biologico Varianze differenti Più complesso è il test più complesso è il calcolo di N

13 Calcolare N Sample size and effect size 1-" = 8,! = 5 Sample size for T-test 8 7 Disegno non bilanciato sample size per treatment arm ! = 5% 1-" = 8%! 1! 2 $ z 1% " +z 1% # & 2 2 = N 1 N 2 $ 2 N 1 + N 2 2 1,15,2,25,3,35,4,45,5,55,6,65,7 effect size (difference in standard deviation units) Sample size and effect size Power and effect size % power power & difference by # subjects per treatment arm,1,15,2,25,3,35,4,45,5,55,6,65,7 effect size! = 5% n = 8 Power and effect size Parte 1 : Inferenza! Test d'ipotesi! Intervalli di confidenza! Test parametrici! Calcoli di potenza! Test non parametrici

14 Parametrico o non parametrico? I test parametrici si applicano a dati con modalità quantitative, utilizzando indici statistici quali: % la media; % la varianza; % la deviazione standard Per utilizzarli, è necessario che alcune condizioni siano soddisfatte: % indipendenza delle osservazioni; % normalità delle distribuzioni campionarie; % omogeneità delle varianze campionarie In particolare sono tanto più sensibili a deviazioni da tali assunzioni quanto maggiori sono le differenze di numerosità tra i campioni! Parametrico o non parametrico? I test non parametrici: % prescindono dalle assunzioni sulle distribuzioni campionarie; % possono essere applicati anche a dati con caratteri qualitativi Noi vedremo: % test X 2 di Pearson (o del chi-quadro) % test U di Mann-Whitney % test di Kruskall-Wallis % test di Kolmogorov-Smirnov Tabelle di contingenza e test del chi-quadro Tabelle di contingenza e test del chi-quadro B NB tot A NA tot f B,A f B,NA f NB,A f NB,NA f A f NA f B,A = numero osservato di soggetti che hanno congiuntamente i caratteri A e B I soggetti devono assolutamente essere indipendenti Domanda: I caratteri A e B sono indipendenti? f B f NB n B NB tot A f* B,A f* NB,A f A NA f* B,NA f* NB,NA f* B,A = numero atteso di soggetti che hanno congiuntamente i caratteri A e B, in condizione di indipendenza f NA f* B,A = f B * f A / n tot f B f NB n Dobbiamo capire qual è la situazione di indipendenza prodotto delle frequenze marginali diviso il no totale dei soggetti Tabelle di contingenza e test del chi-quadro Domanda: I caratteri A e B sono indipendenti? Il test adatto in questo caso è : X (a o) 2 = & 2 a ) ' 2 (r-1)(c-1) La regione di rifiuto R è sempre unilaterale destra o = freq oss a = freq attesa r = no righe, c = no colonne A R Tabelle di contingenza e test del chi-quadro osservazione Il test del chi-quadro consente di misurare la dipendenza di due variabili, ma i risultati sono molto influenzati dai gradi di libertà Inoltre, differenti valori del chi-quadro sono confrontabili solo se derivano da esperimenti o inchieste compiute sullo stesso numero di soggetti Indici: Un valore pari allo zero indica mancanza di associazione, mentre un valore tendente all'unità (+/-) indica la presenza di associazione

15 chi-quadro indici di associazione nominali ordinali Coefficiente ( * di Kendall Test U di Mann-Whitney È il corrispondente non parametrico t per il confronto delle medie di 2 campioni normali e indipendenti D di Somers Molti test non parametrici non si avvalgono dei dati originali ma dei ranghi Coefficiente di contingenza Coefficiente ) Coefficiente V di Cramér dati ranghi,7 6-1,6 1 -,2 3-1,2 2 -,1 4 3,4 9 3,7 1, Trasformazione dei dati: una volta ordinati i dati, ad ognuno di essi viene assegnato un numero relativo alla sua posizione nella scala ordinata Test U di Mann-Whitney % Riunisco i dati come se fossero provenienti da un unico campione % Ordino tutti i dati dal più piccolo al più grande % Assegno dei ranghi ad ogni dato % Sommo i ranghi del campione 1 e del campione 2 Se i due campioni provengono dalla stessa distribuzione, ci si aspetta che la somma dei ranghi dei due campioni siano più o meno simili I valori sono stati tabulati e il valore risultante va confrontato con apposite tavole Test di Kruskall-Wallis È il corrispondente non parametrico F per l analisi della varianza (ANOVA) % Assegna i ranghi alle osservazioni indipendentemente dalla classe di appartenenza % Calcola i ranghi totali e medi di ogni classe % Si valuta attraverso un indice apposito la variabilità dei ranghi tra e intra classi I valori sono stati tabulati e il valore risultante va confrontato con apposite tavole Test di Kolmogorov-Smirnov Test di Kolmogorov-Smirnov Permette di verificare se: % due insiemi di dati (data set ) provengono dalla stessa distribuzione,? = oppure se: % la distribuzione di un certo campione è significativamente diversa da una certa distribuzione nota? =

16 Test di Kolmogorov-Smirnov Test di Kolmogorov-Smirnov