La questione dei Multiple Comparisons

Transcript

1 La questione dei Multiple Comparisons Massimo Borelli May 7, 2014 Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

2 Contenuti 1 Un errore tanto grave quanto frequente 2 i vantaggi dell approccio bayesiano 3 L approccio classico la correzione di Bonferroni il test HSD di Tukey il test di Dunnett Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

3 la domanda cruciale area etero mut wt la domanda cruciale... perchè, quando trovo un p-value significativo facendo l Anova, non basta che io faccia il t test tra i vari gruppi per sapere quale gruppo sia diverso dall altro? Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

4 un controesempio sport peso 1 poco 53 2 saltuario 50 3 saltuario 48 4 saltuario 49 5 poco 58 6 saltuario 45 7 tanto tanto 79 Table: il dataset studenti Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

5 un controesempio peso poco saltuario tanto Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

6 un controesempio t test (errato!) metodo appropriato poco vs. saltuario < poco vs. tanto saltuario vs. tanto Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

7 la questione dei multiple comparison la risposta cruciale ( ) ( ) ( ) = = ( )3 = 0.86 Scegliendo un livello α = 5% sussiste il 14% di probabilità di compiere un errore di primo tipo, i.e. affermare arbitrariamente che vi è un effetto (che potrebbe esserci, o no, ma tale decisione non può venir tratta dai dati in esame). Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

8 la questione dei multiple comparison Points to consider in Clinical Trials.. multiplicity can have a substantial influence on the rate of false positive conclusions (..) whenever there is an opportunity to choose the most favourable result from two or more analyses. Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

9 i Bayesiani lo fanno meglio Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

10 i frequentisti hanno un problemino Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

11 tre soluzioni classiche la correzione di Bonferroni obsoleta e con molti svantaggi il test HSD di Tukey se non ci sono gold standard il test di Dunnett se c è un gold standard Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

12 la correzione di Bonferroni α α N (1 α N ) (1 α N )... (1 α N ) = = (1 α N )N 1 N α N = 1 α svantaggi troppo esigente nel detectare un effetto riduce anche la potenza 1 β Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

13 la correzione di Bonferroni nel dataset tooth confronto aov, lm Bonferroni etero vs. mut etero vs. wt mut vs. wt non noto Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

14 il test HSD di Tukey Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

15 il test HSD di Tukey - Wikipedia Tukey s test (a.k.a. Tukey range test, Tukey method, Tukey s honest significance test, Tukey s HSD (honest significant difference) test, Tukey-Kramer method) is a single-step multiple comparison procedure. It is used in conjunction with an ANOVA to find means that are significantly different from each other... The Tukey HSD tests should not be confused with the Tukey Mean Difference tests (also known as the Bland-Altman Test). Tukey s test compares the means of every treatment to the means of every other treatment; that is, it applies simultaneously to the set of all pairwise comparisons and identifies any difference between two means that is greater than the expected standard error. q = µ i µ j SE Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

16 il test HSD di Tukey con R con dati normali ed omoschedastici > modello = aov( risposta fattore) > library(multcomp) > posthoc = glht(modello, linfct = mcp(fattore = Tukey )) > summary(posthoc) Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

17 il test HSD di Tukey con R con dati eteroschedastici e/o non normali: usiamo gli stimatori sandwich > modello = aov( areainfl il1b) > library(multcomp) > library(sandwich) > posthoc = glht(modello, linfct = mcp(il1b = Tukey ), vcov = sandwich) > summary(posthoc) Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

18 il test HSD di Tukey con R Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

19 il test HSD di Tukey con R con il test HSD di Tukey: solo p-value marginali: Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

20 il test HSD di Tukey con R > plot(posthoc) 95% family-wise confidence level ut - etero ( ) wt - etero ( ) wt - mut ( ) Linear Function Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

21 il test di Dunnett: con un gold standard Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

22 il test di Dunnett - Wikipedia Dunnett s test is a multiple comparison procedure to compare each of a number of treatments with a single control. Dunnett s test is performed by computing a Student s t-statistic for each group to a single control group. The formal test statistic for Dunnett s test is the largest in absolute value of these t-statistics. Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

23 il test di Dunnett: esempio classico dataset recovery blanket minutes 1 b b b b b b3 13 Minutes b0 b1 b2 b3 Blanket Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

24 il test di Dunnett: esempio classico > modello = aov(minutes blanket) > summary.lm(modello) Estimate Std. Error t value Pr(> t ) (Intercept) blanketb blanketb blanketb Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

25 il test di Dunnett: esempio classico il test di Dunnett (non aggiustato per le correlazioni) > posthoc = glht( modello, linfct = mcp(blanket = Dunnett ), alternative = less ) > summary(posthoc) Estimate Std. Error t value Pr(<t) b1 - b0 >= b2 - b0 >= b3 - b0 >= Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

26 il test di Dunnett: esempio classico il test di Dunnett eseguito in modo corretto > summary(posthoc, test = adjusted(type = free )) Estimate Std. Error t value Pr(<t) b1 - b0 >= b2 - b0 >= b3 - b0 >= Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27

27 Bibliografia 1 Bretz F., Hothorn T., Westfall P. (2010). Multiple Comparisons Using R. CRC Press. Massimo Borelli () La questione dei Multiple Comparisons May 7, / 27