Strumenti di indagine per la valutazione psicologica

Transcript

1 Strumenti di indagine per la valutazione psicologica 4.2 Confronti multipli Università di Cagliari, a.a. 2013/2014 Davide Massidda Il livello di burnout dipende dal reparto? Soggetto Burnout Reparto 1 22 Rianimaz 2 19 Rianimaz 3 23 Rianimaz 4 20 Rianimaz 5 18 Rianimaz 6 16 Ostetricia 7 12 Ostetricia 8 17 Ostetricia 9 14 Ostetricia Ostetricia Iperbarica Iperbarica Iperbarica Iperbarica Iperbarica :μ 1 =μ 2 =μ 3 : i, j μ i μ j Risultato dell'anova Possibili confronti Il fattore Reparto risulta statisticamente significativo (F (2,12) = 12.30, p < 0.01, η 2 = 0.67). Rifiutiamo : ci sono almeno due reparti che presentano valori medi significativamente diversi. Quali sono le medie che differiscono fra loro? E se ci fosse più di una differenza? μ Rn μ Os μ Ip Le ipotesi che si potrebbero fare sono tre, tutte potenzialmente valide: Rn Os Rn Ip Os Ip A meno che il fattore non abbia solo due livelli, si rendono necessarie ulteriori analisi (confronti multipli) per capire qual è la sorgente della significatività. Nota bene: è sempre buona prassi eseguire i confronti multipli solo se l'anova ha evidenziato una significatività del fattore.

2 Approcci ai confronti multipli Approcci ai confronti multipli Contrasti pianificati (a priori) Vengono pianificati prima di eseguire l'anova, impostando delle specifiche matrici di contrasto che saranno utilizzate per stimare i parametri del modello. Il numero di confronti possibili è limitato dai gradi di libertà e da alcuni vincoli da rispettare nella costruzione delle matrici di contrasto. I più comuni: confronti dummy, ortogonali, ortogonali polinomiali. È il metodo più elegante. Confronti post-hoc (a posteriori) Comunemente, vengono eseguiti a seguito di un risultato significativo evidenziato dall'anova. Fondamentalmente, si tratta di eseguire una serie di confronti fra le medie prese a due a due. Ce ne sono di tanti tipi, qui ne approfondiremo tre: 1. LSD (Least Significant Difference) di Fisher 2. Test t con correzione di Bonferroni 3. HSD (Honestly Significant Difference) di Tukey Il problema dei post-hoc Inflazione dell'errore di I tipo L'uso dei post-hoc è abbastanza controverso e fra gli statistici ci sono opinioni discordi sulle metodologie da applicare. Certo è che i post-hoc si portano dietro alcuni problemi. Vediamo prima di tutto quali sono questi problemi, e, successivamente, vediamo come diversi ricercatori li hanno affrontati. Vera Una ricerca può trovare un risultato significativo per puro e semplice effetto del caso (errore di I tipo). All'aumentare del numero di test statistici che vengono eseguiti, aumenta la probabilità di incappare in questo problema e quindi di ottenere un p value significativo per effetto del caso. Falsa Non rifiuto Errore di II tipo Rifiuto Errore di I tipo Perché la probabilità di errore aumenta?

3 Inflazione dell'errore di I tipo Inflazione dell'errore di I tipo Se dovessimo eseguire un unico test, la domanda sarebbe: «A è diverso da B?» Ma, con tre test, la domanda diventa: «A è diverso da B e contemporaneamente A è diverso da C e contemporaneamente B è diverso da C?» L'errore di I tipo ora diventa la probabilità di rifiutare l'ipotesi nulla quando sarebbe da accettare sia nel primo confronto che nel secondo che nel terzo. Nella prassi scientifica, la probabilità che le significatività individuate non siano effetto del caso deve essere pari almeno al 95%, ovvero Probabilità di rigettare correttamente A = B A B 0.95 A = C A C 0.95 B = C B C 0.95 Probabilità di rigettare correttamente tutte e tre le ipotesi: = Inflazione dell'errore di I tipo Inflazione dell'errore di I tipo Dato che < 0.95, c'è qualcosa che non va. Ora, se 0.95 è la probabilità che il rifiuto di non sia dovuto a un errore, la probabilità che invece un risultato emerga come significativo per effetto del caso (errore di I tipo) sarà: α=1 0.95=0.05 Come i ricercatori hanno affrontato questo problema? Eseguendo un numero n di test, questa probabilità diventa: α= n

4 Il metodo LSD di Fisher Il metodo LSD di Fisher Si tratta del primo metodo di confronto multiplo, sviluppato dallo stesso inventore dell'anova. Consiste nel calcolare una differenza minima (LSD) che deve essere oltrepassata perché una differenza tra medie possa essere considerata significativa. Date le tre differenze tra medie (in valore assoluto) dell'esempio del burnout: Δ 1 = x Rn x Os Δ 2 = x Rn x Ip Δ 3 = x Os x Ip possiamo calcolare una soglia che, se superata, sancirà la significatività del confronto. Dati due gruppi i e j, la differenza minima richiesta perché lo scarto tra le loro medie possa essere considerato significativo è data da: LSD=t ( 1 n i + 1 n j ) Dove t è il valore critico della distribuzione t di Student per α/2 (il test è bidirezionale), solitamente 0.05/2 = 0.025, con g.d.l. pari ai g.d.l. della varianza d'errore come da analisi della varianza. Il metodo LSD di Fisher La distribuzione t di Student Si noti che, se n i = n j (com'è tra l'altro nell'esempio del burnout), la formula può essere semplificata: LSD=t 2 n La distribuzione t di Student è simile alla normale, tanto simile che, per n > 30, le due diventano praticamente indistinguibili (la differenza, quindi, è sostanziale solo per piccoli campioni). Ha un unico parametro: i gradi di libertà ν. È la distribuzione di riferimento per il test di confronto tra due medie.

5 La distribuzione t di Student Il metodo LSD di Fisher ν = 2 ν = 3 ν = 1 Si può utilizzare anche un approccio un po' diverso (ma complementare). Invece di calcolare una soglia LSD, per ogni confronto si esegue un test t utilizzando un denominatore comune per tutti i confronti. x i x j t= ( ) n i n j Vogliamo provare con i nostri dati? Prima di partire Confronti multipli con LSD Quale esito dovremmo aspettarci? È sempre una buona idea guardare i dati prima di analizzarli (e non il contrario). Rianimazione vs Ostetricia :μ Rn =μ Os :μ Rn μ Os t= df=12 p= Rifiuto

6 Confronti multipli con LSD Confronti multipli con LSD Rianimazione vs Iperbarica Ostetricia vs Iperbarica :μ Rn =μ Ip :μ Os =μ Ip :μ Rn μ Ip :μ Os μ Ip t= t=0.41 df=12 df=12 p= Rifiuto p= Non rifiuto Tabella riassuntiva I problemi del metodo LSD Diff LSD t (12) p value Rn vs Os Rn vs Ip Os vs Ip Si osserva una differenza significativa tra rianimazione e ostetricia (t (12) = 4.07, p < 0.01) e tra rianimazione e camera iperbarica (t (12) = 4.48, p < 0.001), mentre non si riscontra alcuna differenza tra ostetrica e camera iperbarica (t (12) = 0.41, p = 0.69). Cosa fa il metodo LSD per contrastare l'errore di I tipo? Il metodo LSD protetto prevede di effettuare confronti solo se il risultato del test ANOVA è significativo. Ciò che è buona prassi per gli altri post-hoc, per LSD diventa una condizione imprescindibile. La logica è che, se il valore F è significativo, allora il rischio di incappare in un errore di I tipo è più bassa del normale, perché sappiamo già che non è valida. Questa logica è molto controversa. Oggi, il metodo LSD è ormai poco utilizzato.

7 La correzione di Bonferroni La correzione di Bonferroni α=0.05 α adjusted = α n c α adjusted = = In alternativa, invece di correggere il valore α, possiamo correggere il p-value: basta moltiplicare p per il numero di confronti n c. Infatti, un risultato è significativo se: p< α n c Dove n c è il numero di confronti da eseguire. Ora il nostro termine di confronto per il p-value non sarà più α bensì α adjusted e solo se p < α adjusted potrò rifiutare. Ma se moltiplico entrambi i membri per n c ottengo: pn c <α Il prodotto tra p e n c viene chiamato p adjusted. Risultati dei confronti Le conseguenze di Bonferroni Diff LSD t (12) p value Rn vs Os Rn vs Ip Os vs Ip α adjusted = Anche con una soglia più bassa, comunque i primi due confronti restano significativi. Non dobbiamo dimenticarci dell'errore di II tipo, cioè la probabilità di non rigettare quando invece sarebbe corretto rigettarla. La correzione di Bonferroni fa calare il valore α di riferimento; se i confronti sono tanti, α scende troppo, tanto da rischiare di prendere per non significativi dei risultati che invece dovrebbero esserlo (il test perde potenza). Insomma... non è che questa correzione sia esagerata? α adjusted = =0.0014

8 Le conseguenze di Bonferroni Il metodo HSD di Tukey Se ci sono più di tre/quattro confronti da eseguire, l'approccio di Bonferroni rischia di diventare troppo conservativo: per proteggerci dall'errore di I tipo, rischia di farci cadere nell'errore di II tipo. Quando i confronti sono più di tre, ci sono metodi migliori di correzione del p-value come per es. il False Discovery Rate (Benjamini e Hochberg, 1995; Benjamini e Yekutieli, 2001). Il test HSD di Tukey è simile a quello LSD di Fisher ma fornisce una protezione maggiore dall'errore di I tipo. HSD=q 2 ( 1 n i + 1 n j ) Dove q è il valore critico per un certo valore α della distribuzione studentized range, che dipende dal numero k di medie messe a confronto e dai g.d.l., che sono pari ai g.d.l. della varianza d'errore dell'anova. La distribuzione studentized range Il metodo HSD di Tukey Descrive la densità di probabilità dello studentized range di una variabile distribuita normalmente. Lo studentized range di una variabile è la differenza tra il valore massimo e il valore minimo diviso per la deviazione standard. ( Studentizzare significa trasformare una variabile dividendola per la stima della deviazione standard). Si noti che, se n i = n j, anche in questo caso la formula può essere semplificata: HSD=q n I valori critici per q sono riportati nella tavola C in Conte (2010) a pag (Le distribuzioni q e t sono strettamente legate.)

9 Il metodo HSD di Tukey Applicazione all'esempio del burnout Invece di calcolare una soglia HSD, per ogni confronto si può eseguire un test statistico utilizzando un denominatore comune per tutti i confronti, facendo riferimento alla distribuzione q: q= 2 x i x j ( 1 n i + 1 n j ) Diff HSD q (k=3, df=12) p value Rn vs Os Rn vs Ip Os vs Ip Si noti come HSD > LSD, per cui risulta più difficile rigettare l'ipotesi nulla. Anche i p-value sono già di base più elevati, infatti non hanno bisogno di correzione (non abbiamo più bisogno della correzione di Bonferroni). Alcune considerazioni Alcune considerazioni In generale, i post-hoc che utilizzano una componente d'errore comune e che tengono in considerazione l'errore di I tipo, come quello di Tukey, sono considerati più potenti. La maggior parte dei post-hoc richiede gruppi con osservazioni indipendenti (leggi: fattori between). Nel calcolo dei test t, piuttosto che utilizzare la varianza residua complessiva ottenuta dall'anova (formula 1), c'è chi preferisce l'approccio classico al test t (formula 2), che considera unicamente le varianze dei due gruppi in questione. x i x j t= MS error ( + 1n 1 ) i n j [1] x t= i x j s 2 i (n i 1)+s 2 j (n j 1) n i+n j n i +n j 2 n i n j [2]