Elementi di Psicometria con Laboratorio di SPSS 1

Transcript

1 Elementi di Psicometria con Laboratorio di SPSS 1 14-Introduzione all analisi della potenza statistica (vers. 1.2a, 11 dicembre 2015) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca G. Rossi (Dip. Psicologia) ElemPsico / 25

2 Analisi della potenza È il capitolo 14 del libro di testo Studiare fino a p.265 Leggere a p. 265 La verifica d ipotesi sulla media di una popolazione Saltare proporzione a p. 270, correlazione a p.272 Leggere differenza fra le medie a p. 273, medie appaiate a p.278, come stimare a p.279 Leggere interpretazione a p. 281 G. Rossi (Dip. Psicologia) ElemPsico / 25

3 Introduzione Ogni volta che si inizia a fare una ricerca ci si trova ad affrontare diversi problemi: uno di questi è l ampiezza del campione Devo raccogliere almeno 100 soggetti? o ne bastano 30? La ragione di questa domanda è duplice Più piccolo è il campione, meno tempo (e fatica) è necessario per raccogliere i dati Più grande è il campione, più probabilità abbiamo di ottenere risultati significativi A questa domanda ci sono diverse risposte comuni (si ricordi che la statistica ipotizza un campione casuale) 1 Almeno 30 per ogni gruppo formato dalle variabili indipendenti 2 Un campione il più grande possibile 3 Non si sa esattamente quanto dev essere grande G. Rossi (Dip. Psicologia) ElemPsico / 25

4 Grandezza di un campione La prima risposta fa riferimento alla teoria campionaria, per cui con campioni di 30 o più osservazioni, la distribuzione campionaria tende a distribuirsi normalmente anche se la variabile non è normale La seconda risposta dipende dall idea che se il campione è molto grande sia più facile trovare un risultato significativo L ultima risposta non è accettabile, salvo: 1 quando non si conosce assolutamente nulla sull argomento di ricerca 2 si hanno molte variabili indipendenti e molte dipendenti 3 si è interessati più ad una ricerca esplorativa che ad una ricerca inferenziale vera e propria G. Rossi (Dip. Psicologia) ElemPsico / 25

5 Grandezza di un campione La grandezza del campione dovrebbe quella che permette di rispondere alle ipotesi di ricerca, considerando che: il risultato dipende dalla dimensione dell effetto che si studia (un effetto grande verrà rilevato anche con poche osservazioni, mentre uno piccolo necessita di più casi) dal rischio di sbagliare la nostra decisione (cioè dall errore di I e di II tipo che utilizziamo); un α elevato produrrà più rifiuti di H 0 e uno più piccolo più rifiuti di H 1 G. Rossi (Dip. Psicologia) ElemPsico / 25

6 Relazioni fra errori e ipotesi Risultato ricerca Realtà H 0 - Vera H 0 - Falsa H 1 - Falsa H 1 - Vera Corretta Errore II tipo Accetto H 0 ; rifiuto H 1 1 α β Errore I tipo Corretta Rifiuto H 0 ; accetto H 1 α 1 β Se α è la probabilità di rifiutare H 0 quando è vera, 1 α sarà la probabilità di accettare H 0 quando è vera Analogamente se β è la probabilità di accettare H 0 quando è falsa, 1 β sarà la probabilità di rifiutare H 0 quando è falsa 1 β è chiamata potenza di un test e corrisponde alla probabilità di rilevare una relazione veramente esistente nella realtà G. Rossi (Dip. Psicologia) ElemPsico / 25

7 Analisi della potenza La potenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa, perché noi, in genere, verifichiamo un ipotesi nulla rispetto ad una gamma di ipotesi alternative (ad es. H 1 : µ 1 µ 2 ) Come ricercatori, facciamo molti sforzi per organizzare e fare una ricerca che ci dia conoscenze sicure e affidabili. Ma i nostri sforzi sono vani se non riusciamo a trovare i risultati che ci aspettiamo, o meglio, se non riusciamo a falsificare con maggior sicurezza la nostra ipotesi. Per molti anni, i ricercatori si sono focalizzati sul rischio di rifiutare H 0 quando è vera (atteggiamento conservatore) Di recente ha acquisito importanza anche l errore opposto. Riassumiamo un momento le procedure di verifica d ipotesi G. Rossi (Dip. Psicologia) ElemPsico / 25

8 Verifica d ipotesi All inizio di una ricerca, partiamo generalmente da un ipotesi che è espressa a parole. Ad es. A causa delle nuove tecnologie di comunicazione veloce ( , sms, chat, cellulari) gli studenti passano meno tempo a stabilire relazioni personali dirette fra di loro. Siccome qualcuno ha raccolto dati sul tempo trascorso in relazioni personali negli anni precedenti (M=6 ore alla settimana; s=2), posso raccogliere un nuovo campione da confrontare con il precedente Possiamo trasformare la nostra ipotesi verbale in ipotesi statistica: H 0 : µ = 6.0 H 1 : µ < 6.0 G. Rossi (Dip. Psicologia) ElemPsico / 25

9 Verifica d ipotesi Ricordiamo che noi verifichiamo l ipotesi nulla confrontandola con un ipotesi alternativa. L ipotesi nulla è ciò che è noto o che si assume in base alla teoria o alle ricerche precedenti. Nel nostro esempio, la ricerca precedente, ci ha detto che gli studenti universitari hanno speso circa 6 ore della settimana in contatti faccia-a-faccia (più o meno 2 ore). Così, la nostra ipotesi è che µ = 6.0. L errore α ci protegge dal prendere una decisione errata basata su un campione particolarmente anomalo estratto dalla popolazione corretta La potenza di un test (1 β) ci dice la probabilità di aver accettato correttamente l ipotesi alternativa G. Rossi (Dip. Psicologia) ElemPsico / 25

10 Concetti chiave della potenza Ricordiamo che la potenza statistica di un test è la sua capacità di rifiutare un ipotesi nulla falsa e che è legata al test statistico usato. Ci sono 3 variabili legate alla potenza di un test: 1 Il livello di significatività cioè α: più è severo (vicino a 0), più è difficile rifiutare l ipotesi nulla (anche quando è falsa). all aumentare di α aumenta la potenza del test. Tuttavia non possiamo usare α molto grandi un buon criterio (non troppo basso, né troppo alto) è α = 0.05 (per ricerche esplorative possiamo usare valori leggermente maggiori) G. Rossi (Dip. Psicologia) ElemPsico / 25

11 Concetti chiave della potenza 2 L ampiezza del campione cioè N quando un campione è grande, è meno probabile fare errori di campionamento e trovare dati che portino a stime inaffidabili dei parametri della popolazione. L errore standard è sempre basato su N e diminuisce all aumentare di N. Quindi all aumentare di N, aumenta la potenza 3 La dimensione dell effetto nella popolazione cioè d o r; la dimensione dell effetto è misurabile in modo grezzo (la d o g del t-test) o in modo standardizzato (la φ del chi-quadro), cioè tramite una correlazione G. Rossi (Dip. Psicologia) ElemPsico / 25

12 Concetti chiave della potenza 3 La dimensione dell effetto nella popolazione cioè d o r; ovvero quanto grande è il risultato che abbiamo ottenuto; ricordiamo che d o r ha senso solo se H 0 è falsa; quindi possiamo considerare d o r come una misura di quanto è falsa l ipotesi nulla; tanto più d o r è grande, tanto più H 0 è falsa, tanto più aumenta la potenza 4 Possiamo considerare la potenza statistica (cioè 1 β) come un quarto elemento Essendo legati fra loro matematicamente; si può calcolare il valore del quarto conoscendo il valore degli altri tre G. Rossi (Dip. Psicologia) ElemPsico / 25

13 Concetti chiave della potenza Riassumendo: Potenza (1 β) aumenta diminuisce quando α aumenta diminuisce quando N aumenta diminuisce quando d o r aumenta diminuisce La formula che lega i quattro indici è abbastanza complessa per cui sono state predisposte delle tavole (Tavola D a p. 476) che utilizzano α e una combinazione di d ed N chiamata δ: dove f() indica funzione di δ = df(n) ed esistono dei software appositi (ad es. G*Power, che è free) G. Rossi (Dip. Psicologia) ElemPsico / 25

14 Uso dell analisi di potenza L analisi di potenza viene usata, generalmente, per due obiettivi 1 a posteriori per determinare la potenza di un test: dal momento che la ricerca viene effettuata su un certo campione (di ampiezza N) e usando un certo livello α, e dai risultati ottenuti possiamo calcolare d, ne consegue la possibilità di stimare la potenza di un test, cioè la probabilità di aver fatto la scelta giusta; 2 a priori per determinare la numerosità del campione: se vogliamo fare una ricerca che abbia una determinata potenza, una volta stabilito un determinato α e ipotizzato un determinato d, quale dev essere l ampiezza del campione? G. Rossi (Dip. Psicologia) ElemPsico / 25

15 Calcolare la potenza a priori Ipotizziamo di voler fare una ricerca su un campione patologico (ad es. pazienti di un servizio mentale) Possiamo fare una ricerca veloce (in termini di tempo) su un piccolo campione oppure una ricerca che duri più tempo per poter raccogliere un campione più grande certamente non vogliamo fare una ricerca che non abbia abbastanza potenza e che possa essere criticata Decidiamo quindi una potenza minima che vogliamo raggiungere, un effect size che ci aspettiamo e calcoliamo quanto dev essere ampio il campione da raccogliere. G. Rossi (Dip. Psicologia) ElemPsico / 25

16 Calcolare la potenza a posteriori Abbiamo raccolto un certo campione su cui abbiamo misurato una certa variabile Abbiamo stabilito un livello α =.05 L analisi dei dati, ci ha fornito i valori da utilizzare per il calcolo dell effect size A questo punto abbiamo due strade (sia per l approccio a priori sia per quello a posteriori): 1 fare un calcolo a mano e usare le tavole (slide??) in questo caso ci serve solo di sapere qual è la funzione da applicare ad N per trovare δ, e poi cercare il valore corrispondente alla potenza sulla tavola D o E del libro La funzione f(n) cambia in base alla tecnica statistica utilizzata 2 usare il software G*Power (slide 21) G. Rossi (Dip. Psicologia) ElemPsico / 25

17 Potenza per la Media di una popolazione (a mano) La funzione è f(n) = N l ipotesi alternativa coincide con il valore della media del campione calcoliamo troviamo δ = d N d = (µ 1 µ 0 )/σ Ipotizziamo di conoscere µ e σ della popolazione: µ = 84 e σ = 12; di aver calcolato i seguenti valori su un campione di N = 60: M = 76.92; s = Le nostre ipotesi saranno: H 0 : µ = 84 H 1 : µ 76, 92 d = (84 76, 92)/12 = 0.59 δ = = Se cerchiamo sulla tavola D un δ = 4.57 (4.5) troviamo una potenza statistica di 0.99 Per α =.05 bidirezionale G. Rossi (Dip. Psicologia) ElemPsico / 25

18 Potenza per la Differenza delle medie (a mano) La funzione è f(n) = n 2 Se N 1 = N 2, allora n = N 1 Se N 1 N 2, allora n = 2 N 1 N 2 N 1 + N 2 l ipotesi alternativa coincide con il valore della media del campione usiamo l effect size di t (cioè g) troviamo n δ = g 2 G. Rossi (Dip. Psicologia) ElemPsico / 25

19 Differenza delle medie (a mano) Facciamo riferimento alle slide del cap. 11 per la variabile Estr_pers Avevamo: N=158 maschi e N=181 femmine, con t = Calcoliamo l effect size N1 + N g = t N1 N2 = = quindi troviamo n = = n δ = d 2 = = Dalla Tavola D, troviamo un potenza di 0.97 G. Rossi (Dip. Psicologia) ElemPsico / 25

20 Stimare la numerosità (a mano) per la differenza di due medie (campioni indipendenti) la funzione da usare è: ( ) δ 2 n = 2 d sulla Tavola E (p. 477), per un test a due code con α = 0.05 e una potenza statistica di 0.90, δ = 3.24 Facciamo ancora riferimento alle slide del cap. 11 per la variabile Estr_pers Vorremmo ottenere un d =.50 e perciò n = 2 ( ) = corrispondente ad un campione totale di 168 G. Rossi (Dip. Psicologia) ElemPsico / 25

21 Calcolare la potenza di un test con G*Power Facciamo riferimento alle slide del cap. 11 per la variabile Estr_pers Avevamo: N=158 maschi e N=181 femmine, con t = Abbiamo stabilito un livello α =.05, e calcoliamo l effect size N1 + N g = t N1 N2 = = In G*Power, scegliamo Test family = t-tests, Statistical test = Means: Difference between two independent means (two groups), Type of power analysis = post hoc: Compute achieved power Inseriamo in Effect size d =.43, in α err prob 0.05, in Sample size group e in Sample size group Clicchiamo Calculate G. Rossi (Dip. Psicologia) ElemPsico / 25

22 Videata con G*Power La potenza è G. Rossi (Dip. Psicologia) ElemPsico / 25

23 Numerosità del campione con G*Power In G*Power, scegliamo Test family = t-tests, Statistical test = Means: Difference between two independent means (two groups), Type of power analysis = A priori:... Inseriamo Effect size d =.50, α err prob = 0.05, Power =.60, Allocation ratio N2/N1 = 1 Clicchiamo Calculate: ci servono due campioni di 41 casi ciascuno G. Rossi (Dip. Psicologia) ElemPsico / 25

24 Numerosità del campione con G*Power Cambiando ratio N2/N1, indichiamo di voler/poter usare campioni di diversa numerosità G. Rossi (Dip. Psicologia) ElemPsico / 25

25 Interpretazione Un risultato non significativo non è necessariamente vero: se accettiamo per vera H 0, questo non significa che sia realmente vera. Se la potenza di un esperimento è bassa (ad es..50), beta sarà alto (1.50 =.50); quindi avremo il 95% di probabilità (1.05) che H 0 sia vera, ma il 50% che sia falsa Significatività con piccoli campioni: Nel caso del test t, t è parte di g; se t è molto alto, anche g lo sarà, se g è alto anche la potenza sarà alta (e beta sarà basso). Quindi un risultato t molto alto è molto più importante se ottenuto su piccoli campioni che su grandi campioni. Grandi campioni e significatività: con grandi campioni è più facile ottenere un t grande e quindi significativo; bisogna quindi considerare d (o g) per sapere l effettiva sicurezza da dare al risultato raggiunto G. Rossi (Dip. Psicologia) ElemPsico / 25