Elementi di Psicometria con Laboratorio di SPSS 1

Transcript

1 Elementi di Psicometria con Laboratorio di SPSS 1 25-Dimensione degli effetti e 26-Metanalisi vers. 1.0 (2 dicembre 2014) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca G. Rossi (Dip. Psicologia) ElemPsico / 24

2 Saltare Saltare i paragrafi 25.5 e 25.6 (relativi al test di Mann-Whitney e all Anova) e 26.5 e seguenti che non sono in programma G. Rossi (Dip. Psicologia) ElemPsico / 24

3 Introduzione La ricerca usa la statistica per verificare le sue ipotesi di lavoro, tramite la falsificazione dell ipotesi nulla Le domande della ricerca cadono in due categorie: teorico-metodologico statistiche A livello teorico-metodologico ci si chiede se i risultati della ricerca sono importanti per capire la realtà, se hanno una rilevanza pratica... A livello statistico ci si chiede se il risultato ottenuto è veramente vero G. Rossi (Dip. Psicologia) ElemPsico / 24

4 Introduzione Uno dei problemi teorici e statistici della ricerca è l errore di misurazione Ogni misurazione che noi facciamo è soggetta alla possibilità dell errore (ad es. uno strumento impreciso oppure una nostra operazionalizzazione errata) misurare l età di un adulto in anni è sufficientemente buona per tutte le occasioni misurare in anni l età di un bambino può essere impreciso (in certi periodi un bambino cambia molto in un anno) questo pone un problema di affidabilità della misurazione G. Rossi (Dip. Psicologia) ElemPsico / 24

5 Introduzione l età di una persona può essere misurata in molti modi: chiedendo ad un amico, alla persona stessa, chiedendo la data di nascita, la data e l ora di nascita, chiedendo il certificato di nascita che dovrebbe riportare la data e l ora di nascita vere (ma solo in paesi in cui è l ospedale a denunciare la nascita) anche far misurare qualcosa a due persone diverse, può portare ad avere una misurazione non affidabile In teoria, possiamo stimare quanto sono affidabili due misurazioni tramite una formula: r x y = r xy rxx r yy dove r x y è il coefficiente di attenuazione; r xy è la correlazione fra due misurazioni, mentre r xx e r yy sono i coefficienti di affidabilità delle due misurazioni singole G. Rossi (Dip. Psicologia) ElemPsico / 24

6 Introduzione Questo potrebbe permetterci di aggiustare una misurazione inaffidabili tramite il sui coefficiente di attenuazione con un altra affidabile purtroppo quasi mai conosciamo l inaffidabilità di una misurazione (soprattutto in psicologia) G. Rossi (Dip. Psicologia) ElemPsico / 24

7 Dimensione dell effetto: Introduzione Tramite il test della differenza delle medie (t-test) abbiamo visto se due medie sono diverse ovvero se i campioni su cui le medie sono state calcolate provengono da popolazioni con parametri statistici uguali o diversi questa informazione però è solamente vero/falso: o c è differenza oppure no Inoltre l eventuale differenza delle medie va interpretata come un risultato che potrebbe non essere sicuro ma anche come un differenza relativa se la religiosità estrinseca personale è diversa in base al genere e vediamo che la media dei maschi è minore di quella delle femmine non possiamo interpretare nulla di più della diversità G. Rossi (Dip. Psicologia) ElemPsico / 24

8 Introduzione Se leggo che i maschi (M=14.72) risultano significativamente più aggressivi delle femmine (M=13.15), penso ad una grande differenza poi vado a vedere com è stata costruita la variabile di aggressività usata e vedo che ha un intervallo di 10 (min 5, max 15) e allora penso che in fondo entrambi sono aggressivi anche se i maschi hanno una media un pochino più alta ma se l intervallo fosse di 40 (min 10, max 50)? diremmo che le due medie di e sono molto vicine fra loro e molto basse ma allora la differenza fra e 13.15, visto che è statisticamente significativa, è una differenza importante? G. Rossi (Dip. Psicologia) ElemPsico / 24

9 Introduzione Abbiamo già visto che certe statistiche dipendono dall ampiezza del campione: più un campione è ampio, più le statistiche sono in grado di trovare un effetto ad es. una correlazione di.75 NON è significativa con un campione di 6 osservazioni, ma lo è con 8 osservazioni Nel t-test, l errore standard diminuisce all aumentare del campione e il valore di t diventa più grande D altra parte, una correlazione di.15 equivale al 2,25% di varianza in comune, mentre una correlazione di.75 equivale al 56.25% di varianza comune Quindi, l effetto trovato (correlazione, t-test, chi-quadro....) dipende anche da quanto è grande l effetto che sto misurando Se un effetto è grande, lo troverò anche con campioni piccoli, se è piccolo mi servirà un campione ampio G. Rossi (Dip. Psicologia) ElemPsico / 24

10 Dimensione dell effetto (Effect size) L effect size è un indice di quanto è ampia la dimensione dell effetto trovato: se è piccolo, medio o grande Il concetto di dimensione dell effetto è teorico e si può applicare a qualunque risultato di analisi dei dati In alcuni casi non è facilmente stimabile Ci sono sostanzialmente due modi di stimare la dimensione dell effetto 1 uno relativo e basato sulla statistica usata 2 uno più comparabile, basato sul concetto di correlazione, cioè sull associazione fra effetto e variabile misurata G. Rossi (Dip. Psicologia) ElemPsico / 24

11 Dimensione dell effetto (t-test) Uno dei primi autori a proporre una possibile stima della dimensione dell effetto fu Cohen ragionando sulla differenza delle medie, propose di misurare la dimensione con qualcosa di simile a d = µ 1 µ 2 σ combinata ovvero la differenza delle medie delle due popolazioni diviso la deviazione standard delle popolazioni combinate fra loro La dimensione dell effetto è qui vista come una misura standardizzata della differenza delle medie G. Rossi (Dip. Psicologia) ElemPsico / 24

12 Dimensione dell effetto (t-test) Cohen pensava che d dovesse oscillare fra 0 e 1 e propose una interpretazione generica di d d =.20, effetto piccolo d =.50, effetto medio d =.80, effetto grande ma spesso d supera il valore 1 e in letteratura si trovano che questi valori vengono generalmente considerati giganti (huge) G. Rossi (Dip. Psicologia) ElemPsico / 24

13 Dimensione dell effetto (t-test) Una possibile formula per il t-test (per campioni indipendenti) è stata proposta da Hedge: g = X 1 X 2 (N1 1)s 2 1 +(N 2 1)s 2 2 N 1 +N 2 2 in cui il denominatore è la varianza combinata dei due campioni G. Rossi (Dip. Psicologia) ElemPsico / 24

14 Dimensione dell effetto (t-test) Dal momento che sia g sia t usano la varianza combinata, g = X 1 X 2 (N1 1)s 2 1 +(N 2 1)s 2 2 N 1 +N 2 2 t = (N 1 1)s 2 1 +(N 2 1)s 2 2 N 1 +N 2 2 X 1 X 2 ( ) N1 N2 conoscendo le numerosità e il valore di t, si può calcolare g anche come: t N1 + N g = 2 = t N1 N 2 N 1 N 2 N 1 +N 2 G. Rossi (Dip. Psicologia) ElemPsico / 24

15 Dimensione dell effetto (t-test) Ovviamente, usando le forme inverse, possiamo calcolare t usando g Se i due gruppi non hanno la stessa numerosità: N1 N 2 t = g N 1 + N 2 Ma è più facile avere t che non g, in quanto molti software calcolano t, ma non g SPSS non calcola g G. Rossi (Dip. Psicologia) ElemPsico / 24

16 Esempio di uso di d Italiano Originale Test t M s M s p d Fondamentalismo 75,35 32,03 84, Intrinseco 22,25 4,57 37,2 5,8 < Estrinseco 15,94 5,29 25,6 5,7 < Esempio Confrontando il nostro campione con quello originale, osserviamo che ci sono alcune differenze. Mentre il t-test sembra evidenziare che la popolazione canadese è più fondamentalista di quella italiana, l effect size ci dece che la differenza è piccola (d=-0.28). La situazione cambia per quanto riguarda l orientamento religioso: ci sono differenze più grandi tra le 2 popolazioni sia per quanto riguarda la religiosità intrinseca che per quella estrinseca. Infatti i valori della d di Cohen sono decisamente giganti. G. Rossi (Dip. Psicologia) ElemPsico / 24

17 Esempio di uso di d Primo Secondo Test t M s M s p d Fondamentalismo 75,35 32,03 81,7 31, Intrinseco 21,37 5,41 23,4 5,66 < Estrinseco 15,94 5,29 16,1 5,21 n.s. Estrinseco Personale 9,45 3,12 10,21 3, Estrinseco Sociale 6,45 3,13 5,94 3,01 n.s..17 Esempio I risultati del nostro campione sono stati confrontati con quelli di un campione italiano precedente. Attraverso il test t osserviamo che vi sono tre variabili statisticamente diverse. Tuttavia le differenze riscontrate sono minime, infatti l effect size più elevato è di solo.36, quindi le dimensioni degli effetti sono tutte piccole. Questo ci permetterebbe di affermare che potrebbe esiste comunque una somiglianza tra i 2 campioni italiani, la cui diversità potrebbe anche essere casuale. G. Rossi (Dip. Psicologia) ElemPsico / 24

18 Dimensione dell effetto come associazione La dimensione dell effetto indica la relazione esistente fra una variabile e l altra, espressa in modo standardizzato la d di Cohen (e la g di Hodge) non ci riescono Tuttavia abbiamo visto un indice statistico che esprime esattamente l associazione di due variabili: la correlazione Per questo motivo, sono state sviluppate delle formule che esprimono la dimensione dell effetto in termini di associazione (cioè di correlazione) G. Rossi (Dip. Psicologia) ElemPsico / 24

19 Dimensione dell effetto come associazione Il coefficiente phi è anche un indice di associazione fra le due variabili Un indice di associazione misura la forza con cui le due variabili sono legate fra loro Per questo motivo, φ misura anche la dimensione dell effetto Il χ 2 ci dice che le due variabili sono fra di loro dipendenti o indipendenti ed effettua un test probabilistico Rifiutando l ipotesi nulla, stiamo solo dicendo che, probabilmente, c è un legame fra le variabili all interno della popolazione da cui abbiamo estratto il campione φ ci dice invece quanto le due variabili sono legate fra loro G. Rossi (Dip. Psicologia) ElemPsico / 24

20 Dimensione dell effetto come associazione φ in una tabella 2x2 corrisponde ad una r di Pearson il coefficiente di contingenza (C) è proposto dal vostro libro come un sostituto di φ per tabelle diverse da 2x2 ma, anche se oscilla fra 0 e 1, non è propriamente una correlazione Anche il V di Cramer è un effect size per tabelle diverse da 2x2 ed è considerato una stima migliore di C (Ellis, 2010) r φ = φ = χ 2 N χ 2 C = N + χ 2 χ V di Cramer = 2 N(k 1) con k = min(r, c) G. Rossi (Dip. Psicologia) ElemPsico / 24

21 Dimensione dell effetto come associazione Anche nel caso di un t-test per campioni indipendenti si può calcolare una misura di associazione Se indichiamo i due gruppi con 0 e 1, la normale correlazione di Pearson corrisponde a una correlazione punto-biseriale (r bis o r pb ) ma è più semplice usare una formula che trasforma t in r t r bis = 2 t 2 + df G. Rossi (Dip. Psicologia) ElemPsico / 24

22 Utilizzo della dimensione dell effetto La dimensione dell effetto è importante in ambito statistico perché ha aperto la strada ad almeno due approcci nuovi L analisi della potenza: lo studio dell errore di II tipo (o β) [capitolo 29] La metanalisi: le ricerche sulle ricerche su uno stesso argomento La metanalisi è una tecnica statistica che studia i risultati di ricerca, in particolare i risultati delle analisi statistiche di diverse ricerche per vedere se gli effetti riscontrati sono in qualche modo legati a caratteristiche particolari. G. Rossi (Dip. Psicologia) ElemPsico / 24

23 Utilizzo della dimensione dell effetto La metanalisi sta sostituendo le rassegne bibliografiche perché le migliora Una ricerca bibliografica è la raccolta/riassunto di articoli di ricerca su un particolare argomento lo scopo è quello di riassumere i risultati ottenuti e le situazioni in cui un determinato strumento funziona (oppure in quali circostanze si presenta un certo effetto) I lavori trovati vengono generalmente accostati l uno all altro per variabili misurate confrontati per tipo di campione tipo di variabili dipendenti (misurazioni diverse dello stesso costrutto) variabili indipendenti usate risultati ottenuti G. Rossi (Dip. Psicologia) ElemPsico / 24

24 Utilizzo della dimensione dell effetto La metanalisi permette di confrontare queste ricerche, non solo teoricamente, ma anche statisticamente la dimensione dell effetto di ogni ricerca, diventa la misura su cui valutare le ricerche e su cui applicare le analisi statistiche comuni (in genere l analisi della varianza) in questo modo si può vedere se gli effetti sono più grandi in un certo tipo di campione oppure con certi tipi di strumenti (variabili indipendenti) G. Rossi (Dip. Psicologia) ElemPsico / 24