Tecniche statistiche di analisi del cambiamento

Transcript

1 Tecniche statistiche di analisi del cambiamento 03-Ripasso inferenziale: T-test, chi quadro (vers. 1.1, 5 ottobre 2017) Germano Rossi 1 germano.rossi@unimib.it 1 Dipartimento di Psicologia, Università di Milano-Bicocca G. Rossi (Dip. Psicologia) Tsac / 80

2 La verifica d ipotesi Se conosco media e dev.st. della popolazione posso chiedermi se un campione appartiene a quella popolazione La verifica d ipotesi sulla media di un campione si applica tramite un punto z fra la media del campione e quello della popolazione di riferimento z = X μ σ X = X μ σ N Quindi si trova l area corrispondente al punto z, che è la probabilità associata a quel valore (p) E si confronta con il livello di significatività (α arbitrario) Se p α rifiuto l ipotesi nulla (H 0 ) e accetto quella alternativa (H 1 ) Se p > α accetto l ipotesi nulla (H 0 ) e rifiuto quella alternativa (H 1 ) G. Rossi (Dip. Psicologia) Tsac / 80

3 La verifica d ipotesi con σ sconosciuta Quando non si conosce la deviazione standard della popolazione, la si può stimare tramite la deviazione standard del campione X μ s X = X μ s N Tuttavia i valori ottenuti da questa formula non si distribuiscono esattamente come una normale (se non per campioni con N superiore a 30), perché s X è solo una stima di σ X La famiglia di distribuzioni basata su s X si chiama distribuzione t (di Student) Si tratta di una famiglia perché la curva di t cambia in base alla numerosità (o meglio ai gradi di libertà ) G. Rossi (Dip. Psicologia) Tsac / 80

4 Distribuzioni t (di Student) Per fortuna ci sono le tavole di t (Tavola B a p. 474) Si usa la distribuzione t (con df=n-1) Per N > 30 la t si approssima alla normale G. Rossi (Dip. Psicologia) Tsac / 80

5 Tavola di t (esempio) G. Rossi (Dip. Psicologia) Tsac / 80

6 Gradi di libertà Il concetto di gradi di libertà (gl o df) è comune a tutta la statistica In linea di massima, i df dipendono dalla numerosità In questo caso, usiamo la deviazione standard per ogni (X X) solo N 1 valori sono liberi di variare casualmente l ultima X, infatti, deve avere un valore tale che la somma di tutti gli scarti sia 0 G. Rossi (Dip. Psicologia) Tsac / 80

7 P e valore critico La tavola della normale ci forniva una probabilità che veniva confrontata con un livello di significatività (α) La tavola di t ci fornisce un valore critico per un determinato livello di significatività (sempre α) I due valori non sono antagonisti Il valore di p è la probabilità associata ad una certa statistica t Il valore critico (v c ) di t, è il valore della statistica associato ad un certo livello di significatività (α) Con p Se p < α, rifiuto H 0 Se p > α, accetto H 0 Con v c Se v c < t, rifiuto H 0 Se v c > t, accetto H 0 G. Rossi (Dip. Psicologia) Tsac / 80

8 Verifica d ipotesi con σ sconosciuta Ho un campione (N=35) con X = 148. Conosco la media della popolazione (μ = 140) ma non conosco σ Ipotizzo che il campione sia stato estratto casualmente da quella popolazione H 0 : μ c = μ = 140 H 1 : μ c μ ipotizzando α =.05 (bidirezionale), per 34 gl (trovato 30), v c = se fosse vera l ipotesi nulla, un campione estratto da quella popolazione avrebbe il 5% di probabilità di avere una media che sta entro ±2.042 t dalla media non è così G. Rossi (Dip. Psicologia) Tsac / 80

9 Stima intervallare Il test puntuale ci permette di accettare o rifiutare l ipotesi nulla Ma l ipotesi nulla è un singolo, specifico valore Se fossero possibili più ipotesi nulle, dovremmo calcolare più statistiche t L alternativa è usare la stima intervallare Il test viene effettuato sulla differenze fra μ e X che dovrebbe essere 0 l intervallo di confidenza perciò (se vera H 0 ) dovrebbe contenere lo 0 G. Rossi (Dip. Psicologia) Tsac / 80

10 SPSS: Gruppo singolo Analizza Confronta medie Test T: campione unico Scrivere un valore di media in Valore oggetto del test Infine OK G. Rossi (Dip. Psicologia) Tsac / 80

11 Risultati G. Rossi (Dip. Psicologia) Tsac / 80

12 Applicabilità 1 Quando si conosce la media della popolazione (μ) ma non la deviazione standard (σ) 2 Per confrontare la media di un campione con i risultati di una precedente ricerca pubblicata (media usata come stima della media della popolazione) 3 Per confrontare un singolo soggetto (il suo punteggio diventa la stima della popolazione) con il campione Cosa si usa 1 variabile quantitativa dipendente su cui verrà calcolata la media 1 valore utilizzato come media della popolazione G. Rossi (Dip. Psicologia) Tsac / 80

13 Differenza di due medie Finora abbiamo visto la possibilità di verificare la media di un gruppo rispetto ad una popolazione di cui conosciamo i parametri (μ e σ) [situazione solo teorica] la media di un gruppo rispetto ad una popolazione di cui conosciamo solo il parametro della media (μ) Se non conoscessimo neppure la media della popolazione (situazione tipica in psicologia), non potremmo fare nessun tipo di inferenza Tuttavia, la maggior parte delle volte, noi non siamo interessati a sapere se un certo campione appartiene ad una certa popolazione, ma a sapere se due campioni provengono dalla stessa popolazione o da due popolazioni con parametri diversi In questo caso, l ipotesi sarebbe che la differenza delle medie sia nulla (X 1 X 2 = 0) G. Rossi (Dip. Psicologia) Tsac / 80

14 Differenza di due medie Con lo stesso ragionamento fatto per la distribuzione campionaria delle medie, si può fare la distribuzione campionaria della differenza di due medie. Se 2 campioni vengono estratti dalla stessa popolazione, la loro media dovrebbe tendere alla media della popolazione, qualunque essa sia. Se facciamo la differenza fra le due medie (ed entrambe tendono alla media della popolazione), la loro differenza dovrebbe tendere ad essere uguale a 0 (μ 1 μ 2 = 0). Dovrebbe, ma non sempre è così. Tuttavia se estraiamo molte coppie di medie, la distribuzione della differenza di queste medie graviterà attorno allo 0. La stessa cosa dovrebbe capitare se i due campioni vengono da due popolazioni diverse che hanno, però, la stessa media (μ 1 = μ 2 ) G. Rossi (Dip. Psicologia) Tsac / 80

15 Differenza di due medie 100 differenze di medie campionarie Media= 0.03 Distribuzione delle differenze delle medie G. Rossi (Dip. Psicologia) Tsac / 80

16 Differenza di due medie Anche in questo caso abbiamo che per N 30, la distribuzione campionaria della differenza delle medie tenderà a distribuirsi normalmente e anche in questo caso potremo calcolare un errore standard della differenza delle medie e anche in questo caso, un valore piccolo dell errore standard indica una piccola oscillazione delle differenze campionarie attorno allo 0 e un valore grande indica una grossa oscillazione attorno allo 0 Anche in questo caso, se potessimo estrarre un numero infinito di coppie di campioni, potremmo calcolare l errore standard esatto Non potendo farlo, lo stimiamo a partire dalle deviazioni standard dei due campioni G. Rossi (Dip. Psicologia) Tsac / 80

17 Differenza di due medie Si pongono adesso due possibilità: la varianza nelle due popolazioni è uguale la varianza nelle due popolazioni è diversa se la varianza è uguale potremmo semplicemente sommare le singole varianze (in particolare se le numerosità dei due campioni è uguale) più spesso non possiamo ipotizzare che le varianze siano uguali e, ancora più spesso, i due campioni non hanno la stessa numerosità G. Rossi (Dip. Psicologia) Tsac / 80

18 Differenza di due medie Usiamo quindi una varianza combinata s 2 comb = (N 1 1)s (N 2 1)s 2 2 N 1 + N 2 2 e la stima dell errore standard diventa scomb 2 s X 1 X 2 = + s2 comb N 1 N 2 Mettendo assieme le due formule abbiamo (N 1 1)s1 2 s X 1 X 2 = + (N 2 1)s2 2 ( ) N 1 + N 2 2 N 1 N 2 G. Rossi (Dip. Psicologia) Tsac / 80

19 Differenza di due medie: test Il test sulla differenza delle medie si baserà sulla formula di z, ma produrrà una statistica t t = (X 1 X 2 ) (μ 1 μ 2 ) s X 1 X 2 Anche se è teoricamente possibile ipotizzare che la differenza di due medie corrisponda ad un certo valore (ad es. 5), la maggior parte delle volte si ipotizzerà che la differenza delle medie sia nulla; in questo caso μ 1 μ 2 = 0 e la formula si riduce alla sola differenze delle medie dei campioni In ogni caso, la statistica t calcolata avrà gradi di libertà pari a (N 1 1) + (N 2 1) = N 1 + N 2 2 G. Rossi (Dip. Psicologia) Tsac / 80

20 Test della differenza delle medie Conosciamo: M 1, M 2, s 1 e s 2 allora poniamo: H 0 : μ 1 = μ 2 H 1 : μ 1 μ 2 (oppure > oppure <) scegliamo α e troviamo il t critico applichiamo la formula t M1 M 2 = (N 1 1)s 2 1 +(N 2 1)s 2 2 N 1 +N 2 2 M 1 M 2 ( ) N1 N2 con gdl = N 1 + N 2 2 se t M1 M 2 < t c (in valore assoluto) accetto H 0 se maggiore (in valore assoluto), rifiuto H 0 (e accetto quindi H 1 ) G. Rossi (Dip. Psicologia) Tsac / 80

21 Test della differenza delle medie Abbiamo misurato l ortodossia in un campione di Testimoni di Geova e ci chiediamo se vi è differenza fra maschi (N=23) e femmine (N=12) facciamo le ipotesi nulla e alternativa H 1 : μ m μ f con α =.05 bidirezionale il t critico con gdl = = 33 è t c = 2.04 applichiamo la formula G. Rossi (Dip. Psicologia) Tsac / 80

22 Test della differenza delle medie t = 1.63 (rosso) α =5% (bi) t c = 2.04 (nero) Accetto H 0 perché t < t c t cade nell area di accettazione di H 0 (verde) G. Rossi (Dip. Psicologia) Tsac / 80

23 Due approcci all inferenza puntuale 1 Uso delle tavole per trovare un valore critico Si applicano le formule e si trova la statistica (z o t) Si decide un livello α e si cerca un valore critico sulle tavole (eventualmente usando i gdl) Confrontando la statistica trovata con il valore critico accettiamo o rifiutiamo l ipotesi nulla v t < v c accetto H 0 2 Calcolo diretto della probabilità Si applicano le formule e si trova la statistica (z o t) Usando la distribuzione di probabilità di quella statistica si calcola direttamente la probabilità associata Confrontando la probabilità trovata con l α scelto, accettiamo o rifiutiamo l ipotesi nulla P(v t ) > α accetto H 0 G. Rossi (Dip. Psicologia) Tsac / 80

24 Stima intervallare Anche per la differenza delle medie, possiamo calcolare un intervallo di confidenza, sempre usando il valore critico di t al 5% o all 1% per avere intervalli di fiducia pari al 95% o al 99% [(X 1 X 2 ) ts X 1 X 2 ] μ 1 μ 2 [(X 1 X 2 ) + ts X 1 X 2 ] Applicandolo all esempio dei Testimoni di Geova: Poiché l intervallo include anche il valore 0 (H 0 : μ 1 μ 2 = 0) corrispondente alla nostra ipotesi nulla, dobbiamo accettarla come vera. G. Rossi (Dip. Psicologia) Tsac / 80

25 Assunti del t-test 1 Le misure della variabile dipendente di ciascun gruppo a) sono indipendenti tra di loro b) sono indipendenti dall altro gruppo 2 La variabile dipendente si distribuisce normalmente 3 Le varianze dei due gruppi sono uguali La condizione 2 può essere ignorata, perché il test t non è molto sensibile alle violazioni di normalità La condizione 3 può essere ignorata se i due campioni hanno uguale numerosità; il test t, in questo caso, non distorce troppo e si può usare la distribuzione di t senza problemi G. Rossi (Dip. Psicologia) Tsac / 80

26 Assunti del t-test Se i due campioni non hanno uguale numerosità, si pongono diverse condizioni: 1 la soluzione migliore è quella di ridurre il campione più numeroso ed equiparare le numerosità (basta fare una selezione casuale del campione) 2 si può usare la stima di varianza separata, ovvero il test t diventa t = X 1 X 2 s 2 1 N 1 + s2 2 N 2 G. Rossi (Dip. Psicologia) Tsac / 80

27 Inferenza con programmi statistici Nell uso normale, sono i computer a fare i conti per il confronto di medie: t di Student (o T-Test) per campioni indipendenti: stessa variabile su due campioni indipendenti. Le formule usate sono quelle indicate in precedenza e prevedono una formula che ipotizza che i campioni abbiano varianza uguale (varianza combinata) un altra formula che ipotizza che abbiano varianza diversa (Varianze separate) Viene applicato un test per l omogeneità delle varianze (test di Levene) e in base ai risultati si sceglie il test appropriato G. Rossi (Dip. Psicologia) Tsac / 80

28 Inferenza con programmi statistici Il test di Levene è basato sul rapporto delle due varianze: se sono simili tenderà a 1 al test è associato un valore di probabilità (Sig.) Se Levene non è significativo (Sig. >.05) allora si legge Varianze uguali presunte Se Levene è significativo (Sig. <=.05) allora si legge Varianze uguali non presunte G. Rossi (Dip. Psicologia) Tsac / 80

29 SPSS: 2 campioni indipendenti Analizza Confronta medie Test T: campioni indipendenti Trascinare una o più variabile dipendente (quantitativa) in Variabili oggetto del test Trascinare una variabile qualitativa (con 2 o più valori possibili) in Variabile di raggruppamento Premere Definisci gruppi e inserire i due valori della qualitativa da usare. Quindi Infine OK Continua G. Rossi (Dip. Psicologia) Tsac / 80

30 Esempio in SPSS - Medie Pagina 1 - Medie e deviazioni standard suddivise per genere Religiosità Genere N Mean SD SE Mean Intrinseca Maschio ,24 5,82 0,46 Femmina ,60 5,52 0,41 Estrinseca sociale Maschio 160 5,79 3,09 0,24 Femmina 179 6,07 2,94 0,22 Estrinseca personale Maschio 160 9,46 3,52 0,28 Femmina ,89 2,98 0,22 Dalle medie possiamo vedere ( a naso ) che non ci sono grosse differenze fra i sessi nelle prime due variabili. Forse, nell ultima c è una differenza. G. Rossi (Dip. Psicologia) Tsac / 80

31 Esempio in SPSS: risultati t indipendente Levene s Test t-test F Sig. t df Sig. (2-tailed) Orientamento Eq 0,816 0,367-0, ,553 Intrinseco Not -0, ,157 0,554 Estrinseco Eq 1,146 0,285-0, ,395 sociale Not -0, ,503 0,396 Estrinseco Eqa 8,847 0,003-4, ,000 personale Not -4, ,273 0,000 Eq=Varianze uguali Not=Varianze diverse Il test di Levene ci dice se i due gruppi hanno la stessa varianza (F vicina a 1, con Sig superiore ad α) oppure no (F molto grande, con Sig inferiore ad α). A questo punto possiamo leggere e interpretare l esatto t e confrontare la probabilità associata (Sig) a quel t, con quei gradi di libertà (df) direttamente con l α scelto. G. Rossi (Dip. Psicologia) Tsac / 80

32 Applicabilità Per confrontare la media di una variabile fra due gruppi Cosa si usa 1 variabile qualitativa (indipendente) che viene usata per suddividere il campione in 2 gruppi 1 variabile quantitativa (dipendente) su cui vengono calcolate le media (una per ciascun gruppo) G. Rossi (Dip. Psicologia) Tsac / 80

33 Effect size (Ampiezza dell effetto) Tramite il test della differenza delle medie (t-test) abbiamo visto se due medie sono diverse ovvero se i campioni su cui le medie sono state calcolate provengono da popolazioni con parametri statistici uguali o diversi questa informazione però è solamente vero/falso: o c è differenza oppure no e l eventuale differenza delle medie va interpretata come relativa se la religiosità estrinseca personale è diversa in base al genere e vediamo che la media dei maschi è minore di quella delle femmine non possiamo interpretare nulla di più della diversità. G. Rossi (Dip. Psicologia) Tsac / 80

34 Effect size (Ampiezza dell effetto) L effect size indica invece di quanto due medie differiscono fra loro e se l ampiezza dell effetto trovato è piccolo, medio o grande Cohen ha proposto una formula generica (teorica) simile ad una z: d = μ 1 μ 2 σ Una formula per il t-test (per campioni indipendenti) è stata proposta da Hedge, usando la varianza combinata: g = X 1 X 2 (N1 1)s 2 1 +(N 2 1)s 2 2 N 1 +N 2 2 G. Rossi (Dip. Psicologia) Tsac / 80

35 Effect size (Ampiezza dell effetto) Dal momento che sia g sia t usano la varianza combinata, conoscendo le numerosità e il valore di t, si può calcolare g anche come: g = t N1 N 2 N 1 +N 2 = t N 1 + N 2 N 1 N 2 Se i due gruppi hanno la stessa numerosità si può usare una formula più veloce: g = t 2 = t N N 2 G. Rossi (Dip. Psicologia) Tsac / 80

36 Effect size (Ampiezza dell effetto) g (di Hedge) o d (di Cohen) dovrebbe oscillare fra 0 e 1, ma spesso supera il valore 1 Cohen propose una interpretazione generica di d che viene tutt ora utilizzata d =.20, effetto piccolo d =.50, effetto medio d =.80, effetto grande in letteratura si trovano d superiori a 1 che vengono generalmente considerati giganti (huge) G. Rossi (Dip. Psicologia) Tsac / 80

37 Esempio di uso di d Primo Secondo Test t M s M s p d Fondamentalismo 75,35 32,03 81,7 31, Intrinseco 21,37 5,41 23,4 5,66 < Estrinseco 15,94 5,29 16,1 5,21 n.s. Estrinseco Personale 9,45 3,12 10,21 3, Estrinseco Sociale 6,45 3,13 5,94 3,01 n.s..17 Esempio I risultati del nostro campione sono stati confrontati con quelli di un campione italiano precedente. Attraverso il test t osserviamo che vi sono tre variabili statisticamente diverse nei due campioni. Tuttavia le differenze riscontrate sono minime, infatti l effect size più elevato è di solo.36, quindi l ampiezza degli effetti sono tutte piccole. Questo ci permette affermare che potrebbe esiste comunque una somiglianza tra i 2 campioni italiani, la cui diversità potrebbe anche essere casuale. G. Rossi (Dip. Psicologia) Tsac / 80

38 Confronti dipendenti o appaiati Alcune volte può capitare di confrontare fra loro due variabili misurate sullo stesso campione (ad es. situazioni prima/dopo) Oppure capita di lavorare con campioni appaiati (due campioni in cui i casi sono simili a coppie [moglie-marito] oppure sono stati appaiati a posteriori) Si può usare una versione del t-test che si basa sulle differenze fra i punteggi dei singoli casi La differenza sostanziale è che si usa la media delle differenze anziché la differenza delle medie D = X 1 X 2 X 1 X 2 si fa poi riferimento alla distribuzione campionaria della media delle differenze G. Rossi (Dip. Psicologia) Tsac / 80

39 Confronti dipendenti o appaiati La distribuzione campionaria della media delle differenze si approssima a una t con gl=n-1 dove N equivale al numero di coppie appaiate per la statistica si usa D = X i1 X i2 l ipotesi nulla è che μ D = 0 la statistica puntuale si calcola con t = D μ D s D 2 N con df = N 1 quella intervallare con D ts D < μ D < D + ts D G. Rossi (Dip. Psicologia) Tsac / 80

40 SPSS: Campioni appaiati Analizza Confronta medie Test T: campioni appaiati In Variabili appaiate bisogna inserire due variabili quantitative che verranno confrontate fra loro a coppie Infine OK G. Rossi (Dip. Psicologia) Tsac / 80

41 SPSS: Campioni appaiati Per ogni coppia di variabili c è una sola riga di statistiche G. Rossi (Dip. Psicologia) Tsac / 80

42 Applicabilità Per confrontare la media di due variabili misurate in uno stesso gruppo Cosa si usa 2 variabili quantitative (entrambi dipendenti) su cui vengono calcolate le media (una per ciascun gruppo) il motivo per cui la variabile è stata misurata due volte, è la variabile indipendente G. Rossi (Dip. Psicologia) Tsac / 80

43 Chi-quadro (χ 2 ) Il termine chi-quadro si usa con tre significati 1 Per indicare una famiglia di distribuzioni di probabilità 2 Per un indicare una statistica il cui risultato si distribuisce approssimativamente come la distribuzione di probabilità omonima 3 Per indicare la tecnica di analisi dei dati Come statistica è un indice di discrepanza Si usa con variabili nominali e/o ordinali G. Rossi (Dip. Psicologia) Tsac / 80

44 Scopo La statistica di chi-quadro (χ 2 ) ha lo scopo di verificare se un determinato valore osservato si discosta (o no) da un valore teorico (l ipotesi nulla) in concreto si applica a: 1 una variabile nominale: si distribuisce casualmente? (ipotesi di omogeneità o di equiprobabilità: ogni cella ha la stessa probabilità di tutte le altre) 2 due variabili nominali: sono fra loro indipendenti? (ipotesi di indipendenza: Il valore atteso di ogni cella dipende dal prodotto delle probabilità) 3 una o due variabili: si distribuiscono in base a un modello? predefinito (verifica di un modello: io stabilisco qual è il valore atteso di ogni cella) le differenze dipendono dal modo in cui vengono calcolate le frequenze teoriche G. Rossi (Dip. Psicologia) Tsac / 80

45 La formula completa χ 2 = (f o f t ) 2 f e f o = frequenza osservata f t = frequenza teorica attesa (expected) La statistica di χ 2 è la sommatoria degli scarti quadratici fra le frequenze osservate (f o ) e quelle teoriche attese (f e ) ponderate sulle attese. Il suo valore oscilla da 0 ad e aumenta all aumentare degli scarti (f o f e ) L uso che si può fare, dipende dal modo in cui si calcola il valore atteso G. Rossi (Dip. Psicologia) Tsac / 80

46 Avviso Per farvi capire meglio, procederò secondo questo ordine: 1 Modello casuale (o di equiprobabilità) 2 Modello di indipendenza 3 Modello teorico G. Rossi (Dip. Psicologia) Tsac / 80

47 Esempio 1: equiprobabilità Alcuni medici-psichiatri hanno notato che la maggior parte degli schizofrenici sono nati in periodo invernale. Ci chiediamo se anche i nostri schizofrenici sono nati in prevalenza nel periodo invernale. Usando le cartelle cliniche di 636 pazienti (fittizi) costruiamo la nostra tabella: Primavera Estate Autunno Inverno Totale G. Rossi (Dip. Psicologia) Tsac / 80

48 Verifica di ipotesi e valori teorici Se la nascita di schizofrenici non dipende dal periodo, le 4 stagioni hanno la stessa probabilità H 0 : P(p) = P(e) = P(a) = P(i) = 0.25 H 1 : P(p) P(e) P(a) P(i) 0.25 H 0 è l unica ipotesi su cui possiamo lavorare In base ad H 0, ci aspettiamo che in ogni stagione nascano 636/4 = 159 bambini ovvero 636 * 0.25 = 159 P E A I T O T d G. Rossi (Dip. Psicologia) Tsac / 80

49 Scarti Abbiamo il solito problema che la somma degli scarti si annulla. Lo risolviamo nel solito modo, elevando a quadrato gli scarti: P E A I T d d Ora abbiamo il problema di valutare quanto effettivamente grandi siano questi scarti. Un modo per standardizzarli è quello di dividerli per il valore teorico di ogni cella. Così facendo esprimiamo gli scarti al quadrato, come numero di valori teorici che stanno nello scarto (qualcosa di simile a quanto si è fatto con i punti z). G. Rossi (Dip. Psicologia) Tsac / 80

50 Probabilità Quindi, sommiamo tutti gli scarti standardizzati: P E A I T d f t Ottenendo un χ 2 di Qual è la probabilità che χ 2 = indichi una variazione casuale rispetto a 4 celle? Tutti i valori di chi-quadro si distribuiscono secondo una particolare famiglia di distribuzione di probabilità che variano in base ai gradi di libertà (o g.l. o gdl o df) G. Rossi (Dip. Psicologia) Tsac / 80

51 Gradi di libertà Se N frequenze si distribuiscono in c celle, noi possiamo mettere un numero arbitrario di valori nelle prime c 1 celle, mentre nell ultima dobbiamo mettere forzatamente quello che ci avanza: totale X 636 Nel nostro esempio, i g.l. sono 4 1 = 3 perché dopo aver distribuito i 636 casi nelle prime 3 celle, nell ultima devo mettere gli avanzi. G. Rossi (Dip. Psicologia) Tsac / 80

52 Significatività Stabiliamo un livello α =.05 Usiamo le tavole del chi-quadro (Tavola H, p.487) e cerchiamo il valore critico di χ 2 per 3 g.l. χ 2 c = Poiché il nostro χ 2 (42.72) è superiore a quello critico (7.815), concludiamo che le nascite non sono state casuali Più precisamente, ipotizzando l equiprobabilità, il chi-quadro significativo ci dice che se rifiutiamo H 0 corriamo un rischio inferiore al 5% di prendere una decisione sbagliata siccome il χ 2 c per α =.01 è 11.3, possiamo anche dire che il rischio che stiamo correndo è inferiore all 1% G. Rossi (Dip. Psicologia) Tsac / 80

53 Chi quadro in Spss: equiprobabilità Analizza Test non parametrici Chi-quadrato... Mettiamo la variabile qualitativa in Variabili oggetto del test OK Test Stagione Chi-quadrato 42,730a df 3 Sig. Asint.,000 Stagione Prime 7 osservazioni (in totale 636 righe) In alternativa possiamo pesare i casi Per 0 celle (,0%) erano previste frequenze minori di 5. Il valore minimo previsto per la frequenza in una cella è 159,0. G. Rossi (Dip. Psicologia) Tsac / 80

54 Chi quadro in Spss: equiprobabilità Analizza Test non parametrici Chi-quadrato... Mettiamo la variabile qualitativa in Variabili oggetto del test OK Test Stagione Chi-quadrato 42,730a df 3 Sig. Asint.,000 Dati Pesa casi, poi scegliamo Pesa casi per Pazienti ovvero WEIGHT BY Pazienti. Per 0 celle (,0%) erano previste frequenze minori di 5. Il valore minimo previsto per la frequenza in una cella è 159,0. G. Rossi (Dip. Psicologia) Tsac / 80

55 Precauzioni nell uso del chi quadro i dati devono essere indipendenti fra loro un caso statistico deve stare in una sola cella le frequenze attese non devono essere troppo piccole Per df=1, le frequenze attese devono essere almeno 5 Per df=2, devono essere almeno 2 Per df>=3, una può essere =1 se le altre sono almeno 5 G. Rossi (Dip. Psicologia) Tsac / 80

56 Esempio 2: indipendenza Ho raccolto un campione di 42 ragazze/i e ho misurato (fra l altro): Genere: Maschi (M) e femmine (F) Livello socio-economico: Basso (B) e alto (A) Mi chiedo Le variabili sono fra loro associate? ovvero una variabile ha qualche influenza sull altra? H 0 : le variabili sono fra loro indipendenti H 1 : le variabili non sono indipendenti Livello Educativo Genere Basso Alto Totale Maschi Femmine Totale G. Rossi (Dip. Psicologia) Tsac / 80

57 Valori teorici In questo caso non possiamo dividere N per il numero di celle perché avremmo alcuni problemi 42/4 = 10.5 Avremmo quindi = 21 maschi anziché 22; 21 femmine anziché 20 Avremmo anche 21 Basso e 21 Alto I valori teorici devono quindi essere calcolati diversamente Devono tener conto del totale dei maschi e delle femmine, ma contemporaneamente dei livelli socio-economici Calcoliamo i valori teorici sulla base della probabilità di 2 eventi indipendenti G. Rossi (Dip. Psicologia) Tsac / 80

58 Valori teorici Bas Alt Tot Maschi Femmine Totale La probabilità indipendente di essere Maschio di Basso livello economico è data dal prodotto delle singole probabilità p(m) = =.52 p(b) = =.62 p(mb) = p(m)p(b) = La probabilità ottenuta dovrà essere moltiplicata per la numerosità per avere la frequenza attesa f e (MB) = p(m)p(b)n = / / = 42 G. Rossi (Dip. Psicologia) Tsac / 80

59 Valori teorici Dall applicazione della regola dell indipendenza degli eventi, si ricava una regoletta per il calcolo dei valori teorici: La frequenza attesa di una cella è uguale al totale di riga (T r ) per il totale di colonna (T c ) diviso il totale generale (T t o N) f e = T r T c T t G. Rossi (Dip. Psicologia) Tsac / 80

60 Valori teorici Applicando la regola ad ogni cella della tabella, avremo: Freq. Freq. teorica Maschi Basso x 26 / 42 = Alto 9 22 x 16 / 42 = 8.38 Femmine Basso x 26 / 42 = Alto 7 20 x 16 / 42 = 7.62 Livello Educativo Sesso Basso Alto Totale Maschi 13 (13.62) 9 (8.38) 22 Femmine 13 (12.38) 7 (7.62) 20 Totale Le frequenze teoriche danno gli stessi totali (di riga, di colonna e generale) delle frequenze osservate G. Rossi (Dip. Psicologia) Tsac / 80

61 Calcolo del chi-quadro Applicando la formula del chi-quadro avremo: χ 2 = ( ) (9 8.38) ( ) (7 7.62) = = che dovremo confrontare con il chi-quadro critico (χ 2 c) Se il nostro χ 2 è inferiore al χ 2 c, allora accetteremo H 0 Se il nostro χ 2 è superiore o uguale al χ 2 c, allora rifiuteremo H 0 G. Rossi (Dip. Psicologia) Tsac / 80

62 Gradi di libertà Per i gradi di libertà, consideriamo che corrispondono al numero di celle necessarie per completare la tabella con i resti, dal momento che i totali (di riga, di colonna e generale) non possono cambiare. Livello Educativo Sesso Basso Alto Totale Maschi 13 X 22 Femmine X X 20 Totale In questi caso gdl = 1 Per tabelle di contingenza (incrocio di 2 variabili) la formula generica è quindi: gdl = (r 1)(c 1) G. Rossi (Dip. Psicologia) Tsac / 80

63 Verifica d ipotesi Il nostro chi quadro (χ 2 = ) dev essere confrontato con quello critico stabiliamo il livello α =.05 e cerchiamo sulla tavola il chi-quadro critico per 1 gdl: chi 2 c = siccome < accettiamo l ipotesi nulla Essendo non significativo per α =.05 lo sarà anche per α =.01; infatto il chi critico è chi 2 c = 6.63 G. Rossi (Dip. Psicologia) Tsac / 80

64 Chi quadro in Spss: indipendenza Analizza Statistiche descrittive Tavole di contingenza... Mettiamo una variabile in Righe e una in Colonne Statistiche..., attiva Chi-quadrato Continua e poi OK Genere LivEdu Prime 7 osservazioni (in totale 42 righe) In alternativa possiamo pesare i casi G. Rossi (Dip. Psicologia) Tsac / 80

65 Chi quadro in Spss: indipendenza Analizza Statistiche descrittive Tavole di contingenza... Mettiamo una variabile in Righe e una in Colonne Statistiche..., attiva Chi-quadrato Continua e poi OK Dati Pesa casi, Pesa casi per freq ovvero WEIGHT BY freq. G. Rossi (Dip. Psicologia) Tsac / 80

66 Chi quadro in Spss: indipendenza Tavola di contingenza Genere * LivEdu LivEdu 1 2 Totale Genere Totale Chi-quadrato Valore df Sig. asint. Sig. esatta Sig. esatta (2 vie) (2 vie) (1 via) Chi-quadrato di Pearson,155 a 1,694 Correzione di continuità b,006 1,940 Rapporto di verosimiglianza,155 1,693 Test esatto di Fisher,758,470 Associazione lineare-lineare,151 1,697 N. di casi validi 42 a. 0 celle (,0%) hanno un conteggio atteso inferiore a 5. Il conteggio atteso minimo è 7,62. b. Calcolato solo per una tabella 2x2 G. Rossi (Dip. Psicologia) Tsac / 80

67 Esempio 3: modello teorico Torniamo sull esempio degli schizofrenici Ci possiamo chiedere se nascono più schizofrenici in inverno, perché in inverno nascono più persone Per cui, nascendo più persone, è più probabile che nascano anche più schizofrenici Per verificare questa ipotesi, devo conoscere la frequenza delle nascite per ogni stagione Supponiamo che le percentuali siano: Primavera Estate Autunno Inverno % G. Rossi (Dip. Psicologia) Tsac / 80

68 Frequenze teoriche Usando le percentuali della popolazione, calcoliamo i nuovi valori teorici ( = ) Primavera Estate Autunno Inverno Totale freq. oss % di rif freq. att. 114,48 127, , G. Rossi (Dip. Psicologia) Tsac / 80

69 Calcolo del chi-quadro χ 2 = ( ) ( ) χ 2 c per 3 gdl è ancora ( ) ( ) = = Se il nostro χ 2 è inferiore al χ 2 c, allora accetteremo H 0 Se il nostro χ 2 è superiore o uguale al χ 2 c, allora rifiuteremo H 0 L ipotesi nulla è il nostro modello teorico, ma... ma... adesso noi vogliamo che il χ 2 sia piccolo perché significa che abbiamo ragione! G. Rossi (Dip. Psicologia) Tsac / 80

70 Chi quadro in Spss: teoria Analizza Test non parametrici Chi-quadrato... Mettiamo la variabile qualitativa in Variabili oggetto del test Nell area Valori attesi, scegliere Valori e inserire i valori teorici uno alla volta (con Aggiungi ) OK Stagione Chi-quadrato 1,482 a df 3 Sig. Asint. 0, a. Per 0 celle (,0%) erano previste frequenze minori di 5. Il valore minimo previsto per la frequenza in una cella è 114,5. G. Rossi (Dip. Psicologia) Tsac / 80

71 Correzione di continuità In certe condizioni, il valore della statistica χ 2 non si approssima bene alla distribuzione di χ 2 In questi casi si usa la correzione di continuità di Yates χ 2 = ( f o f e.5) 2 f e Le condizioni in cui usarlo non sono sempre chiare Quando la tabella è 2x2 (la scelta di Spss) Quando gl=1 e almeno una cella ha una frequenza attesa minore di 5 (f e < 5) Quando gl=2 e almeno una cella ha una freq. attesa minore di 3 Quando più del 20% delle celle ha una frequenza attesa minore di 5 Sempre perché la distribuzione χ 2 è continua e i dati sono discreti G. Rossi (Dip. Psicologia) Tsac / 80

72 Problemi di numerosità Il chi-quadro è sensibile alla numerosità. Riprendiamo l esempio 2, ma moltiplichiamo tutte le celle per 10 Livello Educativo Sesso Basso Alto Totale Maschi Femmine Totale Livello Educativo Sesso Basso Alto Totale Maschi Femmine Totale Anche il chi quadro risulterà moltiplicato per 10 (χ = 1.551) E ancora una volta non è significativo perché inferiore al valore critico (3.815) che non cambia perché dipende dai gdl Ma se avessi 4200 valori (tutto moltiplicato per 100)? il χ 2 sarebbe 15.5 (significativo!) G. Rossi (Dip. Psicologia) Tsac / 80

73 Problemi di numerosità Dal momento che il chi-quadro tende ad aumentare all aumentare del totale delle frequenze, e quindi a diventare significativo, si può ragionevolmente dubitare che la significatività trovata sia effettivamente vera Una possibile soluzione è il coefficiente phi χ 2 χ φ = (Cramer)φ = 2 N N(k 1) che (in SPSS) si può chiedere tramite il pulsante k = min(r, c) Statistiche Se tale coefficiente si avvicina a 0, allora il chi-quadro era elevato per colpa della numerosità G. Rossi (Dip. Psicologia) Tsac / 80

74 Indice di associazione/effect size Il coefficiente phi è anche un indice di associazione fra le due variabili Un indice di associazione misura la forza con cui le due variabili sono legate fra loro Per questo motivo, φ misura anche l ampiezza dell effetto Il χ 2 ci dice che le due variabili sono fra di loro dipendenti o indipendenti ed effettua un test probabilistico. Rifiutando l ipotesi nulla, stiamo solo dicendo che, probabilmente, c è un legame fra le variabili all interno della popolazione da cui abbiamo estratto il campione φ ci dice invece quanto le due variabili sono legate fra loro G. Rossi (Dip. Psicologia) Tsac / 80

75 Indice di associazione/effect size φ in una tabella 2x2 corrisponde ad una r di Pearson (che è l indice di associazione per variabili quantitative) il segno indica la direzione il valore indica l intensità x y r = 0.91 G. Rossi (Dip. Psicologia) Tsac / 80

76 Frequenze attese < 5 Quando più del 20% di celle ha una frequenza attesa inferiore a 5, la statistica chi-quadro non si approssima alla sua distribuzione di probabilità Alcuni autori suggeriscono di usare la correzione di continuità di Yates Altri autori suggeriscono di accorpare qualche categoria di una delle due variabili (o di entrambe) per avere totali di riga (o di colonna) più elevati Accorpare significa unire tra loro due o più categorie di una variabile Se la variabile è ordinale, bisogna fare attenzione a cosa si accorpa (la condizione economica medio-bassa può essere accorpata a quella bassa ma non a quella medio-alta!) Per variabili nominale è più semplice perché si può creare una categoria altro G. Rossi (Dip. Psicologia) Tsac / 80

77 Frequenze attese < 5 Le categorie che non si possono accorpare, possono essere eliminate dichiarandole come mancanti definiti dall utente È possibile usare il test esatto di Fischer (per tabelle 2x2 o 2x3, ma SPSS lo calcola solo se 2x2), n! indica il fattoriale (a + b)!(c + d)!(a + c)!(b + d)! N!a!b!c!d! a c b d Altri ancora suggeriscono di usare il log chi-quadro ovvero il corrispondente loglineare del chi-quadro (che in Spss è chiamato Rapporto di verosimiglianza) G 2 = 2 ( ) fo (f o )ln f e G. Rossi (Dip. Psicologia) Tsac / 80

78 Frequenze attese < 5 Il limite di 5 (o 3) per le frequenze attese deriva uno studio di Lewis e Burke (1949). Successivamente, diverse ricerche sono giunte a conclusioni diverse (sintetizzate in Delucchi, 1983) Il chi-quadro non è molto sensibile alle frequenze attese piccole o alle celle con poche frequenze se l N totale è almeno superiore a r c 5 Tuttavia questa possibilità incide solo sull errore α, mentre resta sconosciuto l effetto sull errore β G. Rossi (Dip. Psicologia) Tsac / 80

79 Suddividere chi-quadro Un chi-quadro significativo indica che le due variabili sono in qualche modo legate Con 6 o più celle non sempre è facile capire il modo in cui le variabili sono legate Ci sono alcune tecniche che ci possono aiutare: La partizione del chi-quadro I residui standardizzati corretti G. Rossi (Dip. Psicologia) Tsac / 80

80 Partizione del chi-quadro la partizione implica suddividere la tabella in tante sotto-tabelle di 2 righe e due colonne e applicare il chi-quadro a ciascuna delle tabelle ogni tabella avrà 1 gdl (essendo 2x2) però bisogna aggiustare la significatività tramite il criterio di Bonferroni (α / numero di confronti) Se ho una tabella 2x3 posso unire le categoria A1 con A2 e B1 con B2, poi A2 con A3 e B2 con B3... A1 A2 A3 B1 B2 B3 A1+A2 B1+B2 A3 B3 A1 B1 A2+A3 B2+B3 G. Rossi (Dip. Psicologia) Tsac / 80

81 Residui standardizzati Il chi-quadro fornisce un informazione complessiva sull intera tabella È possibile considerare il singolo valore di chi-quadro di una cella per giudicare se questa cella è responsabile (o contribuisce in modo significativo) alla significatività totale. È più semplice considerare i residui aggiustati standardizzati che si distribuiscono come punti z se il valore di un residuo aggiustato standardizzato di una cella è positivo e significativo, vuol dire che in quella cella ci sono più frequenze di quante previste dalla teoria se è negativo e significativo, che ce ne sono di meno di quanto previsto G. Rossi (Dip. Psicologia) Tsac / 80

82 Riepilogo Chi-quadrato Equiprobabilità: una variabile qualitativa viene analizzata per vedere se le categorie sono fra loro equiprobabili Indipendenza: due variabili qualitative vengono incrociate (tabella di contingenza) per vedere se sono fra loro indipendenti Modello teorico: una variabile qualitativa viene confrontata con un modello teorico per vedere se le categorie si distribuiscono in base a dei valori attesi indicati dalla teoria Modello generico: una qualunque tabella di dati osservati viene confrontata con valori attesi calcolati in base ad una teoria (o modello teorico) [non disponibile in SPSS] G. Rossi (Dip. Psicologia) Tsac / 80