I TEST STATISTICI dott.ssa Gabriella Agrusti
Dulcis in fundo.. come scegliere un test statistico in base all ipotesi come stabilire se due variabili sono associate (correlazione di Pearson) come stabilire se una differenza è statisticamente significativa (t-test)
Test, test, test Test = prova in generale (non una serie di quesiti a scelta multipla) Origine: testum (lat.) => saggiare la qualità Test psicologici test docimologici perché i primi dovrebbero verificare capacità originarie, culture free mentre i secondi verificano abilità trasmesse per via culturale Un test è fatto di item o quesiti, ha uno svolgimento collettivo in un tempo determinato (Se ben fatto) sarà più facile che sia attendibile se è strutturato (stimolo chiuso/risposta chiusa)..e i test statistici?
Che cos è e come si sceglie un test statistico Test statistico: verifica su base probabilistica della significatività statistica dei risultati ottenuti Significatività importanza, indica invece che i risultati non sono dovuti al caso, non sono accidentali Prima di effettuare test statistici, è necessario conoscere bene i propri dati (statistiche descrittive) La scelta del test statistico dipende da: Le domande della ricerca Il disegno della ricerca La natura dei dati che si intende analizzare
Strade tortuose.. Domande della ricerca Le differenze sono significative? Le variabili sono associate? Si vogliono misurare variabili latenti? Si vogliono predire i punteggi o le categorie? Si vogliono ricavare i parametri della popolazione da un campione? Chi quadrato, t-test, ANOVA Correlazione, Chi quadrato
Le differenze sono significative? Quante condizioni sperimentali? più di due due ANOVA Che tipo di variabili? nominali/ordinali ordinali/continue Chi quadrato T-test su campioni accoppiati o indipendenti
Le variabili sono associate? Che tipo di variabili? Non si può applicare correlazione a variabili nominali ordinali/continue ordinali Correlazione di Pearson Correlazione di Spearman Quante variabili associate? due più di due Chi quadrato su tavole di contingenza Analisi log-lineare
Qualche «scorciatoia»
Componente aggiuntivo Excel è dotato di un componente aggiuntivo per l analisi dei dati che ci permette di velocizzare il lavoro Cliccare su simbolo di Office in alto a sinistra Opzioni Excel Componenti aggiuntivi Strumenti di analisi
Esercizio 1 Utilizzando Excel.. Calcolare le statistiche descrittive dei punteggi in entrata e in uscita Riportare i valori non interi a due sole cifre decimali Eliminare le celle contenenti: Errore standard, Varianza campionaria, curtosi, asimmetria e somma
Ancora il coefficiente di correlazione Excel lo calcola con la funzione CORRELAZIONE Come si interpreta: >0,8 elevata <0,8 sufficiente <0,6 evidente ma non solida <0,4 bassa <0,2 nulla/debole Per stabilire se è statisticamente significativa bisogna consultare delle tavole di valori critici
Come si consultano le tavole Studente Prova XYZ Criterio Pearson 1 22 24 0,957 2 23 26 3 26 26 4 18 20 5 15 18 6 19 19 7 27 28 1. Si calcolano i gradi di libertà (Numero di studenti 1) 2. Si sceglie il livello di significatività (95%) 3. Si consulta la tavola (una coda) 4. Se il numero che si trova (.6215) è inferiore alla correlazione trovata (.957) 5. ciò vuol dire che 95 volte su 100 la correlazione trovata nei nostri 7 soggetti si trova anche nella popolazione di riferimento ed statisticamente significativa
Esercizio 2 Utilizzando Excel.. Calcolare la correlazione di Pearson tra la prova «ABC» e la prova criterio per stabilirne la validità concorrente Stabilire se la correlazione è significativa o meno consultando la tavola riportata nel foglio Excel
T-test su campioni accoppiati Uno dei diversi t-test possibili
Due tipi di confronti Gruppi INDIPENDENTI (composti da persone diverse) Gruppo sperimentale e gruppo di confronto T-test su campioni indipendenti Gruppi APPAIATI (composti dalle stesse persone) Un solo gruppo sottoposto a test ripetuti T-test su campioni accoppiati
Significatività di differenza tra medie Situazione di pre-test / post-test Piccoli gruppi: min 5 - max 60 studenti Prove parallele: pari punteggio minimo e massimo, stessi obiettivi cognitivi per coppie di quesiti Oppure la stessa prova (test-retest) Otteniamo due medie diverse: come facciamo a stabilire che queste medie siano significativamente differenti? (ossia che la differenza non sia dovuta al caso?)
Sperimentiamo Il grafico ci mostra la differenza tra due medie. È abbastanza marcata. Sarà significativa o no? Le curve sono sempre rappresentazioni ideali e approssimate di distribuzioni reali, che possono essere raffigurate con grafici a barre. www.socialresearchmethods.net
Quello che fa la differenza Le medie nei tre casi sono equidistanti. Ma mentre la alta variabilità interna del secondo caso rende questa differenza quasi nulla, la bassa variabilità interna del terzo caso rende la differenza molto significativa. Il t test o t di Student confronta la differenza tra le medie in relazione alla variabilità dei punteggi in ognuna delle due distribuzioni www.socialresearchmethods.net
Le ipotesi Hp1: le attività di storytelling porteranno ad un incremento statisticamente significativo del punteggio nella prova di comprensione della lettura a scelta multipla Hp0: le attività di storytelling NON porteranno a nessun incremento statisticamente significativo nella prova di comprensione della lettura Assunto: il punteggi in entrata devono essere correlati ai punteggi in uscita (per essere certi che stiamo misurando la stessa cosa)
Esercizio 3 Utilizzando Excel.. Calcolare la media della differenza tra pt in Uscita e pt in Entrata T-test due campioni accoppiati per media Diminuire i decimali Interpretare la correlazione di Pearson Interpretare il t-test
Come si riportano i risultati del t-test È stato effettuato un t-test su campioni appaiati per stabilire se le attività di storytelling abbiano contribuito all incremento delle capacità di comprensione. La differenza media tra pre-test e post-test (M = 152, DS = 132,91) è significativamente maggiore di zero con t(52) = 8.33, p (due code) <0,01. In alternativa si possono riportare i valori delle due medie e delle due deviazioni standard Quando il valore di p non è troppo piccolo (come nel nostro caso) è sempre meglio riportarlo: ad es. p=0,021
CAVEAT Bisognerebbe riportare anche l intervallo di confidenza della differenza media di quanto potrebbe oscillare la mia differenza al ripetere l esperimento in condizioni simili? Effetto della sovraesposizione della prova siamo certi di aver isolato la variabile indipendente? Quali correttivi potremmo introdurre per migliorare la robustezza dell esperimento?
RIEPILOGO E CONSIGLI PER L ESAME
Che cosa bisogna studiare? 1. Origini e sviluppi della ricerca valutativa 2. Laboratorio Valutazione Basi di dati in Excel scaricabili dalla bacheca elettronica 3. Schemi delle lezioni per individuare alcuni dei punti più importanti Non basta studiare gli schemi delle lezioni Ma non bisogna studiare senza il supporto degli schemi 4. Materiali di approfondimento su http://lps.uniroma3.it
Come devo studiare? Origini e sviluppi della ricerca: Svolgere gli esercizi proposti in ciascun capitolo Attenzione alle definizioni di termini specialistici Attenzione alle informazioni fattuali più rilevanti (quando si è svolta una determinata indagine docimologica, su quali soggetti, con quali scopi, con quali approcci..) Attenzione agli aspetti tecnici (quali tipi di scale/variabili/strumenti esistono? Per quali scopi sono più adatti?..) Ipotizzare delle conclusioni relative a quanto letto
Come devo studiare? Laboratorio di valutazione Studiare le introduzioni ai capitoli di B. Vertecchi Dagli schemi delle lezioni: le parti più importanti delle sezioni Problemi e procedure Leggere NON basta per le sezioni Problemi e procedure : bisogna usare Excel MENTRE si studia => utilizzare i file in Excel scaricabili dalla bacheca elettronica Ma la parte più importante è cercare di interpretare i risultati
Per ogni tecnica, indice, misura, test Trovare e annotare: Una definizione (che cos è e come si calcola? Esistono più modi per calcolarlo/definirlo?) A che cosa serve (si usa: con quale scopo? Con quali tipi di dati/variabili?) (almeno) Un esempio di come si interpreta (ho ottenuto questo risultato: che vuol dire? È un risultato positivo o negativo?)