DOCIMOLOGIA 2. Gabriella Agrusti Università degli Studi Roma Tre Settima lezione

Transcript

1 DOCIMOLOGIA 2 Gabriella Agrusti Università degli Studi Roma Tre Settima lezione

2 Difficoltà di una prova Tutto dipende dai punti di vista Matematica: In una scuola ci sono 300 alunni di quinta elementare. Marco e Maria vogliono scoprire qual è il colore preferito degli studenti di quinta. Maria chiede a 30 persone. Marco chiede a 150 persone. Marco afferma che le sue conclusioni sono più probabili di quelle di Maria. Perché? Perché Marco è un uomo. Geografia: Spiega che cosa indica la parola magma. Fumetti giapponesi.

3 Difficoltà di una prova Tutto dipende dai punti di vista Storia: Dove fu firmata la Dichiarazione di Indipendenza degli Stati Uniti? Alla fine del foglio. Fisica: E più importante il sole o la luna? La luna dà la luce di notte, quando ne abbiamo bisogno perché è buio. Il sole dà la luce di giorno, quando non ci serve. Quindi la luna è più importante.

4 13. Come stabilire la difficoltà di una prova Accade spesso che si abbia una percezione errata della difficoltà delle prove che aveva sostenuto.. ma esistono modi non soggettivi e replicabili per quantificare la difficoltà di una prova, o meglio di un quesito Tecniche della analisi classica dei quesiti

5 Dalle puntate precedenti.. Scrivere la definizione di Difficoltà di un quesito Discriminatività di un quesito Le formule per calcolare i rispettivi indici Indicazioni di massima per interpretarli

6 L analisi classica degli item Comprende: Frequenze di risposta Indice di distrattività Indice di difficoltà Indice di discriminatività Correlazione item-totale Alfa di Cronbach

7 Frequenze di risposta Numero di occorrenze delle modalità di una variabile nel campione ossia quante volte ricorre una risposta in un quesito (per tutte le risposte possibili, per tutti i quesiti) Possono essere assolute, relative, cumulate, percentuali

8 Quesito 1 Fq assoluta Fq relativa Fq cumulata Fq % A 6 0, % B 7 0, % C 4 0, % D (corretta) 15 0, % totale % Frequenze di risposta ad un quesito a scelta multipla A che cosa servono e come si calcolano

9 Distrattività Come si interpreta Serve ad individuare quei distrattori poco o per nulla attrattivi Teoricamente, la risposta corretta dovrebbe avere sempre la frequenza assoluta più elevata e i distrattori dovrebbero dividere equamente i restanti rispondenti Se un distrattore non viene scelto vuol dire che non è plausibile (molto spesso per ragioni indipendenti dai contenuti) e rende per questo più facile il quesito

10 Indice di distrattività Si adopera per valutare il funzionamento dei quesiti a scelta multipla È la percentuale di studenti che sceglie ciascun distrattore.... senza includere le risposte lasciate in bianco, le doppie risposte o quelle incomprensibili Se N<100 NON si usa la frequenza % bensì direttamente le frequenze assolute

11 Quesito 1 Fq assoluta Fq relativa Fq % A 25 0,13 13% B 37 0,20 20% C 41 0,22 22% D (corretta) 83 0,45 45% totale % Indice di distrattività Si usa la frequenza % solo per N>100

12 Indice di difficoltà (sui pt grezzi) Resistenza che un quesito oppone alla sua risoluzione Df = nerrate/numero rispondenti Si considerano errate anche le non risposte In inglese item facility (opposto: si calcola con il numero di risposte corrette) Si può lasciare all unità oppure riportare in %

13 Quesito 1 Quesito 2 Quesito 3 Quesito 4 Corrette Errate Totale Difficoltà 0,2 0,12 0,04 0,84 Difficoltà % 20% 12% 4% 84% Item facility 80% 88% 96% 16% L indice di difficoltà Espresso in due modi: all unità e in % E poi a confronto con l item facility

14 Indice di difficoltà (con pt diversi) Se abbiamo quesiti ai quali sono stati assegnati pt diversi la formula diventa Df = ncorrette/(nrispondenti * pt assegnato) È in realtà ancora una volta una item facility ma assegna peso diverso alle domande con punteggio diverso

15 N studenti = 20 Quesito 1 Quesito 2 Quesito 3 Corrette (totale punti assegnati) 8 (8 studenti) L item facility e il peso dei quesiti 8 (4 studenti) 8 (2 studenti) Errate Punti attribuiti per 1 risposta corretta Calcolo dell item facility = 8 /(20 * 1) =8/(20 *2) =8/(20*4) Item facility 0,4 0,2 0,1 Item facility % 40% 20% 10% In questo caso l indice tiene conto dei punteggi assegnati (considerando sempre il numero di persone che rispondono correttamente all intero quesito) A parità di punteggi totali per item, gli item con più peso sono più difficili (o meno facili) di quelli con punteggio grezzo (1 o 0) perché diminuisce il numero di persone che ha dato la risposta corretta

16 Difficoltà come si interpreta Non ci sono regole sempre valide, tutto dipende dalla finalità della prova nel suo complesso Solitamente se inferiore a 0.2 il quesito è troppo facile, se superiore a 0.8 troppo difficile All interno di una stessa prova ci devono essere sia quesiti più facili, sia quesiti più difficili

17 Q1 Q2 Q3 Q4 Q5 % Studente Studente Studente Studente Studente Df 0,80 0,60 0,40 0,20 0 I problemi della difficoltà classica Situazione del funzionamento ideale della difficoltà. (Losito, p. 107)

18 Q1 Q2 Q3 Q4 Q5 % Studente Studente Studente Studente Studente Df 0,80 0,60 0,40 0,20 0 I problemi della difficoltà classica Situazione del funzionamento ideale della difficoltà. (Losito, p. 107)

19 Q1 Q2 Q3 Q4 Q5 % Studente Studente Studente Studente Studente Studente Df 0,66 0,50 0,50 0,33 0,17 I problemi della difficoltà classica Se aggiungiamo uno studente con un andamento di risposta anomalo, la situazione non è più facilmente interpretabile.

20 Q1 Q2 Q3 Q4 Q5 % Studente Studente Studente Studente Studente Studente Df 0,66 0,50 0,50 0,33 0,17 I problemi della difficoltà classica Se aggiungiamo uno studente con un andamento di risposta anomalo, la situazione non è più facilmente interpretabile. Gli studenti 4 e 6 hanno lo stesso punteggio % ma hanno risposto a quesiti di difficoltà diversa.

21 Q1 Q2 Q3 Q4 Q5 Q6 % Studente Studente Studente Studente Studente Df 0,80 0,60 0,40 0,20 0 0,80 I problemi della difficoltà classica Se aggiungiamo un quesito dall andamento di risposta anomalo il punteggio non è più univocamente interpretabile.

22 Q1 Q2 Q3 Q4 Q5 Q6 % Studente Studente Studente Studente Studente Df 0,80 0,60 0,40 0,20 0 0,80 I problemi della difficoltà classica Se aggiungiamo un quesito dall andamento di risposta anomalo il punteggio non è più univocamente interpretabile. I quesiti 1 e 6 hanno la stessa difficoltà ma hanno ricevuto risposte corrette da studenti con andamenti molto diversi tra loro al complesso della prova.

23 Indice di discriminatività classico Quanto il quesito è in grado di discriminare distinguere tra migliori e peggiori Ds = (Es- Ei)/Nfascia Varia da -1 a +1 Se superiore a 0,3 è accettabile Va interpretata insieme alla difficoltà, alle frequenze, alla distrattività e nel complesso della prova

24 Indice di discriminatività calcolato con la correlazione item-totale È la correlazione tra tutte le risposte date ad un quesito e tutti i punteggi grezzi degli allievi (meno il punteggio ottenuto al quel quesito) Differisce dalla discriminatività che è un semplice confronto tra gli estremi Varia da -1 a +1 e si intrepreta: <0 = da scartare <0,19 = rivedere il quesito sostanzialmente 0,20-0,29 = quesiti accettabili 0,30-0,39 = quesiti buoni >0,40 = quesiti ottimi

25 Quesito 1 Quesito 2 Quesito 3 Estremo superiore Estremo inferiore Numero studenti per fascia Discriminatività 0,7-0,2 1 Correlazione item-totale 0,6-0,2 0,7 L indice di discriminatività e la correlazione pt bis La correlazione pt biseriale è più precisa dell indice di discriminatività perché considera le risposte di tutti gli studenti a tutti i quesiti contemporaneamente

26 Alfa di Cronbach Misura l affidabilità o attendibilità di una prova in termini di coerenza interna dei risultati Usa la varianza di ogni singolo quesito e quella relativa a tutte le risposte a tutta la prova È un solo indice che si calcola per l intera prova Non esiste la funzione in Excel per calcolarla Nella formula, K = numero dei quesiti È condizionata dal numero dei quesiti (minore il numero, minore l α di Cronbach): necessari almeno una trentina di quesiti

27 Alfa di Cronbach Come si interpreta: >0.9 eccellente molto buona buona (ci sono quesiti che possono essere migliorati) non del tutto soddisfacente (per poter trarre conclusioni è necessario usare anche altre prove) è necessario rivedere la prova (a meno che non abbia solo 10 quesiti o un numero inferiore) <0.5 prova non adatta ad alcun tipo di valutazione

28 Esercitazione Valutare in base agli indici calcolati l andamento della prova ed evidenziare: i quesiti in cui solo qualche distrattore può essere rivisto quelli che devono essere scartati quelli che hanno qualche problema nella risposta corretta Stabilire se: la durata della prova è stata sufficiente si può pensare di tenere la prova nelle sue caratteristiche complessive o è meglio rifarla Per semplicità di lettura, la risposta corretta è stata fissata alla A

29 L importanza della revisione cieca L analisi classica dei quesiti ci fornisce una base facilmente comprensibile e controllabile per considerare la prova È uno dei molti momenti possibili di revisione della prova Ogni somministrazione è un occasione per raccogliere informazioni nuove sul suo funzionamento È possibile interpretarla alla luce di considerazioni qualitative Sul gruppo di allievi considerato Sui contenuti e gli obiettivi cognitivi