Docimologia 2. Dott.ssa G. Agrusti Università degli Studi Roma Tre

Transcript

1 Docimologia 2 Dott.ssa G. Agrusti Università degli Studi Roma Tre

2 24. La media ingannatrice Serie I: 4, 6, 6, 4, 5, 6, 6 media = 5,3 Serie II: 6, 5, 10, 4, 4, 9, 4 media = 6 Proviamo ad ordinare sufficienza le distribuzioni Serie I: 4, 4, 5, 6, 6, 6, 6 Serie II: 4, 4, 4, 5, 6, 9, 10 Gamma molto diversa (come più semplice misura di dispersione) Moda (punteggio più frequente) molto diversa Mediana (punteggio che divide in due la distribuzione ordinata) diversa

3 24. La media ingannatrice Ma la mediana non ci salva completamente da errori di interpretazione.. Serie III Serie IV differenza Media = 7,4 Media = 8,2 Mediana = -1 Come stabilire quale delle due serie è andata meglio?

4 L andamento mostra come la serie IV sia sotto solo in punto alla serie III La media inganna ma la mediana non è da meno

5 Perché ci interessa la media Perché si associa spesso al concetto di sufficienza (cut-off score o threshold) Sia dal punto di vista del senso comune (più o meno la metà..) Sia per tradizione (statunitense) Due modi di trovare la sufficienza Criteriale: chi raggiunge determinate competenze (quindi risponde bene a determinati quesiti) Normativo: chi raggiunge il punteggio medio raggiunto dal gruppo in cui è inserito/a

6 Problemi negli approcci normativi Le oscillazioni delle medie possono essere consistenti da un anno all altro Sia per fattori estrinseci alla prova (contesto socioeconomico e culturale) Sia per fattori intrinseci alla prova (esistono prove che possano dirsi veramente equivalenti?) Talora le soglie possono essere di manica larga Credentialing (USA): oltre il 90% dei candidati supera la prova perché si considera buono un punteggio che raggiunga almeno -1,5 σ

7 Regole per una corretta Considerare sempre: interpretazione allo stesso tempo tutte le misure di tendenza centrale (media, mediana e moda) il numero di casi analizzato Le misure di dispersione (gamma e deviazione standard) Se la rilevazione è campionaria, considerare sempre la media con l errore standard

8 Perché i quesiti a risposta chiusa?

9 La redazione dei quesiti a risposta riconosciuta Diverse classificazioni possibili: a risposta aperta/chiusa formulata/riconosciuta univoca/non univoca.. È difficile redigerli ma è facile correggerli Sono di diverso tipo: Scelta multipla Vero/falso Corrispondenze

10 Perché imparare a scrivere dei buoni quesiti? Perché quelli presenti sui libri di testo potrebbero non essere allineati con gli obiettivi cognitivi insegnati in classe non sempre sono di buona qualità (troppo facili o confusi) Sono utili in più momenti Valutazione dei prerequisiti Valutazione formativa (procedimenti) Valutazione sommativa

11 Quesiti a scelta multipla Molto diffusi perché flessibili Varietà di obiettivi (conoscenza, comprensione della lettura) e contenuti (formule matematiche, storia..) Quello che valutano dipende da come sono scritti Non solo bisogna riconoscere la risposta corretta, ma, se scritti bene, anche rifiutare quelle errate Composti da: Premessa (stem domanda diretta o frase da completare) Alternative (key + foils o distractors)

12 TESTO 1 Nel primo comma sono evidenziati due elementi costitutivi di ogni Stato: la forma di governo e la forma di stato. Con il termine Repubblica si indica la forma di governo e ciò esclude la monarchia. Per quanto riguarda il lavoro, oltre ad essere il fondamento dello stato e come tale deve essere tutelato, esso rappresenta l unica distinzione tra persone su come esse partecipano alla vita pubblica, cioè su come esse lavorano per la comunità. TESTO 2 Art. 1 L'Italia è una Repubblica democratica, fondata sul lavoro. La sovranità appartiene al popolo, che la esercita nelle forme e nei limiti della Costituzione. Art. 2 La Repubblica riconosce e garantisce i diritti inviolabili dell'uomo, sia come singolo sia nelle formazioni sociali ove si svolge la sua personalità, e richiede l'adempimento dei doveri inderogabili di solidarietà politica, economica e sociale. Il testo 1 è una fonte indiretta perché A. esprime l opinione dell autore sul lavoro. B. sostiene il bisogno di evitare la monarchia. C. fornisce informazioni fattuali sulla Costituzione. Il testo 2 è una fonte diretta perché A. esprime opinioni personali sul diritto al lavoro e sulle formazioni sociali. B. elenca i primi due articoli della Costituzione nella loro forma originale. C. fornisce informazioni fattuali sui diritti dell uomo e la sovranità popolare.

13 Guida alla redazione di quesiti a scelta multipla 1. Per valutare la conoscenza di fatti, la comprensione letterale o la applicazione di semplici regole è meglio iniziare la domanda con chi, che cosa, quale/i, dove, quando. Per valutare applicazioni più complesse, interpretazioni, previsioni è meglio iniziare la domanda con perché, come o quale dei/delle seguenti. Non è una regola fissa: anche utilizzando che cosa si possono porre quesiti complessi, ad es. Che cosa è più probabile che accada, mentre non è detto che iniziando con un perché la risposta non sia dovuta alla semplice operazione di ricordo delle informazioni.

14 Guida alla redazione di quesiti a scelta multipla 2. Assicurarsi che la formulazione sintattica e grammaticale della premessa non sia di per sé indizio sufficiente a selezionare la risposta corretta. 3. Evitare per il possibile premesse contenenti negazioni. 4. Tutte le alternative devono essere plausibili. Per la valutazione sommativa è bene utilizzare lo stesso numero di alternative per tutti i quesiti. Nella valutazione intermedia è possibile invece variare questo numero in ragione della natura del quesito stesso (meglio una alternativa in meno che una alternativa non credibile).

15 Guida alla redazione di quesiti a scelta multipla 5. Le alternative devono essere omogenee: simili in lunghezza, sintassi e livello di complessità concettuale. L omogeneità delle alternative dipende dalla formulazione della premessa (se è centrata su un contenuto preciso ma sufficientemente strutturato). Come procedere: redigere prima la premessa e la risposta corretta, quindi redigere le alternative errate in modo che siano simili alla risposta corretta e che si fondino su errori comuni e fraintendimenti ricorrenti. 6. Assicurarsi che la premessa non fornisca indizi linguistici sufficienti a selezionare la risposta corretta a prescindere da ciò che realmente si sa.

16 Guida alla redazione di quesiti a scelta multipla 7. Non inserire distrattori che siano parzialmente corretti o che si sovrappongano alla risposta corretta. Nella valutazione sommativa, le risposte errate devono essere sicuramente e del tutto errate. 8. Non utilizzare mai nella valutazione sommativa alternative come nessuna delle precedenti o tutte le precedenti. Se la risposta corretta è troppo ampia e dettagliata e le possibilità di risposte errate plausibili sono poche, si può rovesciare il quesito ma solo nella valutazione intermedia, poiché la negazione fa perdere in validità. 9. I distrattori sono più utili quando rappresentano ognuno un errore comune. Specialmente nella valutazione intermedia, permettono di capire il tipo di errore fatto dall allievo.

17 Per i più piccini Usare istruzioni orali per limitare le interferenze dovute alla lettura Usare immagini (a meno che non si stia valutando la lettura) Contestualizzare i quesiti all interno di una storia con personaggi fissi ricorrenti

18 Esempio (Guarda la figura della mela. Con quale lettera inizia la parola mela? Fai un cerchietto intorno alla lettera.) g h m n

19 Esempio (Guarda la lettera nel riquadro. Sotto ci sono le figure di una matita, una pera e una stella. Quale figura mostra qualcosa che all inizio ha lo stesso suono della lettera nel riquadro? Fai un cerchietto intorno alla figura.) m