Come attribuire i punteggi M I S U R A R E
Dopo la prova Come verranno raccolti i dati? Come verranno processati e validati i risultati? Quali metodi statistici? Quali software a disposizione? Quale scala di misurazione adottare?
Perché spesso i giudizi sono poco attendibili? Prestazioni pregresse Impegno Concetto sulle sue capacità Nostro stato d animo Noia e fatica nella correzione Tutto questo viene riassunto nel giudizio
L importanza di disporre di misure Le scale di misurazione Le scale nominali: inclusione o esclusione. Le scale ordinali. Maggiore o minore, ma in quale misura? Per essere più precisi: scale a intervalli; Se l origine è zero: scala di rapporti.
La polarità delle scale ordinali Esempio da Vertecchi (1993): Temperatura: 1. Afosa 2. Molto calda 3. Calda 4. Fresca 5. Fredda 6. Molto fredda 7. Rigida Se avrò un termometro saprò dire di quanto.
La scala dei voti scolastici Quando abbiamo solo descrizioni che non contengono elementi comparativi avremo scale nominali: es. Giovanni sa usare la calcolatrice. Quando si esprimono apprezzamenti esplicitamente o implicitamente comparativi userò scale ordinali: es. Andrea è più bravo di altri che definirei scarsi. Quando le prestazioni sono riconducibili ad una unità sulla base della quale sia possibile esprimere quantità (es. la risposta ad un quesito) la scala è ad intervalli.
La scala dei voti scolastici Quali misure corrispondono ai voti scolastici espressi in decimi? No scala di rapporti No scala nominale Scala a intervalli o ordinale? Impossibile stabilire che la differenza tra 5 e 6 sia la stessa che tra 7 e 8 quindi: Scala ordinale
Come correggere un test Somministrazione: indicazioni, prova, raccolta Es. Ho 22 compiti e devo correggerli Peso per ciascun item: es. 1 punto per ogni V/F, 5 punti per ogni scelta multipla, 2 punti per ogni corrispondenza, 1 punto per ogni completamento. Attribuzione dei punteggi
Il punteggio grezzo Punteggio grezzo: semplice computo delle risposte, senza elaborazione statistica Nulla mi assicura che il test abbia funzionato correttamente, nel complesso o nelle sue singole parti Se dovessi utilizzare ancora quel test avrei bisogno di avere altre informazioni: Item analysis
Come effettuare l analisi degli item Item 35 40 45 49 1 E E 2 d c c 3 c c d 4 b d Difficoltà: resistenza che un quesito oppone alla sua corretta soluzione Discriminatività: capacità di un quesito di separare la parte degli allievi cha ha fornito una prestazione migliore da quella che ha fornito una prestazione più scarsa Distrattività: capacità dei singoli distrattori di far deviare dalla risposta corretta
Come calcolare l indice di difficoltà = Rapporto tra il numero degli allievi che hanno fornito una risposta errata e il numero degli allievi che sono stati sottoposti al test. Valore massimo è 1 = tutti hanno risposto in modo errato Valore minimo è 0 = tutti hanno risposto correttamente
Come calcolare l indice di discriminatività 1. Definire una fascia di rendimento più alta e una più bassa. 2. Si contano le risposte esatte ad un item nella fascia superiore e quante nella fascia inferiore. 3. Si calcola la differenza e la si divide per il numero dei punteggi considerati. 4. Si otterrà un indice che varia da 1 (se tutti i migliori hanno risposto bene ed i peggiori male) -1 (se è avvenuto il contrario) 5. Se l indice è 0 gli allievi non si sono differenziati nella risposta Es: Item 6 (7 migliori, 7 peggiori): 6-3/7= 0,42
Come calcolare l indice di distrattività Sul complesso degli errori, quanti, per ciascun item, si riferiscono a ciascun distrattore. In generale: 1. Un test non dovrebbe essere troppo difficile ma avere una buona discriminatività 2. Tutti i distrattori dovrebbero mostrarsi efficaci 3. Accettabili indici di discriminatività tra 0,3 e 0,6 4. La discriminatività può anche essere maggiore ma non la difficoltà= in tal caso non sarebbe più discriminativo.
Media e deviazione standard 40 45 49 51 54 55 56 58 59 59 59 60 61 Punteggi disponibili Gamma (campo di variazione) da 40 a 61 quindi 61-40 +1 = 22 Uno ricorre più spesso = 59 = la Moda Il punteggio che separa la metà superiore da quella inferiore è 56 e si dice Mediana Per calcolare la Media, si sommano tutti i punteggi e si divide per il numero dei punteggi stessi: 54,3 Moda, Media e Mediana sono misure di tendenza centrale di una distribuzione. Se, come in questo caso, sono molto vicine sappiamo che la distribuzione è simmetrica sia nella parte superiore e in quella inferiore.
Media e deviazione standard Questo però non ci fornisce la misura della dispersione che ci serve per capire quanto i risultati fossero vicini o dispersi. Tale misura è la deviazione standard o scarto quadratico medio che si calcola tenendo conto degli scarti di ciascun punteggio dalla media. La radice quadrata della media del quadrato degli scarti di tutti punteggi dalla media. Formula disponibile e programmi la calcolano (Excel).
La distribuzione pentenaria Una proprietà della deviazione standard consiste nel fatto che quando si considera un gran numero di dati relativi ad una certa misura gli intervalli che è possibile individuare in una distribuzione raggruppano un numero di frequenze abbastanza stabile, che è possibile prevedere attraverso un modello matematico. Esempio di Vertecchi (2003): Media = 59,6 Dev. Stand/ =11,4 5 fasce: C = centrale = compresa tra 59,6 5,57 e + 5,57 = 54,03 e 65,17 B = compresa tra 65,17 e 65,17 + 11,4 = 65,17 e 76,31 A = comprende punteggi superiori a 76,31 D = compresa tra 54,03 e 54,03 11,14, ossia 54,03 e 42,89 E = comprende punteggi inferiori a 42,89
Le scale standardizzate: punti z e punti t Supponiamo di somministrare un nuovo test agli allievi otteniamo una nuova media ed una nuova deviazione standard. Non posso confrontare i punteggi grezzi che si basano su scale diverse. Come fare? Trasformo i punteggi grezzi in punti standard. Come? Punti Z e punti T Punti Z: i punti Z si ottengono misurando in dev. standard la differenza tra punteggio grezzo e la media. 70-59,6/11,14=0,93 (I test) II test = stessa cosa Punti T: servono ad evitare i decimali. Il principio è lo stesso ma si tengono come valori convenzionali : 50 per la media e 10 per la dev. standard. 50+(10(70-59,6)/11,14)=59 (I test) II test = stessa cosa