il cheating nel sistema italiano di valutazione

Transcript

1 il cheating nel sistema italiano di valutazione metodi di rilevamento del cheating basato sui pattern di risposta non usuali ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ i determinanti dei comportamenti opportunistici degli insegnanti workshop metodi di identificazione, analisi e trattamento del cheating 8 febbraio 2013 gerard ferrer-esteban

2 contenuti il rilevamento del cheating il fenomeno del cheating un metodo basato sui pattern non usuali comparazione tra metodi proposte sul metodo i determinanti del cheating dati e modello empirico risultati: incentivi e deterrenti proposte per prevenire il cheating

3 il fenomeno del cheating the more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor (campbell, 1976).. fenomeno multiforme. cheating e accountability. ricerca sul cheating

4 rilevare il cheating rischio nell individuazione del cheating: metodi basati sui livelli e deviazione delle performance ** errore tipo i: α o falsi positivi (quando si segnala come cheater una classe che non ha barato) ** errore tipo ii: β o falsi negativi (quando non si identifica una classe che ha barato) il caso dell indice invalsi (quintano, castellano, longobardi, 2009)

5 metodo Indicatore per individuare il cheating (Jacob & Levitt, 2003). indicatore di sequenze di risposta sospette (3 misure combinate). pattern più generali di similarità tra le risposte degli studenti (correlazione delle risposte del test). grado di varianza della correlazione delle risposte tra gli item. casi nei quali gli studenti mancano item facili e rispondono correttamente agli item difficili

6 metodo misura 1 pattern più generali di similarità tra le risposte degli studenti 1) calcolo dei residui per ogni possibile risposta che lo studente potrebbe aver fornito in ogni item e jisc 0 1- J J e j 1 e j 1 e ˆ x e ˆ x j j ˆ x s ˆ x j s j s s if j k if j k 2) somma dei residui di ogni risposta j tra gli studenti dentro della classe c dove e jisc è il residuo per la risposta j nell item I per lo studente s nella classe c (4 residui per item) j è il numero di possibili risposte (2 o 4) x è il vettore che comprende caratteristiche studenti, score passati e futuri e background e jic e jisc s

7 metodo misura 1 3) somma dei quadrati dei residui delle 4 possibili risposte di ogni singolo item aggregato a livello classe 4) media di classe di questa varianza v ic j e ns 2 jic c M1 c v c i v ni ic dove ni è il numero di item nel test

8 metodo misura 2 varianza nel grado di correlazione tra gli item 1) in base alla misura di varianza tra le risposte calcolata precedentemente (m2), calcoliamo M2 c 2 v c i ( v ic ni v c ) 2

9 metodo misura 3. gli studenti mancano item facili e rispondono correttamente agli item difficili. misura in cui il pattern di risposta di uno studente è diverso da un altro studente con lo stesso score aggregato A 1) calcolare la frazione q i di studenti in ogni livello aggregato di performance che ha risposto agli item correttamente q A i s z: A z ns isc A A q s q isc è uguale a 1 se lo studente s della classe c ha risposto il item i correttamente A s è uguale alla performance aggregata dello studente s al test

10 metodo misura 3 1) misura in cui il pattern di risposta dello studente s diferisce del pattern di risposta degli altri studenti con lo stesso score aggregato Z sc q i isc q A i 2 2) sottrazione della deviazione media degli studenti con lo stesso score aggregato A Z e somma degli studenti dentro della classe M3 c Z s sc Z A

11 Density metodo indicatore di sequenze di risposta sospette: sintesi. due indicatori compositi: ** somma dei quadrati dei rank value delle 3 misure CHEAT cbt ( rank _ M1c, b, t ) ( rank _ M 2c, b, t ) ( rank _ M3c, b, t ) ** somma dei valori normalizzati delle 3 misure Standardized values of (composite)

12 scuole comparazione tra metodi simulazione con un dataset di scuole N=100 estratte in modo casuale SNV ranking metodo basato ranking metodo invalsi sui pattern di risposta non usuali misura 1 misura 2 misura 3 potenziali errori di tipo I: falsi positivi aaaaeeeecccc 1 1 6,9745 5, ,4616 bbbbffffdddd 2 2 6,4295 3, ,0450 ccccaaaaeeee 3 7 1,8111 0, ,3399 ddddbbbbffff ,0263 0,0330-0,0927 eeeeccccaaaa 5 3 4,2707 7, ,2406 ffffddddbbbb ,6190 0,2620 3,2799 aaaaeeeecccc ,8341 4,5483-1,8228 bbbbffffdddd ,6709 2,2601 5,0230 ccccaaaaeeee 9 5 4,9993 2,4181 3,0132 ddddbbbbffff ,8100 0,0979-2,0792 aaaaeeeecccc ,4955 0,0190-4,2403 bbbbffffdddd ,4987 0,0415-3,2800 ccccaaaaeeee ,0859 0,1402 5,5015 ddddbbbbffff ,5575 0,0652 2,0642 eeeeccccaaaa ,4479 0,0642-3,0764 ffffddddbbbb ,0514 0,8218 2,4843 aaaaeeeecccc ,4832 0,0455-1,7432 bbbbffffdddd ,9312 0,0700-0,9873 ccccaaaaeeee ,8427 0,6242 6,3130

13 comparazione tra metodi simulazione con un dataset di scuole N=100 estratte in modo casuale SNV scuole ranking metodo basato ranking metodo invalsi sui pattern di risposta non usuali misura 1 misura 2 misura 3 potenziali errori di tipo II: aaaaeeeecccc 1 1 6,9745 5, ,4616 bbbbffffdddd falsi negativi 2 2 6,4295 3, ,0450 ccccaaaaeeee 5 3 4,2707 7, ,2406 ddddbbbbffff ,8427 0,6242 6,3130 eeeeccccaaaa 9 5 4,9993 2,4181 3,0132 ffffddddbbbb ,0514 0,8218 2,4843 aaaaeeeecccc 3 7 1,8111 0, ,3399 bbbbffffdddd ,8564 0,0913 4,6904 ccccaaaaeeee ,1581 0,0806 6,1199 ddddbbbbffff ,1868 0,0887 2,6583 aaaaeeeecccc ,6190 0,2620 3,2799 bbbbffffdddd ,7988 0,0812 0,9719 ccccaaaaeeee ,2479 0, ,6992 ddddbbbbffff ,3593 0, ,2664 eeeeccccaaaa ,0859 0,1402 5,5015 ffffddddbbbb ,3483 0,0936 1,7697 aaaaeeeecccc ,9746 0,0619 0,8779 bbbbffffdddd ,3110 0,0614 9,6332 ccccaaaaeeee ,3343 0,3014-0,1219 ddddbbbbffff ,7717 0,0768-0,1801

14 comparazione tra metodi coincidenza tra metodi delle classi rilevate come cheater metodo basato sui pattern di risposta non usuali Classi N = 3361 non sospette sospette potenziali p95 metodo invalsi non sospette falsi positivi 84,6% sospette falsi negativi 80,5% potenziale errore di tipo I: falsi positivi potenziale errore di tipo II: falsi negativi p90 metodo invalsi non sospette sospette potenziali non sospette falsi positivi 83,3% sospette falsi negativi 59,1%

15 proposte sul metodo proposte per la correzione del cheating dopo lo svolgimento delle prove (prima della correzione alle scuole) sul metodo *** metodi basati sulla logica del guadagno cognitivo (fluttuazioni dei punteggi non aspettati nel tempo) necessità di controllare i fattori esogeni *** metodi basati sulla probabilità condizionata per la rilevazione dei pattern di risposta non usuali validazione del metodo *** confronto di metodi *** testare il metodo tramite simulazioni per minimizzare il rischio di errore di tipo I e II

16 oltre ai divari territoriali: i determinanti del cheating

17 dati survey servizio nazionale di valutazione (snv): prove invalsi anno scol discipline matematica (43 item) e italiano (81 item) studenti classi 3361 scuole 739

18 modello empirico oltre ai divari territoriali: i determinanti del cheating cheat cs ( D 5 T cs A cs c 1 r ) S 6 s C 2 cs cs D 3 cs A 4 cs dove cheat cs è il livello di cheating della classe c nella scuola s T r è la variabile di ubicazione territoriale regione- della scuola C cs è un vettore della composizione della classe, relativa alle caratteristiche sociodemografiche degli studenti SES, genere, immigration background e ripetenti D cs è un vettore relativo ai fattori che possono attuare come deterrenti del cheating, e contiene dummies sul controllo durante lo svolgimento delle prove Invalsi A cs è una proxy di strategia di cheating non basata sull alterazione dei risultati delle prove, è rappresentata dallo share di assenze degli studenti nello svolgimento delle prove P s è un vettore che contiene dei fattori a livello di scuola che possono avere un ruolo nel spiegare il cheating: età media degli insegnanti e la dimensione media delle classi (controllo cheating studenti) La regressione controlla i termini di interazione D cs A cs tra le dummies dei deterrenti (controllori in classe) e il livello di assenza degli studenti nelle prove Invalsi Ɛ cs è il error term

19 risultati oltre ai divari territoriali: i determinanti del cheating (1) (2) (3) (4) (5) (6) CHEAT CHEAT CHEAT CHEAT CHEAT CHEAT SES agregato per classe ** *** *** *** *** *** % donne / classe % stud immig 1 gen/ classe *** *** * * ** ** % stud immig 2 gen/ classe *** *** *** *** *** *** % stud ripetenti / classe * * ** ** ** ** Controllo in classe (ref: non controllo) *** *** *** *** *** Controllo test high-stake (ref: non cont) *** *** *** *** ** Assenti alla prova di matematica * * * * Età media degli insegnanti * * Class size ** * * Controllo in classe x strategia cheater * Controllo in classe x strategia cheater * Region fixed effect Yes Yes _cons ** ** ** ** ** ** N

20 risultati oltre ai divari territoriali: i determinanti del cheating (1) (2) (3) (4) (5) (6) CHEAT CHEAT CHEAT CHEAT CHEAT CHEAT più bassa è SES agregato per classe ** la composizione *** sociale *** della classe, *** più alta è la *** *** tendenza a fare cheating % donne / classe % stud immig 1 gen/ classe *** *** * * ** ** l aggregazione % stud immig 2 gen/ classe *** di studenti *** immigrati *** e studenti ripetenti *** in *** *** classe è associato a fare meno cheating % stud ripetenti / classe * * ** ** ** ** il controllo in classe è un Controllo in classe (ref: non controllo) *** efficace deterrente *** del cheating, *** anche *** *** nelle scuole in cui i test sono high-stake per gli insegnanti Controllo test high-stake (ref: non cont) *** *** *** *** ** le classi che tendono a barare svolgono Assenti alla prova di matematica * anche strategie * * * parallele di cheating non basate sull alterazione dei test Età media degli insegnanti * * Class size ** * * Controllo in classe x strategia cheater la presenza di osservatori è un deterrente efficace anche per * Controllo in classe x strategia cheater controbilanciare l effetto di altre misure di cheating * Region fixed effect Yes Yes _cons ** ** ** ** ** ** N

21 proposte prevenzione del cheating durante lo svolgimento delle prove è evidente che il deterrente più efficace per contenere il cheating è la presenza di un controllore durante lo svolgimento delle prove ma è anche il più insostenibile finanziariamente approccio basato sul contrasto di interessi tra gli insegnanti di diversi gradi: *** in un sistema di valutazione basato sul valore aggiunto, gli insegnanti sarebbero i controllori ideali per i test dei livelli inferiori *** se i livelli di apprendimento misurati in uscita dalle scuole elementari fossero sovrastimati a causa del cheating, sarebbe difficile, per gli insegnanti della scuola media, creare valore aggiunto vantaggio: le risorse disponibili localmente libererebbero inoltre i fondi per i controlli al livello superiore

22 grazie per l attenzione