Metodologia della ricerca educativa Seconda Lezione Dott.ssa G.Agrusti - Università degli Studi Roma Tre
Informazioni generali Programma, Calendario, Ricevimento, avvisi, risultati esami, scaricabili dal sito http://lps.uniroma3.it Didattica => Gabriella Agrusti => Docimologia 2 o Metodologia della ricerca pedagogica => Informazioni generali Materiali didattici, slides, esercitazioni (PARTE INTEGRANTE DEL PROGRAMMA D ESAME) sempre su http://lps.uniroma3.it Testi di riferimento (doc2): Origini e sviluppi.. Testi di riferimento (met): Origini + Laboratorio di valutazione Puntualità e assiduità nella frequenza gabriella.agrusti@uniroma3.it
Validità e attendibilità Affinché i risultati di una rilevazione siano fondati, non devono presentare evidenti e marcate distorsioni. Tra le principali cause di errore nella misurazione in campo educativo troviamo: VALIDITA Le domande non si riferiscono agli obiettivi cognitivi / gli obiettivi sono poco chiari Domande troppo lunghe / Troppe alternative nei quesiti a scelta multipla / ambiguità nella formulazione (si valuta la comprensione della lettura) Scelta errata nella modalità di prova rispetto alla disciplina Tempo insufficiente (si valuta la rapidità) ATTENDIBILITA Soggettività nella valutazione Più risposte corrette possibili Criteri di correzione non espliciti Tempi di somministrazione non uniformi per i diversi allievi Istruzioni non uniformi date ai diversi allievi (istruzioni poco chiare che si spiegano meglio solo a quelli che lo chiedono)
Hit the target! Metafore visive per concettualizzare validità e attendibilità (Rivisto e adattato da Wikipedia). Manca in questa esemplificazione grafica la combinazione valido ma non attendibile. Questo perché se una prova non è attendibile (ossia se restituisce giudizi diversi a fronte della stessa prestazione) non potrà necessariamente essere valida in quanto in realtà misura di volta in volta cose diverse (in ragione di chi la adopera).
Validità I voti / giudizi devono rappresentare una informazione utile Un punteggio in decimi che cosa vuol dire? (Che cosa rappresenta il 10? E il 5?) È necessario poter interpretare correttamente i risultati di una prova / procedura valutativa (specie se formativa, specie se di classe) ovvero.... è necessario che si trovi corrispondenza negli obiettivi cognitivi e nei contenuti oggetto di valutazione ovvero....che la prova sia un valido strumento di misura
Tanti tipi di validità Che cosa è stato insegnato di importante? Quanto spazio aveva sul libro di testo? E nelle lezioni? Le domande sono rappresentative dei contenuti? Validità di contenuto: la prova garantisce una copertura adeguata dei contenuti/nozioni relative a ciò che si intende misurare. Come si verifica? Descrizione dei contenuti in rapporto agli obiettivi cognitivi => sottoposta al giudizio di esperti del settore
Tanti tipi di validità Come si arriva alla risposta corretta? Quali processi bisogna attivare per rispondere alla domanda? Validità di processo: la prova sollecita gli adeguati processi e strategie di risposta negli studenti. Come si verifica? Thinking aloud durante le somministrazioni di prova => sottoposta al giudizio di esperti
Tanti tipi di validità La mia prova di calcolo darebbe gli stessi risultati di una prova standardizzata di calcolo? Validità concorrente: la prova fornisce risultati analoghi a quelli di altre prove che misurano la stessa cosa Come si verifica? Agli stessi allievi si somministrano prove diverse => coefficiente di correlazione
Tanti tipi di validità Coloro che hanno un buon voto agli esami di stato avranno anche buoni voti agli esami universitari? Il buon esito ad una prova mi permette di predire come andranno successive prove? Validità predittiva: la prova fornisce risultati che permettono, con un margine di errore accettabile, di predire l andamento di altre prove Come si verifica? Agli stessi allievi si somministrano prove diverse in momenti successivi => coefficiente di correlazione
Tanti tipi di validità Come si presenta la prova? Le istruzioni della prova sono comprensibili? Ci sono ostacoli materiali alla possibilità di rispondere correttamente indipendenti dalle conoscenze sottoposte a valutazione? Validità di presentazione: la prova fornisce istruzioni univoche sulla sua compilazione e si presenta leggibile e facilmente utilizzabile. Come si verifica? Questionari di opinione rivolti a coloro che sottopongono alla prova
Attendibilità Verificare che una misura sia non solo coerente con sé stessa (se effettuata più volte) ma anche coerente con altre misure analoghe La verifica dell attendibilità si collega alla verifica della validità ma si tratta di aspetti distinti (vanno verificate entrambe sempre)
Attendibilità Lo strumento di misura è in grado di fornire lo stesso risultato indipendentemente da chi lo utilizza? Stabilità o Test-retest (somministrazioni ripetute nel tempo della stessa prova. L affidabilità è la correlazione tra le due misure) Coerenza interna Split-half (due semi-prove che si suppongono equivalenti, estratte a caso dalla prova iniziale e poi ancora correlazione) Alfa di Cronbach (varianza dei singoli item in rapporto alla varianza del punteggio totale sulla singola somministrazione)
Per una valutazione che rispecchi gli obiettivi cognitivi (validità) Per i contenuti, la prova dovrebbe: porre enfasi su quanto si è insegnato rappresentare conoscenze e teorie generalmente condivise essere centrata su contenuti che vale la pena conoscere Per i processi, dovrebbe: richiedere agli allievi di utilizzare competenze diverse in modo integrato obbligare ad attuare determinati percorsi (non offrire possibilità di aggirare l ostacolo) essere di una durata adeguata a mettere in atto processi cognitivi complessi
Per una valutazione coerente (attendibilità) La prova dovrebbe: Richiedere procedure sistematiche di correzione uguali per tutti gli allievi Richiedere procedure di correzione basate su criteri espliciti e condivisi Fornire a tutti gli allievi le stesse possibilità (tempo e modo) di dimostrare le proprie conoscenze e abilità
Qualche consiglio operativo.. È bene rileggere le prove confrontandole con i testi utilizzati (quale copertura degli argomenti?) Attenzione: valutazioni povere banalizzano l intero processo e spostano il focus su quello che è importante apprendere I risultati della valutazione dell intera classe non dovrebbero mai sorprendere troppo, né positivamente né negativamente (prove troppo facili o troppo difficili?) Utilizzare differenti modi per valutare ma ottenere gli stessi risultati La prova / procedura di valutazione utilizzata dovrebbe essere lunga abbastanza per permettere di dimostrare diverse conoscenze / competenze
Qualche consiglio operativo Gli allievi devono conoscere prima di essere valutati quali saranno i criteri sui quali vi baserete Gli allievi devono imparare ad individuare quali errori hanno commesso Le prove lunghe (con più quesiti) sono solitamente più attendibili di prove brevi Le prove valutate con griglie di correzione o le prove strutturate sono solitamente più attendibili
ATTENZIONE! Se il gruppo di allievi in classe è molto omogeneo per competenze e conoscenze, l attendibilità della prova potrebbe risultarne diminuita (è più facile distinguere le differenze individuali se sono marcate) Nel test-retest, maggiore è il tempo intercorso tra una somministrazione e l altra è più bassa può risultare l attendibilità Raramente le forme parallele o equivalenti di prove lo sono veramente
Tipi di prove, validità e attendibilità Prove strutturate (a risposta chiusa): Lo stesso allievo dovrebbe avere risultati coerenti nei diversi quesiti (item analisi classica) Garantire tempo sufficiente per rispondere (stabilendolo attraverso somministrazioni pilota) Utilizzare i voti/punteggi per distinguere le diverse prestazioni degli studenti controllando la coerenza tra due compiti che abbiano lo stesso punteggio
Tipi di prove, validità e attendibilità Saggi brevi, composizioni, temi (a risposta aperta): Chiarezza nelle istruzioni agli allievi Esempi di prove già svolte illustrati precedentemente in classe Utilizzare sempre delle griglie di correzione redatte contestualmente alla traccia/stimolo Far correggere gli stessi elaborati a due o più correttori (se soli nella attribuire una valutazione) correggere due volte gli stessi elaborati a distanza di tempo Correggere gli elaborati senza leggere il nome dell allievo (se a più domande) correggere una domanda per volta su tutti i compiti
Tipi di prove, validità e attendibilità Interrogazioni orali e osservazione: Usare un numero sufficiente di domande Garantire pari trattamento a tutti gli allievi Utilizzare procedure standard per registrare quanto osservato Farsi aiutare da un osservatore silenzioso (distinguendo chi fa le domande da chi valuta le risposte)