La valutazione dei corsi da parte degli studenti: confronto fra carta e web

Transcript

1 La valutazione dei corsi da parte degli studenti: confronto fra carta e web Lorenzo Bernardi e Gianpiero Dalla Zuanna Dipartimento di Scienze Statistiche Nel 2011, l Ateneo di Padova ha introdottola procedura informatica di valutazione dei corsi da parte degli studenti. Di concerto con l Ateneo, la Facoltà di Scienze Statistiche, nell anno accademico , ha deciso di proseguire anche la tradizionale rilevazione cartacea, in modo da rendere possibile un confronto fra gli esiti della valutazione via carta e via web. Questo breve rapporto dà conto dell esito di questo confronto, reso possibile dal fatto che buona parte delle domande sono poste in modo identico nei due questionari. Prima di iniziare conviene ricordare brevemente la diversa modalità delle due rilevazioni, perché tali differenze influenzano certamente i risultati. Rilevazione cartacea. In una delle ultime lezioni del corso, il docente consegna agli studenti presenti in aula il questionario cartaceo, che gli studenti compilano al momento (in 5-10 minuti) e consegnano al docente. Alla presenza degli studenti, il docente mette i questionari raccolti in una busta. La busta chiusa viene poi consegnata in Segreteria di Presidenza dal Docente. I questionari sono stati registrati manualmente dagli operatori dell Ufficio Informativo Didattico o in parte mediante un lettore ottico. Rilevazione via web. Al momento della prima iscrizione alla lista d appello di un esame, allo studente in corso regolare viene chiesto se vuole o meno compilare il questionario di rilevazione. Se lo studente accetta di compilarlo, il questionario viene presentato, e anche in questo caso è compilabile in 5-10 minuti. È evidente che le popolazioni studentesche che hanno compilato i questionari sono strutturalmente diverse, anche se il fatto che la rilevazione via web interessi solo gli studenti che frequentano l anno di corso in cui l esame è incardinato dovrebbe parzialmente avvicinarle. Queste differenze strutturali danno all analisi che segue una certa indeterminatezza, ma permettono di porre dare ancora più enfasi ad eventuali similitudini di valutazione. Il confronto fra web e carta riguarda i docenti titolari di 62 esami, per i tre CdS triennali e il CdS magistrale di Scienze Statistiche.

2 Premessa Il materiale analizzato è costituito dai questionari raccolti in 62 insegnamenti, rispetto ai 98 rilevati con il cartaceo e i 128 con il web (questi ultimi relativi anche ai collaboratori didattici); la sovrapposizione effettiva è di soli 75 insegnamenti, tredici dei quali non considerati in quanto in almeno una rilevazione la numerosità di risposte risulta inferiore a 6. La contenuta numerosità degli insegnamenti presi in esame permette di formulare considerazioni di carattere generale, senza quelle articolazioni (per anno di corso, per area scientifica,ecc.) che avrebbero potuto condurre a cogliere in modo più rilevante l effetto, sulla differenziale partecipazione alle due modalità di somministrazione del questionario di valutazione della didattica, della condizione di carriera degli studenti e della stessa natura dell ambito disciplinare. Alcuni elementi interpretativi vengono comunque alla luce dai materiali disponibili. In primo luogo va segnalato il diverso numero di risposte fra carta e web: a) come era naturale attendersi, quella in qualche misura obbligata (cartacea, per cui la media dei questionari compilati è pari a 37,6) raccoglie più adesioni di quella volontaria ( media 25,8), con divari talora consistenti (va peraltro segnalato che in 17 casi su 62 sono più numerose le compilazioni web): interessante al riguardo potrebbe rivelarsi l esame della collocazione rispetto al trimestre, alla vicinanza al periodo di esami, alla natura disciplinare, al loro carattere nel curriculum (caratterizzanti, affini, ecc.) degli insegnamenti in cui più elevata è la differenza, che potrebbe avere indotto la diversa disponibilità a rispondere. Queste considerazioni potranno essere riprese in futuro, quando potranno essere esaminati per tutto l ateneo i tassi delle risposte dei questionari web, confrontandoli con il numero degli esami effettivamente erogati; b) qualche implicazione può venir generata da questo aspetto anche sulle misure di valutazione rilevate: si veda al proposito come al diminuire della numerosità raccolta in almeno una delle due modalità di somministrazione, si riscontri una più modesta relazione tra le risposte ottenute in merito alla variabile soddisfazione complessiva sull insegnamento (dovuta in qualche misura anche alla bassa numerosità dei casi) vedi figura 1; c) sui risultati incide poi il fenomeno dell item non response, con direzioni non facilmente comprensibili, per quattro domande (12, 13, 17, 18).

3 Meno rispondenti della mediana Più rispondenti della mediana

4 Confronto item per item fra le medie delle valutazioni Passiamo ora alle questioni di merito. Figura 2 mostra la relazione esistente fra le medie delle valutazioni via web e via carta per i seguenti item: 1. Allìnizio delle lezioni gli obiettivi e i contenuti di questo insegnamento sono stati presentati in modo chiaro? 2. Le modalità dèsame sono state definite in modo chiaro? 3. Gli orari di svolgimento delle attività didattica sono rispettati? 4. Le ore di didattica previste sono in numero adeguato per lo svolgimento del programma? 5. Le conoscenze preliminari da lei possedute sono risultate sufficienti per comprendere gli argomenti trattati? 6. Il docente stimola/motiva lìnteresse verso la disciplina? 7. Il docente espone gli argomenti in modo chiaro? 8. Il materiale didattico consigliato è adeguato? 9. Il docente è disponibile nei confronti delle esigenze degli studenti? 10. Il docente è reperibile nellòrario di ricevimento per chiarimenti e spiegazioni? 11. Laboratori, esercitazioni, seminari, se previsti dall'insegnamento, sono stati adeguati? 12. Le aule sono adeguate? 13. I locali e le attrezzature sono adeguati? 14. Quanto si ritiene soddisfatto di come si è svolto il corso? 15. Il carico di studio è equilibrato? 16. I contenuti sono stati interessanti? 17. L'insegnamento è coerente rispetto agli obiettivi del corso? 18. L'insegnamento dà competenze adeguate rispetto al lavoro? In una cornice generale di sostanziale omogeneità di valutazioni acquisite con i due strumenti (spesso nonostante la diversa numerosità dei questionari compilati) le medie non si discostano di più di 3 decimi di punteggio e che, conseguentemente, le relazioni, misurate con il coefficiente R 2 tanto per le medie che per i coefficienti di variazione, risultino piuttosto elevate (tabella 1 e figura 2). Volendo individuare qualche differenza di valutazione, si osservi come con il cartaceo vengano più premiati i fattori relativi al comportamento del docente (item 9, 14, 7), mentre con il web i giudizi più positivi riguardano gli aspetti strutturali e ambientali (item 11, 13, 4, 2, 18) oltre all item 1 relativo alle modalità di presentazione dell insegnamento. Passando infine a qualche tentativo di interpretazione delle variabilità di risposta nei singoli item, prendendo in considerazione il coefficiente R 2, il valore più basso si registra per l item 10 (reperibilità del docente in orario di ricevimento) certamente dovuto al fatto che si tratta di un quesito non pertinente per molti rispondenti che non hanno usufruito dell opportunità, seguito dai n 9, 13 e 3; la maggior omogeneità si rileva invece per il 18 (competenze per il lavoro), il 12 (adeguatezza aule), l 1, il 7 e il 16. Non pare esserci al riguardo qualche forma di sistematicità di indirizzo. In conclusione, alla luce dei soli elementi qui presi in esame, il mezzo di rilevazione non sembra influire in modo determinante sui pareri espressi, quanto piuttosto sulla numerosità delle risposte, peraltro con indicazioni non del tutto chiare, visto che per ben il 27% degli insegnamenti sono più frequenti le risposte via web che quelle cartacee (uno sguardo sommario a questi insegnamenti, e in particolare a quelli con le differenze più elevate, sembra indicare che si tratta di casi in cui gli studenti affrontano in ritardo (e forse non frequentando) l insegnamento, assumendo probabilmente anche criteri di espressione di parere segnati da questa condizione). Quindi, l impegno dell Ateneo di costruire una macchina complessa per la rilevazione via web esce bene da questo confronto. Resta critico il problema dello scarso numero dei rispondenti, che potrebbe essere rilevante nella determinazione della media e della variabilità se i rispondenti fossero in qualche modo selezionati, anche perché la valutazione non è considerata accettabile se vi sono meno di cinque rispondenti. Come da più parti ribadito, andrebbe attentamente considerata la possibilità di rendere obbligatoria la compilazione del questionario, impedendo l iscrizione all esame di chi non lo compila. A nostro avviso, questa soluzione potrebbe essere sperimentata fin da subito in qualche corso di laurea.

5

6 Media Cartaceo: 7,3 WEB: 7,6 Coeff. Variazione Cartaceo: 0,118 WEB: 0,099 Media Cartaceo: 7,3 WEB: 7,6 Coeff. Variazione Cartaceo: 0,132 WEB: 0,124

10 Media Cartaceo: 8,2 WEB: 7,9 Coeff. Variazione Cartaceo: 0,098 WEB: 0, medie mancanti web, 2 medie mancanti cartaceo Media Cartaceo: 8,3 WEB: 8,2 Coeff. Variazione Cartaceo: 0,105 WEB: 0,110 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati

11 4 medie mancanti web Media Cartaceo: 7,4 WEB: 7,5 Coeff. Variazione Cartaceo: 0,133 WEB: 0,133 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati 16 medie mancanti cartaceo Media Cartaceo: 8,3 WEB: 8,2 Coeff. Variazione Cartaceo: 0,089 WEB: 0,095 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati

12 13. 6 medie mancanti web, 15 medie mancanti cartaceo Media Cartaceo: 8,0 WEB: 8,1 Coeff. Variazione Cartaceo: 0,085 WEB: 0,091 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati Media Cartaceo: 7,3 WEB: 7,1 Coeff. Variazione Cartaceo: 0,140 WEB: 0,130

14 15 medie mancanti cartaceo Media Cartaceo: 8,2 WEB: 8,1 Coeff. Variazione Cartaceo: 0,081 WEB: 0,093 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati 11 medie mancanti cartaceo Media Cartaceo: 7,5 WEB: 7,5 Coeff. Variazione Cartaceo: 0,128 WEB: 0,122 Media e coefficiente di variazione calcolati solo per i corsi per cui ci sono tutte le coppie di dati