Valutare per Migliorare Programma di valutazione

Transcript

1 Valutare per Migliorare Programma di valutazione Analisi aggregate sul Questionario di Ateneo a.a Commissione per la Valutazione della Didattica della Facoltà di Scienze Politiche Università degli Studi di Milano Chiara Guglielmetti, Silvia Salini, Ferruccio Biolcati Rinaldi, Matteo Turri Marzo 2008 Lo strumento Il Questionario di Ateneo per la Valutazione della didattica da parte degli studenti frequentanti viene somministrato come obbligo di legge in ogni trimestre (a circa due terzi del corso). Le domande e la scala di risposta sono definite dal CNVSU (Comitato Nazionale Sistema Valutazione Universitaria). 1

2 Limiti dello strumento Viene compilato a caldo, prima del termine del processo didattico e prima della verifica dell apprendimento e, almeno in molti casi, dello studio individuale. È somministrato agli studenti frequentanti pertanto da un lato la stessa loro presenza in aula testimonia un interesse al corso, dall altro non ci fornisce alcuna indicazione circa l opinione degli studenti non frequentanti Il discente lo compila in uno stato di forte asimmetria informativa: ha una visione solo parziale dell utilità nell ambito del piano di studi dell insegnamento e dei suoi contenuti. Riguarda l opinione degli utenti: utenti differenti (iscritti alla laurea triennale e specialistica, per esempio) possono avere percezioni diverse del medesimo corso. Riguarda un attività (la didattica universitaria) per la quale la soddisfazione dell utente va contemperata alla necessità di verificare l apprendimento, anche ai sensi del valore legale del titolo di studio. Tuttavia l analisi dei risultati forniti dallo strumento è opportuna ai fini della trasparenza e in un ottica di miglioramento della qualità del processo didattico. Obiettivo delle analisi proposte: Rendere più utilizzabili i dati dei questionari di Valutazione di Ateneo. A tal fine abbiamo selezionato alcune domande del questionario e costruito alcuni indicatori compositi. Le analisi effettuate su tali indicatori si propongono tre obiettivi specifici: Evidenziare alcune relazioni tra essi Favorire l utilizzo comparativo dei dati mediante nuove e significative aggregazioni (es:per anno di corso di laurea, per area disciplinare). Evidenziare alcune relazioni tra i dati forniti dagli studenti (Questionario di Ateneo) e dai docenti (Questionario Docenti). 2

3 Gli indicatori utilizzati Capacità didattica del docente (B5a, B5b) B.5a: Il docente espone gli argomenti in modo chiaro? B.5b: Il docente stimola / motiva l interesse verso gli argomenti? Impegno del docente (B5c, B5d, B6b) B.5c: Il docente si presenta a lezione con regolarità e puntualità? B.5d: Il docente è reperibile per chiarimenti e spiegazioni? B.6b: Il docente è corretto e disponibile nel rapporto con gli studenti? Carico di lavoro richiesto (A2, A3c) A.2: Le tue conoscenze sono risultate sufficienti per la comprensione degli argomenti trattati in questo insegnamento? A.3c: Le lezioni dell insegnamento trattano una quantità di argomenti proporzionata alle ore di lezione? Soddisfazione (B8) B.8: Sei complessivamente soddisfatto di come è stato svolto questo insegnamento? Gli indicatori sono stati calcolati facendo la media delle risposte alle domande indicate. Tra parentesi il codice dell a domanda, così come riportato dai report individuali di ciascun docente Due domande di fondo La difficoltà della materia percepita dagli studenti influenza il giudizio di soddisfazione? In che modo? Soddisfazione globale vs Carico di lavoro della materia Il giudizio sulla capacità didattica del docente è influenzato dalla percezione del suo impegno professionale? Capacità didattiche vs Impegno 3

4 Correlazioni Capacità didattica del docente Impegno del docente Carico di lavoro richiesto Soddisfazione Capacità didattica del docente Impegno del docente,652 ** Difficoltà materia -,560** -,382** Soddisfazione,914 **,712 ** -,585** **. La correlazione è significativa al livello 0,01 (2-code) Capacità vs Impegno 4

5 Carico vs Soddisfazione Fattori di influenza degli indicatori Carriera dello studente Triennale o magistrale Anno di corso Trimestre di Rilevazione Numerosità dell aula Area disciplinare È stata assegnata l area in base al settore scientifico disciplinare del corso e non del docente 5

6 Fattori di influenza: corsi triennali o magistrali Le capacità didattiche e l impegno dei docenti dei corsi delle Lauree Magistrali sono percepiti come statisticamente maggiori. Il carico di lavoro dei corsi dalle Lauree Triennali è statisticamente maggiore. NON vi è differenza significativa per il livello di soddisfazione. Fattori di influenza: corsi triennali o magistrali Capacità didattica Impegno Carico di lavoro Soddisfazione Corsi Laurea Triennali 7,56 8,55 2,89 7,54 Corsi di Laurea Magistrali 7,84 8,70 2,58 7,58 Totale 7,64 8,60 2,80 7,55 F-test (p-value),033*,078,001*,772 * la differenza tra medie è statisticamente significativa 6

7 Fattori di influenza: corsi triennali o magistrali Fattori di influenza: anno di corso NEL TRIENNIO di base, con il progredire del corso di studi, si assiste ad una valutazione complessivamente migliore in termini di capacità didattiche, impegno del docente, carico di lavoro e soddisfazione. Nel BIENNIO magistrale non si osserva tale fenomeno. 7

8 Fattori di influenza: anno di corso Capacità didattica Impegno Carico di lavoro Soddisfazione Primo anno 7,43 8,44 3,04 7,44 Triennale Secondo anno 7,56 8,56 2,84 7,50 Terzo anno 7,59 8,59 2,81 7,58 Serale 8,78 9,40 2,71 8,64 Mutuato + anni 7,25 8,25 3,07 7,19 Totale 7,56 8,55 2,89 7,54 F (p-value),027*,012*,090,030* Magistrale Primo anno 7,76 8,71 2,60 7,53 Secondo anno 7,92 8,69 2,57 7,62 Totale 7,84 8,70 2,58 7,58 F (p-value),493,889,852,706 * la differenza tra medie è statisticamente significativa Fattori di influenza: anno 8

9 Fattori di influenza: numerosità dell aula Capacità didattica (B5a, B5b) Impegno e disponibilità (B5c, B5d, B6b) Difficoltà materia (A2, A3c) Soddisfazion e (B8) Meno di 20 8,10 8,88 2,48 7,93 Da 20 a 50 7,41 8,52 2,95 7,32 Più di 50 7,45 8,40 2,96 7,44 Totale 7,65 8,59 2,80 7,55 P-value.000*.000*.000*.000* * la differenza tra medie è statisticamente significativa Fattori di influenza: numerosità dell aula NOTA: la numerosità dell aula è stimata indirettamente dal numero di questionari compilati Nelle aule meno numerose (questionari <20) si tende a dare un giudizio più POSITIVO: della capacità didattica del docente sulla percezione del suo impegno sulla percezione di carico di lavoro necessario per superare l esame sulla soddisfazione complessiva NON si rilevano differenze sostanziali tra aule di media dimensione (20-50) e grandi (oltre 50) 9

10 Fattori di influenza: Periodo Rilevazione Il periodo di rilevazione non incide sulle valutazioni: Non sono significative le differenze tre i trimestri per Scienze Politiche Non sono significative le differenze tra i semestri per il corso Interfacoltà Fattori di influenza: Periodo Rilevazione Capacità didattica Impegno Carico di lavoro Soddisfazione Interfacoltà con Lettere e Filosofia 1 Semestre 7,97 8,90 2,83 7,99 2 Semestre 7,92 8,71 2,85 7,71 Totale 7,94 8,78 2,84 7,81 p-value,862,249,927,262 Scienze Politiche 1 Trimestre 7,59 8,57 2,78 7,57 2 Trimestre 7,44 8,51 2,81 7,39 3 Trimestre 7,64 8,54 2,77 7,45 Totale 7,55 8,54 2,79 7,47 p-value,474,811,944,452 10

11 Fattori di influenza: area Scienze Giuridiche Scienze Storiche, Filosofiche, Psicologiche, Artistiche Lingue Scienze Economiche Scienze Statistiche, Matematiche e Informatiche Scienze Sociali Scienze Politiche Fattori di influenza: area Le aree che differiscono in modo maggiore sono: Lingue - i cui docenti sono percepiti con buona capacità didattica, impegno e la soddisfazione per i corsi è più alta. Statistica, Metodologia, Matematica e Informatica: le materie sono percepite mediamente come più difficili e capacità e impegno del docente così come soddisfazione sono, mediamente, più bassi. 11

12 Fattori di influenza: area Capacità didattica Impegno Carico di lavoro Soddisfazione Scienze Giuridiche 7,84 8,56 2,72 7,75 Scienze Storiche, Filosofiche, Psicologiche, Artistiche 7,71 8,68 2,71 7,54 Lingue 8,34 8,98 2,87 8,22 Scienze Economiche 7,42 8,50 3,03 7,40 Scienze Statistiche, Matematiche e Informatiche 6,46 8,21 3,73 6,40 Scienze Sociali 7,45 8,51 2,53 7,38 Scienze Politiche 7,99 8,75 2,81 7,89 Totale 7,64 8,60 2,80 7,55 F-test (p-value) 0.000* 0.000* 0.000* 0.000* Scienze Giuridiche Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico 12

13 Scienze Storiche, Filosofiche, Psicologiche, Artistiche Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico Lingue Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico 13

14 Scienze Economiche Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico Scienze Statistiche, Matematiche e Informatiche Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico 14

15 Scienze Sociali Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico Scienze Politiche Nella comparazione tra aree differenti tenere conto dei valori massimi e minimi della scala del grafico 15

16 Punti di attenzione C è un legame tra la valutazione della capacità didattica del docente (chiarezza, stimolo interesse per materia) e la percezione di impegno nei comportamenti formalmente richiesti (presenza, puntualità, reperibilità, correttezza). NOTA: ci sono casi con valori bassi per la capacità e alti per impegno, mentre NON esistono casi contrari (alta capacità e basso impegno) All aumentare del carico di lavoro diminuisce il giudizio di soddisfazione Sembra esserci un vantaggio nella valutazione solo per le aule poco numerose (meno di 20 studenti), mentre, oltre tale numero, non si riscontrano differenze significative. Punti di attenzione (segue) Nelle lauree triennali la valutazione sulla capacità è mediamente più bassa e il carico di lavoro è percepito come maggiore, non cambia invece il giudizio sull impegno del docente Tutti gli indicatori migliorano negli anni di corso per le lauree triennali ma non per le magistrali NOTA: i corsi serali si distinguono per i giudizi migliori per capacità, soddisfazione e impegno del docente Non c è una differenza significativa degli indicatori rispetto al trimestre di rilevazione Sembrano esserci alcune specificità per area disciplinare. Da questo punto di vista l autocollocazione di ciascun corso rispetto ai corsi della propria area, può rappresentare un confronto comparativo significativo ed interessante. Per ciascun indice si deve semplicemente calcolare la media degli item relativi (si veda slide Gli indicatori ) 16

17 Questionario Docenti Il questionario ha un duplice scopo mira infatti a raccogliere le opinioni e le valutazioni dei docenti sull attività didattica svolta sull insegnamento sia in termini di propria performance sia di caratteristiche dell aula. Abbiamo voluto mettere in relazione gli indicatori del questionario di Ateneo con le domande del questionario docenti relativamente: Alla soddisfazione del docente. All utilità della frequenza al fine del superamento dell esame. Alla valutazione complessiva della qualità dell aula Dalla media delle domande relative a numerosità, livello di attenzione, interesse per la materia, livello della formazione di base, eterogeneità, partecipazione, costanza nelle presenze, rispetto degli orari è stato creato un indice composito che definisce, con valori crescenti, la qualità dell aula Analisi Questionario Docenti DOCENTE STUDENTE Capacità didattica Impegno Carico di lavoro Soddisfazione Complessivamente come giudica l'andamento del corso? Utilità frequenza lezioni Valutazione qualità dell aula,042 -,166 *,298 **,094 -,171 *,193 * -,068,151 * -,149,072 -,183 *,233 ** * La correlazione è significativa al livello 0,05 (2-code).** La correlazione è significativa al livello 0,01 (2-code) 17

18 Punti di attenzione Il giudizio globale del docente sull andamento del corso non è correlato con i giudizi dello studente. Tuttavia la valutazione positiva del docente riguardo alcuni indicatori della qualità dell aula (attenzione, partecipazione, conoscenze di base) concorda con i giudizi degli studenti. Un corso che presuppone una costante frequenza è percepito come più impegnativo in termini di carico di lavoro, ma ha anche un effetto negativo in termini di percezione di capacità didattica e impegno del docente ed influenza inevitabilmente la soddisfazione. 18