Valutazione e Autovalutazione

Transcript

1 Seminario ANVUR 11 gennaio 2013 Valutazione e Autovalutazione le best practices dell Ateneo fiorentino in tema di valutazione Bruno Bertaccini Delegato del Rettore per la Valutazione dei Processi Formativi Dip.to di Statistica, Informatica e Applicazioni «G. Parenti»

2 Misurare la performance globale di un sistema universitario La formazione universitaria è un processo estremamente complesso in cui gli studenti sono al tempo stesso sia fruitori che attori del processo stesso. Come ogni altra attività sistemica (di pubblica utilità), si rende necessaria una costante attività di valutazione in un ottica di un continuo miglioramento/perfezionamento delle politiche adottate e delle conseguenti performance globali del sistema stesso. In questo contesto diventano strategiche le attività di: Orientamento (in ingresso); Valutazione (di efficacia interna ed esterna) delle politiche intraprese.

3 I Test per l orientamento in ingresso di UNIFI dall a.a. 2011/12 nelle classi IV degli istituti superiori della Toscana aderenti all iniziativa: Test disciplinare (60 quesiti organizzati in sezioni disciplinari a risposta chiusa); Test motivazionale (49 item su scala Likert a 5 punti). I risultati del test vengono erogati per istituto, classe e singolo studente. È in fase di sviluppo un sistema informativo deputato alla consultazione web dei risultati in forma individuale e aggregata. I due test hanno l obiettivo di orientare gli studenti nei confronti dell eventuale futura esperienza universitaria e conseguentemente ridurre i tassi di abbandono.

4 I Test per l orientamento in ingresso Test disciplinare: esempio di reportistica rilasciata dal sistema a livello di classe

5 altre attività di valutazione collegate all orientamento in ingresso Valutazione di efficacia delle giornate di orientamento organizzate dall Ateneo (indagine presso gli immatricolati) Indagine CATI sulle cause dell abbandono (al fine di comprenderne e monitorarne le determinanti). Predisposizione di un database d Ateneo sui risultati dei Test di accertamento OFA (Obblighi Formativi Aggiuntivi) condotti dalle Facoltà / Scuole in grado di rilasciare indicatori in forma aggregata agli istituti superiori e alle famiglie.

6 Misurare la performance globale di un sistema universitario La valutazione della performance globale di un attività di pubblica utilità può essere effettuata: in base allo scostamento tra il risultato raggiunto rispetto agli obiettivi preposti (analisi di efficacia); in relazione al modo in cui le risorse vengono impiegate per raggiungere determinati obiettivi (analisi di efficienza); in relazione alla percezione soggettiva degli utenti/fruitori rispetto al servizio erogato (soddisfazione).

7 Misurare la performance globale di un sistema universitario Nel caso dell istruzione universitaria: TERMINI FISICI SODDISFAZIONE TERMINI MONETARI SODDISFAZIONE INTERNAMENTE AL SISTEMA EFFICACIA INTERNA effetto dell Ateneo/Scuola/Cds sulla capacità di apprendimento dello studente soddisfazione dello studente rispetto all insegnamento EFFICIENZA INTERNA analisi costi/ricavi soddisfazione dello studente rispetto alle risorse impiegate ESTERNAMENTE AL SISTEMA EFFICACIA ESTERNA effetto dell Ateneo/Scuola/Cds sulla capacità lavorativa del laureato soddisfazione del laureato rispetto alla condizione lavorativa EFFICIENZA ESTERNA ritorno economico dovuto al corso di laurea frequentato soddisfazione del laureato rispetto alla condizione economica

8 Best Practices di UNIFI per misurare l efficacia interna/esterna Valutazione (e soddisfazione) della didattica condotta in Ateneo: dall a.a. 1996/97 all a.a. 2001/02: scheda di rilevazione cartacea a lettura ottica e distribuzione dei risultati a Presidenti di CdS e Presidi di Facoltà su supporto magnetico; dall a.a. 2002/03 all a.a. 2010/11: scheda di rilevazione cartacea a lettura ottica e erogazione dei risultati all intero corpo docente mediante sistema informativo statistico web SISVALDIDAT; dall a.a. 2011/12: scheda di rilevazione web e erogazione dei risultati all intero corpo docente mediante sistema informativo statistico web SISVALDIDAT.

9 Best Practices di UNIFI per misurare l efficacia interna/esterna SISVALDIDAT Il SISVALDIDAT è un vero e proprio sistema informativo statistico dedicato alla consultazione dei risultati della rilevazione, interamente sviluppato in seno all Ateneo fiorentino. Consente la fruizione in tempo reale delle valutazioni e l estrazione di dati ed indicatori, a livello di Insegnamento / CdS / Facoltà Scuola / Ateneo, per le necessità degli organi di controllo (RAV / Nucleo di Valutazione Interna). È interfacciabile con i software di rilevazione delle valutazione via web predisposti dal CINECA. È attualmente utilizzato anche dagli Atenei di Bari, Ferrara, Macerata, Sannio, Pavia e Trieste.

10 Best Practices di UNIFI per misurare l efficacia interna/esterna SISVALDIDAT

11 altre attività di valutazione collegate alla misura dell efficacia interna Attività saltuarie o condotte in via sperimentale Indagine sulle cause d abbandono Autovalutazione del docente in relazione all insegnamento Valutazione del post-esame da parte dello studente Valutazione della qualità dei servizi di supporto (laboratori, biblioteche, segreterie, servizi di ristorazione) Tutte queste attività sono state condotte con il supporto dei fondi CAMPUS e CampusONE negli anni 2003 e 2004.

12 altre attività di valutazione collegate alla misura dell efficacia interna Attività condotte in via continuativa a livello di facoltà Facoltà di Medicina e Chirurgia Progress test per la verifica oggettiva annuale delle conoscenze complessivamente acquisite e mantenute dagli studenti durante il loro percorso di apprendimento; il Test è erogato dal II anno in poi; Incentivi: 1. attribuito 1 CFU per Attività Formative Pratiche per la sola partecipazione; 2. attribuito 1 CFU per Attività Didattiche Elettive se superato il punteggio mediano.

13 Best Practices di UNIFI per misurare l efficacia interna/esterna Valutazione dei tirocini curricolari e non curricolari Fino ad ora, condotta in Ateneo tramite ausilio di tre questionari cartacei da riempire a cura del tirocinante, del tutor universitario e del tutor aziendale. Dall a.a. 2012/13 il sistema verrà totalmente informatizzato grazie all ausilio di: un applicativo per la gestione dell intera esperienza di tirocinio; un sistema informativo statistico per la consultazione dei risultati dei tre questionari di valutazione in grado di restituire i risultati in forma aggregata sia per Scuola / Cds che per ente/azienda. Entrambe gli applicativi sono autosviluppati in seno ad UNIFI.

14 Best Practices di UNIFI per misurare l efficacia esterna Valutazione degli sbocchi occupazionali dei laureati L Ateneo fiorentino aderisce al consorzio ALMALAUREA dal Attualmente i laureati triennali e magistrali sono coinvolti nelle indagini al conseguimento del titolo (profilo) e ad 1, 3 e 5 anni dal conseguimento del titolo (valutazione degli sbocchi occupazionali dei laureati). Data l estensione della banca dati ALMALAUREA, è stato da tempo sviluppato un sistema per la consultazione web dei risultati delle indagini che è attualmente in fase di ampliamento per quanto riguarda la possibilità di analisi e gli indicatori calcolati.

15 Best Practices di UNIFI per misurare l efficacia esterna Valutazione degli sbocchi occupazionali dei laureati A testimonianza della ricchezza informativa della banca dati ALMALAUREA, il Gruppo di ricerca d Ateneo per la valutazione delle politiche e dei servizi (Gruppo VALMON) ha dedicato in questi anni ampia attenzione ai risultati delle indagini condotte, con la pubblicazione di numerosi contributi in riviste a diffusione nazionale ed internazionale.

16 altre attività di valutazione collegate alla misura dell efficacia esterna Ministero del Lavoro e delle Politiche Sociali Convenzione stipulata nel 2012, di durata triennale avente per oggetto la realizzazione congiunta delle attività di ricerca e sperimentazione per la costruzione di un sistema di analisi e di monitoraggio delle dinamiche occupazionali dei laureati dell Università degli Studi di Firenze. Il sistema informativo statistico si baserà sulla costituzione di un ampia banca dati contenente: le informazioni amministrative sui laureati UNIFI; le informazioni rilevate tramite le indagini ALMALAUREA; le Comunicazioni Obbligatorie, che i datori di lavoro sono obbligati a trasmettere al momento di attivazioni/trasformazioni/proroghe e cessazioni di rapporti di lavoro (fonte ministeriale).

17 Best Practices di UNIFI per misurare l efficacia interna/esterna Valutazione dei corsi di Dottorato di Ricerca Dall a.a. 2011/12 è stato predisposto un sistema informativo statistico deputato alla valutazione dei Corsi di Dottorato offerti dall Ateneo da parte di un collegio di referee nazionali ed internazionali. Gli indicatori oggetto di valutazione sono generalmente ascrivibili a: informazioni di contesto (posti, borse, ecc..); dati finanziari; valutazione della didattica da parte dei dottorandi; qualità della produzione scientifica del collegio docenti; qualità della tesi e della produzione scientifica dei dottorandi / dottori di ricerca.