Il sistema AVA: il "giudizio universale" sulla didattica universitaria? Rita Roncone, Università L Aquila

Transcript

1 Il sistema AVA: il "giudizio universale" sulla didattica universitaria? Rita Roncone, Università L Aquila

2

3 Agenda L AVA??? Accreditamento periodico Chi sono i valutatori? La formazione dei valutatori La visita Essere sotto esame

4 L AVA??? Un amarcord per i partecipanti più avanti con gli anni

5 ANVUR, la mamma dell AVA L ANVUR (acronimo di Agenzia nazionale di valutazione del sistema universitario e della ricerca) ha il compito di fissare: metodologie, criteri, parametri e indicatori per l accreditamento e per la valutazione periodica. All ANVUR spettano inoltre la verifica e il monitoraggio dei parametri e degli indicatori di accreditamento e valutazione periodica anche ai fini della ripartizione della quota premiale delle risorse annualmente assegnate alle università.

6 AVA (Autovalutazione, Valutazione periodica, Accreditamento) Il sistema AVA (Autovalutazione, Valutazione periodica, Accreditamento), costituisce l insieme delle attività dell Agenzia in attuazione delle disposizioni della legge 20/12/2010, n. 240 e del decreto legislativo 27/01/2012, n. 19. Tali normative prevedono l introduzione del sistema di accreditamento iniziale e periodico dei corsi di studio e delle sedi universitarie, della valutazione periodica della qualità, dell efficienza e dei risultati conseguiti dagli atenei e il potenziamento del sistema di autovalutazione della qualità e dell efficacia delle attività didattiche e di ricerca delle università.

7 Niente di nuovo sotto il sole!!! I docenti del Teatro Anatomico venivano monitorati dagli Inquisitori sulla bontà dei contenuti delle loro lezioni. A Padova, in un analogo scenario anatomico, venivano effettuate periodiche ispezioni per verificare che si usassero cadaveri animali e non umani (non ne era permessa l utilizzazione in quella sede). I docenti della prima Università di Bologna venivano valutati dagli studenti, con i quali vivevano in casa, che li selezionavano sulla base dei contenuti che a loro interessavano maggiormente.

8

9 Mission: I docenti debbono entusiasmare gli studenti!!!

10 I riferimenti dell AVA Gli elementi portanti del sistema integrato AVA derivano in larga misura, oltre che dalla normativa nazionale, dal Documento ENQA su Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG), approvate dai Ministri responsabili dell'istruzione Superiore alla Conferenza di Bergen del 2005 e adottate nella Raccomandazione del Parlamento europeo del Consiglio (2006/143/CE).

11 La fonte di ispirazione! (terza edizione 2009)

12

13 Accreditamento periodico Le Università hanno iniziato ad applicare progressivamente il sistema integrato AVA a partire dal 2013, con l emanazione del DM 47/2013 (modificato dal DM 1059/2013) che ne ha recepito le istanze promosse dall ANVUR. Procedura di valutazione dei processi AQ degli Atenei + valutazione di un campione di corsi sulla base di 3 principi: autonomia, responsabilità e valutazione sulla base di linee-guida indirizzate

14 DM 30 gennaio 2013, n. 47. artic. 4 (Accreditamento dei corsi di studio) 7. I corsi di studio non attivati per 2 anni accademici consecutivi sono soppressi. 8. L'accreditamento periodico viene concesso ai corsi che soddisfano i requisiti per l accreditamento iniziale e quelli previsti per l Assicurazione della Qualità (QA) di cui all allegato C ed eventualmente di ulteriori requisiti proposti dall ANVUR a seguito delle attività di analisi, studio e sperimentazione, e adottati dal MIUR. La verifica della permanenza dei requisiti di accreditamento iniziale e periodico viene effettuata mediante le visite in loco delle CEV selezionate dall'anvur, l attività di valutazione dei NdV e a ogni altra informazione disponibile. 9. I Corsi di Studio che non ottengono l accreditamento periodico sono soppressi.

15

16

17 Accreditamento: Chi viene valutato? Didattica Ateneo + 10% dei CdS 50% scelto dall Ateneo (i volontari!!!) 50% scelto dall ANVUR Nei successivi 4 anni verrà valutato un ulteriore 10%. Ricerca (SUA-RD, Ricerca Dipartimento) 10% con un minimo di 5 Dipartimenti ACCREDITAMENTO PERIODICO: Almeno ogni 5 anni per le sedi Almeno ogni 3 anni per i Cds

18 Conseguenze dell accreditamento periodico

19 Chi sono i valutatori??? CEV a chi???

20 Composizione della Commissione di Esperti della Valutazione (CEV) Le CEV si compongono dei quattro profili: esperti di sistema (fra questi il Presidente di Commissione) esperti disciplinari (almeno 2) esperti telematici studenti valutatori (2 per ogni CEV). La numerosità e composizione delle CEV viene definita, di volta in volta, in base alle caratteristiche dell Ateneo e dei processi valutativi da realizzare.

21 Gli Esperti di Sistema

22 Gli Esperti Disciplinari

23 Albo Esperti della Valutazione Profilo Esperti Disciplinari* * Sono iscritti all Albo i candidati idonei che hanno partecipato alle giornate di formazione e che hanno inoltrato successivamente i seguenti documenti debitamente sottoscritti: Codice etico, Regolamento CEV, Dichiarazione di impegno di riservatezza e Documento di identità in corso di validità. L iscrizione all Albo è di durata pari a due anni, salvo rinnovo da parte dell Esperto. In via di prima applicazione per gli Esperti iscritti all Albo nel corso dell anno 2013 l iscrizione è prorogata fino al 31/12/ ESPERTI DISCIPLINARI appartengono all area 6, con un totale di 349 esperti nelle 14 aree CUN.

24 La formazione dei valutatori

25 La formazione degli Esperti di Sistema 1 giornata di training presso la sede dell ANVUR a Roma: Lezioni frontali 1 laboratorio: lavoro in piccoli gruppi omogenei su SUA-CdS o rapporto di riesame Gruppo Vita, indicatore AQ.5.C

26 La visita!!! Non di cortesia

27 Tipologia di visita 2 tipologie di visite Accreditamento periodico dei CdS condotta, di norma, da tre esperti disciplinari, da due studenti e, all occorrenza, da un esperto telematico. Accreditamento periodico delle Sedi e dei CdS condotta, di norma, da tre esperti di sistema, due studenti, da un numero di esperti disciplinari proporzionale al numero dei corsi da valutare e, all occorrenza, da (almeno) un esperto telematico.

28 Le 3 tappe della visita 1. Prima della visita: Esame a distanza 2. Visita in loco (durata 5 giorni, lunedìvenerdì, con incontro preliminare della CEV domenica sera) e 3. Dopo la visita: Redazione del rapporto finale

29 Prima della visita -> analisi on desk L analisi on desk prima della visita prende in considerazione tutti i documenti resi disponibili nel sistema informatico e rispetto ai quali si potranno chiedere approfondimenti in sede di visita: SUA-CdS Rapporti di Riesame annuale e ciclico Relazioni dei NdV Relazioni della Commissione Paritetica docenti-studenti Tutti questi documenti sono resi disponibili dall Ateneo mediante il sistema informatico SUA-CdS e SUA-RD Ulteriori documenti possono essere richiesti dalla CEV in questa fase.

30 La visita della CEV nella sede arrivo domenica sera con quaderno

31 La visita: istruzioni contradditorie In nessuna occasione l atteggiamento della CEV deve risultare inquisitorio, persecutorio o di superiorità. Nel corso delle visite, la CEV svolge prima di tutto un compito di supporto al miglioramento della qualità delle attività. Pertanto le modalità operative e comunicative della CEV devono essere sempre connotate da un approccio sereno e maieutico, che accompagni l interlocutore alla ricostruzione critica dei dati e degli elementi fattuali relativi all oggetto della valutazione. Durante le visite gli esperti rappresentano l ANVUR. È richiesto il rispetto del codice etico, e un profilo deontologico e comportamentale funzionali al perseguimento degli obiettivi istituzionali dell Agenzia e del processo AVA. NON FAMILIARIZZARE!!!

32 La visita valutazione dell Ateneo In linea generale, il primo giorno è dedicato alla valutazione dell Ateneo (AQ 1, 2, 3, 4, 6, 7). La CEV incontra: il Rettore, il Direttore Generale, i Vice-Rettori, il Senato Accademico e il Consiglio di Amministrazione, il Presidio della Qualità, il Nucleo di valutazione, i Direttori di dipartimento, le rappresentanze studentesche, i responsabile dei servizi agli studenti e della gestione della comunicazione verso gli studenti, ogni altro attore ritenuto significativo, secondo quanto preventivamente concordato con l Ateneo.

33

34

35

36 Requisito AQ.5. Il sistema di AQ e effettivamente applicato ed e efficacemente in funzione nei Corsi di Studio visitati a campione presso l Ateneo. Indicatore AQ5.A Obiettivo: accertare che siano presenti indagini e consultazioni riguardanti il mondo della produzione, dei servizi e delle professioni svolte al fine di definire la domanda di formazione e che ci sia evidenza degli effetti di tali indagini e consultazioni ai fini di individuare le funzioni in un contesto di lavoro e le competenze verso le quali l allievo viene preparato in modo piu significativo dal CdS.

37 Requisito AQ.5. A presenza di indagini e consultazioni con le professioni e loro impatto sul CdS INDICATORI FONTI AQ.5A.1 parti consultate AQ.5.A.2 modalità delle consultazioni ed utilità per la compilazione dei profili professionali Quadri A1, A2-a della SUA- CdS e documenti collegati con modalità informatica Rapporto di Riesame ciclico (entro gli ultimi 3 anni) AQ.5.A.3 buona descrizione delle funzioni e competenze del profilo professionale Colloqui con la CEV in loco

38

39 Scala di valutazione A PRASSI ECCELLENTE B APPROVATO C ACCETTATO CON RACCOMANDAZIONE D NON APPROVATO PER CRITICITÀ IMPORTANTI (comporta una condizione)

40 Requisito AQ.5. Il sistema di AQ e effettivamente applicato ed e efficacemente in funzione nei Corsi di Studio visitati a campione presso l Ateneo. Indicatore AQ5.B Obiettivo: accertare che i risultati di apprendimento (attesi e accertati) di Corso di Studio siano coerenti con la domanda di formazione - funzioni e competenze e che siano formulati chiaramente, che per ciascun modulo di insegnamento siano presenti obiettivi specifici complessivamente coerenti con i risultati di apprendimento del Corso di Studio e che sia chiaramente indicato come si accerta l effettivo raggiungimento dei risultati da parte degli studenti. Premessa a tutto cio deve essere il possesso di competenze/conoscenze iniziali adeguate per poter intraprendere il percorso previsto.

41 Requisito AQ.5. B Risultati di apprendimento coerenti con gli obiettivi e livello di partenza INDICATORI AQ.5.B.1 condizioni di ammissione (controllo recupero ) AQ.5.B.2 coerenza tra domanda di formazione e risultati di apprendimento FONTI Quadri A3, A4 della SUA- CdS e documenti collegati con modalità informatica AQ.5.B.3 coerenza tra insegnamenti e risultati di apprendimento previsti dal CdS Rapporto di Riesame ciclico (entro gli ultimi 3 anni) AQ.5.B.4 valutazione dell apprendimento Colloqui con la CEV in loco

42 Requisito AQ.5. Il sistema di AQ e effettivamente applicato ed e efficacemente in funzione nei Corsi di Studio visitati a campione presso l Ateneo. Indicatore AQ5.C Obiettivo: accertare la capacità di individuare gli aspetti critici in base alle evidenze messe in rilievo dai dati e dalle segnalazioni pervenute, di intervenire nel processo adeguandolo (organizzazione, progettazione didattica, etc.), di adottare soluzioni coerenti con le risorse effettivamente disponibili in grado di garantire miglioramenti documentabili.

43 Requisito AQ.5. C Capacità di Problem-Solving in relazione alle risorse disponibili INDICATORI AQ.5.C.1 analisi dei dati ed individuazione dei problemi AQ.5.C.2 descrizione delle cause dei problemi FONTI Quadri C1 della SUA-CdS e documenti collegati con modalità informatica AQ.5.C.3 descrizione di soluzioni realistiche AQ.5.C.4 attuazione e valutazione delle soluzioni identificate Rapporto di Riesame ciclico (entro gli ultimi 3 anni) Colloqui con la CEV in loco

44 Requisito AQ.5. Il sistema di AQ e effettivamente applicato ed e efficacemente in funzione nei Corsi di Studio visitati a campione presso l Ateneo. Indicatore AQ5.D Obiettivo: accertare la capacità di rispondere a quanto emerge dalle rilevazioni delle opinioni studenti, laureandi e laureati o da altri sistemi di rilevazioni delle criticita di individuare e porre in debito risalto gli aspetti critici, intervenire al livello appropriato (organizzativo, di progettazione didattica) e infine di adottare soluzioni coerenti con le risorse disponibili.

45 Requisito AQ.5. D Imparare dagli studenti INDICATORI AQ.5.D.1 pubblicità delle opinioni degli studenti sul CdS AQ.5.D.2 considerazione e risposta alle segnalazioni/osservazioni deli studenti FONTI Quadri B6, B7 della SUA- CdS e documenti collegati con modalità informatica Rapporto di Riesame ciclico (entro gli ultimi 3 anni) AQ.5.D.3 modalità di esame (adeguatezza rispetto al raggiungimento degli obiettivi) Relazioni della Commissione Paritetica Colloqui con la CEV in loco

46 Requisito AQ.5. Il sistema di AQ e effettivamente applicato ed e efficacemente in funzione nei Corsi di Studio visitati a campione presso l Ateneo. Indicatore AQ5.E Obiettivo: accertare l esistenza di attivita di accompagnamento al mondo del lavoro e l interesse concreto del Corso di Studio verso l efficacia degli studi effettuati ai fini dell inserimento nel mondo del lavoro.

47 Requisito AQ.5. E Inserimento nel mondo del lavoro INDICATORI FONTI AQ.5.E.1 competenze dei laureati Quadri B5, C2 e C3 della SUA-CdS e documenti collegati con modalità informatica AQ.5.E.2 attività per favorire l occupazione dei laureati Rapporto di Riesame ciclico (entro gli ultimi 3 anni) Colloqui con la CEV in loco

48 Dopo la visita il Rapporto conclusivo e la sentenza Il quaderno contenente le osservazioni della CEV, predisposto nella fase di esame a distanza, completato durante la visita, le schede e le relazioni costituiscono la base della prima versione draft del rapporto conclusivo, che è redatto del Coordinatore con la supervisione del Presidente della CEV e approvato collegialmente dai componenti entro 2-3 settimane dalla visita. Prima di presentare il rapporto conclusivo all ANVUR, il Coordinatore della CEV trasmette la prima versione del rapporto e il quaderno all Ateneo, che ha 2 settimane per presentare le proprie eventuali controdeduzioni, relativamente a elementi fattuali che non corrispondano alla realtà descritta nel rapporto. Entro giorni dalla visita, dopo aver preso in considerazione le eventuali controdeduzioni dell'ateneo, la CEV approva il rapporto definitivo redatto dal Coordinatore e lo invia all ANVUR, che basa su di esso l esito in merito all accreditamento periodico.

49 Essere sotto esame Gli esami non finiscono mai

50

51 Essere oggetto della visita Le visite ANVUR sono iniziate nel novembre 2014 visita Università dell Aquila Il CLM di Medicina e Chirurgia è stato selezionato dall ANVUR quale corso oggetto di valutazione.

52

53 Roma, 2 luglio 2015 Temperatura esterna 35 gradi

54

55 Conclusioni La valutazione della didattica è ormai una prassi nel mondo universitario, che va progressivamente raffinandosi nelle sue metodologie. Essere oggetto di valutazione con il proprio CdS e diventare valutatore, quale Esperto Disciplinare, permette di compiere un esperienza di grande arricchimento in relazione a tali metodologie. Buona fortuna!!!