Le visite in AVA 2.0 Criticità e buone prassi

Transcript

1 Coordinamento organizzativo nazionale dei Manager didattici per la qualità Laura SANDRONE Esperta di Sistema ANVUR Università degli Studi di Torino Le visite in AVA 2.0 Criticità e buone prassi Parma, novembre

2 Argomenti 1. Linee Guida AVA 2.0: gli aspetti di novità più significativi per le visite di accreditamento CEV 2. Cenni all organizzazione delle visite e ai compiti delle CEV 3. Aspetti di criticità rilevati dalle CEV 4. Buone prassi per le CEV e gli Atenei 5. Conclusioni: l importanza di valorizzare il ruolo del personale TA Parma, novembre

3 I NUMERI Visite AVA 1 (2014/2016) Università 26 Corsi di studio 232 Corsi di laurea triennale 122 Corsi di laura magistrale 80 Corsi di laurea Ciclo Unico 30 Visite AVA 2 (da maggio 2017) Università LT LM CU Totale Palermo Cagliari Pavia Giustino Fortunato Mercatorum Teramo Parma, novembre

4 Inoltre : -> 6 visite ancora in programma per il 2017 (Foggia, Basilicata, Bologna, Cassino, Napoli Federico II, Marconi) -> 15 visite in programma nel 2018 Per ciascuna visita è stato fatto un incontro preliminare in ANVUR con la governance di Ateneo (Rettori, Prorettori, DG, Presidenti di Nucleo e Presidio etc.) -> Oltre 200 esperti coinvolti (alcuni dei quali hanno svolto fino a 3 visite all anno) -> 23 i Rapporti ANVUR di accreditamento finale (pubblicati sul sito dell Anvur insieme all algoritmo di conversione con la nuova graduazione di giudizio) Parma, novembre

5 1. LINEE GUIDA AVA 2.0: GLI ASPETTI DI NOVITÀ PIÙ SIGNIFICATIVI PER LE VISITE DI ACCREDITAMENTO CEV La necessità di intervenire su alcune criticità/esigenze poste all attenzione dalla comunità dei valutatori nel corso dei primi 2 anni ha dato avvio ad un revisione del modello su diversi aspetti. Alcuni dei quali riguardano: 1. Novità «strutturali» Nuovi requisiti e punti di attenzione: Sistema: 3 requisiti di qualità (R1., R2, R4) + 17 punti di attenzione + 67 aspetti da considerare Dipartimento: 3 punti di attenzione + 11 aspetti da considerare CdS: 1 requisito di qualità (R3) + 13 punti di attenzione + 54 aspetti da considerare Parma, novembre

6 Nuova modalità di campionamento dei corsi di studio (il numero varia in relazione al numero di CdS attivi nell anno accademico precedente a quello in cui avviene la visita) e dei Dipartimenti (min. 1 - max.3) La Valutazione dei Dipartimenti entra nel giudizio finale con peso uguale a quello dei CdS. [ fonte Accreditamento periodico delle sedi e dei corsi di studio universitari linee guida, p. 32] Parma, novembre

7 Variano anche le giornate di visita [ fonte Accreditamento periodico delle sedi e dei corsi di studio universitari linee guida, p. 36] Parma, novembre

8 Punteggi assegnati per punti di attenzione 1.LG AVA 2.0: gli aspetti di novità più significativi PA= 9 o 10 - le attività poste in essere riguardo agli aspetti considerati sono associate o garantiscono ottimi risultati e possono essere oggetto di segnalazione agli altri Atenei. La CEV esprime una segnalazione di prassi meritoria. (anziché di eccellenza ) PA= 7 o 8 - le attività poste in essere riguardo agli aspetti considerati sono associate o garantiscono buoni risultati. PA= 6 - le attività poste in essere riguardo agli aspetti considerati dal PA garantiscono l assenza di criticità rilevanti, o il loro superamento in tempi adeguati. (Tale punteggio può essere associato alla presenza di criticità, purché queste siano state rilevate dal sistema di AQ e per le quali siano state poste in essere attività volte al loro superamento.) PA= 4 o 5 - le attività poste in essere riguardo agli aspetti considerati non garantiscono dal verificarsi di criticità. Il punto di attenzione viene approvato con riserve. La CEV esprime una Raccomandazione. PA= < 4 - le attività poste in essere riguardo agli aspetti considerati si associano a, o rendono probabile, il verificarsi di criticità importanti. Il punto di attenzione non viene approvato e la CEV esprime una Condizione. articolazione del giudizio in 5 gradi: A-molto positivo; B-pienamente soddisfacente; C- soddisfacente; D-condizionato; E- insoddisfacente Parma, novembre

9 1.LG AVA 2.0: gli aspetti di novità più significativi Maggiore attenzione agli indicatori di risultato («Cruscotto di indicatori») per completare una valutazione oltre a quella di processo e per una lettura integrata con gli obiettivi di performance dell ateneo Maggior coinvolgimento del personale TA nei processi di AQ cui è stato dato un ruolo esplicito nei punti di attenzione e negli aspetti da considerare: Documenti di riferimento Punti di attenzione Aspetti da considerare R1.A.3 R1.C.2 Regolamenti di Ateneo e documenti del Presidio di Qualità Documenti di gestione della performance del personale tecnicoamministrativo Revisione critica del funzionamento del sistema di AQ Strutture e servizi di supporto alla didattica e alla ricerca Personale tecnico amministrativo Docenti, Personale Tecnico-Amministrativo e studenti possono facilmente comunicare agli organi di governo e alle strutture responsabili della AQ le proprie osservazioni critiche e proposte di miglioramento? Vengono sistematicamente rilevate le loro opinioni in caso di mutamenti importanti dell'organizzazione dei servizi?. L'Ateneo verifica periodicamente l'adeguatezza numerica e organizzativa del proprio personale tecnico-amministrativo in funzione delle esigenze di gestione della didattica, della ricerca e della terza Parma, novembre missione?

10 E nei Requisiti dei Corsi di studio (R 3): Documenti di riferimento Punti di attenzione Aspetti da considerare R3.C.2 SUA-CDS: quadro B4 e B5 Dotazione di personale, strutture e servizi di supporto alla didattica I servizi di supporto alla didattica (gestiti dal Dipartimento o dall'ateneo) assicurano un sostegno efficace alle attività del CdS? [Questo punto di attenzione non entra nella valutazione del CdS ma serve da riscontro del requisito di sede R1.C.2] Esiste una programmazione del lavoro svolto dal personale tecnico-amministrativo, corredata da responsabilità e obiettivi e che sia coerente con l'offerta formativa del CdS? R3.D.1 SUA-CDS: quadri B1, B2, B4, B5 Contributo dei docenti e degli studenti Docenti, studenti e personale di supporto hanno modo di rendere note agevolmente le proprie osservazioni e proposte di miglioramento? Parma, novembre

11 2. Novità nella gestione documentale Introduzione del prospetto di sintesi di ateneo e indicazione fonti documentali per i CdS Introduzione di un BREVE GIUDIZIO DI AUTOVALUTAZIONE per ogni punto di attenzione Standardizzazione e ottimizzazione dei format ad uso delle CEV (es. programmi, calendari, quaderni pre-visita, visita e relazione finale in un unica scheda) Definizione di «documenti chiave» riferiti a ciascun requisito di AQ ad uso degli atenei, (non fare ricorso a documenti preparati appositamente) Istruzioni di compilazione dei documenti (di sintesi per gli atenei e dei documenti di visita per le CEV) Parma, novembre

12 3. Novità nella fase post visita Schede di valutazione 1 per Sistema (Ateneo), 1 per ogni Cds, 1 per ogni Dipartimento Rapporto circostanziato sui provvedimenti e le azioni migliorative messi in atto dall ateneo (successivo alla visita a seguito di raccomandazioni e/o condizioni) Il NdV è garante dell applicazione delle eventuali raccomandazioni formulate dall ANVUR sia sugli aspetti di Sede che sul funzionamento dei singoli CdS fino all accreditamento successivo Parma, novembre

13 2. CENNI ALL ORGANIZZAZIONE DELLE VISITE E AI COMPITI DELLE CEV La comunità degli esperti di valutazione ANVUR La Commissione di Esperti per la Valutazione (CEV) è incaricata dall ANVUR dello svolgimento della visita di Accreditamento periodico. Ogni CEV include : Esperti di sistema (145 docenti e personale TA) Esperti disciplinari (316 docenti distinti per appartenenza ad area CUN) Esperti studenti (41) Esperti telematici (22) selezionati da un Albo degli Esperti per la valutazione costituito Parma, novembre

14 La CEV: composizione Presidente Coordinatore Esperti di sistema Studenti SottoCEV A SottoCEV B SottoCEV C 3 corsi di studio 3 corsi di studio 3 corsi di studio 1 Dipartimento 1 Dipartimento Responsabile /Esperto di sistema Responsabile/Esperto di sistema Responsabile/Esperto di sistema Esperti Disciplinari (3) Esperti Disciplinari (3) Esperti Disciplinari (3) Esperto studente (1) Esperto studente (1) Esperto studente (1) Parma, novembre

15 La CEV: compiti svolge l esame preliminare a distanza della documentazione relativa all Ateneo e ai CdS e Dipartimenti oggetto di visita effettua la visita in loco redige e approva collegialmente una relazione preliminare e una relazione finale (che tiene conto di eventuali controdeduzioni presentate dall Ateneo) Parma, novembre

16 La valutazione è collegiale I «compiti» di ciascun esperto sono chiari e definiti: Il Presidente della CEV ha la responsabilità del buon andamento di tutti i processi valutativi che la vedono coinvolta. È il responsabile dell allineamento delle valutazioni all interno della CEV (nell interpretazione dei requisiti e nella assegnazione dei giudizi), e della redazione della Relazione finale della CEV, che sottoscrive insieme al Coordinatore. Il Coordinatore coadiuva il Presidente durante tutte le fasi della procedura di accreditamento, assicurando la comunicazione chiara ed efficace all interno della CEV e il rispetto dei tempi di lavoro prestabiliti. Verifica che l intero processo di accreditamento sia condotto secondo le Linee guida e secondo il programma di visita. Si accerta che le valutazioni finali espresse dalla commissione siano coerenti, omogenee e supportate da elementi di prova chiaramente identificati. Parma, novembre

17 Gli Esperti di Sistema inclusi il Presidente e il Coordinatore sono responsabili delle valutazioni degli aspetti di Sede e verificano quindi il rispetto dei Requisiti R1, R2, R4.A. Di norma, coordinano contestualmente i lavori della sottocev a cui ognuno di essi è assegnato; sono quindi generalmente in numero pari a quello delle sottocev. Gli Esperti Disciplinari sono scelti in numero variabile a seconda del numero e della varietà disciplinare dei CdS da visitare. A ciascun esperto vengono assegnati uno o più CdS per la verifica del requisito R3, nonché alcuni Dipartimenti di cui valuteranno la rispondenza al Requisito R4.B. Gli Esperti Studenti sono usualmente scelti in numero corrispondente alle sottocev e hanno il compito di valutare, a livello di Sede, di CdS e di Dipartimenti, gli aspetti che riguardano direttamente gli studenti. Parma, novembre

18 3. ASPETTI DI CRITICITÀ RILEVATI DALLE CEV R1.B.3 Documenti di riferimento Linee di indirizzo di Ateneo sulla progettazione dei CdS Numerosità degli «aspetti da considerare nell ambito» dei punti di attenzione Non omogeneità dei processi/attività da considerare Punti di attenzione Aspetti da considerare PA Progettazione e aggiornamento dei CdS L'Ateneo si accerta che la progettazione dei CdS tenga conto delle necessità di sviluppo espresse dalla società e dal contesto di riferimento (scientifico, tecnologico e socioeconomico), individuate attraverso consultazioni con una gamma di parti interessate e/o facendo ricorso a studi di settore? L'Ateneo si accerta che, in fase di progettazione dei CdS, venga valorizzato il legame fra le competenze scientifiche disponibili e gli obiettivi formativi? L Ateneo si accerta che i CdS siano progettati ed erogati in modo da incentivare gli studenti ad assumere un ruolo attivo nei processi di apprendimento, contribuendo a stimolarne la motivazione, lo spirito critico, l autonomia critica e organizzativa? L'Ateneo si accerta che l'offerta formativa sia costantemente monitorata e aggiornata dai CdS e Dipartimenti e rifletta le conoscenze disciplinari più avanzate, anche in relazione alla concatenazione dei cicli, fino ai corsi di Dottorato di Ricerca ove attivati? L Ateneo si accerta che nel monitoraggio e nell aggiornamento dell offerta formativa i CdS e i Dipartimenti interagiscano con interlocutori esterni e/o facciano ricorso a studi di settore, e tengano conto delle valutazioni ricevute da MIUR, ANVUR, NdV e CPDS? Parma, novembre

19 E cambiata la scala valutativa e metodologica: Necessità di definire e condividere al meglio il range di assegnazione dei punteggi (es. la definizione di «prassi meritoria» (PA=9 o 10) può essere attribuita solo nei casi in cui processi/attività/risultati presentino elementi di particolare distinzione che vanno pertanto opportunamente descritti, fornendo, se possibile, opportuni elementi di confronto che sostengano la valutazione. Una normale e corretta gestione del processo/attività non è da intendersi come prassi di eccellenza) QUINDI COME VALUTA LA CEV? Media matematica tra i singoli aspetti? Valutazione incrociata tra i processi che intercettano più punti di attenzione? Valutazione complessiva in cui si evidenziano pro e contro voto unico ma che tiene conto dell insieme? Parma, novembre

20 Il RISCHIO è: Aumentare il margine di DISCREZIONALITÀ della valutazione e dei giudizi in assenza di indicazioni precise MITIGATO dal fatto che gli esperti rappresentano una comunità che sta condividendo le esperienze partecipando a più visite Potrebbe essere RAFFORZATO da una regia da parte di Anvur per garantire sempre più momenti di condivisione tra esperti. Parma, novembre

21 Necessità di garantire uniformità di linguaggio e aderenza di giudizio Le CEV hanno si sono date internamente ulteriori istruzioni di dettaglio volte ad una graduazione giudizio «Nella formulazione delle Conclusioni bisogna fornire una valutazione argomentata del livello di raggiungimento dell obiettivo sotteso da ogni aspetto da considerare del punto di attenzione. La descrizione effettuata nella sezione analisi delle fonti deve essere, quindi coerente con quanto riportato nelle Conclusioni» «La Prassi meritoria (PA=9 o 10) può essere «La Raccomandazione o Condizione deve attribuita solo nei casi in cui corrispondere a criticità connesse a uno o più processi/attività/risultati presentino elementi di aspetti da considerare. La sua formulazione deve particolare distinzione che vanno pertanto chiarire cosa ci si aspetta che l Ateneo faccia per opportunamente descritti, fornendo, se possibile, risolvere la/le criticità rilevate. Si evidenzia che opportuni elementi di confronto che sostengano questo aspetto è molto importante al fine del lavoro la valutazione. Una normale e corretta gestione in risposta alle eventuali controdeduzioni da parte del processo/attività non è da intendersi come dell Ateneo» prassi di eccellenza.» Parma, novembre

22 4. BUONE PRASSI PER LE CEV E PER GLI ATENEI - Consolidato il ruolo del sistema di AQ della Ricerca e della TM cui sono stati attribuiti specifici requisiti di valutazione (R.4) volti ad accertare strategie, monitoraggio, distribuzione delle risorse. - Durante l on site visit sono previsti incontri specifici con i direttori di Dipartimento, docenti e personale TA sulla ricerca - Cresce il ruolo del personale TA nelle visite: - sono previsti momenti dedicati alle audizioni di dirigenti e responsabili dei servizi nella giornata dedicata alle audizioni di sistema - sono previsti incontri con il personale TA di dipartimento/scuola /facoltà di supporto alla didattica a e ricerca nelle giornate di visita ai CdS Possono prevedersi ulteriori momenti dedicati ad incontri con il personale TA la cui attività ha un forte impatto sul sistema di AQ (es. i manager didattici) - Uno studente per ogni sottocev Parma, novembre

23 Dalle visite condotte sino ad oggi alcuni punti di attenzione comuni su cui gli atenei devono lavorare: E ancora troppo presente la concezione (anche in alcuni PQA) dell AQ come un mero adempimento burocratico (necessario intervento di CEV, NUV e di ANVUR ) E utile interpretare il PROSPETTO DI SINTESI come una vera occasione per un concreto esercizio di autovalutazione Va potenziato il ruolo degli studenti nei processi di AQ Mentre i processi di AQ della didattica iniziano ad essere concepiti gradualmente come occasioni concreta di rivisitazione dei percorsi di raggiungimento degli obiettivi questo ancora non avviene per i processi di AQ della ricerca Il passaggio alla scheda di monitoraggio e il superamento del modello di riesame precedente può rappresentare un limite al processo di autovalutazione quindi è necessario che gli atenei si «attrezzino» per renderlo efficace Parma, novembre

24 CONCLUSIONI Opportunità per gli atenei di coniugare sempre più il ruolo dei docenti con quelli del personale amministrativo accentuando il valore COOPERATIVO dei processi di AQ essenziale per la buona riuscita Emerge sempre più la necessità di formare negli Atenei un profilo di competenze TA a sostegno dei processi di valutazione della ricerca e della didattica Le nuove LG spingono nella direzione che dice che avere un apparato amministrativo professionale, efficace ed efficiente significa migliorare l efficacia e l efficienza di didattica e ricerca dell università. Parma, novembre

25 Il sistema di valutazione oggi applicato, contempla i due versanti DIDATTICA e RICERCA con ricadute parziali su FFO su cui si innesta, come un architrave, l'integrazione con la TECNOSTRUTTURA Accreditamento Performance La presenza di un PIANO INTEGRATO DI ATENEO che concilia obiettivi ed esiti di didattica, ricerca e Terza Missione, con il piano della performance consentirebbe di far si che la performance organizzativa interagisca con quella individuale Parma, novembre

26 E in particolare, con riferimento al personale TA degli Atenei, occorre il balzo in avanti: Le Governace degli atenei devono capire e cogliere appieno le potenzialità che il personale TA può rappresentare come facilitatore dei processi di AQ Occorre sviluppare e sostenere (anche con la formazione e con la condivisione) le competenze del personale che opera a supporto del NUV e del PQA, il personale che lavora sulla sede e sui nei Dipartimenti/Cds per garantire un reale e concreto supporto ai docenti e ai decisori (analisi dati e monitoraggio, conoscenza dei meccanismi e documenti di AQ) ADEGUATA FORMAZIONE A TUTTI GLI ATTORI DA PARTE DEGLI ATENEI.. SUPERARE IL CONCETTO CHE «BASTANO LE LINEE GUIDA» Parma, novembre

27 QUALI COMPETENZE DEL PERSONALE TA VALORIZZARE GUARDANDO ALL AQ? ha una visione d insieme -> conosce gli attori del sistema e come funziona il proprio ateneo conosce i documenti interni -> compliance specifica conosce le regole -> compliance tecnica si relaziona da e verso le strutture di raccordo, gli Organi di Ateneo -> competenze relazionali e presidio del flusso informativo Individua a chi e cosa chiedere -> approccio audit interno Parma, novembre

28 Contributo scientifico nato sul campo L'accreditamento periodico delle sedi e dei CdS si basa su un protocollo di valutazione utilizzato dagli esperti di sistema, dagli esperti disciplinari e dagli esperti studenti. La conoscenza di questo protocollo è fondamentale per il corretto ed efficace svolgimento della visita in sede. l protocollo è stato analizzato da un punto di vista linguistico individuando i concetti, le attività e i criteri di qualità relativi ai requisiti, agli indicatori, ai punti di attenzione e agli aspetti. Questa prima analisi ha permesso di ricostruire puntualmente sia un modello di riferimento sul quale si basa il protocollo che un modello di qualità da utilizzare per l'accreditamento. Le dimensioni dei due modelli in termini di concetti (quasi 500), di attività (quasi 1.000) e di criteri di qualità (quasi 200) ne evidenziano la complessità e la pervasività. I passi successivi di questo lavoro scientifico saranno dedicati al raffinamento dei concetti (nell'ottica di definizione di un'ontologia specifica), nella classificazione delle attività, nella revisione dei criteri di qualità, nel collegamento tra i due modelli alla documentazione prevista da AVA 2.0. Prof. Vincenzo Ambriola, Esperto Disciplinare, Università degli Studi di Pisa Parma, novembre

29 GRAZIE PER L ATTENZIONE...e un ringraziamento particolare al prof. Vincenzo Tucci, presidente in molte CEV, per i preziosi consigli Parma, novembre