Il processo del Riesame e il Rapporto di Riesame (RdR) Corso di formazione per Referenti per la didattica 18/06/2015 Programma delle tre giornate 18 giugno: Riesame annuale 25 giugno: Riesame ciclico 2 luglio: Valutazione del Riesame attraverso la griglia di verifica (esercitazione) Pagina 2 1
Processi di valutazione delle università Autovalutazione, accreditamento e valutazione periodica dei corsi di studio Accreditamento e Valutazione dei corsi di dottorato di ricerca Valutazione della ricerca dipartimentale Valutazione performance organizzativa amministrazione Valutazione performance individuale personale T.A. Pagina 3 Riferimenti normativi del sistema AVA Pagina 4 2
Gli attori del processo AVA in Sapienza Pagina 5 Il Sistema AVA: il ciclo di vita del CdS e gli attori coinvolti nell autovalutazione e nella AQ Pagina 6 3
G Il Sistema AVA-CdS: gli strumenti 7 Pagina 8 4
Chi redige materialmente il Riesame: le CGAQ Le Commissioni di gestione della assicurazione qualità sono composte da: 2-3 professori tra cui il Presidente del Corso di studio il manager didattico del Corso di Studio se presente e/o altro personale Tecnico-Amministrativo coinvolto in attività di management didattico del corso; una rappresentanza degli studenti in conformità a quanto previsto dalle ESG europee. Pagina 9 Due tipologie di riesame e di Rapporto Riesame annuale (del percorso di studio) Riesame ciclico (del progetto formativo) Pagina 10 5
Riesame annuale (del percorso di studio): finalità Attività svolta annualmente al fine di promuovere il miglioramento dell efficacia della formazione fornita agli studenti. Sulla base di quanto emerge da: analisi dei dati quantitativi (ingresso nel Corso di Studio, regolarità del percorso di studio, uscita dal Corso di Studio e ingresso nel mercato del lavoro) e di indicatori da essi derivati, tenuto anche conto della loro evoluzione nel corso degli anni accademici precedenti, delle criticità osservate o segnalate sui singoli moduli che compongono il percorso di formazione e sul loro coordinamento nel corso dei periodi didattici, mette in luce: 1.gli effetti delle azioni correttive già intraprese negli anni accademici precedenti 2.i punti di forza e le aree da migliorare che emergono dall analisi 3.gli interventi e le azioni correttive per correggere gli elementi critici messi in evidenza dall analisi Pagina 11 Rapporto di Riesame ciclico (del progetto formativo Attività svolta tipicamente su un medio periodo di 3/5 anni (a regime), in funzione delle caratteristiche e dell ambito disciplinare del CdS. Mette in luce principalmente se permane la validità degli obiettivi di formazione e del sistema utilizzato dal Corso di Studio per conseguirli. Prende quindi in esame: l attualità della domanda di formazione che sta alla base del Corso di Studio, le figure professionali di riferimento e le loro competenze la coerenza dei risultati di apprendimento previsti dal Corso di Studio nel suo complesso e dai singoli insegnamenti l efficacia del sistema di gestione del Corso di Studio. Mette in luce: 1. gli effetti delle azioni correttive già intraprese nei periodi di riferimento precedenti (se disponibili) 2. i punti di forza e le aree da migliorare che emergono dall analisi anche in paragone con i dati del periodo di riferimento (se disponibili) 3.gli interventi volti a introdurre azioni correttive 6
Le fasi dell attuale processo di Redazione del Rapporto di Riesame (2014) 1. Linee guida ANVUR 2. Linee guida del Team Qualità (luglio) 3. Redazione da parte delle CGAQ (6 ottobre) 4. Eventuale lettura dei Comitati di Monitoraggio 5. Eventuale collazione e invio collettivo al Team a cura del MD oppure invio singolo da parte di ciascuna CGAQ 6. Lettura da parte del Team con griglia di verifica 7. Invio del Team delle griglie di verifica compilate al MD 8. Il MD distribuisce la griglie di verifica alle CGAQ 9. Le CGAQ modificano il Rapporto di Riesame 10. Il Rapporto di Riesame viene formalmente approvato, alternativamente, da Consiglio di Corso di Studio, Consiglio d Area, Consiglio d Area Didattica, Consiglio di Dipartimento, Consiglio di Facoltà (entro 30 novembre). 11. Il MD effettua l upload del Riesame definitivo sul sito dell ANVUR (entro 15 dicembre) Il nuovo processo di Redazione del Riesame (2015) 1. Linee guida ANVUR 2. Linee guida del Team Qualità (luglio) 3. Redazione da parte delle CGAQ (entro ) adiuvate dal referente didattico (?). 4. Lettura da parte dei Comitati di Monitoraggio con l ausilio tecnico del/dei Referenti per la didattica e predisposizione griglia di verifica 5. Confronto con il TQ sullo stato di avanzamento del Riesame 6. Invio delle griglie di verifica compilate alle CGAQ e per conoscenza al TQ 7. Le CGAQ modificano il Rapporto di Riesame 8. Il Rapporto di Riesame viene formalmente approvato, alternativamente, da Consiglio di Corso di Studio, Consiglio d Area, Consiglio d Area Didattica, Consiglio di Dipartimento, Consiglio di Facoltà. 9. Il MD effettua l upload del Riesame definitivo sul sito dell ANVUR Pagina 14 7
QUALI CORSI DI STUDIO FANNO IL RIESAME Il Rapporto di Riesame NON è richiesto per corsi di studio di nuova attivazione nell anno accademico di riferimento oppure in via di disattivazione. Per i Corsi di Studio che sono oggetto di fusione/trasformazione il Rapporto di Riesame è redatto dal Corso che prosegue e che, come tale, risulta attivato nell Offerta Formativa dell a.a. di riferimento con una programmazione completa sui tre/due anni a seconda che si tratti di Corso di Laurea o di Laurea Magistrale. Se il corso ha cambiato sostanzialmente la denominazione nel Riesame risulterà la denominazione attiva nell annualità in corso Pagina 15 Sezioni del Rapporto di Riesame annuale FRONTESPIZIO A1 - L INGRESSO, IL PERCORSO, L USCITA DAL CDS A2 - L ESPERIENZA DELLO STUDENTE A3 - L ACCOMPAGNAMENTO AL MONDO DEL LAVORO Struttura di ogni sezione a - AZIONI GIÀ INTRAPRESE ED ESITI b - ANALISI DELLA SITUAZIONE c - AZIONI CORRETTIVE PROPOSTE Pagina 16 8
Pagina 17 FRONTESPIZIO Pagina 18 9
FRONTESPIZIO/2 Pagina 19 Indicazioni generali sulla sezione «analisi della situazione» (Campo testo libero) Recupero dei dati (necessità di usare i DB di Ateneo) Commento ai dati (riportare solo i dati strettamente essenziali per l analisi. Evitare quindi di riportare interi elenchi o collezioni di dati. Le fonti sono richiamate tramite il link alla pagina del Team Qualità Riesame 2015 ) Punti di attenzione raccomandati (evitare di saltarne) Raffronto dati con gli anni precedenti (occhio ai fogli excel plurimi) fare riferimento all ultimo triennio Raffronto eventuale con Corsi di Studio simili dove il paragone sia ritenuto utile. 10
Indicazioni generali sulla sezione «analisi della situazione» /2 Identificazione delle aree da migliorare Scelta delle problematiche più rilevanti (almeno 1 per sezione/meglio 2) Identificazione dei punti di forza (facoltativa, ma consigliata) La sezione «interventi correttivi proposti» (si intende pro futuro) Obiettivo n. x: (titolo e descrizione).. Azioni da intraprendere: (descrizione) Modalità, risorse, scadenze previste, responsabilità: (descrizione).. Pagina 22 11
Indicazioni generali sulla sezione «Interventi correttivi proposti»/2: Come si individuano obiettivi e azioni 1. Un obiettivo per ciascuna problematica rilevante (minimo 1 meglio 2 per sezione) in termini di riduzione/mitigazione della problematica 2. Brain storming sulle ipotesi causali delle problematiche più rilevanti 3. Individuazione di leve organizzative in grado di agire sulle cause delle problematiche rilevanti Pagina 23 Come si individuano obiettivi e azioni E importante quindi che la definizione del problema da affrontare sia accompagnata da una diagnosi che dimostri quale è o quali sono i fattori che causano tale situazione e su cui è necessario intervenire per mitigarli o rimuoverli. Il passaggio successivo è quello di cercare le varie leve organizzative in grado di incidere sul problema identificato Una volta identificate le alternative utili per ottenere un miglioramento, si tratta di individuare l alternativa migliore, e cioè quella che soddisfa i componenti del gruppo di lavoro sotto il profilo dei benefici e dei costi. 12
Come si individuano obiettivi e azioni: un esempio Problematica rilevante: Gli studenti abbandonano il corso di studio alla fine del primo anno. Il 22% degli immatricolati lascia il SU o cambia CdS e/o Ateneo. Obiettivo individuato: Ridurre del 2% annuo il tasso di abbandono al passaggio tra I e II anno. Brainstorming sulle ipotesi causali: a) scarso o scadente orientamento in ingresso?; b) inadeguate conoscenze pregresse degli studenti?; c) presenza di esami killer al I anno?; d) motivazione ignota? Individuazione delle leve organizzative: a) introdurre percorsi di orientamento in entrata; b) attivare percorsi di recupero dei debiti formativi; c) spostamento/sdoppiamento/introduzione esoneri/ per esami killer; d) avvio di indagine conoscitiva. Pagina 25 Come si descrive un obiettivo Un obiettivo si distingue da una mera descrizione delle aspirazioni (le c.d. «pie intenzioni») perché è costituito da una serie di elementi essenziali: a) la definizione di quale situazione indesiderata deve essere migliorata (il corso ha troppi abbandoni al II anno) b) Almeno un indicatore che definisca quali fenomeni sono rappresentativi dell andamento del problema da trattare (numero di immatricolati al CdS nell anno t che non si iscrive al II anno nell anno t+1) c) un target finale da raggiungere al termine dell intervento (nel nostro esempio: -2%); 13
La sezione «interventi correttivi proposti» (si intende pro futuro) Obiettivo n. x: (titolo e descrizione).. Azioni da intraprendere: (descrizione) Modalità, risorse, scadenze previste, responsabilità: (descrizione).. Pagina 27 Come si individuano le azioni da intraprendere Nella proposta di azioni correttive da intraprendere è necessario scegliere, tra le varie leve organizzative individuate, quelle che: Hanno un nesso chiaro (rapporto causale) con le problematiche rilevate Sono specifiche e non generiche Sono effettivamente realizzabili nel tempo di un ciclo di Riesame Sono effettivamente realizzabili con le risorse disponibili Sono effettivamente realizzabili stanti circostanze immodificabili Sono sotto il controllo di chi gestisce il CdS Pagina 28 14
Modalità, risorse, scadenze, responsabilità Le azioni correttive NON devono essere espresse sotto forma di affermazioni generiche. NON «Il CdS avvierà corsi di recupero dei debiti formativi» MA Il CdS intende avviare nei mesi di settembre e ottobre un corso di recupero in matematica per minimo 30, massimo 50 matricole che abbiano ottenuto un punteggio inferiore a 18 nel test di orientamento in matematica. Il corso di recupero avrà una durata di 20 ore e sarà tenuto da due prof.ri di matematica del I anno. Al termine del corso sarà ripetuto il test di orientamento e valutati i progressi degli studenti. Gli esiti del progetto saranno rendicontati nel primo consiglio di corso di studio successivo al termine. La riproposizione di azioni già proposte in passato E possibile inserire tra le azioni correttive da intraprendere anche azioni già intraprese nell anno precedente che non abbiano trovato puntuale attuazione o il cui obiettivo non sia stato raggiunto. In questo caso dovranno essere indicate: le ragioni della eventuale mancata o scarsa attuazione le ragioni del mancato raggiungimento dell obiettivo le modifiche contestuali o nei piani di azione che ne rendono prevedibile l efficacia nell anno di riferimento e comunque prima del Riesame successivo. L eventuale mera necessità di procedere con la stessa azione per consolidare i risultati Pagina 30 15
Sottosezione «AZIONI GIÀ INTRAPRESE ED ESITI» Obiettivo n. x: (titolo e descrizione) Azioni intraprese: (descrizione). Stato di avanzamento dell azione correttiva: motivi dell eventuale mancato raggiungimento dell obiettivo individuato; in tal caso riprogrammare l obiettivo per l anno successivo oppure fornire il motivo della sua cancellazione (descrizione). Pagina 31 Fase valutativa delle azioni correttive Ha il compito di fornire ai decisori informazioni di base sull andamento delle azioni attuate (concluse/non concluse) e mettere in condizione di esprimere giudizi sull esigenza e/o opportunità di: rinunciare all obiettivo (scelta residuale) modificare il disegno progettuale originario modificare le modalità realizzative dell azione proposta (scadenze, risorse, responsabilità) scegliere un altra azione Pagina 32 16
Stato di avanzamento dell azione correttiva Rispondere alle seguenti domande: Abbiamo realizzato tutto quello che è stato previsto in fase di disegno dell azione correttiva? L azione correttiva è stato almeno utile, e cioè ha modificato in senso positivo il problema a partire dal quale è stata elaborata e attuata? L obiettivo è stato raggiunto? L eventuale successo ottenuto è attribuibile solo all azione correttiva oppure anche ad altre variabili (ad esempio, la composizione dei destinatari, l azione di altri soggetti, ecc.)? Pagina 33 Stato di avanzamento dell azione correttiva/2 Lo stato di avanzamento delle attività ha corrisposto alla tempistica prevista? Se no, perché? Le risorse messe a disposizione (in particolare quelle finanziarie e di personale) sono state utilizzate come previsto? Sono state sufficienti? I soggetti coinvolti (beneficiari finali, beneficiari intermedi,...) sono stati quelli previsti? Se no, perché? Le attività sono realizzate in coerenza con quanto previsto dal progetto? In sostanza, si deve cambiare qualcosa nelle modalità di attuazione? Il progetto è attuabile in futuro considerate le caratteristiche del contesto di attuazione? E necessario modificare il progetto/programma originario per tenere conto delle specificità delle condizioni esistenti? 17
A1 - L INGRESSO, IL PERCORSO, L USCITA DAL CDS/1 A1 - L INGRESSO, IL PERCORSO, L USCITA DAL CDS/2 18
A2 - L ESPERIENZA DELLO STUDENTE/1 Pagina 37 A2 - L ESPERIENZA DELLO STUDENTE/2 Pagina 38 19
A2 - L ESPERIENZA DELLO STUDENTE/3 A3 - L ACCOMPAGNAMENTO AL MONDO DEL LAVORO/2 Pagina 40 20
A3 - L ACCOMPAGNAMENTO AL MONDO DEL LAVORO Pagina 41 Conclusioni La coppia costituita dalla scheda SUA di un dato anno accademico e dal Rapporto di Riesame relativo a quel medesimo anno accademico costituisce il documento annuale di autovalutazione (analisi obiettivi/risultati) e lo esaurisce. L insieme di queste coppie per almeno tre anni successivi consente ai valutatori esterni di osservare l attenzione per la qualità del Corso di Studio e l efficacia delle azioni adottate per garantirla, di valutare quindi se il Corso di Studio ha un Assicurazione della Qualità effettivamente funzionante. Pagina 42 21
Esercitazione a casa Consegna materiali in posta elettronica (2 Riesami della propria facoltà, uno di buon livello, l altro meno) Lettura critica e appunto di ciò che, a vostro avviso, non corrisponde a quanto ci siamo detti oggi. Pagina 43 Domande? Pagina 44 22