Il processo di Riesame e il Rapporto di Riesame / 2

Il processo di Riesame e il Rapporto di Riesame / 2 Corso di formazione per Referenti per la didattica Seconda giornata 25/06/2015 I documenti tecnici di riferimento Sul sito del Team Qualità sono resi disponibili documenti tecnici, quali: Linee guida per la stesura dei rapporti di riesame (annuale e ciclico) Fac simile (Template) del Rapporto di Riesame Note tecniche di accompagnamento ai dati messi a disposizione 1

I dati disponibili L'Ufficio supporto strategico e programmazione è l ufficio che si occupa di supportare le procedure di assicurazione di qualità anche sul fronte dei dati statistici: fornitura dati, elaborazioni Tutti i dati messi a disposizione delle Commissioni di Gestione dell Assicurazione Qualità (CGAQ) dei Corsi di Studio per la stesura dei rapporti di riesame sono messi a disposizione on line Sono organizzati in file excel, quindi in formato elaborabile; questo significa che se la Commissione vuole fare elaborazioni, eventuali confronti ai fini delle proprie analisi, può farlo liberamente I dati disponibili/2 (in aggiornamento) I dati messi a disposizione sono stati: I dati sulle CARRIERE DEGLI STUDENTI: 5 file I dati sul PROFILO DEI LAUREATI e sulla condizione occupazionale anni dal 2009 al 2013: 3 file I dati sulle COMUNICAZIONI OBBLIGATORIE : 12 file; uno per ogni facoltà, più un file generale di riepilogo I dati sulle opinioni degli studenti: un file compresso, che contiene report di analisi sui dati relativi alle opinioni studenti per tutti i corsi di studio. 2

CARRIERE STUDENTI 5 FILE ISCRITTI: contiene per ogni facoltà e per ogni corso di studio i dati relativi a: Iscritti, di cui part time Iscritti regolari (iscritti da un n. di anni inferiore o uguale alla durata del corso) immatricolati iscritti 1 anno, di cui immatricolati (gli immatricolati sono gli studenti al primo ingresso nel sistema universitario) trasferimenti, passaggi, abbandoni (tutti gli eventi che definiscono un passaggio di corso di studio) per gli anni accademici CARRIERE STUDENTI 5 FILE/2 LAUREATI E CREDITI Contiene per ogni facoltà e per ogni corso di studio i dati relativi a: crediti conseguiti nell anno solare medie e deviazioni standard votazioni complessive numero laureati totale di cui regolari e di cui fuori corso di 1 anno, 2 anni, 3 anni, + 3anni per gli anni solari 3

CARRIERE STUDENTI 5 FILE/3 PROVENIENZA GEOGRAFICA: contiene la distribuzione per facoltà e corso di studio dei dati relativi a iscritti stranieri, residenti in sede, fuori dal comune, fuori dalla provincia, fuori dalla regione Lazio TITOLI SCOLASTICI: contiene la distribuzione degli immatricolati, per facoltà e corso di studio, secondo la scuola superiore di provenienza e la votazione riportata all esame di maturità TITOLO STUDENTI 1 ANNO: contiene i dati relativi agli iscritti al primo anno di un corso di studi di secondo livello in possesso già di un titolo universitario per tipologia di titolo e votazione conseguita LAUREATI 2 FILE (ALMALAUREA) Condizione occupazionale ad 1 anno dalla laurea: il file contiene le risposte degli studenti alla seguente domanda del questionario della rilevazione Condizione occupazionale ad un anno dalla laurea : Lei attualmente lavora o ha lavorato nel periodo successivo al conseguimento della laurea triennale o specialistica/magistrale? indagine 2014 (laurea 2012 intervista nel 2013). Condizione occupazionale ad 3 anni dalla laurea La stessa indagine precedente, ma rivolta ai solo laureati dei corsi magistrali dopo 3 anni dal conseguimento del titolo 4

Caratteristiche raccolta dati Almalaurea La condizione occupazionale viene valutata a 1 anno, a 3 anni e a 5 anni dal conseguimento del titolo dal Consorzio Almalaurea attraverso un primo contatto via e-mail e, successivamente, tutti coloro che non hanno compilato il questionario on-line vengono contattati telefonicamente. La rilevazione è organizzata in due periodi (marzo-giugno e luglio-novembre), così da garantire di svolgere le interviste alla medesima distanza dalla laurea. Le percentuali di copertura sono oggi 86% ad 1 anno; 80% a tre anni; 75% a cinque anni. Vengono distinti i laureati occupati da quelli non occupati. Non sono considerati occupati i laureati impegnati in attività di formazione, anche se retribuite. Sono però considerati occupati tutti i laureati impegnati in altre attività, retribuite, anche se non coerenti con il titolo conseguito, non in regola od occasionali. LAUREANDI (ALMALAUREA) Profilo laureati: Il file contiene le risposte degli studenti alle seguenti domande del questionario della rilevazione Profilo laureati : a) Giudizio: E' complessivamente soddisfatto/a del corso di studi? b) Indietro: Se potesse tornare indietro nel tempo, si iscriverebbe nuovamente all'università? Indagine 2014 sui laureati 2013 5

Condizione occupazionale (UNICO) Sapienza Università di Roma ha concluso una convenzione con il Ministero del Lavoro per lo studio dei dati delle Comunicazioni Obbligatorie abbinati a quelli dei laureati Sapienza contenuti negli archivi Infostud. Le comunicazione obbligatorie sono comunicazioni telematiche dovute dai datori di lavoro (pubblici e privati) relative a inizio, proroga, trasformazione e cessazione di rapporti di lavoro subordinato e parasubordinato. Si dispone dunque, grazie alle C.O., dei contratti di lavoro stipulati nei 36 mesi successivi alla data di laurea. Laureati abbinati Laureati non abbinati: Numero di contratti sottoscritti Dati UNICO (file generale) Studenti che hanno conseguito il diploma di laurea che hanno sottoscritto almeno un contratto di lavoro dipendente o parasubordinato nei 3 anni successivi alla data di laurea. Studenti che hanno conseguito il diploma di laurea che non hanno sottoscritto almeno un contratto di lavoro dipendente o parasubordinato nei 3 anni successivi alla data di laurea. Numero di contratti sottoscritti dai laureati abbinati nel triennio successivo al conseguimento del titolo Numero medio di contratti Giorni contrattuali Numero medio di giornate contrattuali per abbinato Numero medio di giornate contrattuali per contratto Rapporto tra il numero di contratti sottoscritti e il numero di laureati abbinati Numero totale dei giorni di contratto per i laureati abbinati Rapporto tra il numero di giornate contrattuali e il numero di laureati abbinati Rapporto tra il numero di giornate contrattuali e il numero di contratti 6

Dati unico (file singoli) le tipologie contrattuali (Lavoro autonomo e parasubordinato, Contratti a tempo determinato, Contratti a tempo indeterminato, Contratti apprendistato/inserimento, Lavoro in Somministrazione ecc..) le qualifiche professionali (classificazione delle professioni ISTAT) i settori di attività economica Classificazione ATECO 2007 (cfr. http://www.istat.it/it/archivio/17888) Dati Opinioni studenti 7

Riesame ciclico: quando si fa? ANVUR suggerisce che il riesame ciclico venga redatto ad intervalli di più anni in funzione della durata del CdS (al termine del ciclo di tre anni per le lauree triennali e di due anni per le lauree magistrali, nonché al termine del ciclo di cinque/sei per le lauree magistrali a ciclo unico (AVA- Rapporti di Riesame annuale e ciclico- Indicazioni operative a regime) ANVUR suggerisce che il riesame ciclico venga redatto ad intervalli di più anni in funzione della periodicità dell accreditamento (a regime tutti i corsi di studio della sede visitata debbano aver svolto almeno un riesame ciclico entro gli ultimi quattro anni solari antecedenti quello in cui ha luogo la visita di accreditamento di Sede) ANVUR fornisce come indicazione che il riesame ciclico sia svolto almeno ogni tre anni (Linee guida per CEV per accreditamento periodico); ANVUR, nella comunicazione del 29 ottobre 2013, rappresenta che il rapporto di riesame ciclico è conseguente alla necessità individuata in uno specifico corso di studio di effettuare analisi e riflessioni più approfondite che porteranno ad una riprogettazione del CdS; 25 settembre 2013 Nucleo di valutazione: riunione di insediamento Pagina 15 Perché è importante rifarlo dopo un anno? In Sapienza tutti i corsi di studio lo hanno fatto nel 2014 (Riesame 2015) e lo rifaranno nel novembre 2015 (Riesame 2016) Questa tornata di Riesame potrebbe essere l ultima prima dell avvio delle visite in loco da parte delle Commissioni di esperti della Valutazione (CEV) di ANVUR e potrebbe essere oggetto di valutazione diretta da parte delle CEV. Questo Riesame deve rappresentare dunque l occasione per una completa autovalutazione del Corso di studio in vista delle site visit. 8

Lo Schema del Riesame ciclico 1 - LA DOMANDA DI FORMAZIONE 1 a Azioni correttive già intraprese ed esiti 1 b Analisi della situazione 1 c Interventi correttivi 2 -I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2 a Azioni correttive già intraprese ed esiti 2 b Analisi della situazione 2 c Interventi correttivi 3 -IL SISTEMA DI GESTIONE DEL CDS 3 a Azioni correttive già intraprese ed esiti 3 b Analisi della situazione 3 c Interventi correttivi Riesame B1 B1 LE CONSULTAZIONI PER LA DOMANDA DI FORMAZIONE b - ANALISI DELLA SITUAZIONE Commentare le indagini sul mondo della produzione, dei servizi e delle professioni chenelcorsodeglianniilcdshamessoinoperaalfinediidentificareladomandadi formazione, e i risultati di tali indagini. Evidenziare i punti di forza e le aree di miglioramento. Punti di attenzione: 1. La gamma degli enti e delle organizzazioni consultate, direttamente o tramite studi di settore, è adeguatamente rappresentativa a livello regionale, nazionale e/o internazionale? Cfr AQ5.A.1. 2. I modi e i tempi delle consultazioni costituiscono canali efficaci per raccogliere opinioni dal mondo del lavoro? Cfr AQ5.A.2. 3. Si sono considerati, a integrazione o in sostituzione, studi di settore di livello regionale, nazionale o internazionale? 4. Le organizzazioni consultate e le modalità di consultazione consentono di avere informazioni utili e aggiornate sulle funzioni e sulle competenze attese nei laureati? Cfr. AQ5.A.2. 9

Riesame B1/2 B1 LE CONSULTAZIONI PER LA DOMANDA DI FORMAZIONE b - ANALISI DELLA SITUAZIONE Commentare le indagini sul mondo della produzione, dei servizi e delle professioni chenelcorsodeglianniilcdshamessoinoperaalfinediidentificareladomandadi formazione, e i risultati di tali indagini. Evidenziare i punti di forza e le aree di miglioramento. Punti di attenzione: 5. Si ritiene opportuno consultare altri enti o organizzazioni per meglio identificare la domanda di formazione e gli sbocchi occupazionali? 6. Qual è il livello di benchmarking nazionale o internazionale, ossia il confronto con le attività di ricognizione della domanda di formazione praticate dalle università riconosciute come leader nel settore della formazione in esame? 7. Le funzioni e le competenze che caratterizzano ciascuna figura professionale sono descritte in modo completo, e costituiscono quindi una base utile per definire i risultati di apprendimento attesi? Cfr AQ5.A.3 Riesame ciclico B1/3 Fonti delle informazioni: - Schede descrittive di tutti gli insegnamenti - Quadri A1, A2-a della SUA-CdS 10

Possibili azioni correttive Aumentare la rappresentatività nazionale dei soggetti consultati Aumentare la rappresentatività internazionale Consultare/commissionare un nuovo studio di settore Aggiornare il calendario delle consultazioni Impostare e profilare procedure routinarie di contatto Migliorare la produzione e l archiviazione della documentazione (verbali o altre evidenze su indagini e decisioni assunte) Progettare una successiva interazione con le parti sociali, al fine di verificare in itinere che la corrispondenza, inizialmente progettata, tra attività formative e obiettivi si traduca in pratica. BRAINSTORMING!!! 2 I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2-b ANALISI DELLA SITUAZIONE Commenti sulla validità della risposta alla domanda di formazione, ovvero dei risultati di apprendimento del CdS nel suo complesso e dei singoli insegnamenti in relazione alle funzioni e competenze adottate come riferimento di progettazione del CdS. Analisi della capacità di accertare l effettivo raggiungimento dei risultati di apprendimento previsti. 11

2 I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2-b ANALISI DELLA SITUAZIONE Punti di attenzione: 1. Le schede descrittive degli insegnamenti sono state compilate da tutti i docenti e i loro campi contengono le informazioni richieste? In quale data sono state rese definitive e disponibili agli studenti? Contenuti minimi delle schede descrittive insegnamenti: Risultati di apprendimento attesi, Prerequisiti/conoscenze pregresse, Programma, Organizzazione dell insegnamento, Criteri di esame e di valutazione 2. Come si svolge la supervisione delle schede descrittive degli insegnamenti da parte del Responsabile del CdS? () 3. Il Responsabile del CdS accerta che vi sia coerenza tra le schede descrittive degli insegnamenti e la descrizione dei risultati di apprendimento attesi (SUA- CdS, A4b)? Cfr AQ5. B.3 2 I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2-b ANALISI DELLA SITUAZIONE Punti di attenzione: 1. Il Responsabile del CdS interviene ottenendo dai docenti le modifiche ritenute necessarie? Con che risultati? (Incidenti critici) 2. Gli insegnamenti vengono svolti in modo coerente con quanto dichiarato nelle schede descrittive degli insegnamenti? (Domanda Opis n. 9. L'insegnamento è stato svolto in maniera coerente con quanto dichiarato sulsitowebdelcorsodistudio?) 3. Le modalità degli esami e delle altre valutazioni degli apprendimenti sono indicate in tutte le schede descrittive degli insegnamenti? Cfr AQ5.B.4. (Domanda Opis n. 4. Le modalità di esame sono state definite in modo chiaro?) 4. Le modalità degli esami e delle altre valutazioni degli apprendimenti corrispondono al modo in cui le valutazioni sono effettivamente condotte? 5. Le valutazioni degli apprendimenti degli studenti sono concepite in modo da costituire una verifica affidabile che i risultati di apprendimento attesi siano stati effettivamente raggiunti? 12

2 I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2-b ANALISI DELLA SITUAZIONE 1. Le valutazioni degli apprendimenti consentono di discriminare correttamente tra diversi livelli di raggiungimento dei risultati di apprendimento e di riflettere tali livelli nel giudizio finale? (Indagini sulle distribuzioni dei voti) 2. I risultati di apprendimento attesi al termine degli studi sono coerenti con la domanda di formazione identificata, in particolare rispetto alle funzioni e alle competenze che il CdS ha individuato come propri obiettivi? 3. Qual è il livello di benchmarking nazionale o internazionale dei risultati di apprendimento attesi? Raggiungono il livello delle buone pratiche nazionali o internazionali del medesimo settore? (di conseguenza, i titoli sono conferiti sulla base di risultati di apprendimento che corrispondono al miglior livello internazionale nel medesimo settore?). 2 I RISULTATI DI APPRENDIMENTO ATTESI E ACCERTATI 2-b ANALISI DELLA SITUAZIONE 1. Viene verificato il possesso di adeguate competenze/conoscenze iniziali, vengono individuate le carenze da recuperare, viene controllato l avvenuto recupero? AQ5 B1 10 2. I risultati di apprendimento che il CdS intende far raggiungere agli studenti (descrittori di Dublino 1-2), incluse le competenze trasversali (descrittori di Dublino 3-4-5), sono coerenti con le funzioni e le competenze che il CdS ha individuato come domanda di formazione? (cfr.aq5b2) 13

Fonti dei dati Fonti dei dati: - Schede descrittive di tutti gli insegnamenti - Quadri A4-a, A4-b, A5 della SUA-CdS - Segnalazioni o osservazioni sulla corrispondenza con la didattica effettiva Possibili azioni correttive Migliorare/completare le schede insegnamenti Migliorarne la reperibilità da parte degli studenti sul sito Individuare momenti/procedure di controllo ex ante su coerenza tra le schede descrittive degli insegnamenti e la descrizione dei risultati di apprendimento attesi Proporre indagini ad hoc sulla soddisfazione studenti ex post Fare benchmarking confrontando i propri risultati di apprendimento attesi con quelli di altre università leader italiane ed estere 14

Peculiarità delle azioni correttive del Riesame ciclico Debole misurabilità in termini quantitativi Necessità di una visione più disciplinare che organizzativa Necessità di adattare lo schema: Obiettivo/Azioni da intraprendere/modalità, risorse/ scadenze previste/ responsabilità A regime periodicità di rendicontazione delle azioni correttive più lunga 3 -IL SISTEMA DI GESTIONE DEL CDS Punti di attenzione: 1. Come sono stati identificati e organizzati i principali processi di gestione del CdS? Cfr AQ5. F.1 2. Tali processi sono gestiti in modo competente, tempestivo ed efficace? 3. I ruoli e le responsabilità sono stati definiti in modo chiaro e sono effettivamente rispettati? AQ5. F.2, AQ5. F3 4. Le risorse e i servizi a disposizione del CdS permettono il raggiungimento degli obiettivi stabiliti? AQ5. F.4. 5. La documentazione pubblica sulle caratteristiche e sull organizzazione del CdS sono complete, aggiornate e trasparenti e sono effettivamente accessibili ai portatori di interesse? AQ5. F.5. 15

Possibili azioni correttive Stesura di un documento sui processi di gestione del CdS con definizione di ruoli e responsabilità Calendarizzazione delle attività di gestione Ottimizzazione risorse (umane, infrastrutturali, economiche) Ottimizzazione sito web sezione organizzazione, Migliorare i Riesami attraverso maggiore formazione e/o coinvolgimento Migliorare i Riesami attraverso elaborazioni aggiuntive dei dati Documenti di riferimento per il Riesame ciclico sono: SUA-CdS (riferimento principale) Riesame annuale degli anni precedenti; Relazioni dei Comitati di Monitoraggio relative alle valutazioni Opinioni Studenti e alle Azioni Correttive; Relazioni delle Commissioni Paritetiche Docenti - Studenti Eventuali relazioni/valutazioni/considerazioni del Team Qualità e/o del Nucleo di Valutazione sul Corso di Studio 16

Contenuti su cui si esprimono Commissione paritetiche A - Analisi e proposte su funzioni e competenze richieste dalle prospettive occupazionali e di sviluppo personale e professionale B - Analisi e proposte su efficacia dei risultati di apprendimento attesi in relazione alle funzioni e competenze di riferimento C - Analisi e proposte su qualificazione dei docenti, metodi di trasmissione della conoscenza e delle abilità, materiali e gli ausili didattici, laboratori, aule, attrezzature, in relazione al potenziale raggiungimento degli obiettivi di apprendimento al livello desiderato D -Analisi e proposte sulla validità dei metodi di accertamento delle conoscenze e abilità acquisite dagli studenti in relazione ai risultati di apprendimento attesi E - Analisi e proposte sulla completezza e sull efficacia del Riesame e dei conseguenti interventi di miglioramento F - Analisi e proposte su gestione e utilizzo dei questionari relativi alla soddisfazione degli studenti G - Analisi e proposte sull effettiva disponibilità e correttezza delle informazioni fornite nelle parti pubbliche della SUA-CdS. Documenti ANVUR per approfondire il sistema AVA-CdS Standards and Guidelines for Quality Assurance in the European Higher Education Area Documento ANVUR e Allegati (9 gennaio 2013) Linee guida per la redazione del Rapporto di Riesame annuale e ciclico (29 ottobre 2013) Struttura della SUA-CdS Procedure di rilevamento delle opinioni degli studenti - proposta Anvur Procedure di accreditamento iniziale dei corsi di studio di nuova attivazione: CdS convenzionali Linee Guida per l Accreditamento Periodico delle sedi e dei corsi di studio erogati in modalità convenzionali Fonte: http://www.anvur.org AVA Documenti 17