PRESIDIO DI QUALITA. Roma 22/04/2016

Transcript

1 PRESIDIO DI QUALITA Roma 22/04/2016 OGGETTO: RILEVAZIONE DATI OPINIONI STUDENTI FREQUENTANTI, LAUREANDI E LAUREATI. RELAZIONE SINTETICA DEL PRESIDIO DELLA QUALITA AGLI ORGANI DI GOVERNO E AL NDV SUL PROCESSO DI RILEVAZIONE E SUI RISULTATI Con riferimento alle elaborazioni di seguito riportate, dei dati e delle informazioni contenute nei questionari di rilevazione dell opinione degli studenti frequentanti, laureati e laureandi, nel ricordare che le modalità di rilevazione delle suddette opinioni non hanno riportato modifiche rispetto all anno precedente e che il Presidio si è accertato che il Nucleo abbia ricevuto in tempo utile dall Ateneo i dati relativi alle opinioni degli studenti, dei laureandi e dei laureati, essendo il PQA preposto a organizzare e a monitorare l andamento delle procedure di rilevazione e ad assicurare il corretto flusso di informazioni da e verso gli Organi di Governo, si osserva quanto segue. A. Obiettivi della rilevazione/delle rilevazioni. B. Modalità di rilevazione a. Organizzazione b. Strumenti di rilevazione C. Risultato delle rilevazioni a. Numeri assoluti e grado di copertura b. Livelli di soddisfazione degli studenti c. Risultati rilevazione laureandi e laureati D. Utilizzazione dei risultati a. Diffusione dei risultati A. Obiettivi della rilevazione/delle rilevazioni. Il Presidio, fin dall a.a. 2013/14, ha adottato il sistema di rilevazione delle opinioni degli studenti predisposto per gli Atenei telematici dall ANVUR.

2 Il Presidio ha sostenuto e applicato il sistema di rilevazione delle opinioni degli studenti con la finalità di: 1. Favorire l output di studenti 2. Assicurare i requisiti, anonimità, tempistica e modalità di erogazione previsti dall'anvur; 3. Migliorare il flusso di informazione in entrata ed uscita dal processo raccolta rilevazioni 4. Migliorare il sistema di erogazione dei questionari e di interrogazione del Data Base ESSETRE CINECA con estrazione automatica dei dati grezzi (Query CINECA) per tutti i CdS e per tutti gli insegnamenti, in linea con quanto applicato da altri Atenei appartenenti al Consorzio. 5. Provvedere alla diffusione dei dati grezzi e disaggregati e delle successive indagini statistiche operate dal sistema AQ per favorire una valutazione autonoma del NDV, degli organi centrali di Ateneo nella definizione delle Politiche di Ateneo, dei gruppi AQ e dei Coordinatori dei singoli CdS per le azioni di monitoraggio della didattica, di macro e microprogettazione didattica, nonché per gli interventi correttivi di eventuali problematiche da proporre ai gruppi di Riesame. Le considerazioni del Presidio relativamente al raggiungimento dei obiettivi preposti sono le seguenti: 1: il questionario viene somministrato all atto di iscrizione a ogni singolo esame ed è obbligatoria la compilazione per poter sostenere successivamente i singoli esami. Si ritiene che l obiettivo sia stato raggiunto, stante l incremento costante e complessivo del numero di valutazioni. 2: In termini di anonimità, tempistica e modalità di erogazione previste dall ANVUR il Presidio non registra problematiche particolari. Il sistema di timing di raccolta delle opinioni degli studenti prevede attualmente almeno 4 possibilità/anno di rilevazione, in previsione dell iscrizione agli appelli. Anche per gli studenti laureandi e laureati, il Presidio auspica di poter mettere in atto un sistema di erogazione automatica dei questionari attraverso il sistema ESSETRE CINECA, soprattutto in previsione di una possibile gestione dell estrazione dei dati attraverso le query specificatamente predisposte dal Consorzio. Si segnala l istituzione nel 2016 di un Ufficio di supporto al Nucleo e al Presidio, che potrà occuparsi della raccolta ed elaborazione dei dati.

3 3. Il Presidio ha assicurato la diffusione della relazione del NDV ed in particolare del punto 4, agli Organi Centrali, ai Coordinatori del CdS ed attraverso essi a tutti i docenti e ricercatori dell Ateneo: la massima diffusione dell apparato documentale del sistema AVA rientra nelle Politiche dell Ateneo e si ritiene una delle finalità del Presidio. 4.Relativamente a questo obiettivo si veda il punto B 5. Relativamente a questo obiettivo si veda il punto D B. Modalità di rilevazione a. Organizzazione Il sistema di rilevazione dell opinione degli studenti frequentanti è esteso a tutti i Cds attivi in Ateneo ed in essi tutti gli insegnamenti sono stati oggetto di valutazione da parte degli studenti: in particolare il sistema prevede che i questionari di valutazione siano disponibili per la compilazione dopo che gli studenti abbiano svolto il 75% delle attività di ciascun insegnamento da valutare ed all atto di iscrizione dello studente all esame stesso. La compilazione risulta quindi condizionante l iscrizione all esame. Il sistema di compilazione ha garantito l anonimità dello studente compilatore in quanto la singola rilevazione viene identificata solo attraverso il nome del CdS, il nome dell insegnamento a cui si riferisce, alla data di compilazione al genere dello studente compilante. Il Presidio, di concerto con i coordinatori dei CdS, ha ritenuto indispensabile ai fini delle numerosità del campione mantenere il criterio della obbligatorietà e della soglia di frequenza del 75% affinché la raccolta delle opinioni dello studente potesse presumibilmente essere obiettiva perché basata sulla valutazione della quasi totalità delle attività dei singoli insegnamenti. Le rilevazioni si sono svolte in concomitanza con l apertura delle iscrizioni alle sessioni d esame. Anche su questo punto il Presidio, sentita la componente amministrativa, ritiene che il timing della rilevazione così impostato sia funzionale alla raccolta dati, meno dispersivo, di maggior facilità di monitoraggio e soprattutto soluzione delle eventuali difficoltà tecniche di compilazione da parte degli studenti. Per i CdS L 4, L22, L 26 il periodo di raccolta delle rilevazioni si è svolto da febbraio 2015 a marzo Il sistema di estrazione dei dati ha consentito un timing preciso delle compilazioni da parte degli studenti per singolo insegnamenti dei singoli CdS. Questo dato, oltre ad assicurare la autenticità della compilazione, è particolarmente utile ai settori amministrativi ed ai docenti in merito al monitoraggio della distribuzione annuale delle frequenze degli insegnamenti ed alla intenzionalità degli studenti di iscriversi agli esami.

4 Per i CdS LM 61 ed LM 67 le rilevazioni vanno da febbraio 2015 a marzo Per i questionari di rilevazione dell opinione degli studenti laureandi, il sistema ha previsto da parte dell Ufficio lauree la somministrazione on line direttamente agli studenti agli studenti all atto della presentazione della domanda di laurea e nuovamente all atto di presentazione delle copie delle tesi, qualora lo studente non avesse provveduto alla compilazione. Le rilevazioni sono state svolte 3 volte/anno: in concomitanza della sessione di Luglio e Ottobre 2015 e Febbraio Anche per la rilevazione dei laureandi l Ateneo ha scelto la via della obbligatorietà, la compilazione del questionario è condizionante il sostenimento dell esame di Laurea, con la finalità di raggiungere la massima adesione alla rilevazione. Il Presidio rileva la possibilità di implementare anche per questa rilevazione la funzione di erogazione automatica tramite il sistema Cineca/ESSETRE, lasciando il timing delle rilevazioni invariato. Sono stati monitorati i corsi triennali poiché i corsi magistrali alla data della rilevazione, non avevano ancora completato il primo ciclo. Per i questionari dei laureati: i questionari sono stati somministrati ai laureati del luglio 2014, ottobre 2014 e febbraio Sono stati monitorati i corsi triennali poiché i corsi magistrali alla data della rilevazione, non avevano ancora completato il primo ciclo. b. Strumenti Si conferma che per il processo di Rilevazione delle opinioni degli studenti l Ateneo, e per esso il Presidio, ha visto l utilizzo esclusivo dei questionari standardizzati dell ANVUR per gli Atenei telematici ed in particolare le schede di rilevazione 1 bis per la rilevazione dell opinione studenti, 5 bis per la rilevazione dell opinione degli studenti laureati, 6 bis per la rilevazione degli studenti laureati. Le schede sono riportate in copia nell appendice a termine del presente documento e prevedono 4 tipi di risposte, di tipo qualitativo, ai singoli item. Lo strumento di erogazione della scheda degli studenti che abbiano frequentato il 75% delle attività didattiche (1 bis), per tutti i CdS attivi, per tutti gli insegnamenti è il sistema di segreteria didattica informatizzata CINECA/ESSETRE, per il quale le schede sono raggiungibili attraverso l interfaccia studenti, attraverso cui vengono compilate le iscrizioni agli esami. Le scelte degli studenti per i singoli item vanno a costituire il data-base generale delle rilevazioni dell Ateneo. Il sistema di interrogazione del data-base ed estrazione automatica dei dati delle schede di rilevazione, utilizzato dall Ateneo per la successiva analisi degli stessi, è stato proposto e messo a

5 disposizione dal CINECA degli atenei aderenti al consorzio a marzo Tale strumento è stato implementato nella struttura di interrogazione della segreteria informatizzata dell Ateneo ed ha consentito l estrazione automatica dei risultati non aggregati per tutti gli item dei questionari compilati dagli studenti, per tutti gli insegnamenti, per tutti i CdS attivi in Ateneo. I dati vengono restituiti in diversi formati tra i quali file Excel. La potenzialità del sistema sta nella disponibilità dei dati non aggregati e come tali passibili di multipli e diversi tipi di analisi. I dati estratti originariamente dal Data-base sono stati sottoposti all attenzione del NDV e a una iniziale elaborazione statistica mirata all analisi frequenze delle risposte date dagli studenti per singoli CdS, per singoli insegnamenti, per gli appelli dal marzo 2015 al febbraio Il Presidio ritiene che una fase successiva di interrogazione, analisi e confronti statistici possa svolgersi a livello dei singoli gruppi dell AQ dei CdS e dei Coordinatori del CdS con obiettivi specifici per il monitoraggio, ma anche per le azioni di miglioramento dei singoli CdS. Il Presidio ritiene sarà particolarmente utile l analisi dei suggerimenti associata ad alcuni specifici item. C. Risultati delle rilevazioni Dall analisi del template di estrazione viene confermata la totale copertura delle rilevazioni per tutti gli insegnamenti attivi e previsti nel piano di studi dei singoli CdS. Il grado di copertura dei questionari è del 100% degli studenti attivi e che si iscrivono alle prove d esame indipendentemente dal fatto che poi sostengano l esame stesso. a. numeri assoluti e grado di copertura Il confronto dei numeri complessivi di compilazione e per singolo CdS indica un nettissimo incremento delle valutazioni degli studenti in termini assoluti e percentuali rispetto all anno precedente. Questo dato sembra premiare la policy del Presidio sia in termini di sistema di erogazione sia relativamente al condizionamento dell iscrizione all esame alla compilazione degli stessi.

6 Rilevazioni analizzate Dati 2015 Dati 2016 Differenza dati assoluti Numero assoluto Nello specifico n. questionari compilati: 580 per L-24, 1409 per L-26, 5657 per L-22, 1054 per LM- 61 e 291 per LM-67. Si pone all attenzione degli Organi di Governo, quale punto sul quale avviare una riflessione, la percentuale di mancate risposte a diversi item. L analisi del Presidio prosegue poi con l esamina dei risultati per i singoli item del questionario, in termini di frequenze di risposta, per singolo CdS. E comunque previsto, all interno dei Singoli CdS, il trattamento dei dati per singoli insegnamenti. L analisi dei risultati per singoli insegnamenti dei CdS verrà presa in considerazione nei Focus Group dell AQ con i Coordinatori dei CdS, unitamente ai contenuti dei Rapporti di Riesame alle sezioni azioni correttive previste. Il questionario somministrato (scheda 1 bis) prevede che lo studente risponda a 11 domande/items suddivise per tre aree di valutazione: Insegnamento (items 1-5), Docenza (items 6-10), Interesse (item 11). Per ciascun item lo studente ha quattro possibilità di risposta (decisamente no, decisamente si, più no che sì, più sì che no). b. livelli di soddisfazione degli studenti RELATIVAMENTE ALLA VALUTAZIONE DELLA SEZIONE INSEGNAMENTO (ITEMS 1-5): in particolare conoscenze preliminari (1), carico di studio (2), materiale didattico (3), modalità d esame (4), facile accesso ai contenuti multimediali (5) Il CdS L-22 (5657 questionari esaminati) mostra una media di risposte positive pari a 82,34%, in aumento del 4,4% su questa sezione. La percentuale di risposte mediamente negative è del 13,94%, con un picco del 20,30% per la preparazione degli studenti in entrata. I risultati migliori riguardano la definizione delle modalità d esame, l adeguatezza del materiale didattico e il carico di studio. Il CdS L-26 (1409 questionari esaminati) mostra una media di risposte positive pari a una media dell 80,96% su questa sezione, in aumento rispetto all anno passato. Va rilevato che la

7 frequenza più alta di risposte decisamente negative si attesta al 20,3% per la preparazione in ingresso e al 17,7 e al 18,6 rispettivamente per il carico di studio e per l adeguatezza del materiale didattico. I risultati migliori si riguardano anche in questo caso la definizione delle modalità d esame. Il CdS L-4 (580 questionari esaminati) in questa sezione (media risposte positive pari a 84,56%), registra un incremento di risposte positive in tutte le domande (di media +3,62%). La frequenza più alta di risposte decisamente negative si conferma al secondo item attestandosi al 4,4% associata ad una percentuale del 12,6% di risposte mediamente negative. I risultati migliori si confermano l adeguatezza del materiale didattico e la proporzionalità dei carichi di studio rispetto ai CFU per insegnamento e la definizione delle modalità di esame. Il CdS LM-61 (1054 questionari esaminati) registra una media di risposte positive pari a 87,88% e di risposte mediamente negative di 9,34%. Il valore positivo più elevato si ritrova nell adeguatezza del materiale didattico. Il CdS LM 67 (291 questionari esaminati) registra una media di risposte positive pari a 87,88% e negative del 9,1%. I valori positivi più elevati si riscontrano nell adeguatezza del materiale didattico e dell adeguatezza della preparazione in entrata. RELATIVAMENTE ALLA VALUTAZIONE DELLA SEZIONE DOCENZA (ITEMS 6-10): in particolare docente motivante (6), chiarezza espositiva (7), utilità attività didattiche interattive (8), reperibilità del docente (9), disponibilità del tutor (10). Il CdS L 22 riporta una media del 72,64% di risposte positive per questa sezione, registrandosi una media di risposte negative contenuta pari all 8,8%. Risultati decisamente positivi sostanzialmente simili per tutte le domande. Si segnala una media del 18,2% di mancate risposte. Il CdS L 26 riporta una media del 70,26% di risposte positive per questa sezione, registrandosi tuttavia si una media di dato negativo pari a 11,54% associato ad una risposta negativa di 17% relativa alle attività didattiche interattive e laboratoriali. Positivo il valore espresso riguardo il tutorato è del 72.6% Il CdS L 4 registra una media del 74,42% di risposte positive. Il dato da monitorare sembra essere quello delle attività interattive e laboratoriali per le quali la bassa soddisfazione si attesta complessivamente al 14,6% ed il dato del tutoring con il 15,3% (entrambi in leggero miglioramento

8 tuttavia rispetto all anno precedente). Il dato di azione motivante dei docenti si attesta al 76,9 e alla chiarezza espositiva dei docenti pari al 78% complessivo di soddisfazione. Si rileva che si attesta attorno al 14% la quota di studenti che non ha risposto alle domande. Il CdS LM61 riporta una media del 78,1% di risposte positive per questa sezione, registrandosi tuttavia si una media di dato negativo pari a 7,98%. Il dato più elevato fa riferimento alla chiarezza espositiva del docente mentre quello maggiormente negativo è dell 11,6% per le attività interattive e laboratoriali. Mentre sono elevati i valori di valutazione della docenza. Il CdS LM67 riporta una media di 80,06% di risposte positive per questa sezione, registrandosi tuttavia si una media di dato negativo pari a 5,44%. Va evidenziato che le risposte decisamente negative sono pochissime (circa 1%) e che i valori più elevati si riscontrano nella valutazione della docenza. RELATIVAMENTE ALLA VALUTAZIONE DELL INTERESSE DEGLI STUDENTI PER IL CDS (Item 11) Il dato è di grande interesse per il Presidio, in considerazione della valenza dello stesso in termini di adeguatezza e correttezza degli orientamenti in ingresso, rispondenza al profilo professionale e coerenza in uscita della progettazione dell intero CdS. I dati mostrati dai singoli CdS risultano confortanti ed in particolare: Per L-22 una risposta di interesse complessivo degli studenti è espressa nel 90,6% dei casi, con il 1,9% degli studenti decisamente non interessati Per L-26 una risposta di interesse complessivo degli studenti è espressa nel 91,8% dei casi, con il 2,3% dei casi di studenti decisamente non interessati Per L-4 la soddisfazione complessiva degli studenti è espressa nel 94,2 % dei casi (incremento del 2,7%), con 1.4% di studenti decisamente non interessati. Per LM-61 la soddisfazione complessiva degli studenti è espressa nel 95,8 % dei casi con 0,6% di studenti decisamente non interessati. Per LM-67 la soddisfazione complessiva degli studenti è espressa nel 92,8 % dei casi con 2,7% di studenti decisamente non interessati. Il Presidio ritiene che un analisi approfondita per singoli insegnamenti a livello di AQ dei CdS e Commissione Paritetica possano mettere in luce per le singole annualità dei CdS i margini di intervento per aumentare il livello di interesse complessivo, sia a livello di macroprogettazione dei

9 CdS (numero e tipologia insegnamenti elettivi), sia nella attualizzazione e contestualizzazione dei singoli insegnamenti disciplinari attraverso una revisione critica degli obiettivi di apprendimento generali e specifici. c. Risultati rilevazioni dei laureandi e laureati Preliminarmente a ogni elaborazione, si suggerisce all Ateneo di aderire al Consorzio Almalaurea. Laureandi Nelle fasi di presentazione della documentazione per l esame di laurea per le sessioni di Luglio 2015, Ottobre 2015, e Febbraio 2016 sono stati censiti 185 laureandi (non si evince tuttavia con chiarezza se anche il numero dei questionari di valutazione raccolti sia equivalente). Di essi 17 per Moda, 138 per Scienze motorie, 30 per Agraria. La sessione con maggiore numero di laureandi è quella di febbraio con 98 studenti. Si precisa che i laureandi sono riconducibili unicamente ai corsi triennali in quanto non ancora completato il ciclo per i corsi magistrali. Per la valutazione delle opinioni dei laureandi, è stato possibile osservare 155 questionari, di cui per 14 Moda, 116 per Scienze motorie e 25 per Agraria. Le valutazioni espresse per i laureandi (solo triennali al momento in quanto non è ancora completato il primo ciclo di magistrali) presentano un quadro sostanzialmente positivo con una percentuale molto elevata di frequenza degli insegnamenti previsti valida per tutti e tre i corsi (di media il 98% degli intervistato ha seguito più del 50% degli insegnamenti previsti e degli stessi l 83% dichiara di aver seguito più del 75% degli insegnamenti). La quasi totalità dei laureandi (99%) ritiene sempre o quasi sempre adeguati gli standard tecnologici della piattaforma informatica per l erogazione dei servizi formativi. Una media dell 82% degli intervistati ritiene che le attività didattiche laboratoriali e chat, forum etc siano sempre o quasi sempre adeguate (valore più elevato per Scienze motorie). Per l utilizzo delle biblioteche si ha un valore sostanzialmente positivo (media 96%), si segnala però un mancato utilizzo da parte del 54% degli studenti). Il carico di studi è ritenuto per una media del 97% adeguato. Nessuno studente ha risposto decisamente no. Per le attività di tirocinio, ribadito che si tratta di laureandi dell a.a. 2013/14 con sessioni nel 2014 e inizio 2015, si rileva una percentuale di media contenuta di tirocini organizzati dal CdS (circa 33%, con riconoscimento di una media dle 49% di attività successive al corso) e il numero più elevato si riscontra per Agraria. Di media il 96% dei laureandi esprime un giudizio positivo sul supporto fornito dall Ateneo ai tirocini e stage (valore

10 più elevato sempre ad Agraria). La quasi totalità dei laureandi (99%) non ha svolto esperienze di studio di parte del corso all estero. Si segnala agli Organi di Governo la necessità di implementare le politiche di internazionalizzazione. Una media dell 86% si ritiene soddisfatta del CdS ( decisamente sì ) e il restante 14% si attesta su più sì che no. E il 100% dichiara che si riscriverebbe nuovamente all università, di essi il 93% allo stesso corso nello stesso Ateneo, il 3% a un altro corso dello stesso Ateneo e il 4% sceglierebbe un altro Ateneo. Laureati Gli studenti laureati vengono monitorati dall ufficio lauree nell immediato post laurea, a pochi mesi dalla laurea e ad un anno dalla laurea. Le sessioni monitorate sono Luglio 2014, Ottobre 2014, e Febbraio 2015; dai dati a disposizione si evince/intuisce che i laureati siano stati 101, di cui 66 per Scienze motorie, 10 per Moda e 25 per Agraria. La sessione maggiormente scelta è stata quella di febbraio con 59 laureati. Si segnala la non perfetta chiarezza interpretativa dei dati excel pervenuti e si auspica una riflessione congiunta tra Ateneo, Presidio e Nucleo per un approfondimento in merito. Tali valutazioni saranno fondamentali all Ateneo per la riprogettazione delle finalità della gestione dell ufficio placement dell Ateneo, unitamente ai risultati della valutazioni dell NDV su queste categorie. Dai dati sicuramente fruibili si evince che è stato possibile esaminare 41 questionari, di cui 29 per Scienze motorie, 6 di Agraria e 6 di Moda. Sintetizzando, di media il 98% si iscriverebbe di nuovo allo stesso corso nello stesso Ateneo. I seguenti valori riguardano tutti e tre i CdS. Riguardo i risultati di apprendimento: circa il 73% si ritiene decisamente soddisfatto e il 23% più sì che no delle conoscenze e capacità di comprensione specifiche del corso. Il 56% dei laureati intervistati esprime un giudizio pienamente positivo più un 39% di % più sì che no per la capacità di applicare conoscenza e comprensione specifiche del CdS. Il 66% esprime decisa soddisfazione per la capacità acquisita di autonomia di giudizio e il 73% delle acquisite capacità di abilità comunicative; il 66% decisamente soddisfatto delle capacità di apprendimento. Dei laureati intervistati, e che hanno risposto, il 42% dichiara di lavorare in un settore coerente con il proprio titolo di studio. Il 12,5% lavoro in altro settore. Il 22,5% sta cercando lavoro o prosegue nello studio (22,5%). Il 56% dichiara di non aver mai contattato il servizio di supporto ai laureati e il 44% dichiara che non esiste detto supporto. Si rileva che il 58% dei laureati ritiene che l attività di

11 tirocinio o stage ha facilitato l ingresso nel mondo del lavoro e che nel 37% dei casi si trattava di un attività riconosciuta successivamente dal corso di studio. Solo il 29 laureati hanno risposto al quesito se hanno svolto attività di studio all estero e di essi solo il 10% ha risposto positivamente. D. Utilizzazione dei risultati a. diffusione dei risultati Il Presidio garantisce la massima diffusione dei risultati. Ciò affinché i singoli docenti o i singoli CdS possano recepire i risultati di valutazione dei propri insegnamenti unitamente ai gruppi di Riesame nonché per le attività della Commissione paritetica (attori del sistema AVA), e dunque ai fini di favorire una definizione delle Politiche di Ateneo da parte degli Organi Centrali dell Ateneo. Il Presidio provvederà alle azioni di diffusione che seguono: - Inoltro dei risultati delle rilevazioni ai coordinatori del corso ed ai membri dell'aq di ciascun CdS e per essi ai docenti relativamente agli insegnamenti di cui sono incaricati. - Inoltro della relazione del NDV secondo le procedure già attuate descritte e recepite dal sistema AQ.