UNIVERSITÀ DEGLI STUDI DI TRIESTE NUCLEO DI VALUTAZIONE

Transcript

1 UNIVERSITÀ DEGLI STUDI DI TRIESTE NUCLEO DI VALUTAZIONE Relazione in merito alle opinioni degli studenti frequentanti sulle attività didattiche (L ) a.a a cura di Ufficio di Staff Studi per la Valutazione

2 Il Nucleo di Valutazione dell Università degli Studi di Trieste (D.R ) è composto da: Prof.ssa Anna Laura Trombetti, Università di Bologna, Presidente Prof. Giovanni Berlucchi, Università di Verona, Vice Presidente Dott.ssa Sonia Caffù, MIUR Prof. Roberto Iengo, SISSA Prof. Flavio Pressacco, Università di Udine Le relazioni ed i documenti del Nucleo sono reperibili sul sito Internet: L ufficio di supporto del Nucleo è l Ufficio Studi per la Valutazione: dott.ssa Raffaella Di Biase - Responsabile dott.ssa Laura Paolino dott.ssa Erika Mongiat dott.ssa Giulia Bertoni dott.ssa Giuliana Fabbro valutazione@amm.units.it 2

3 SOMMARIO 1. GLI OBIETTIVI DELL INDAGINE LE PREMESSE IL MODELLO DI RIFERIMENTO E IL MIGLIORAMENTO CONTINUO IL DISEGNO DELL INDAGINE LA METODOLOGIA ADOTTATA LO STRUMENTO DI RILEVAZIONE L ORGANIZZAZIONE DELLA RILEVAZIONE I RISULTATI DELL INDAGINE IL GRADO DI COPERTURA DELL INDAGINE LE CARATTERISTICHE DEGLI STUDENTI FREQUENTANTI IL LIVELLO DI SODDISFAZIONE DEGLI STUDENTI FREQUENTANTI La tipologia delle elaborazioni La soddisfazione degli studenti a livello di Ateneo L UTILIZZO DEI RISULTATI LA DIFFUSIONE DEI RISULTATI ALL INTERNO DELL ATENEO COMMENTI DEL NUCLEO DI VALUTAZIONE ALLEGATI

4 1. GLI OBIETTIVI DELL INDAGINE 1.1 Le premesse Ai sensi dell articolo 1, commi 1 e 2, della Legge 19 ottobre 1999, n.370 le università adottano un sistema di valutazione interna ( ) delle attività didattiche e di ricerca, ( ) verificando ( ) il corretto utilizzo delle risorse pubbliche, la produttività della ricerca e della didattica, nonché l'imparzialità e il buon andamento dell'azione amministrativa ; inoltre, ( ) acquisiscono periodicamente, mantenendone l'anonimato, le opinioni degli studenti frequentanti sulle attività didattiche e trasmettono un'apposita relazione, entro il 30 aprile di ciascun anno, al Ministero dell'università e della ricerca scientifica e tecnologica e al Comitato nazionale per la valutazione del sistema universitario ( ). A partire dall introduzione del concetto di valutazione nel sistema universitario italiano, il dibattito sulla sua utilità si è sviluppato sia a livello locale, sia a livello nazionale. L Università italiana sta vivendo un momento di profondi cambiamenti, un momento in cui la competizione fra gli atenei si gioca sulla qualità: volontà di creare aree di eccellenza, capacità di rispondere alle attese sociali e di favorire processi di miglioramento, impegno a focalizzare la propria attenzione sullo studente e sulle sue aspettative. In questo contesto, la valutazione deve rappresentare una sorta di autoanalisi di ciò che si sta facendo, in tutte le azioni dell Università. Valutarsi consente, innanzitutto, di conoscersi e di responsabilizzarsi a tutti i livelli, ma consente al tempo stesso di offrire a chi si rivolge all Università, e in particolare allo studente, quell attenzione che lo rende concretamente il centro del sistema. 1.2 Il modello di riferimento e il miglioramento continuo Il processo di valutazione della didattica è sottoposto a continue revisioni, secondo metodologie di gestione per la qualità. L Ufficio Studi per la Valutazione, coordinando il lavoro con le strutture periferiche, cura la rilevazione delle opinioni degli studenti; si occupa dell elaborazione statistica dei dati e della revisione annuale delle procedure, adottando le azioni correttive necessarie al miglioramento del processo, in linea con le indicazioni degli Organi di Governo. Nell ambito di un approccio orientato al cliente, l obiettivo della rilevazione delle opinioni degli studenti è quello di ottenere un indicazione del livello di soddisfazione dello studente. L approccio è quello proposto dalla normativa ISO Vision 2000 per i Sistemi di Gestione per la Qualità e adattato dalla CRUI alle peculiarità del Sistema Universitario. 2. IL DISEGNO DELL INDAGINE 2.1 LA METODOLOGIA ADOTTATA Le caratteristiche generali della metodologia sono: indagine il più possibile esaustiva delle attività didattiche e delle unità didattiche attive nell a.a ; compilazione del questionario in forma anonima da parte degli studenti; indagine condotta a livello del singolo modulo del corso di insegnamento; rilevazione effettuata durante lo svolgimento dei corsi (dopo lo svolgimento di più della metà delle lezioni); compilazione da parte degli studenti presenti alla lezione nel giorno fissato per la rilevazione; elaborazione di indicatori sintetici e realizzazione di presentazioni facilmente comprensibili e differenziate per i diversi portatori di interesse (Organi Accademici, Presidi, docenti responsabili dell insegnamento, studenti). 4

5 2.2 LO STRUMENTO DI RILEVAZIONE Il testo del questionario adottato per la rilevazione per l anno accademico (vedi Allegato A1) non è stato sostanzialmente modificato rispetto a quello dello scorso anno accademico: un'unica scheda a lettura ottica 1 composta da una prima sezione relativa alle informazioni sullo studente, una seconda sezione corrispondente ai 15 item comuni a tutti gli atenei italiani utilizzati dal (indicati dal gruppo di lavoro per la valutazione della didattica del CNVSU 2 ) e da una terza sezione aperta per eventuali segnalazioni di aspetti positivinegativi e proposte per il miglioramento. La scala adottata per misurare la soddisfazione è una scala ordinale a quattro modalità bilanciate (Decisamente no; Più no che sì; Più sì che no; Decisamente sì); questo tipo di scala priva di elemento centrale è stata preferita, così come suggerito dal CNVSU, per stimolare gli studenti ad assumere una presa di posizione più netta rispetto al quesito proposto. L adozione di un questionario con una parte comune a tutti gli atenei garantisce l omogeneità della rilevazione a livello nazionale e la comparabilità dei dati. Inoltre, a partire dal 2006, il Nucleo di Valutazione nell ambito delle informazioni inviate entro il 30 aprile di ogni anno al MIUR con la procedura Nuclei, comunica per ciascuna facoltà, oltre ai dati relativi alla copertura della rilevazione (numero insegnamenticfu attivati, numero insegnamenticfu valutati dagli studenti, numero questionari compilati) anche le percentuali di giudizi positivi e negativi a livello di facoltà per ciascuno dei 15 item obbligatori, nonché il numero degli insegnamenticfu valutati positivamentenegativamente dagli studenti. Il questionario è articolato in 3 sezioni: Sezione 1: Informazioni sullo studente (item a-g) Si tratta degli item che permettono di tracciare il profilo dello studente compilatore: facoltà, codice corso di studi, sesso, anno di corso, tipologia del corso di studi, percentuale esami del proprio piano di studi superati, regolarità (o ritardo) con cui lo studente segue il corso e percentuale di lezioni dell insegnamento frequentate. Sezione 2: Valutazione (item 1-15) Organizzazione del corso di studi (item 1-2) Sono rilevate le opinioni sul carico di studio complessivo nel periodo in cui si svolge l insegnamento e sull organizzazione complessiva (orario, calendario esami, ecc.). Organizzazione dell insegnamento (item 3-5) Sono rilevate le opinioni sull impegno necessario per seguire tutti gli insegnamenti del periodo didattico, sul lavoro richiesto dall insegnamento oggetto del questionario, sulla definizione delle modalità e delle regole per il sostenimento dell esame, sulla effettiva disponibilità dei docenti a incontrare gli studenti per fornire spiegazioni e chiarimenti. Attività didattiche e studio (item 6-11) Sono rilevate le opinioni sulle conoscenze preliminari possedute dallo studente, sull interesse suscitato e sulla chiarezza del docente, sull utilità del materiale didattico e delle attività didattiche integrative, nonché sulla sostenibilità del carico di studio richiesto. Infrastrutture (item 12-13) Sono rilevate le opinioni sull organizzazione delle lezioni, in termini di adeguatezza delle aule 1 La stampa dei questionari è stata effettuata in proprio dall Ateneo a cura del Servizio Grafica e Stampa dell Ufficio di Staff Comunicazione e Organizzazione Eventi. 2 Proposta di un insieme minimo di domande per la valutazione della didattica da parte degli studenti frequentanti DOC 902 CNVSU. 5

6 per le lezioni, sulle esercitazioni e i seminari e sulle attrezzature utilizzate per lo svolgimento delle esercitazioni. Interesse e soddisfazione (item 14-15) Sono rilevate le opinioni sull interesse personale alla disciplina e sul grado di soddisfazione globale nei confronti dell insegnamento. Quesiti specifici di facoltà (item 16-20) L Ufficio Studi per la Valutazione ha segnalato ai Presidi la possibilità di introdurre nel questionario un numero limitato di item aggiuntivi per indagare aspetti specifici di interesse della facoltà. Dal per la facoltà di Lettere e Filosofia (vedi Allegato A2) sono stati aggiunti 5 quesiti relativi all utilizzo del sito web di facoltà e alla completezzacorrettezza delle informazioni ivi contenute relativamente a ciascun insegnamento (orari, aule, programma e testi d esame, date appelli, disponibilità dei testi nelle biblioteche dell Ateneo). Sezione 3: Eventuali segnalazioni di aspetti positivinegativi, proposte per il miglioramento A partire dall a.a è stata inserita una sezione aperta per permettere allo studente di esprimere eventuali considerazioni e proposte relativamente all insegnamento frequentato. Su richiesta della facoltà di Economia, presso la quale è attivo dall a.a un curriculum di studi in lingua inglese nell ambito del corso di laurea triennale in Economia, commercio internazionale e mercati finanziari, è stata realizzata una versione inglese del questionario (vedi Allegato A3) con la preziosa collaborazione del Centro Linguistico di Ateneo. Tali questionari sono stati utilizzati per la rilevazione dei corsi di insegnamento svolti in lingua inglese e distribuiti in tutte le facoltà per le esigenze degli studenti Erasmus. 2.3 L ORGANIZZAZIONE DELLA RILEVAZIONE La rilevazione, coordinata centralmente dall Ufficio Studi per la Valutazione e localmente dai Centri Servizi di Facoltà, si è svolta con questionario cartaceo nel periodo che va da ottobre 2011 a giugno Per l anno accademico è stata adottata, con Rettorale prot dd , la procedura di distribuzione del questionario di valutazione della didattica già utilizzata nei precedenti anni accademici: 1.a. distribuzione dei questionari durante le lezioni da parte di uno studente 150 ore eo altre risorse messe a disposizione dalla Facoltà (es: tutor, rappresentanti studenti, personale Centro Servizi, ) per le facoltà di: Architettura, Farmacia, Giurisprudenza, Scienze Politiche, SSLMIT; 1.b. distribuzione dei questionari durante le lezioni da parte del docente con il materiale predisposto ed inviatogli dallo studente 150 ore eo dall Ufficio Studi per la Valutazione (es: tutor, rappresentanti studenti, personale Centro Servizi, ) per le facoltà di: Economia, Ingegneria, Lettere e Filosofia, Medicina e Chirurgia, Psicologia, Scienze della Formazione, Scienze MMFFNN. Nelle facoltà più articolate, per dimensioni o sedi didattiche, data l oggettiva difficoltà per un unico studente di recarsi in tutte le aule durante le lezioni, i docenti hanno ricevuto per posta interna il materiale necessario alla rilevazione. Per la distribuzione e raccolta dei questionari al docente è stato consigliato di avvalersi della collaborazione di due studenti presenti in aula, secondo le istruzioni allegate. 6

7 Questa modalità è stata adottata anche nella facoltà di Psicologia, che pur essendo di piccole dimensioni, ha però utilizzato negli ultimi anni questa forma di distribuzione con successo e non si è quindi ritenuto di modificarla. Sulla base della procedura formalizzata dall Ufficio, per entrambe le modalità di rilevazione sono state redatte Istruzioni dettagliate per i docenti e per gli studenti 150 ore incaricati della rilevazione (vedi Allegato B). La tabella seguente riporta il dettaglio delle risorse impiegate per la distribuzione dei questionari specificando il numero totale di ore degli studenti coadiutori impiegate nella rilevazione per ciascuna facoltà. Facoltà Studenti 150 ore (ore utilizzate complessivamente presso la facoltà o per la predisposizione del materiale presso USV) 7 Modalità di distribuzione (docente, studente 150 ore, tutor) Architettura 25 Studente Economia 25 (presso USV) Docente Farmacia 100 StudenteTutor Giurisprudenza 150 Studente Ingegneria 25 (presso USV) Docente Lettere e filosofia 150 DocenteStudente Medicina e chirurgia 150 Docente Psicologia 0 Docente Scienze della Formazione 0 Docente Scienze Politiche 25 (presso USV) Tutor Sc. MM.FF.NN. 25 (presso USV) Docente Scuola superiore di lingue MIT 0 Docente Sede GO (Architettura, Scienze 150 Studente Politiche) TOTALE 825 Tabella 1 Anche quest anno, l USV ha organizzato la rilevazione in stretta collaborazione con i Centri Servizi di Facoltà. L USV ha predisposto gli elenchi delle attività formative attivate in ciascuna facoltà utilizzando il file coperture disponibile in UGOV, Tali elenchi hanno consentito di tenere sotto costante controllo lo svolgimento della rilevazione fungendo da check list per l invio del materiale, poiché sulla base di questi elenchi l USV ha predisposto i frontespizi prestampati con i dati del corso (nome corsomodulo, docente, semestre, corso di studi, ). Sui frontespizi con i dati relativi al corso di insegnamento sono stati inseriti anche alcuni campi la cui compilazione a cura del docente consente la tracciabilità del percorso della busta di rilevazione, dei tempi di invio del materiale e del numero di studenti effettivamente presenti in aula nel giorno della rilevazione (vedi allegato C). L Ufficio Studi per la Valutazione, ha provveduto all approvvigionamento e all invio presso i centri servizi delle buste di rilevazione pronte per la distribuzione al docente e di tutte le ulteriori risorse necessarie per la rilevazione: copie del questionario lettura ottica; copie delle istruzioni per i docenti; frontespizi da applicare sulle buste di raccolta;

8 L Ufficio è rimasto a disposizione dei Centri Servizi, seguendone l attività con contatti frequenti, per facilitare in ogni modo il successo della rilevazione. Al termine di ogni periodo didattico i Centri Servizi hanno inviato le buste dei corsi valutati all Ufficio Studi per la Valutazione, che ha provveduto a conservarle presso la propria sede fino alla conclusione della fase di lettura ottica. Come per gli anni accademici precedenti, l invio delle buste contenenti i questionari compilati si è protratto fino alla fine del mese di agosto. A partire dal mese di marzo 2012, l Ufficio ha iniziato la lettura ottica dei questionari, avvalendosi anche della collaborazione di 2 studenti con contratto 150 ore (per un totale di circa 100 ore del loro contratto dedicate a questa fase). Il software utilizzato ha consentito anche di acquisire le immagini di ciascun questionario, permettendo in questo modo l archiviazione ottica della documentazione cartacea che verrà di conseguenza eliminata immediatamente dopo la fase di verifica. Ultimata la lettura dei questionari, i risultati sono stati elaborati in modo da ottenere i report relativi alla valutazione dei singoli insegnamenti e i report riassuntivi delle valutazioni medie di facoltà e di Ateneo. 3. I RISULTATI DELL INDAGINE 3.1 IL GRADO DI COPERTURA DELL INDAGINE Nell anno accademico sono state valutate unità didattiche ovvero corsi di insegnamento o moduli (di seguito indicati corsi) su circa attivate, raccogliendo schede ottiche di valutazione della didattica. Considerando i singoli moduli, è stato rilevato quindi circa l 84,49% dei corsi di insegnamento attivati dall Ateneo. Considerando le attività didattiche attivate (circa 1.820) invece delle unità didattiche, per di queste è stata effettuata almeno una valutazione (complessiva o per almeno una delle unità didattiche previste). Applicando questo criterio, il tasso di copertura della rilevazione sale all 89,12% (rispetto all 88,90% dello scorso anno accademico). In generale, per quest anno accademico la copertura della rilevazione in termini di percentuale di attività didattiche valutate dagli studenti rispetto a quelle attivate si è dimostrata adeguata in tutte le facoltà e si mantiene negli ultimi anni in tendenziale miglioramento. Per l a.a , come per il precedente anno accademico, si nota invece una diminuzione numerica di corsi valutati e questionari raccolti, dovuta alla razionalizzazione dell offerta didattica (-8% di insegnamenti attivati nell ultimo anno) conseguente all applicazione, a partire dall a.a , dei requisiti organizzativi previsti dall art. 9 del DM (così come anticipati dalla nota MIUR n ), volti a ridurre la parcellizzazione e la proliferazione delle attività didattiche. I dati complessivi relativi ai tassi di copertura stimati sono riassunti nella Tabella 2. 8

9 FACOLTA' N. Unità Didattiche attivate N. Attività Didattiche attivate N. insegnament imoduli rilevati N. AD con almeno 1 UD rilevata Copertura della rilevazione (corsi rilevati su UD attivate) Copertura della rilevazione (AD con almeno 1 UD rilevato) Numero questionari Architettura ,69% 80,00% Economia ,72% 97,28% Farmacia ,38% 96,61% Giurisprudenza ,31% 100,00% Ingegneria ,11% 87,73% Lettere e filosofia ,02% 85,27% Medicina e chirurgia ,81% 85,61% Psicologia ,38% 93,33% Scienze della Formazione ,74% 91,43% Scienze MMFFNN ,05% 87,21% Scienze politiche ,21% 88,29% SSLMIT ,75% 92,92% TOTALE ATENEO ,49% 89,12% Tabella 2 Risulta interessante osservare l andamento dei dati relativi alla copertura della rilevazione e al numero di questionari raccolti, negli ultimi tre anni accademici (dal al ). Grafico 1. Trend copertura della rilevazione 9

10 Grafico 2. Trend questionari raccolti 3.2 LE CARATTERISTICHE DEGLI STUDENTI FREQUENTANTI Gli item presi in considerazione per tracciare il profilo degli studenti compilatori sono quelli della I sezione del questionario Informazioni sullo studente (vedi paragrafo 2.2), che a questo scopo sono stati aggiunti a quelli ministeriali. FACOLTÀ ISCRITTI ISCRITTI IN CORSO % ISCRITTI IN CORSO SU TOTALE ATENEO % STUDENTI COMPILATORI QUESTIONARI COMPILATI QUESTIONARI COMPILATI PER ISCRITTO IN CORSO ARCHITETTURA ,41% 3,91% ,49 ECONOMIA ,06% 9,73% ,46 FARMACIA ,31% 5,35% ,92 GIURISPRUDENZA ,66% 5,27% ,13 INGEGNERIA ,63% 10,02% ,66 LETTERE E FILOSOFIA ,03% 5,47% ,02 MEDICINA E CHIRURGIA ,19% 20,11% ,02 PSICOLOGIA ,34% 3,21% ,84 SCIENZE DELLA FORMAZIONE ,97% 5,29% ,34 SCIENZE MMFFNN ,34% 12,95% ,84 SCIENZE POLITICHE ,21% 10,34% ,28 SSLMIT ,86% 7,08% ,67 NON RISPONDE ,27% - - TOTALE ,00% 100% ,84 Tabella 3 A livello di ateneo, il 20,11% dei questionari è stato compilato da studenti iscritti alla facoltà di Medicina e Chirurgia che rappresentano però solo l 11,19% degli iscritti in corso totali (con una media di 7,02 questionari compilati da ogni iscritto in corso alla facoltà). Questo dato riflette sia l obbligo di frequenza tipico dei corsi di studio di questa facoltà sia il fatto che la rilevazione delle opinioni degli studenti avviene a livello del singolo modulo. 10

11 I questionari sono stati compilati per il 57,20% da studentesse e per il 34,88% da studenti (per il 7,93% dei questionari il compilatore preferisce non indicare il proprio genere). Il dato riflette abbastanza bene la diversa composizione del corpo studentesco, composto per il 57,2% da donne. I questionari sono stati compilati per il 60,19% da studenti iscritti ad un corso di laurea triennale, per il 17,84% da studenti iscritti ad un corso di laurea specialisticamagistrale, per il 16,42% da studenti iscritti ad un corso di laurea a ciclo unico. Solo il 4% dei compilatori è ancora iscritto ad un corso di laurea di ordinamento precedente alla riforma ex DM 50999, quasi esclusivamente studenti iscritti al corso di laurea in Formazione Primaria. Il 22,03% dei compilatori del questionario non ha ancora sostenuto un esame; ben il 26.34% dei questionari è stato compilato invece da studenti che hanno già superato più del 75% degli esami necessari al conseguimento del titolo. Per quanto riguarda la regolarità negli studi, si può osservare che solo il 5,57% dei compilatori ha valutato insegnamenti frequentati in ritardo rispetto al proprio piano degli studi. Gli studenti più regolari sono quelli iscritti a Medicina e Chirurgia (il 97,75% segue corsi nell anno previsto dal piano degli studi), Scuola di Lingue (96,16%), Scienze MMFFNN (95,64%). Nella facoltà di Lettere e Filosofia si rileva invece la percentuale relativamente più alta (8,97%) di studenti che ha valutato un insegnamento frequentato in ritardo rispetto all anno accademico per il quale risultava inserito nel piano degli studi. Il dato relativo alla regolarità degli studi è comunque in progressivo miglioramento a partire dall introduzione della riforma e in tutte le facoltà risulta ormai marginale la percentuale di studenti che frequenta i corsi in ritardo rispetto al proprio piano di studi. Inoltre, la percentuale di questionari compilati da studenti fuori corso è solo del 3,98%. Gli studenti intervistati sono assidui frequentatori delle lezioni: a livello di Ateneo ben l 82,27% dei questionari è stato compilato da studenti che dichiarano di aver frequentato più del 75% delle lezioni (si va dal 90,74% di Medicina e Chirurgia al 68,65% di Lettere e Filosofia). Per completare il profilo degli studenti compilatori, si è ritenuto opportuno esaminare anche le risposte all item 6, che riguarda il modo in cui gli studenti giudicano il proprio bagaglio di conoscenze rispetto ai contenuti del corso frequentato. La preparazione di base degli studenti che frequentano i corsi dell Ateneo triestino si rivela adeguata alla comprensione degli argomenti trattati: il 77,33% degli studenti interpellati valuta le proprie conoscenze preliminari sufficienti. Il dettaglio delle percentuali di risposta a livello di facoltà e di ateneo relative al profilo studenti è riportato nel report R_Profilo Studenti Facoltà Ateneo. 3.3 IL LIVELLO DI SODDISFAZIONE DEGLI STUDENTI FREQUENTANTI La tipologia delle elaborazioni Le risposte ai questionari sono state raccolte per ogni facoltà in un database Access, all interno del quale sono state poi effettuate le elaborazioni. Per consentire il confronto tra le facoltà i database sono stati costruiti con le stesse tipologie di report e di indicatori. Inoltre è stato creato un database di Ateneo con i risultati aggregati a livello di facoltà. Seguendo la struttura del questionario i risultati sono stati elaborati raggruppando gli item in 6 fattori, sostanzialmente corrispondenti alle sezioni del questionario. Per ogni facoltà sono stati creati 3 report relativi ai singoli corsi di insegnamento: 1. R_Profilo_Studenti. Il report contiene una scheda per ogni corso di insegnamento con le percentuali di risposta alle domande del questionario relative al fattore Profilo studenti compilatori (item a-g e item 6). Il report Profilo studenti descrive le caratteristiche degli 11

12 studenti che hanno valutato il corso, in termini di: genere, facoltà, tipo corso di studi e anno di iscrizione, percentuale di esami sostenuti, frequenza alle lezioni, regolarità negli studi e adeguatezza delle conoscenze preliminari. 2. R_Valutazione_Insegnamento. Il report contiene una scheda per ogni corso di insegnamento con le percentuali di risposta di tutti gli item valutativi (item 1-15) del questionario e permette un analisi dettagliata della valutazione ricevuta. Per ciascun item è stato calcolato come indicatore sintetico un Punteggio (da 2 a 10), ottenuto assegnando punteggio 2 alle risposte Decisamente NO, 5 alle risposte Più NO che sì, 7 alle risposte Più SÌ che no, 10 alle risposte Decisamente SÌ. Questa modalità di trasformazione della scala di risposta categorica a 4 punti in un punteggio numerico è proposta ed utilizzata dal Gruppo Valmon dell Università di Firenze 3 secondo il quale la modalità di assegnazione dei punteggi si basa sull ipotesi che il metro di giudizio sottostante abbia una distribuzione continua simmetrica tale che la distanza fra le due modalità centrali sia inferiore alla distanza tra ogni modalità centrale e la modalità estrema continua. L ipotesi è certamente arbitraria, infatti l attribuzione del punteggio ha il solo scopo di facilitare la lettura e l interpretazione dei risultati e delle percentuali di risposta. Inoltre, per ciascun item sono state accorpate le percentuali di risposta negative ( Decisamente NO + Più NO che Sì = % NO) e risposte positive ( Più SÌ che No + Decisamente SÌ =% SÌ). La prevalenza dell una o dell altra tipologia di risposta è stata rappresentata graficamente nella colonna Giudizio: una faccina 4 sorridente per la valutazione positiva, una imbronciata per la valutazione negativa ed una neutra in caso di parità. Il report permette quindi di avere un indicatore grafico immediato dei punti di forza o di debolezza del corso. 3. R_Commenti. Il report contiene una scheda per ogni singolo corso per i quali sono stati espressi commenti nella terza sezione del questionario ( Eventuali segnalazioni di aspetti positivinegativi, proposte per il miglioramento ) e riporta testualmente 5 i pareri espressi liberamente dagli studenti nei questionari relativi al corso di insegnamento. 4. R_Quesiti specifici di Facoltà. Per la Facoltà di Lettere è stato predisposto anche un report contenente una scheda per ogni singolo corso con le risposte relative ai 5 quesiti aggiuntivi del questionario inseriti su richiesta del Consiglio di Facoltà. Sono stati inoltre realizzati due report di facoltà: 5. R_Soddisfazione. Per ogni facoltà è stato predisposto un report di sintesi che elenca tutti gli insegnamenti rilevati nella facoltà con le rispettive percentuali di risposta all item 15 ( Sono complessivamente soddisfatto di come è stato svolto questo insegnamento? ) e i relativi Punteggi calcolati per lo stesso item. Tali valori fungono da indicatori sintetici del livello di soddisfazione degli studenti. Il report è strutturato in modo da consentire l immediata individuazione dei corsi considerati soddisfacenti dagli studenti, utilizzando anche la rappresentazione grafica già vista in precedenza, e permette di confrontare la valutazione ottenuta da ogni singolo corso con quella media di facoltà descritta in termini di punteggio medio di facoltà, punteggio minimo e punteggio massimo e percentuale di corsi rilevati che è stata valutata soddisfacente dagli studenti, e riportata 3 L. Grilli, Valutazione della didattica da parte degli studenti attraverso un questionario unico: l esperienza dell Ateneo fiorentino, pp , in Valutazione della didattica con sistemi computer-assisted (a cura di M. Civardi e L. Fabbris), CLEUP Tale simbologia richiama l impostazione grafica del questionario proposta dal Comitato Nazionale per la Valutazione del Sistema Universitario. 5 Durante la fase di trascrizione dei commenti dai questionari nell apposita tabella del DB, si è ritenuto opportuno mantenere tutti i commenti, anche se di natura personale o fortemente negativi, eliminando esclusivamente quelli a contenuto offensivo o volgare in quanto non coerenti con lo spirito della rilevazione e lesivi della dignità del docente. 12

13 nell intestazione del report. Dallo scorso anno accademico è stato calcolato e riportato anche un nuovo indice, definito Indice di Soddisfazione, ottenuto pesando le 4 classi di giudizio: Decisamente no = -1; Pù no che sì = -0,5; Pù sì che no = +0,5; Decisamente sì = R_Facoltà_Indicatori. Il report contiene una scheda di facoltà che riporta il numero di corsi valutati, il numero di questionari raccolti e la valutazione media ottenuta dalla facoltà nell ambito dei due fattori considerati di interesse a livello di struttura: Organizzazione corso di studi, Infrastrutture. Per ciascun item di ciascun fattore sono riportare le percentuali di risposta, la prevalenza di risposte positive o negative rappresentata graficamente con una faccina come nel report 3 e il punteggio medio calcolato come indicato per il report 2. Per la Facoltà di Lettere sono riportati in questo report anche le percentuali di risposta complessive di facoltà relative ai quesiti specifici aggiuntivi. A livello di Ateneo, inoltre, sono stati creati i seguenti due report contenenti i dati aggregati per Facoltà: 7. R_Profilo_Studenti_FacoltàAteneo. Questo report contiene le percentuali di risposta medie per gli item relativi al Profilo studenti compilatori (item a-g e item 6) a livello di Facoltà e a livello di Ateneo. 8. R_Ateneo_Indicatori_FacoltàAteneo. Questo report contiene le percentuali di risposta medie relativamente agli item di tutti i fattori valutativi a livello di Facoltà e a livello di Ateneo. La prevalenza delle risposte positive o negative è stata, anche in questo caso, rappresentata graficamente nella colonna Giudizio. Inoltre è riportato il voto medio ottenuto dai corsi di insegnamento per ciascun item. 9. R_Ateneo_Soddisfazione. Si tratta di un report di riepilogo dei dati relativi alla soddisfazione degli studenti nelle Facoltà e nell'intero Ateneo. Nella tabella presentata vi sono per ogni Facoltà, tutti i dati numerici della rilevazione (questionari raccolti, corsi rilevati, tasso di copertura della rilevazione) e un indicatore di soddisfazione a livello di facoltà: la percentuale di corsi valutati soddisfacenti dagli studenti sul totale dei corsi rilevati La soddisfazione degli studenti a livello di Ateneo Nel report R_Ateneo_Indicatori_FacoltàAteneo sono stati analizzati a livello di facoltà e di ateneo i risultati relativi alla soddisfazione degli studenti per le infrastrutture, l organizzazione dei corsi di studio e di facoltà, la qualità delle attività didattiche. Customer Satisfaction delle infrastrutture Gli studenti dell Ateneo dimostrano di essere generalmente soddisfatti delle infrastrutture a disposizione della didattica: infatti, il 77,97% dei compilatori valuta positivamente le aule per le lezioni e il 77,71% 7 di coloro che usufruiscono di attività didattiche integrative è soddisfatto dei locali e delle attrezzature ad esse dedicati. In tutte le facoltà i giudizi espressi sulle aule per le lezioni sono globalmente positivi. Il dato analizzato per facoltà risulta coerente con quello ottenuto negli scorsi anni accademici, con studenti relativamente meno soddisfatti nella facoltà di Psicologia (52,5% di giudizi positivi), mentre gli studenti più contenti delle strutture offerte dalla propria facoltà sono quelli di Scienze MMFFNN (88,4%) e di Scuola di Lingue (84,55%). 6 P. Giudici, Metodi di rilevazione della qualità percepita della didattica tramite w.w.w. Esperienze vissute ed esperimenti per la definizione di buone pratiche, Roma CNVSU Tutte le percentuali indicate per le risposte relative alle Infrastrutture per la Didattica Integrativa sono state ottenute scorporando dal totale le percentuali dei non rispondenti e di coloro che hanno risposto "Non previste". 13

14 In netto miglioramento la valutazione delle aule nella facoltà di Architettura (61,27% di giudizi positivi rispetto al 53,14% dello scorso anno), per effetto del trasferimento della sede didattica per la laurea triennale nel polo didattico di Gorizia e nella facoltà di Farmacia (80,69% di giudizi positivi rispetto al 67,47% dello scorso anno) dove si è risolto il problema dovuto alla temporanea inagibilità dell aula utilizzata dagli studenti del I anno. Anche per quanto riguarda le infrastrutture per le attività didattiche integrative il giudizio è globalmente positivo in tutte le facoltà. Customer Satisfaction dell'organizzazione L Ateneo di Trieste raccoglie giudizi globalmente positivi anche per l aspetto riguardante l organizzazione dei corsi di studio (76,31% di risposte positive) e la distribuzione del carico didattico (75,27%), dato in linea con quello registrato lo scorso anno. I risultati migliori nel giudizio relativo all adeguatezza del carico didattico si riscontrano nelle facoltà di Scuola Superiore di Lingue MIT (90,39%) e Scienze MMFFNN (82,35%); mentre la percentuale più bassa di giudizi positivi è quella ottenuta da Medicina e chirurgia (68,52%). Risultati analoghi per l organizzazione complessiva degli insegnamenti, giudicata meglio dagli studenti di Scuola Superiore di Lingue MIT (88,4%) e Scienze MMFFNN (84,324%) e peggio da quelli della facoltà di Medicina e chirurgia (70,58% di giudizi positivi). Customer Satisfaction della didattica Per valutare la soddisfazione degli studenti per la didattica impartita nell'ateneo, sono state utilizzate le percentuali di risposta all'item 15 "Sono complessivamente soddisfatto di come è stato svolto questo insegnamento?". Infatti, poiché questo item rappresenta la valutazione espressa dagli studenti su quanto globalmente il corso di insegnamento soddisfi le loro esigenze, le percentuali di risposta possono essere utilizzate come indicatori sintetici della qualità del corso. Le percentuali di risposta all'item 15 e il punteggio sintetico calcolato per tutti gli insegnamenti di ogni Facoltà sono stati raccolti nel report R_Soddisfazione_Studenti, che permette di conoscere il valore dell'indicatore di Customer Satisfaction di ciascuna attività didattica (evidenziato graficamente nella colonna Giudizio) e la percentuale di corsi soddisfacenti di ciascuna Facoltà. Nel report R_Ateneo_Soddisfazione è stata riportata la percentuale di corsi soddisfacenti di ogni facoltà e, complessivamente, dell'ateneo (Customer Satisfaction globale). A livello di Ateneo il 92,32% dei corsi rilevati è stato valutato soddisfacente. La maggior percentuale di corsi soddisfacenti è stata raggiunta nella facoltà di Scuola di Lingue MIT dove il 96,82% dei corsi valutati è stato promosso dagli studenti; seguono Economia (96,09%) Lettere e Filosofia (95,61%) e Scienze della Formazione (95,26%). La percentuale relativamente più bassa di corsi valutati positivamente si riscontra nella facoltà di Architettura (84,48%). 14

15 Grafico 3. Percentuali di corsi valutati soddisfacenti dagli studenti Per quanto riguarda i punteggi medi di facoltà all ìtem 15, l ateneo raggiunge un punteggio medio di 7,74 (dove 2 è il punteggio minimo e 10 quello massimo), con punteggi medi tutti superiori al 7 e compresi tra il 7,26 delle facoltà di Architettura e Farmacia e l 8,11 ottenuto dalla facoltà di Lettere e Filosofia. Facoltà Numero domanda Voto medio Architettura 15 7,26 Economia 15 7,61 Farmacia 15 7,26 Giurisprudenza 15 7,96 Ingegneria 15 7,64 Lettere e filosofia 15 8,11 Medicina e Chirurgia 15 7,52 Psicologia 15 7,74 Scienze della Formazione 15 7,86 Scienze MMFFNN 15 7,76 Scienze Politiche 15 7,97 SSLMIT 15 8,25 TOTALE ATENEO 15 7,75 Tabella 4 Eventuali segnalazioni di aspetti positivi e negativi e proposte per il miglioramento Le segnalazioni degli studenti nella sezione aperta del questionario sono state singolarmente trascritte in un apposita tabella di ciascun DB di facoltà ed è stato creato un report contenente i 15

16 commenti espressi per ciascun corso di insegnamento. Il lavoro di trascrizione è stato rilevante in termini di tempo ma si auspica che alcune segnalazioni (che sono state espresse in modo concorde da molti studenti) potranno costituire un utile fonte di informazioni per la pianificazione delle attività didattiche delle facoltà e dei corsi di studio. Come si può vedere nella tabella 5 la sezione III è stata compilata nel 7,99% dei questionari raccolti (3.884 questionari con commenti) e sono state espresse segnalazioni per poco più della metà dei corsi di insegnamento rilevati: la percentuale di corsi commentati varia dal 36,10% della facoltà di Lettere e Filosofia all 84,48% della facoltà di Architettura e sembra essere inversamente correlata alla soddisfazione. FACOLTA' N. insegnamentimodu li rilevati N. insegnamenti moduli per cui sono stati espressi commenti % insegnamenti con commenti Numero questionari Numero questionari con commenti % questionari con commenti Architettura ,48% ,41% Economia ,07% ,08% Farmacia ,68% ,37% Giurisprudenza ,69% ,88% Ingegneria ,19% ,78% Lettere e filosofia ,10% ,33% Medicina e chirurgia ,04% ,60% Psicologia ,38% ,35% Scienze della Formazione ,24% ,68% Scienze MMFFNN ,24% ,34% Scienze politiche ,00% ,90% Scuola di lingue MIT ,96% ,10% TOTALE ATENEO ,18% ,99% Tabella 5 4. L UTILIZZO DEI RISULTATI 4.1 LA DIFFUSIONE DEI RISULTATI ALL INTERNO DELL ATENEO Il Senato Accademico nella seduta del ha deliberato di attivare la pubblicizzazione dei dati riguardanti la valutazione della didattica nei confronti delle figure investite di responsabilità funzionali nell organizzazione della didattica, vale a dire Presidi, Presidenti di Consigli di corso di studio, membri dei Comitati Paritetici per la Didattica (di Facoltà) e della Commissione senatoriale per la Didattica, membri del Nucleo di Valutazione. I Presidi di Facoltà informano obbligatoriamente i docenti sull esito della valutazione che li riguarda e demandano ai rispettivi Comitati Paritetici per la Didattica l opportuno approfondimento sui risultati della valutazione. L Ufficio Studi per la Valutazione cura, inoltre, la pubblicazione sul sito web del Nucleo di Valutazione ( dei risultati aggregati a livello di Facoltà e di Ateneo e la realizzazione di una reportistica relativa alla soddisfazione degli studenti per ciascun corso di studio ai fini dei Requisiti di Trasparenza previsti dall art.3 del DM

17 Per l a.a l Ateneo, acquisito il parere favorevole del Nucleo di Valutazione, ha deliberato (CdA ) l adesione, a partire dall anno accademico in corso, al sistema informativo statistico SIS-VALDIDAT, realizzato dal Dipartimento di Statistica dell Università degli Studi di Firenze e già in uso presso altri atenei italiani. L accesso a tale sistema per la diffusione via web dei risultati della rilevazione annuale delle opinioni degli studenti frequentanti è stato reso disponibile a tutti i soggetti coinvolti nella rilevazione, siano essi docenti o studenti. Il generico utente accede all informazione di interesse semplicemente collegandosi ad internet e consultando la sezione relativa al nostro Ateneo sul sito Il sistema prevede un meccanismo di protezione degli accessi deputato al riconoscimento del corpo docente e all attribuzione dei relativi privilegi di navigazione: ogni docente riconosciuto (previo inserimento delle credenziali di Ateneo) può, in aggiunta alle opportunità di consultazione comuni all utenza esterna, consultare le valutazioni relative ai propri insegnamenti e modificare in ogni momento il nulla osta in merito alla visione pubblica degli stessi, nel pieno rispetto della vigente normativa per la tutela della privacy. Solo determinate tipologie di utenti, definite dall Ateneo (Rettore, componenti del Nucleo di Valutazione, Presidi, Presidi vicari, Presidenti di corso di laurea), sono state autorizzate alla consultazione dei dati relativi a tutti gli insegnamenti attivati, anche di quelli non in chiaro (ovvero insegnamenti per i quali non è stata concessa l autorizzazione alla visione pubblica dal docente). Il sistema garantisce inoltre il libero accesso via web a tutti i dati aggregati per Facoltà e corso di laurea, nonché ai dati relativi agli insegnamenti in chiaro, utilizzando anche opportune rappresentazioni grafiche. 4.2 EVENTUALI AZIONI DI INTERVENTO Le azioni di intervento relativamente ai corsi di insegnamento che non abbiano ottenuto una valutazione sufficiente sono affidate ai Presidi di Facoltà. Alcune facoltà ad esempio utilizzano i risultati della valutazione della didattica per il rinnovo o l affidamento di incarichi di docenza a contratto. 5. COMMENTI DEL NUCLEO DI VALUTAZIONE Il Nucleo di Valutazione ritiene positivo il costante aumento del tasso di copertura della rilevazione delle opinioni degli studenti frequentanti. Il Nucleo ritiene corretta ed esaustiva la modalità di pubblicazione dei risultati scelta dall Ateneo. Infine, il Nucleo ribadisce l importanza di raccogliere le opinioni anche degli studenti non frequentanti, realizzando un questionario ad hoc destinato a questa tipologia di studenti. Il questionario potrebbe essere implementato nell ambito del passaggio dall attuale rilevazione cartacea (questionario distribuito in aula ai soli frequentanti) alla rilevazione on line (questionario differenziato in base alla tipologia di frequenza, da sottoporre a tutti gli studenti prima dell iscrizione all esame). Al riguardo, si evidenzia che l Ateneo ha avviato una sperimentazione di rilevazione via web con il sistema ESSE3, limitatamente alle attività didattiche di 4 corsi di studi della facoltà di Farmacia e Psicologia nel secondo semestre dell a.a

18 ALLEGATI ALLEGATO A - QUESTIONARIO CORSI DI INSEGNAMENTO ALLEGATO B - ISTRUZIONI RILEVAZIONE ALLEGATO C - FORM FRONTESPIZIO BUSTE 18

19 ALLEGATO A1 QUESTIONARIO

20 20

21 ALLEGATO A2 QUESTIONARIO FACOLTÀ DI LETTERE E FILOSOFIA 21

22 ALLEGATO A3 QUESTIONARIO ENGLISH 22

23 23

24 ALLEGATO B: ISTRUZIONI VALUTAZIONE DELLA DIDATTICA A.A La legge n prevede che le università raccolgano mantenendone l anonimato, le opinioni degli studenti frequentanti sulle attività didattiche. La valutazione della didattica è uno strumento fondamentale per ottenere utili indicazioni per la gestione e la programmazione dell attività dell Ateneo, per pianificare l offerta formativa e per favorire un dialogo aperto e costruttivo tra Ateneo e studenti. ISTRUZIONI PER LA RILEVAZIONE Il Docente riceve dal Centro ServiziUSV il materiale per la rilevazione del corso di insegnamento. Il docente verifica la correttezza dei dati sul frontespizio della busta e che sia presente un numero di questionari sufficiente per i frequentanti del corso. In particolare si prega di: - Controllare e correggere manualmente eventuali dati errati riportati sul frontespizio e verificare che siano indicati tutti i corsi di laurea per i quali è previsto l insegnamento e tutti i codici meccanografici relativi all insegnamento. Nel caso siano stati inviati più frontespizi per un insegnamento impartito in modo unitario, utilizzare solamente uno dei frontespizi e inserire gli altri frontespizi nella busta. Per qualsiasi dubbio contattare l USV ai recapiti indicati. - Se il numero di questionari non è sufficiente per il numero di studenti frequentanti del corso, richiedere ulteriori quantitativi di questionari al proprio Centro ServiziUSV. IN NESSUN CASO IL QUESTIONARIO DEVE ESSERE FOTOCOPIATO O STAMPATO IN PROPRIO! Il Docente fissa la data per la rilevazione (verso i ¾ del corso, per permettere agli studenti di disporre degli elementi necessari alla valutazione), tenendo conto anche del numero di studenti presenti a lezione. Il Docente, nella data fissata, dopo aver informato gli studenti sull importanza e le finalità della rilevazione, consegna il materiale a due studenti presenti in aula e chiede loro di distribuire ad ogni studente una copia del questionario. Il Docente e gli studenti incaricati rammentano agli studenti le modalità di compilazione, raccomandando di utilizzare una penna nera o blu, di non utilizzare pennarelli indelebili che possono oltrepassare il foglio, di compilare entrambe le pagine del questionario e di non scrivere oltre gli spazi predefiniti. Il Docente e gli studenti incaricati lasciano il tempo necessario alla compilazione (indicativamente 5 minuti), avendo l accortezza di non interferire. Gli studenti incaricati raccolgono tutto il materiale, facendo un plico a parte con le copie del questionario non utilizzate, e inseriscono solo i questionari compilati nella busta che sigilleranno, apponendo la firma in corrispondenza della chiusura del plico. Il Docente ritira la busta sigillata e completa il frontespizio con la data di rilevazione e la firma. La busta deve essere inviata per posta interna direttamente all Ufficio Studi per la Valutazione entro e non oltre il 30 giugno

25 ALLEGATO C: FORM FRONTESPIZIO BUSTE VALUTAZIONE DELLA DIDATTICA RESTITUIRE PER POSTA INTERNA A: DATA INVIO:.... CENTRO SERVIZI DELLA FACOLTÀ POSTA INTERNA USV UFFICIO STUDI PER LA VALUTAZIONE Piazzale Europa, TRIESTE Tel valutazione@amm.units.it FACOLTÀ CORSOI DI LAUREA CODICE INSEGNAMENTO NOME INSEGNAMENTOC.I. NOME MODULO CFU: DOCENTEI PERIODO MATERIALE RICEVUTO DAL DOCENTE RILEVAZIONE IN AULA IN DATA:.. FIRMA DOCENTE FIRMA DELLO STUDENTE RILEVATORE STUDENTI PRESENTI IN AULA n.