Sistema di valutazione delle Università: la necessaria evoluzione

Transcript

1 Sistema di valutazione delle Università: la necessaria evoluzione Luigi Biggeri Roma, 5 dicembre 2006

2 Struttura presentazione 1. Necessità della Valutazione (nel e del Sistema Universitario) 2. Tipologie di valutazione: la necessità di valutazioni integrate 3. le declinazioni che il termine valutazione può assumere con riferimento al sistema universitario; 4. Fornire un quadro conoscitivo sulle scelte dei principali paesi europei; 5. Analizzare i vincoli che derivano dalle scelte effettuate dai Ministri europei della formazione superiore (standard ENQA); 6. Confrontare il quadro risultante con la situazione attuale italiana; 7. Proporre possibili linee di intervento e analizzarne le implicazioni.

3 Attività di valutazione divenuta strategica. 1 Autonomia, Responsabiltà e Valutazione, al livello di ciascuna unità e di sistema universitario Senza valutazione a supporto delle decisioni le università Portate a muoversi nella direzione imposta dalle spinte interne Inseguendo convenienze apparenti di incerto riscontro in termini di efficienza, efficacia, qualità Tutte le attività e tutti gli attori devono essere valutati La valutazione è assolutamente strategica per: ASSICURARE UNA FUNZIONE DI GARANZIA (per utenti, allocazione dei fondi, la società nel suo complesso)

4 Attività di valutazione divenuta strategica. 2 SOSTEGNO, anche in termini scientifici, DEI PROCESSI DECISIONALI (razionalizzare le scelte, gli interventi, i programmi, ecc.) VERIFICA ( ex ante, in itinere ex post) DELLA POSSIBILITA ED EFFETTIVA REALIZZAZIONE DEGLI OBIETTIVI (in termini di quantità, costi, efficienza, efficacia e qualità) VERIFICA DI IMPATTO DEI PROGRAMMI ATTUATI SVILUPPARE O MIGLIORARE LA QUALITA DELLE ATTIVITA LA GOVERNANCE DELLE UNITA E/O O DEL SISTEMA

5 Attività di valutazione divenuta strategica. 3 VALUTAZIONE FORMALIZZATA (si è sviluppata anche per leggi e norme che la impongono) PER ANALISI E VERIFICA RISULTATI ATTIVITA CORRENTEMENTE SVOLTE (di efficienza e efficacia) POLITICHE DI INTERVENTO PROGRAMMI ED INTERVENTI INNOVATIVI ANALISI E VERIFICA QUALITA DELLE ATTIVITA ACCREDITAMENTO DEI PROCESSI E DELLE ISTITUZIONI

6 La valutazione nelle università e del sistema universitario LA NECESSITA DI VALUTAZIONI INTEGRATE Non mi occupo della attività di valutazione (lo fanno altri Relatori) della ricerca (del CIVR) dei Nuclei di valutazione (solo qualche cenno)

7 Schema semplificato dei processi di formazione e di Ricerca universitaria INPUT CONOSCENZA ACQUISITA, ETC) FATTORI CONTROLLABILI FINANZIAMENTO STATALE Fattori conrollabili INPUT STUDENTI (utenti) CARATTERISTICHE FATTORI NON CONTROLLABILI (DI CONTESTO,... PROCESSI PRODUTTIVI DI RICERCA DISEGNO DEI PROGETTI DI RICERCA? INDIVIDUALE DI GRUPPO FATTORI PRODUTTIVI RISORSE UMANE ORGANIZZAZIONE RISORSE FINANZIARIE AMMINISTRAZIONE STRUTTURE SERVIZI VARI DISEGNO PROCESSI FORMATIVI E ORGANIZZAZIONE FATTORI PROCESSI PRODUTTIVI DI FORMAZIONE FATTORI NON CONTROLLABILI (DI CONTESTO,... PRODOTTI RICERCA OUTCONE FABBISOGNO UTENTI FABBISOGNO UTENTI OUTPUT OUTCOME (LAUREATI, ETC) ALLOCAZIONE RISORSE: PER FUNZIONAMENTO (PARI VALUTAZIONE OPPORTUNITA /RIEQUILIBRIO) EFFICIENZA/EFFICACIA INCENTIVI/DISINCENTIVI PER COMPORTAMENTI VIRTUOSI PREMI (FINANZIAMENTI SPECIFICI) VALUTAZIONE DISEGNI PROCESSI RISULTATI DEI PROCESSI QUANTITIVI/QUALITATIVI RISULTATI RISPETTO AL MERCATO C O N O S C E N Z A / M E R C A T O

8 Processo di programmazionecontrollo, processo di valutazione e loro interazioni Processo di programmazione - controllo Obiettivi strategici Programmazione Definizione azioni e procedure Implementazione delle iniziative - azioni Budgeting e controllo di gestione Monitoraggio Reporting Sistema informativo per la gestione e la valutazione retroazioni retroazioni Processo di valutazione Valutazione ex-ante degli obiettivi e delle iniziative Definizione criteri, parametri, indicatori e procedure di valutazione Raccolta dati e documentazione Valutazione delle iniziative programmate Valutazione in itinere Definizione criteri, parametri, indicatori e procedure di valutazione Raccolta dati e documentazione Valutazione dei risultati parziali Valutazione delle performance e diagnosi Valutazione conclusiva Definizione criteri, parametri, indicatori e procedure di valutazione Raccolta dati e documentazione retroazioni Valutazione dei risultati finali

9 Schema semplificato della valutazione di una politica di intervento PROBLEMA Disegno dell intervento Schema realtà Simulazione Delle azioni CONTESTO sistema informativo per la simulazione e valutazione Possibili conseguenze Valutazione A P P R E N D I M E N T O Scelta fra azioni Alternative Implementazione dell azione (risorse e caratteristiche input) Realizzazione dell azione (caratteristiche di processo) Risultati conseguiti (Output, Outcome Impatto) Valutazione Valutazione Valutazione A P P R E N DI M E N T O Informazioni sui risultati Controllo sociale

10 L attività di valutazione, sia interna che esterna a seconda dei casi, può riguardare vari aspetti e giudizi che possono così essere sintetizzati (senza voler essere esaustivi): l accreditamento delle strutture, dell unità che organizza il processo di formazione (in termini di disponibilità di risorse, organizzazione, ecc.); l accreditamento del disegno/progetto di formazione; la qualità del processo di formazione effettivamente attivato; il controllo in itinere della qualità del processo;

11 la qualità dell insegnamento impartito nei singoli corsi di insegnamento; il livello e qualità dell apprendimento da parte degli studenti; l efficienza, anno per anno e finale, del processo formativo; l efficacia, in termini di soddisfazione degli utenti, sia interni che esterni, in particolare nei riguardi del mercato del lavoro.

12 Schema del processo di formazione universitaria e richiamo su alcuni indicatori Rappresentazione semplificata del processo produttivo di formazione universitaria DISEGNO DEL PROCESSO FORMATIVO E ORGANIZZAZIONE DEI FATTORI PRODUTTIVI Input di fattori produttivi Controllabili Fabbisogni utenti F 1,, F p, Conoscenza Input Studenti S (utenti) PROCESSO PRODUTTIVO DI FORMAZIONE Output/outcome Laureati e L.S, L. D Mercato del lavoro Caratteristiche individuali F 1,, F p, Caratteristiche individuali Ricerca Input non Controllabili

13 Tassonomia della valutazione esterna Valutazione Esterna Oggetto della valutazione valutazione delle politiche; valutazione della efficienza ed efficacia (delle performances; valutazione ai fini dello sviluppo della qualità e dell accreditamento Unità oggetto di valutazione, distinguendo tra i vari livelli livello di sistema; livello dei singoli Atenei e/o istituzioni; livello dei dipartimenti e dei singoli corsi di studio Livello dei singoli Momento in cui avviene la valutazione valutazione ex ante; valutazione in itinere; valutazione ex post

14 Le aree di valutazione esterna Oggetto della valutazione Unità oggetto della valutazione Sistema Ateneo/ Dipartimenti Politiche Efficacia/ efficienza Accreditamento/ quality assurance Corso di studio

15 La valutazione CNVSU: filosofia e attività L attività del Comitato ha riguardato una elevata quantità, molto precisa, di impegni, tutti assolti nella logica di una costante filosofia di accompagnamento delle autonomie universitarie con gli obiettivi di: o o Contribuire allo sviluppo di un sistema informativo (riferimento per tutti gli operatori); Far crescere la cultura della valutazione, incoraggiando la costituzione dei Nuclei di valutazione locali (con relativi uffici di supporto) e sostenendo una continua interazione con essi

16 La filosofia dell accompagnamento (segue) o o Utilizzare il sistema informativo costituito per monitorare i processi spontanei e quelli di riforma e, per impostare e sostenere gli impegni di politica universitaria (riequilibrio, decongestionamento, modello di finanziamento, esiti occupazionali, ecc..); Elaborare un insieme di modelli con i quali effettuare la valutazione e orientare le diverse azioni degli atenei (riequilibrio, requisiti minimi per l attivazione dei corsi, valutazione delle attività istituzionali e di sviluppo, ripartizione del FFO, rilevazione delle opinioni degli studenti frequentanti e dei laureandi); o Coinvolgere le istituzioni corresponsabili dei processi decisionali istituzionali nella verifica della praticabilità ed efficacia dei modelli elaborati.

17 Sviluppo della cultura della valutazione o I Nuclei di valutazione di ateneo o I Rapporti con gli enti internazionali (CHEPS, ENQA, EAQ ecc)

18 I nuclei di valutazione La fase di diffusione e istituzionalizzazione dei Nuclei di valutazione è ormai conclusa I Nuclei appaiono ovunque operativi Accanto ad un pacchetto di attività che viene realizzato in misura similare dai vari Nuclei, è presente anche una quota non indifferente di interventi specifici di ogni contesto locale Gli Uffici di supporto appaiono generalmente ben strutturati, con personale di livello mediamente alto Diversi sentieri evolutivi e 2 diverse configurazioni : Nucleo con funzione di accountability e garanzia Nucleo come consulente degli organismi interni Una significativa svolta si è avuta con l emanazione della Legge 370/99 che ha richiesto ai Nuclei di Ateneo di trasmettere (entro il 30 aprile di ogni anno) tutti i dati e le informazioni richieste dal Comitato stesso; Rilevazione Nuclei

19 Gli standard dell ENQA Standard for internal quality assurance: definiscono le caratteristiche dei sistemi adottati dalle singole università (politica e procedure per la quality assurance; sistema di monitoraggio; servizi per gli studenti) Standard for external quality assurance: definiscono le modalità con cui si esamina dall esterno il sistema adottato da ciascuna università (modalità di analisi dei sistemi di quality assurance adottati internamente dagli atenei; criteri di decisione; modalità di reporting e followup) Standard for external quality assurance agencies: caratteristiche che devono possedere gli organismi nazionali che si occupano di quality assurance.

20 Gli standard dell ENQA (segue) Caratteristiche delle agenzie di quality assurance: Adozione standard ENQA for external quality assurance; Riconoscimento ufficiale da parte delle autorità pubbliche competenti; Continuità nello svolgimento delle attività; Disponibilità di risorse umane e finanziarie adeguate; Missione definita e nota al pubblico; Indipendenza dal mondo accademico e dal Ministero; Adozione di criteri predefiniti e noti; Presenza di procedure interne che assicurino l accountability.

21 Informazioni sul sistema informativo 2 direttrici su cui si è basata l attività: attuare una maggiore collaborazione con gli uffici del Ministero detentori delle informazioni rilevanti; intraprendere un opera di sensibilizzazione e collaborazione con i Nuclei di valutazione di ateneo, diretti interlocutori. A disposizione di tutti o Il progetto di portale o L anagrafe degli studenti o La banca dati dell offerta formativa o L anagrafe dei dottorati o La banca dati dei PRIN o La banca dati del costo del personale o I bilanci universitari o Il sito universitario (da implementare) o L anagrafe dei laureati (da implementare)

22 Il monitoraggio dei processi o o o o o o Dai piani di sviluppo alla programmazione Valutazioni dei piani di sviluppo precedenti (relazioni) Valutazione dei nuovi insediamenti (verifiche e visite) Informazioni e ripartizione del FFO Valutazione dell offerta formativa (requisiti minimi) Informazioni e esiti occupazionali

23 Le aree di valutazione: interventi dei vari soggetti Soltanto indicativo Oggetto della valutazione Politiche Efficacia/ efficienza Accreditamento/ quality assurance Unità oggetto della valutazione Sistema CNVSU CNVSU Ateneo/ Dipartimenti CNVSU NUCLEI CNVSU NUCLEI SOLO PROPOSTE Corso di studio NUCLEI RICERCHE Alma Laure NUCLEI CAMPUS/ ONE

24 I limiti dell attuale sistema di valutazione o Necessità di: Aumentare la coerenza delle valutazioni ai vari livelli decisionali (raccordo anche tra gli indicatori) Valutazione della qualità della formazione molte risorse Valutazione della efficacia della formazione finanziarie e Accreditamento dei corsi di studio personale Valutazione della ricerca universitaria Valutazione complessiva delle singole istituzioni universitarie Valutazioni di impatto

25 Nuovo sistema di valutazione o Necessità di specificare in modo dettagliato cosa si intende per: Qualità delle attività Efficienza ed efficacia dei programma di finanziamento e di incentivazione (valutazioni di impatto?) Chi svolge le valutazioni Come devono essere svolte le valutazioni Come si integrano le diverse valutazioni Personale necessario (da coinvolgere) Costi per le differenti valutazioni

26 La responsabilità sulle diverse forme di valutazione in Europa Oggetto della valutazione Unità oggetto della valutazione Sistema Ateneo/ Dipartimenti Politiche Efficacia/ efficienza Accreditamento/ quality assurance Corso di studio Aree presidiate esclusivamente da organismi di nomina governativa Aree presidiate prevalentemente da organismi di nomina governativa Aree presidiate sia da organismi di nomina governativa che da altri organismi

27 La situazione in Italia (CNVSU E CIVR) Le aree presidiate dal sistema di valutazione italiano Oggetto della valutazione Unità oggetto della valutazione Sistema Ateneo/ Dipartimenti Corso di studio Politiche Efficacia/ efficienza Accreditamento/ quality assurance Aree presidiate Aree parzialmente presidiate Aree non presidiate

28

29

30 La situazione in Italia (segue) Punti di coerenza con sistema ENQA e principali practices europee Valutazione affidata ad organismi di emanazione ministeriale con compiti di 1. accreditamento delle istituzioni 2. definizione dei criteri per l accreditamento dei programmi formativi Problemi del sistema italiano Valutazione della qualità dei programmi formativi carente: CNVSU competente alla sola definizione dei requisiti minimi necessari per l attivazione dei corsi Verifica del rispetto di tali requisiti attribuita alla autovalutazione degli atenei Sovrapposizione di competenze fra CNVSU e CIVR nella valutazione attività di ricerca svolte dalle università.

31 2 Nuovi organi Possibili linee di intervento sul sistema di valutazione italiano Compiti Composizione Unico Organismo di valutazione Agenzia indipendente Valutare la efficienza ed efficacia (delle performances), ai fini della allocazione dei finanziamenti Proporre standard e criteri di accreditamento dei corsi di studio Promuovere il miglioramento della qualità Valutare la coerenza dei singoli corsi di studio con standard di accreditamento proposti dall Organismo di valutazione Membri nominati dal Ministro, previo parere delle commissioni parlamentari, anche su rose di nomi di CUN e CRUI Membri delle università, rappresentati delle imprese e dei sindacati, rappresentanti governativi, rappresentanti degli studenti Nel nuovo processo di accreditamento: Il Ministero è l ente che accredita, sulla base di una valutazione effettuata dall Agenzia; I criteri di accreditamento sono definiti dal Ministero stesso, sulla base di proposte dell Organismo di valutazione.

32 La stima del fabbisogno finanziario per l Agenzia Due diverse logiche: stima delle risorse necessarie al funzionamento dell agenzia (metodo accurato, ma richiede la definizione di compiti e struttura); stima del valore dei servizi erogati (consente di acquisire più facilmente riferimenti in ambiti europei).

33 Stima dei costi per il sistema di accreditamento Costo medio di una verifica di qualità per un corso di studio in alcuni paesi europei Paese Austria Germania Svizzera Costo medio N. Corsi attivati e n. di verifiche (nell ipotesi che per ciascun corso sia necessaria una verifica ogni quattro anni) Tipologia di corsi di studio Corsi di laurea Corsi di laurea specialistica Corsi di laurea specialistica a ciclo unico Totale Numero di corsi attivati nell a.a. 2005/ Numero medio di verifiche annue (N. corsi/4 anni)

34 Il fabbisogno finanziario per l Agenzia costi per il sistema di accreditamento In particolare se si ipotizza che: Ogni quattro anni sia necessaria, per ciascun corso di studio, una verifica di qualità. Il valore di una verifica sia pari, in media, a Si ottiene: verifiche annue Onere complessivo di circa annui