(SUA RD) Sergio Benedetto. Potenza, 1 ottobre 2013

Transcript

1 La valutazione periodica della ricerca (SUA RD) Sergio Benedetto Consiglio Direttivo ANVUR Potenza, 1 ottobre 2013

2 Dal Decreto Ministeriale AVA (DM 47 del 30/1/2013) L'accreditamento periodico viene conseguito, nell arco di cinque anni, dalle sedi che soddisfano i requisiti per l accreditamento iniziale e quelli previsti per l Assicurazione della Qualità (QA) di cui all allegato C, a seguito della verifica da parte dell'anvur sulla base dei seguenti criteri: a. esito delle visite in loco delle Commissioni di Esperti della Valutazione (CEV); b. analisi dei dati della relazione annuale dei Nuclei di Valutazione interna (di seguito NdV), trasmessa entro il 30 aprile di ogni anno; c. valutazione delle informazioni contenute nelle Schede Uniche Annuali relative ai Corsi di Studio (di seguito SUA CDS) CDS), anche in relazione airispettivi Rapporti di Riesame; d. valutazione delle informazioni contenute nelle Schede Uniche Annuali della Ricerca dei Dipartimenti (di seguito SUA RD); e. analisi delle risultanze dell attività di monitoraggio e di controllo della qualità dell attività didattica e di ricerca svolta da tutti i soggetti coinvolti nel sistema di qualità di ateneo; f. analisi dei risultati derivanti dall applicazione degli indicatori previsti per la valutazione periodica delle attività formative e di ricerca, adottati dal Ministero su delibera dell ANVUR e aventi valenza triennale. 2

3 Dal documento AVA dell ANVUR (approvato dal CD il 19/12/2012) C.5.1. Scheda Unica Annuale della Ricerca Dipartimentale (SUA RD) La SUA RD viene elaborata e approvata dal Consiglio di Dipartimento. Essa, compilata e aggiornata annualmente e resa pubblica entro il 31 dicembre, deve contenere: obiettivi di ricerca del Dipartimento; qualità e impatto della produzione scientifica dei docenti e dei ricercatori che afferiscono al Dipartimento, valutati, anche utilizzando parametri e indicatori riconosciuti dalla comunità scientifica di riferimento, nell ambito del panorama internazionale della ricerca, sulla base dell originalità, del rigore metodologico e del carattere innovativo; responsabilità scientifica di progetti di ricerca internazionali e nazionali, ammessi al finanziamento sulla base di bandi competitivi che prevedano la revisione tra pari o di comprovata rilevanza scientifica; coordinamento di network internazionali di ricerca; fondi per la ricerca disponibili nell anno precedente; direzione di riviste, collane editoriali, enciclopedie e trattati di riconosciuto prestigio; 3

4 Dal documento AVA dell ANVUR (approvato dal CD il 19/12/2012) partecipazione a comitati editoriali di riviste, collane editoriali, enciclopedie e trattati tt tidi riconosciuto i prestigio; i partecipazione a comitati di programma di congressi internazionali di riconosciuto prestigio; attribuzione di incarichi di insegnamento o fellowship ufficiale presso atenei e istituti di ricerca, esteri e internazionali, di alta qualificazione; direzione o responsabilità scientifica/coordinamento di enti o istituti di ricerca pubblici o privati di alta qualificazione nazionale o internazionale; partecipazione ad accademie aventi prestigio nel settore; conseguimento di premi e riconoscimenti per l attività scientifica; risultati ottenuti nel trasferimento tecnologico in termini di partecipazione allacreazione di spinoff off, sviluppo, impiego e commercializzazione di brevetti, nonché altre attività di terza missione quali attività di servizio al territorio, scavi archeologici, poli museali e altro; attività di formazione permanente; breve analisi dei risultati ottenuti con la proposta degli interventi migliorativi. La SUA RD viene conservata in un archivio i informatizzato t e resa disponibile ibil a soggetti autorizzati. 4

5 Dal Decreto Ministeriale AVA (DM 47 del 30/1/2013) Allegato VIIdel Documento AVA dell ANVUR dellanvur (approvato il 19/12/2012) Allegato E Indicatori e parametri per la Valutazione Periodica della ricerca e delle attività di terza missione 1. Percentuale dei docenti che non hanno pubblicato negli ultimi 5 anni (inattivi) 2. Produzione scientifica per area degli ultimi 10 anni/docenti di ateneo 3. Numero di premi nazionali e internazionali 4. Attività di divulgazione scientifica e culturale 5. Fellow (o equivalenti) di società scientifiche 6. Rapporto numero di progetti in bandi competitivi/docenti dell ateneo negli ultimi10 anni 7. Percentuale di prodotti negli ultimi 5 anni con coautori internazionali 8. Numero medio di tesi di dottorato per docente 9. Numero meromediomedio di brevetti etti per docente negli ultimi 10 anni 10. Rapporto fatturato conto terzi e progetti di ricerca vinti in bandi competitivi/numero docenti negli ultimi 10 anni 11. Numero di spin off degli ultimi 10 anni 12. Numero di attività extra moenia collegate alle aree di ricerca (es. organizzazione di attività culturali o formative, gestione di musei e siti archeologici, organizzazione di convegni ) 13. Numero di mesi/uomodi docenti/ricercatori stranieri trascorsiin in ateneo 14. Risultati VQR 6

6 Fatti La valutazione periodica della ricerca: Si fa ogni anno Si basa sugli indicatori/parametri i/ tidi cui al DM 47 e all allegato VII (lucido 6) Il valore degli indicatori viene moltiplicato per un coefficiente <1, =1 o > 1 a seconda del risultato dell accreditamento periodico, che è basato sullo stato dell AQ Parzialmente in contrasto con il comma 1 dell articolo 60 della Legge 298 del 2013 sulla distribuzione della quota premiale FFO legata alla ricerca, che prevede di distribuire i 3/5 della quota premiale sulla base dei risultati della VQR 8

7 Proposta Usare i risultati della VQR e quelli della SUA RD in una procedura annuale per la distribuzione del FFO secondo I seguenti criteri: Gli indicatori della valutazione periodica sono coerenti con quelli della VQR minor peso sugli atenei per il caricamento dei dati La valutazione periodica come transizione da una valutazione VQR alla successiva possibilità di tener conto dei miglioramenti anno per anno La distribuzione della quota premiale del FFO legata alla ricerca dipende dai risultati dell ultima VQR, della valutazione periodica, e dell accreditamento periodico 9

8 Il calcolo degli indicatori e parametri: Premessa Tutti gli indicatori vanno calcolati separatamente per le 16 aree CUN della VQR, e si riconducono a un unico indicatore finale con le regole dll della VQR Gli indicatori utilizzati per la distribuzione del FFO vanno calcolati come frazione di area, come gli indicatori IRAS della VQR, che mettono insieme qualità e quantità 10

9 Il calcolo degli indicatori e parametri Allegato E Indicatori e parametri per la Valutazione Periodica della ricerca e delle attività di terza missione 1. Percentuale dei docenti che non hanno pubblicato negli ultimi 5 anni (inattivi) 2. Produzione scientifica per area degli ultimi 10 anni/docenti di ateneo 3. Numero di premi nazionali e internazionali 4. Attività di divulgazione scientifica e culturale 5. Fellow (o equivalenti) di società scientifiche 6. Rapporto numero di progetti in bandi competitivi/docenti dell ateneo negli ultimi 10 anni 7. Percentuale di prodotti negli ultimi 5 anni con coautori internazionali 8. Numero medio di tesi di dottorato per docente 9. Numero medio di brevetti per docente negli ultimi 10 anni 10. Rapporto fatturato conto terzi e progetti di ricerca vinti in bandi competitivi/numero docenti negli ultimi 10 anni 11. Numero di spin off degli ultimi 10 anni 12. Numero di attività iiàextra moeniacollegate alle aree di ricerca (es. organizzazione di attività culturali o formative, gestione di musei e siti archeologici, organizzazione di convegni ) 13. Numero di mesi/uomo di docenti/ricercatori stranieri trascorsi in ateneo 14. Risultati VQR 11

10 Il calcolo degli indicatori: Fase 1 1. Ognuno dei parametri viene associato a un indicatore, con il suo peso, calcolabile come frazione di area 2. Nell individuazione degli indicatori, si cerca di replicare, ove possibile, gli indicatori VQR 3. Per ogni area e per ogni ateneo si calcola l indicatore finale di area come somma pesata dei singoli indicatori 4. Per ogni dipartimento si calcola il valore dell indicatore finale come somma pesata (con i pesi di area) degli indicatori di area 5. Le operazioni 1 4 si effettuano sia per gli indicatori di ricerca che di terza missione che per gli indicatori rossi 12

11 Il calcolo degli indicatori Allegato E Indicatori e parametri per la Valutazione Periodica della ricerca 1. Percentuale per area dei docentiche che non hanno pubblicato negli ultimi 5 anni (inattivi) 1bis. Percentuale dei docenti che non hanno pubblicato negli ultimi 3 anni 2. Produzione scientifica per area degli ultimi 10 anni/docenti di ateneo: si tratta di un indicatore normalizzato non idoneo alla distribuzione di fondi; da sostituire con: 2bis. Percentuale della produzione scientifica per area degli ultimi 3 anni 3. Rapporto numero di progetti in bandi competitivi/docenti dell ateneo negli ultimi 10 anni: si tratta di un indicatore normalizzato non idoneo alla distribuzione di fondi; da sostituire con: 3bis. Indicatore IRAS2 della VQR calcolato sui dati dei 3 anni precedenti 4. Percentuale di prodotti negli ultimi 5 anni con coautori internazionali 4bis. Percentuale di prodotti negli ultimi 3 anni con coautori internazionali 5. Numero di mesi/uomo di docenti/ricercatori i istranieri itrascorsi in ateneo 5bis. Indicatore IRAS4.1 della VQR calcolato sui dati dei 3 anni precedenti 5. Risultati VQR 13

12 Il calcolo degli indicatori Allegato E Indicatori e parametri per la Valutazione Periodica e delle attività di terza missione 1. Attività i àdi divulgazione i scientifica ifi e culturale l 1bis: compreso in 5bis 2. Numero medio di brevetti per docente negli ultimi 10 anni: si tratta di un indicatore normalizzato non idoneo alla distribuzione ib i di fondi; da sostituire i con: 2bis. Indicatore ITMS2 della VQR riferito agli ultimi 3 anni 3. Rapportofatturato conto terzi e progetti di ricerca vinti in bandi competitivi/numero docenti negli ultimi 10 anni: si tratta di un indicatore normalizzato non idoneo alla distribuzione di fondi; da sostituire con: 3bis. Indicatore ITMS1 della VQR riferito agli ultimi 3 anni 4. Numero di spin off degli ultimi 10 anni 4bis. Indicatore ITMS3 della VQR riferito agli ultimi 3 anni 5. Numerodi attività extra moenia collegatealle alle aree di ricerca (es. organizzazione di attività culturali o formative, gestione di musei e siti archeologici, organizzazione di convegni ) 5bis. Indicatori ITMS6 ITMS8 della VQR riferiti agli ultimi 3 anni 14

13 Il calcolo degli indicatori Allegato E Indicatori e parametri per la Valutazione Periodica della ricerca 1. Numero di premi nazionali e internazionali 2. Fellow (o equivalenti) di società scientifiche 3. Numero medio di tesi di dottorato per docente I primidue sono indicatoriche che potrebbero essere utilizzati direttamente se trasformati in frazioni di area e riferiti agli ultimi 3 anni Ilterzo dovrebbe diventare la frazione di tesi di dottorato per area degli ultimi 3 anni 15

14 Il calcolo degli indicatori: Fase 2 A conclusione della Fase 1 si ha, per ogni ateneo, il valore dei seguenti 5 indicatori ifinali: L indicatore di ateneo per la ricerca derivato dalla SUA RD: IFR SUA RD L indicatore di ateneo per la terza missione derivato dalla SUA RD: IFTM SUA RD L indicatore di ateneo per la ricerca derivato dll dalla VQR: IFR VQR L indicatoredi ateneo per la terza missione derivato dalla VQR: IFTM VQR L indicatore di ateneo rosso IFRED SUA RD 16

15 Il calcolo degli indicatori: Fase 2 1. Assumendo di avere disponibili nuovi risultati VQR ogni 4 anni dove: (2013 VQR , VQR , 2014 ecc.), gli indicatori i si combinano nel modo seguente per ottenere l indicatore finale: IFS ( IFR IFR ) R VQR VQR SUA-RD SUA-RD TM ( VQRIFTM VQR SUA-RDIFTM SUA-RD ) IFRED RED SUA-RD, e sono i pesi (maggiori di zero con somma a 1) della R TM RED parte ricerca, terza missione e indicatori rossi e sono i pesi da attribuire alla VQR e alla SUA RD VQRQ SUA-RD (anch essi maggiori di zero con somma a 1) 17

16 Il calcolo degli indicatori: Fase 2 2. I pesi VQR dovrebbero assumere valori decrescenti nei quattro anni a partire dall anno di disponibilità dei risultati VQR SUA-RD 3. Analogamente, i pesi, che sono rinnovati ogni anno, dovrebbero assumere un valore crescente nei quattro anni a partire dall anno di disponibilità dei risultati VQR 4. Ad esempio: VQR SUA-RD ,0.7,0.6, ,0.3,0.4,0.5 18

17 Il calcolo degli indicatori: Fase 3 5. Il valore dell indicatore finale di ateneo IFS così ottenuto viene poi pesato con un peso >,=,<1 a seconda dello stato dell ateneo nell accreditamento periodico 6. Questi valori sono utilizzati direttamente per la distribuzione dellaquota premiale del FFOdedicata allaricerca (90% secondo l emendamento recente) 19

18 Da una VQR alla successiva SUA RD VQR SUA RD SUA RD VQR VQR VQR SUA RD VQR SUA RD SUA RD VQR

19 GRAZIE PER L ATTENZIONE 22