La valutazione della qualità della ricerca: passato e futuro www.anvur.org Sergio Benedetto Consiglio Direttivo ANVUR Coordinatore VQR 2004-2010 sergio.benedetto@anvur.org Università di Roma Tre, Roma, 26 giugno 2014
Perché la VQR? Per presentare al Paese una valutazione accurata, rigorosa e imparziale della ricerca svolta nelle università, negli enti di ricerca vigilati dal MIUR e in altri enti volontari 2
Perché la VQR? Per determinare una graduatoria nazionale per area scientifica e per struttura Per offrire una valutazione dei dipartimenti degli atenei e delle sottostrutture degli enti di ricerca agli organi di governo Per consentire un confronto della qualità della ricerca nazionale con quella dei principali Paesi europei e mondiali 3
Per chi la VQR? Il MIUR per distribuire su basi meritocratiche la quota premale del FFO legata alla ricerca Gli organi di governo delle Strutture per intraprendere azioni volte a migliorare la qualità della ricerca nelle aree che appaiono deboli rispetto al panorama nazionale I giovani ricercatori per approfondire la propria formazione e svolgere attività di ricerca nei migliori atenei e enti di ricerca 4
Per chi la VQR? Le famiglie e gli studenti per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università (soprattutto corsi di laurea magistrale e dottorato) Le industrie e gli enti pubblici per indirizzare la domanda di collaborazione alle strutture che ospitano gruppi di ricerca validi per qualità e massa critica 5
La VQR non deve essere utilizzata per Confrontare la qualità della ricerca tra aree scientifiche diverse Valutare i singoli ricercatori 6
I tempi della VQR Decreto ministeriale n.8 del 15 luglio 2011 che ha affidato all ANVUR lo svolgimento della VQR 2004 2010 Bando VQR definitivo 2004-2012 (7 novembre 2011) Conclusione della valutazione (maggio 2013) Rapporti di area e rapporto finale ANVUR (30 giugno 2013) Presentazione pubblica dei risultati (16 luglio 2013) Il DM del 15 luglio 2011 fissava la conclusione per il 7 Agosto 2013 7
I numeri della VQR 95 università,12 enti di ricerca vigilati dal MIUR, 26 enti volontari (7 enti di ricerca e 19 consorzi interuniversitari) 184.878 prodotti conferiti dalle strutture, contro i 194.763 attesi 14 Gruppi di Esperti della Valutazione (GEV) costituiti da 450 esperti 14.770 revisori pari coinvolti 8
La valutazione peer Prodotto Primo comp. GEV Sec. comp. GEV Scelta Rev. 1 Scelta Rev. 2 2 valutazioni Gruppo consenso Convalida Presid. GEV Approv. Finale GEV 9
La valutazione bibliometrica Articoli pubblicati su riviste indicizzate su ISI WoS e/o Scopus Si utilizzano due indicatori: Una misura dell impatto della rivista (IF o indice simile in Scopus) che ha pubblicato l articolo Il numero di citazioni ricevuto dall articolo dalla data di pubblicazione al 31 dicembre 2011 10
Matrice di attribuzione della classe finale VQR Indicatore bibliometrico-if 1 2 3 4 1 E E IR IR # di citazioni 2 E B B L 3 E B A L 4 IR IR A L 11
I punteggi delle 4 classi di merito Eccellente: peso Buono: peso 0.8 Accettabile: peso 0.5 Limitato: peso 0 Prodotto mancante: peso -0,5 Non valutabile: peso -1 In casi accertati di plagio o frode: peso -2 12
Gli indicatori di struttura per la qualità dei prodotti Indicatori di qualità della produzione scientifica indipendenti dalla dimensione di struttura I R X Graduatoria strutture nell area 13
Gli indicatori di qualità dei prodotti Tutti gli indicatori si riferiscono a una struttura in un area Il primo indicatore I compreso tra 0 e 1, è dato da I = voto complessivo struttura in area numero prodotti attesi struttura in area e rappresenta il voto medio ottenuto dalla struttura i-esima nell area j-esima 14
Gli indicatori di qualità dei prodotti Il secondo indicatore R è dato da R = voto medio struttura voto medio di area R > 1 R < 1 Struttura migliore della media dell area Struttura peggiore della media dell area 15
Gli indicatori di qualità dei prodotti Il terzo indicatore X è dato da X frazione di prodotti eccellenti della struttura nell ' area frazione di prodotti eccellenti dell ' area X > 1 X < 1 struttura migliore della media di area struttura peggiore della media di area 16
La presentazione dei risultati delle strutture Le graduatorie sono separate per università, enti di ricerca e consorzi interuniversitari Le graduatorie sono calcolate per ognuna delle 14 aree CUN e riguardano: Le università, gli enti di ricerca e i consorzi I dipartimenti pre-240 degli atenei I dipartimenti post-240 degli atenei Le sottostrutture degli enti che lo hanno richiesto Sono presentate anche graduatorie per sottoinsiemi delle aree, quali SSD e sub-gev 17
Esempi di presentazione dei risultati: Strutture Area Ateneo voto medio (I=v/n) R Pos. grad. comp. Num. Comp. Pos. grad. Segm. Num. segm. Segm. Dim. X 1 Bari 0,41 0,68 51 56 12 13 G 0,47 1 Firenze 0,59 0,99 32 56 9 13 G 0,98 1 Genova 0,49 0,82 44 56 11 13 G 0,86 1 Milano 0,67 1,12 20 56 4 13 G 1,13 1 Milano Politecnico 0,59 0,99 31 56 8 13 G 1,02 1 Padova 0,67 1,12 21 56 5 13 G 1,18 1 Roma La Sapienza 0,69 1,16 17 56 1 13 G 1,25 18
Esempi di presentazione dei risultati: SSD SSD ente graduatoria voto medio (I=v/n) % prodotti E % prodotti B % prodotti A % prodotti L % prodotti penalizzati SECS-P/02 Pisa S.Anna 1 0,90 78,57 14,29 0,00 7,14 0,00 SECS-P/02 Marche 2 0,74 36,36 18,18 45,45 0,00 0,00 SECS-P/02 Bergamo 3 0,68 30,00 10,00 60,00 0,00 0,00 SECS-P/02 Verona 4 0,66 44,44 16,67 16,67 22,22 0,00 SECS-P/02 Bologna 5 0,64 36,00 26,00 14,00 24,00 0,00 SECS-P/02 Teramo 6 0,59 33,33 11,11 33,33 22,22 0,00 SECS-P/02 Roma Tor Vergata 7 0,59 29,41 29,41 11,76 29,41 0,00 SECS-P/02 Napoli II 8 0,57 36,36 9,09 27,27 27,27 0,00 SECS-P/02 Milano Bocconi 9 0,54 50,00 0,00 8,33 41,67 0,00 SECS-P/02 Siena 10 0,54 45,45 13,64 13,64 9,09 18,18 SECS-P/02 Napoli Federico II 11 0,50 50,00 0,00 8,33 33,33 8,33 SECS-P/02 Trento 12 0,48 15,79 36,84 5,26 42,11 0,00 SECS-P/02 Venezia Cà Foscari 14 0,45 33,33 6,67 13,33 46,67 0,00 SECS-P/02 Torino 15 0,45 42,86 11,90 0,00 30,95 14,29 19
Esempi di presentazione dei risultati: Dipartimenti Area Ateneo Dip. Post-240 voto medio (I=v/n) R Pos. grad. comp. Num. comp. dip. Pos. grad. segm. Num. dip. segm. Segm. dim. 10 Bologna Interpretazione e Traduzione 0,76 1,16 28 172 10 74 G 10 Bologna Filologia Classica e Italianistica 0,75 1,15 32 172 12 74 G 10 Bologna delle Arti 0,75 1,14 37 172 14 74 G 10 Bologna Lingue, Letterature e Culture moderne 0,71 1,08 63 172 33 74 G 10 Bologna Beni Culturali 0,66 1,00 87 172 20 48 M 10 Bologna Storia Culture Civiltà 0,62 0,95 110 172 56 74 G 20
Esempi di presentazione dei risultati: Enti di ricerca Area Ente di Ricerca somma punteggi (v) # prodotti attesi (n) %E (#E/attesi) voto medio (I=v/n) R Grad. Comp. Num. Compl. X 1 Istituto Nazionale di Alta Matematica "Francesco Severi" 573,70 684 53,07 0,84 1,59 1 2 1,49 1 CNR 943,75 2.193 30,14 0,43 0,81 2 2 0,85 Area 2: Grandi Enti 2 Istituto Nazionale di Fisica Nucleare 4.701,10 6.105 46,34 0,77 1,02 1 3 0,93 2 Istituto Nazionale di Astrofisica 2.090,15 2.801 50,77 0,75 0,99 2 3 1,01 2 CNR 3.000,76 4.117 54,00 0,73 0,97 3 3 1,08 21
Tabella sinottica graduatoria su R Grandi Atenei 1 2 3 4 5 6 7 Padova 1,12 1,09 1,05 1,38 1,29 1,47 1,22 Milano Bicocca 1,17 1,06 1,12 1,11 1,24 1,39 Verona 1,27 1,02 1,17 1,13 1,49 1,31 Bologna 1,02 0,99 1,06 1,21 1,14 1,31 1,19 Pavia 1,40 1,07 1,02 1,11 0,94 1,09 Grandi Atenei 8a 8b 9 10 11a 11b 12 13 14 Padova 1,06 0,96 1,12 1,10 1,16 1,29 1,08 1,84 1,16 Milano Bicocca 0,73 1,14 1,19 1,20 1,09 1,24 1,35 Verona 1,11 1,14 1,09 1,29 1,27 1,01 1,18 Bologna 1,12 1,16 1,07 1,05 1,02 1,14 1,02 1,41 1,18 Pavia 0,85 0,86 1,01 1,14 1,14 1,27 1,10 1,32 0,90 22
Gli indicatori del Bando VQR Per tale fine, il Bando elencava: Per le strutture: 7 indicatori quali-quantitativi per la ricerca e 8 per le attività di terza missione Per i dipartimenti: 4 indicatori quali-quantitativi per la ricerca e 6 per le attività di terza missione Tutti gli indicatori del Bando sono calcolati come percentuale sul valore complessivo dell'area 23
Gli indicatori di qualità di area per le strutture L indicatore di qualità dei prodotti (IRAS1, peso 0.5) L indicatore di attrazione risorse (IRAS2, peso 0.1) L indicatore di mobilità (IRAS3, peso 0.1) L indicatore di internazionalizzazione (IRAS4, peso 0.1) L indicatore di alta formazione (IRAS5, peso 0.1) L indicatore di risorse proprie (IRAS6, peso 0.05) L indicatore di miglioramento (IRAS7, peso 0.05) 24
Gli indicatori di struttura per la qualità della ricerca Indicatori del Bando dipendenti dalla dimensione di struttura IRAS1 IRAS2 IRAS3 IRAS4 IRAS5 IRAS6 IRAS7 Indicatore finale IRFS 25
Valutazione sintetica dell Università X IRAS 1 Prodotti IRAS 2 Risorse IRAS 3 Mobilità IRAS 4 Internaz. IRAS 5 Formaz. IRAS 6 Risorse proprie IRAS 7 Migliora mento Peso relativo 50% 10% 10% 10% 10% 5% 5% w 1 Area 1 Area 01 Area 06 w 6 IRFS UNI X Area 6 Area 14 Area 14 w 14 26
Graduatoria delle Università con IRFS IRFS: Indicatore Finale di Struttura IRFS UNI X IRFS UNIY 27
I pesi di area La definizione dei pesi w j non è compito dell ANVUR Una possibile scelta può: essere finalizzata a orientare la ricerca futura privilegiando alcune aree rispetto ad altre riflettere in maniera neutra la quota dei prodotti o dei ricercatori delle diverse aree essere proporzionale alla quota di finanziamenti storicamente assegnati alle aree (ad esempio nei bandi PRIN e FIRB, o europei) essere funzione della quota di prodotti pesati per il costo relativo della ricerca nelle diverse aree 28
I pesi di area: la soluzione utilizzata per la distribuzione della quota premiale del FFO I pesi di Area si ottengono utilizzando la quota dei prodotti delle diverse aree 29
Esempi dell indicatore finale di struttura IRFS: Atenei Università Prodotti attesi % Prodotti attesi sul totale ENTI IRFS1 x100 16 aree Bari 4.593 2,98466 2,0409 Catania 3.916 2,54472 1,772 Catanzaro 568 0,36910 0,3989 Firenze 5.311 3,45123 3,6068 Milano 5.990 3,89247 4,2154 Milano Politecnico 3.386 2,20032 2,756 Milano Bocconi 733 0,47632 0,9066 Napoli Federico II 7.129 4,63262 3,7969 Padova 5.740 3,73001 4,8639 Pisa 4.291 2,78841 2,7502 Pisa Normale 232 0,15076 0,3552 Pisa S.Anna 211 0,13711 0,3549 Roma LUISS 223 0,14491 0,2534 Roma La Sapienza 10.842 7,04543 5,9882 Roma Tor Vergata 3.945 2,56357 2,567 Torino 5.332 3,46488 3,6714 Torino Politecnico 2.192 1,42442 1,616 Tuscia 798 0,51856 0,6091 Venezia Cà Foscari 1.358 0,88247 1,1147 30
Graduatoria politiche di reclutamento Università Segm. Area 1 Area 2 Area 3 Area 4 Area 5 Area 6 Area 7 dim. Padova G 1,13 1,15 1,15 1,42 1,30 1,28 1,19 Pavia G 1,26 1,17 1,08 1,22 1,13 1,13 Verona G 1,15 1,22 1,10 1,05 1,20 1,23 Milano G 1,08 1,04 0,99 1,47 1,13 1,12 1,14 Modena e Reggio Emilia G 1,09 1,17 0,94 1,16 1,06 0,98 1,04 Trento M 1,12 1,17 0,96 1,31 1,50 0,86 Ferrara M 1,19 1,20 0,61 1,32 1,12 1,10 Venezia Cà Foscari M 1,21 1,18 1,05 1,33 1,11 0,96 Bolzano M 1,12 1,41 Milano San Raffaele M 1,30 1,39 Pisa Normale P 1,33 1,22 1,46 Pisa S.Anna P 1,46 1,53 Roma LUISS P Lucca - IMT P Napoli Benincasa P
Graduatoria politiche di reclutamento Università Segm. Area 8 Area 9 Area 10 Area 11 Area 12 Area 13 Area 14 dim. Padova G 1,25 1,14 1,05 1,20 1,08 1,72 1,10 Pavia G 0,92 1,06 1,17 1,09 1,11 1,69 1,22 Verona G 1,08 1,15 1,03 1,18 0,88 1,08 Milano G 1,16 1,10 1,07 1,12 1,23 1,24 Modena e Reggio Emilia G 1,30 1,04 1,13 1,10 1,03 0,97 1,29 Trento M 1,24 1,18 1,15 1,39 1,29 0,95 1,21 Ferrara M 1,01 1,15 1,10 1,01 1,25 1,13 Venezia Cà Foscari M 1,07 1,11 1,14 1,36 1,21 Bolzano M 0,62 1,16 1,07 0,87 1,00 2,17 1,37 Milano San Raffaele M 1,17 Pisa Normale P 1,27 1,47 Pisa S.Anna P 1,24 1,04 1,77 1,17 Roma LUISS P 1,17 1,51 1,58 Lucca - IMT P 2,49 Napoli Benincasa P 1,03 0,83 0,66 1,21 0,67
Gli indicatori di struttura di terza missione Indicatori tecnologici L indicatore conto terzi (ITMS1, peso 0.2) L indicatore brevetti (ITMS2, peso 0.1) L indicatore spin-off (ITMS3, peso 0.1 L indicatore incubatori (ITMS4, peso 0.1) L indicatore consorzi (ITMS5, peso 0.1 33
Gli indicatori di struttura di terza missione Indicatori scienze umane e sociali L indicatore siti archeologici (ITMS6, peso 0.1) L indicatori poli museali (ITMS7, peso 0.1) L indicatore altre attività di terza missione (ITMS8, peso 0.2) 34
Oggi, la VQR 2004-2010 35
L indicatore finale di ateneo IRFS è stato utilizzato per la distribuzione del 90% della quota premiale FFO legata alla ricerca Una versione lievemente rivista dell indicatore IRAS3 legato alla qualità del reclutamento è stata utilizzata per la distribuzione del 10% della quota premiale FFO legata alla ricerca Per il futuro, l articolo 60 del D.L. 69/2013 ha fissato a decorrere dal 2014 una misura della stessa quota premiale non inferiore al 20% del Fondo, con incrementi annuali non inferiori all'1%, e fino ad un massimo del 30% del FFO; di tale quota, almeno 3/5 sono ripartiti tra le università sulla base dei risultati conseguiti nella Valutazione della qualità della ricerca (VQR) e 1/5 sulla base della valutazione delle politiche di reclutamento 36
Gli atenei stanno studiando, nella loro autonomia, modalità diverse di utilizzo dei risultati della VQR per la distribuzione interna di risorse tra i dipartimenti L ANVUR sta lavorando con la Commissione Ricerca della CRUI per affinare la valutazione dei dipartimenti: Tenendo conto di TUTTE le pubblicazioni di cui sono coautori i membri del dipartimento, purché presentate alla valutazione VQR Normalizzando gli indicatori R e X a livello di SSD invece che a livello di area Utilizzando il concetto di dipartimento campione, cioè un dipartimento che ha la stessa composizione percentuale in SSD del dipartimento dato con valutazioni dei prodotti pari alla media nazionale del SSD 37
Domani, la VQR 2011-2014 38
La nuova VQR riguarderà la produzione scientifica degli anni 2011-2014 L ANVUR intende avviare una consultazione con la comunità scientifica per definirne le linee guida nella seconda metà del 2014 Il decreto ministeriale e il Bando dovrebbero essere pubblicati all inizio del 2015 La conclusione si prevede per la fine del 2016 39
Le questioni aperte - 1 La consultazione riguarderà la ridefinizione dei criteri e degli indicatori alla luce dell esperienza della VQR 2004-2010 Al fine di valutare i miglioramenti ottenuti dalle strutture è necessario mantenere un sufficiente grado di continuità dei criteri/indicatori 40
Le questioni aperte - 2 Il numero di prodotti da conferire per la valutazione: x=2 o 3? La distinzione tra atenei e enti di ricerca sul numero di prodotti da conferire per la valutazione: x, αx, con α=2? La definizione formale di universitario affiliato a un ente di ricerca La definizione dei livelli di valutazione (E, B, A, L) e i relativi punteggi: rendere più selettiva l eccellenza? 41
Le questioni aperte - 3 La calibrazione degli algoritmi bibliometrici La definizione del criterio di internazionalizzazione per le aree umanistiche, giuridiche e sociali La ridefinizione delle schede per la peer review, rendendo obbligatoria l espressione di un commento scritto alla valutazione numerica 42
Grazie per l attenzione 43