VQR 2004-2010: LA VALUTAZIONE DELLA RICERCA NELL AREA 13 Graziella Bertocchi Università di Modena e Reggio Emilia Responsabile per Economia GEV 13 Sassari, 26 giugno 2014 1
Oggetto della valutazione 3 prodotti per soggetto, periodo 2004-10 0-2 prodotti per giovani ricercatori articoli su riviste Prodotti valutabili libri, capitoli e atti con ISBN 2
Griglia di classificazione ANVUR A. Eccellente (20%) peso 1 B. Buono (20%) peso 0,8 C. Accettabile (10%) peso 0,5 D. Limitato D (50%) peso 0 Prodotto mancante peso - 0,5 E. Non valutabile peso -1 F. Plagio o frode peso - 2 3
36 membri La composizione del GEV 13 di cui 10 da università straniere Diversificato nelle competenze e dal punto di vista geografico e delle istituzioni Presidente Jappelli 3 sub-gev: Economia (Bertocchi) Aziendale (Gambardella) Statistica (Peracchi) Costo del GEV: 5000 Euro a ogni membro 4
Gli strumenti di valutazione del GEV 13 PEER REVIEW (53% dei lavori) monografie, articoli e atti articoli su riviste non classificateanalisi BIBLIOMETRICA (53% dei lavori) articoli su riviste classificate confronto tra peer review e analisi bibliometrica valutazione finale dei prodotti su riviste classificate: ranking della rivista + citazioni dell articolo CAMPIONE casuale stratificato per SUB-GEV degli articoli su riviste classificate dal GEV (6% dei lavori) 5
Descrizione dell Area 13 Quasi 5.000 ricercatori - 86 università, 4 enti di ricerca 4 macro-settori: Economia (30% dei ricercatori) Aziendale (40%) Statistica e metodi matematici (25%) Storia economica e storia del pensiero (5%) Quasi 12.000 lavori da valutare 94% dei lavori attesi 57% in inglese 63% su rivista 53% in peer review 6
Confronto tra Area 13 e le altre aree Aree 1-9 (hard sciences): disponibile banca dati ISI Area 10 e 11-14: nessuna banca data disponibile Area 13: costruzione di banca dati da parte del GEV 7
Costruzione di una banca dati per le riviste del GEV 13 Elenco iniziale comprende 1) le riviste ISI nelle subject categories rilevanti (15) 2) tutte le riviste del sito U-Gov (prodotti 2004-10 dei ricercatori italiani 3) riviste non ISI (Google Scholar) Dall elenco sono esclusi: working papers, riviste estranee all area 13, riviste a carattere professionale e non accademiche, riviste sprovviste di h-index in Google Scholar, riviste con h-index in Google Scholar <3, riviste molto recenti Lavori su riviste non incluse nell elenco vengono comunque valutati, ma non con l analisi bibliometrica 8
Elenco reso pubblico nel mese di maggio 2012 attraverso il sito Anvur, sottoposto ai commenti della comunità scientifica e completato in settembre 2012 NOTA: l elenco riviste del GEV 13 non coincide con l elenco utile ai fini delle abilitazioni 9
Suddivisione delle riviste in sottogruppi 5 sotto-aree: E, A, S, H, G La suddivisione è motivata dalle differenze esistenti negli indicatori bibliometrici Esempio: le riviste di Storia economica e Storia del pensiero (H) hanno in media un numero di citazioni molto inferiori rispetto a E, A, S, G Ogni rivista è attribuita univocamente al sottogruppo prevalente 10
Classificazione Indicatori bibliometrici considerati: Impact Factor IF Five-year Impact Factor IF5 Article Influence Score AIS (Fonte: WoS Dicembre 2010) h-index (Fonte: Google Scholar 2004-2010) 11
I dati mancanti di IF5 e AIS sono stati imputati sulla base di h-index Ranking finale sulla base del valore massimo tra IF5 e AIS Assegnazione delle riviste per ogni sotto-area a 4 classi di merito (A,B,C,D) sulla base dei percentili (20/20/10/50) della distribuzione risultante 20 riviste italiane promosse da D a C In caso di più di 5 citazioni annue di un singolo articolo, l articolo viene promosso nella classe superiore 12
Imputazione I valori mancanti di IF5 e AIS sono imputati sulla base di regressioni, per ciascun sottogruppo, di log(ais), log (IF) e log(if5) su log(h) Focus su log(ais) e log(if5) Analisi preliminare delle kernel densities: asimmetrie, outliers Baseline imputation model (BIM): log(ais), log (IF) e log(if5) su log(h) più una costante Multiple imputation model (MIN), con regressori aggiuntivi, con risultati simili 13
Confronto tra analisi bibliometrica e peer review Il campione casuale comprende 10% degli articoli su riviste di Economia, Economia Aziendale e Statistica 25% degli articoli su riviste di Storia Economica In tutto 590 lavori (6%) Il confronto è stato condotto considerando due criteri grado di concordanza tra valutazione bibliometrica e valutazione peer (misurato con indice kappa di Cohen) verifica di differenze sistematiche tra le medie campionarie della valutazione bibliometrica e peer review Nel complesso i risultati del confronto indicano che i due metodi di valutazione forniscono una buona concordanza e assenza di distorsioni statisticamente significative 14
Per approfondimenti: Bibliometric Evaluation vs. Informed Peer Review: Evidence from Italy 2014 Graziella Bertocchi, Alfonso Gambardella, Tullio Jappelli, Carmela A. Nappi, Franco Peracchi 15
610 revisori 2 revisori per prodotto I revisori esterni Componenti del giudizio di qualità: - rilevanza - originalità - internazionalizzazione Costi della valutazione in peer review: Euro 30 a prodotto 16
I risultati della valutazione Tab. 4.1. Voto medio per sotto-area sub-gev voto medio E 0,42 M 0,18 S 0,40 n.a. 0,08 Totale 0,32 Nota: se una struttura presenta tutti i lavori attesi e nessuna penalizzazione da plagio, e se la distribuzione dei punteggi è uguale alla media della distribuzione internazionale, essa ottiene un punteggio medio pari a 0,20*1 + 0,20*0,8 + 0,10*0,5 + 0,50*0 = 0,41 17
Tab. 4.4. Voto medio per metodo di valutazione modalità di valutazione voto medio peer review 0,14 bibliometria 0,57 Totale 0,37 Tab. 4.5. Voto medio per tipologia di prodotto tipologia prodotti voto medio Articolo su rivista 0,52 Atto di convegno 0,08 Contributo in volume 0,14 Monografia 0,12 Altro 0,11 Totale 0,37 18
La valutazione delle strutture Indicatore IRAS1 = voto medio della struttura/voto medio di area * ricercatori della struttura/ricercatori dell area = voto medio della struttura normalizzato * dimensione relativa della struttura = qualità * quantità 19
Tab. 4.7. Graduatoria di area, grandi strutture (>150 prodotti) ente graduatoria voto voto medio IRAS1 x medio normalizzato 100 Padova 1 0,59 1,84 5,22 Milano Bocconi 2 0,55 1,72 8,79 Bologna 3 0,45 1,41 8,04 Messina 34 0,14 0,44 0,55 Bari 36 0,13 0,39 0,98 Salento 37 0,12 0,37 0,51 20
Tab. 4.7. Ranking di area, piccole strutture ente graduatoria voto medio voto medio normalizzato IRAS1 x 100 Lucca - IMT 1 0,91 2,83 0,30 Pisa S.Anna 3 0,67 2,08 0,86 Milano Politecnico 4 0,58 1,82 0,69 Roma Mercatorum 36 0,13 0,39 0,04 Enna 37 0,11 0,33 0,04 Roma Marconi 38-0,01-0,02-0,01 21
Tab. 4.8. Graduatoria per sotto-aree sub- GEV ente graduatoria voto medio E Pisa S.Anna 1 0,93 E Bolzano 2 0,76 E Milano Bocconi 3 0,63 E sub- GEV ente graduatoria voto medio M Pisa S.Anna 1 0,54 M Milano Bocconi 2 0,51 M Padova 3 0,49 M sub- GEV ente graduatoria voto medio S Padova 1 0,70 S Milano Politecnico 2 0,68 S Pavia 3 0,66 S Vedi anche Tab. 4.9. Graduatoria per SSD 22
La valutazione dei dipartimenti Indicatore IRD1 = voto medio del dipartimento in area 13/voto medio di area * ricercatori del dipartimento in area 13/ricercatori dell area 13 = voto medio del dipartimento normalizzato * dimensione relativa del dipartimento = qualità * quantità 23
Tab. 4.10a. Graduatoria dei dipartimenti ente dipartimento post L.240 graduatoria voto medio voto medio norm. IRD1 x 100 Lucca - IMT n.d. 1 0,91 2,83 0,30 Pisa S.Anna Istituto di Economia 2 0,88 2,74 0,40 Roma LUISS DIP. SCIENZE POLITICHE 3 0,81 2,53 0,21 Vedi anche Tab. 4.11a. Graduatoria dei dipartimenti pre L.240 24
Tab. 4.14. Graduatoria delle strutture per valutazione dei soggetti valutati ente soggetti valutati SV voto medio VM % SV con VM=0 % SV con VM=1 SV assunti dopo il 2006 con VM=1 SV assunti prima del 2006 con VM=1 Lucca - IMT 5 0,92 0,00 60,00 1 2 Pisa S.Anna 20 0,68 5,00 45,00 3 6 Bolzano 14 0,61 0,00 14,29 1 1 25
Tab. 4.15. Graduatoria dei dipartimenti per valutazione dei soggetti valutati ente dipartimento L.240 SV VM % SV con VM=0 % SV con VM=1 SV assunti dopo il 2006 con VM=1 SV assunti prima del 2006 con VM=1 Lucca - IMT n.d. 5 0,92 0,00 60,00 1 2 Pisa S.Anna Istituto di Economia 6 0,88 0,00 83,33 0 5 Milano Dipartimento Bocconi MARKETING 13 0,79 7,69 46,15 1 5 26
IL SEGUITO 1) Ulteriori elaborazioni dei dati della VQR: Collaborazione ANVUR-CRUI Voto Standardizzato su SSD Utile al confronto tra dipartimenti all interno di un ateneo 27
2) Effetti della VQR sulla distribuzione del FFO 2013 Del fondo premiale di 819 milioni di euro (pari a circa il 12% del FFO), 34% sono stati attribuiti in base a due indicatori relativi alla didattica, mentre il restante 66% è stato attribuito in base ai risultati della VQR (fino al 2012 in base a PRIN e VTR). In particolare, quest ultimo 66% è stato attribuito come segue: 90% in base all indice IRFS1 (7 indicatori, di cui pubblicazioni al 50%) calcolato con pesi unitari (contrariamente a una ipotesi iniziale che pesava maggiormente le aree scientifiche) 10% in base alle performance dei nuovi assunti. 28
NOTA dato che la quota premiale 2013 è stata inferiore alla quota 2012 di circa 100 milioni, in pratica gli atenei più virtuosi per i 2013 hanno di fatto limitato le perdite, ma sono comunque stati avvantaggiati rispetto ai meno virtuosi 29
Costruzione di IRFS1= 0,5(IRAS1)+0,1(IRAS2)+0,1(IRAS3)+0,1(IRAS4)+0,1(IRAS5)+0,05(IR AS6)+0,05(IRAS7) Dove IRAS1: qualità della ricerca (valutazione prodotti presentati) IRAS2: attrazione risorse (finanziamenti competitivi 2004-10) IRAS3: mobilità/reclutamento (prodotti dei reclutati/promossi 04-10) IRAS4: internazionalizzazione - ricercatori in entrata o uscita per oltre 3 mesi 2004-10 - prodotti eccellenti con coautore straniero 2004-10 IRAS5: alta formazione (dottorandi, assegnisti, postdoc 2004-10) IRAS6: risorse proprie (finanziamenti ricerca dalla struttura 2004-10) IRAS7: miglioramento (confronto IRAS1 della VTR 2001-3 con VQR) 30