VQR : LA VALUTAZIONE DELLA RICERCA NELL AREA 13, CON PARTICOLARE ATTENZIONE ALLA POSIZIONE DI UNIMORE E DEL DEMB

Transcript

1 VQR : LA VALUTAZIONE DELLA RICERCA NELL AREA 13, CON PARTICOLARE ATTENZIONE ALLA POSIZIONE DI UNIMORE E DEL DEMB Graziella Bertocchi Università di Modena e Reggio Emilia Consiglio DEMB, 16 ottobre

2 Oggetto della valutazione 3 prodotti per soggetto, periodo prodotti per giovani ricercatori articoli su riviste Prodotti valutabili libri, capitoli e atti con ISBN 2

3 Griglia di classificazione ANVUR A. Eccellente (20%) peso 1 B. Buono (20%) peso 0,8 C. Accettabile (10%) peso 0,5 D. Limitato D (50%) peso 0 Prodotto mancante peso - 0,5 E. Non valutabile peso -1 F. Plagio o frode peso - 2 3

4 La composizione del GEV membri di cui 10 da università straniere Diversificato nelle competenze e dal punto di vista geografico e delle istituzioni Presidente Jappelli 3 sub-gev: Economia (Bertocchi) Aziendale (Gambardella) Statistica (Peracchi) 4

5 Gli strumenti di valutazione del GEV 13 PEER REVIEW monografie, articoli e atti articoli su riviste non classificate campione casuale stratificato per SUB-GEV degli articoli su riviste classificate dal GEV ANALISI BIBLIOMETRICA articoli su riviste classificate confronto tra peer review e analisi bibliometrica valutazione finale dei prodotti su riviste classificate: ranking della rivista + citazioni dell articolo 5

6 Descrizione dell Area 13 Quasi ricercatori - 86 università, 4 enti di ricerca 4 macro-settori: Economia (30% dei ricercatori) Aziendale (40%) Statistica e metodi matematici (25%) Storia economica e storia del pensiero (5%) Quasi lavori da valutare 94% dei lavori attesi 57% in inglese 63% su rivista 53% in peer review 6

7 Confronto tra Area 13 e le altre aree Aree 1-9 (hard sciences): disponibile banca dati ISI Area 10 e 11-14: nessuna banca data disponibile Area 13: costruzione di banca dati da parte del GEV 7

8 Costruzione di una banca dati per le riviste del GEV 13 Elenco iniziale comprende 1) le riviste ISI nelle subject categories rilevanti (15) 2) tutte le riviste del sito U-Gov (prodotti dei ricercatori italiani 3) riviste non ISI (Google Scholar) Dall elenco sono esclusi: working papers, riviste estranee all area 13, riviste a carattere professionale e non accademiche, riviste sprovviste di h-index in Google Scholar, riviste con h-index in Google Scholar <3, riviste molto recenti Lavori su riviste non incluse nell elenco vengono comunque valutati, ma non con l analisi bibliometrica 8

9 Elenco reso pubblico nel mese di maggio 2012 attraverso il sito Anvur, sottoposto ai commenti della comunità scientifica e completato in settembre

10 Suddivisione delle riviste in sottogruppi 5 sotto-aree: E, A, S, H, G La suddivisione è motivata dalle differenze esistenti negli indicatori bibliometrici Esempio: le riviste di Storia economica e Storia del pensiero (H) hanno in media un numero di citazioni molto inferiori rispetto a E, A, S, G Ogni rivista è attribuita univocamente al sottogruppo prevalente 10

11 Classificazione Indicatori bibliometrici considerati: Impact Factor IF Five-year Impact Factor IF5 Article Influence Score AIS (Fonte: WoS Dicembre 2010) h-index (Fonte: Google Scholar ) 11

12 I dati mancanti di IF5 e AIS sono stati imputati sulla base di h-index Ranking finale sulla base del valore massimo tra IF5 e AIS Assegnazione delle riviste per ogni sotto-area a 4 classi di merito (A,B,C,D) sulla base dei percentili (20/20/10/50) della distribuzione risultante 20 riviste italiane promosse da D a C In caso di più di 5 citazioni annue di un singolo articolo, l articolo viene promosso nella classe superiore 12

13 Imputazione I valori mancanti di IF5 e AIS sono imputati sulla base di regressioni, per ciascun sottogruppo, di log(ais), log (IF) e log(if5) su log(h) Focus su log(ais) e log(if5) Analisi preliminare delle kernel densities: asimmetrie, outliers Baseline imputation model (BIM): log(ais), log (IF) e log(if5) su log(h) più una costante Multiple imputation model (MIN), con regressori aggiuntivi, con risultati simili 13

14 Confronto tra analisi bibliometrica e peer review Il campione casuale comprende 10% degli articoli su riviste di Economia, Economia Aziendale e Statistica 25% degli articoli su riviste di Storia Economica In tutto 590 lavori (6%) Il confronto è stato condotto considerando due criteri grado di concordanza tra valutazione bibliometrica e valutazione peer (misurato con indice kappa di Cohen) verifica di differenze sistematiche tra le medie campionarie della valutazione bibliometrica e peer review Nel complesso i risultati del confronto indicano che i due metodi di valutazione forniscono una buona concordanza e assenza di distorsioni statisticamente significative 14

15 610 revisori 2 revisori per prodotto I revisori esterni Componenti del giudizio di qualità: - rilevanza - originalità - internazionalizzazione 15

16 I risultati della valutazione Tab Voto medio per sotto-area sub-gev voto medio E 0,42 M 0,18 S 0,40 n.a. 0,08 Totale 0,32 Nota: se una struttura presenta tutti i lavori attesi e nessuna penalizzazione da plagio, e se la distribuzione dei punteggi è uguale alla media della distribuzione internazionale, essa ottiene un punteggio medio pari a 0,20*1 + 0,20*0,8 + 0,10*0,5 + 0,50*0 = 0,41 16

17 Tab Voto medio per metodo di valutazione modalità di valutazione voto medio peer review 0,14 bibliometria 0,57 Totale 0,37 Tab Voto medio per tipologia di prodotto tipologia prodotti voto medio Articolo su rivista 0,52 Atto di convegno 0,08 Contributo in volume 0,14 Monografia 0,12 Altro 0,11 Totale 0,37 17

18 La valutazione delle strutture Indicatore IRAS1 = voto medio della struttura/voto medio di area * ricercatori della struttura/ricercatori dell area = voto medio della struttura normalizzato * dimensione relativa della struttura 18

19 Tab Graduatoria di area, grandi strutture (>150 prodotti) ente graduatoria voto voto medio IRAS1 x medio normalizzato 100 Padova 1 0,59 1,84 5,22 Milano Bocconi 2 0,55 1,72 8,79 Bologna 3 0,45 1,41 8,04 4 0,43 1,35 2,73 Modena e Reggio Emilia 13 0,33 1,03 1,94 Messina 34 0,14 0,44 0,55 Bari 36 0,13 0,39 0,98 Salento 37 0,12 0,37 0,51 Unimore risulta 13esima su 37, con voto medio appena superiore alla media di area 19

20 Tab Ranking di area, piccole strutture ente graduatoria voto medio voto medio normalizzato IRAS1 x 100 Lucca - IMT 1 0,91 2,83 0,30 Pisa S.Anna 3 0,67 2,08 0,86 Milano Politecnico 4 0,58 1,82 0,69 Roma Mercatorum 36 0,13 0,39 0,04 Enna 37 0,11 0,33 0,04 Roma Marconi 38-0,01-0,02-0,01 20

21 Tab Graduatoria per sotto-aree sub- GEV ente graduatoria voto medio E Pisa S.Anna 1 0,93 E Bolzano 2 0,76 E Milano Bocconi 3 0,63 E E Modena e Reggio Emilia 40 0,34 sub- GEV ente graduatoria voto medio M Pisa S.Anna 1 0,54 M Milano Bocconi 2 0,51 M Padova 3 0,49 M M Modena e Reggio Emilia 15 0,22 sub- GEV ente graduatoria voto medio S Padova 1 0,70 S Milano Politecnico 2 0,68 S Pavia 3 0,66 S 4 0,65 S Modena e Reggio Emilia 10 0,56 21

22 Tab Graduatoria per SSD SSD ente graduatoria SECS- P/01 SECS- P/02 SECS- P/03 SECS- P/07 SECS- P/08 SECS- P/10 SECS- P/11 SECS- S/01 SECS- S/06 Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia voto medio 30 0, , , , ,17 2 0,51 6 0,19 6 0, ,42 22

23 La valutazione dei dipartimenti Indicatore IRD1 = voto medio del dipartimento in area 13/voto medio di area * ricercatori del dipartimento in area 13/ricercatori dell area 13 = voto medio del dipartimento normalizzato * dimensione relativa del dipartimento 23

24 Tab. 4.10a. Graduatoria dei dipartimenti ente dipartimento post L.240 graduatoria voto medio voto medio norm. IRD1 x 100 Lucca - IMT n.d. 1 0,91 2,83 0,30 Pisa S.Anna Istituto di Economia 2 0,88 2,74 0,40 Roma LUISS DIP. SCIENZE POLITICHE 3 0,81 2,53 0,21 Modena e Reggio Emilia Modena e Reggio Emilia Economia "Marco Biagi" 76 0,32 1,01 1,39 Comunicazione ed economia 94 0,29 0,90 0,35 24

25 Tab. 4.11a. Graduatoria dei dipartimenti pre L.240 ente Modena e Reggio Emilia Modena e Reggio Emilia Modena e Reggio Emilia dipartimento pre L.240 graduatoria Dip. ECONOMIA POLITICA Dip. COMUNICAZIONE E ECONOMIA Dip. ECONOMIA AZIENDALE voto medio voto medio norm. 58 0,43 1,34 1, ,34 1,08 0, ,18 0,56 0,32 IRD1 x

26 Tab Graduatoria delle strutture per valutazione dei soggetti valutati ente soggetti valutati SV voto medio VM % SV con VM=0 % SV con VM=1 SV assunti dopo il 2006 con VM=1 SV assunti prima del 2006 con VM=1 Lucca - IMT 5 0,92 0,00 60, Pisa S.Anna 20 0,68 5,00 45, Bolzano 14 0,61 0,00 14, Modena e Reggio Emilia 82 0,34 32,93 10,

27 Tab Graduatoria dei dipartimenti per valutazione dei soggetti valutati ente dipartimento L.240 SV VM % SV con VM=0 % SV con VM=1 SV assunti dopo il 2006 con VM=1 SV assunti prima del 2006 con VM=1 Lucca - IMT n.d. 5 0,92 0,00 60, Pisa S.Anna Istituto di Economia 6 0,88 0,00 83, Milano Dipartimento Bocconi MARKETING 13 0,79 7,69 46, Modena e Economia "Marco Reggio Emilia Biagi" 59 0,34 30,51 13, Modena e Reggio Emilia Comunicazione ed economia 18 0,27 44,44 0,

28 Conclusioni Unimore è appena superiore alla media di area (voto medio normalizzato 1,03) ma nettamente superiore alla mediana degli atenei (13esima su 37) Economia ha un voto medio maggiore di Aziendale, ma ciononostante ha una collocazione peggiore nella sotto-area Statistica ha una buona collocazione pur all interno della sotto-area con maggiore voto medio Grande variabilità tra SSD Altissima proporzione di soggetti attivi Alta percentuale di soggetti valutati con voto medio pari a 0 (oltre 30%), bassa percentuale di soggetti con voto medio pari a 1 Buona performance dei nuovi assunti post