Area 13: Scienze Economiche e Statistiche Confronto peer review bibliometria Tullio Jappelli CNR, 15 febbraio 2013

Transcript

1 Area 13: Scienze Economiche e Statistiche Confronto peer review bibliometria Tullio Jappelli CNR, 15 febbraio

2 Obiettivo Valutazione delle strutture e dei dipartimenti Griglia di classificazione fissata dal bando MIUR: A (20%), B (20%), C (10%), D (50%) 2

3 Area 13: Scienze Economiche e Statistiche SSD Numero docenti % P Economia politica P Politica economica P Scienza delle finanze P04 39 Storia del pensiero economico P Economia applicata P Storia economica Totale % P Economia aziendale P Economia e gestione delle imprese P09 85 Finanza aziendale P Organizzazione aziendale P Economia degli intermediari finanziari P Scienze merceologiche Totale % S Statistica S02 26 Statistica per la ricerca sperimentale e tecnologica S Statistica economica S04 75 Demografia S05 68 Statistica sociale S Metodi matematici dell economia e delle scienze finanziarie e attuariali P05 73 Econometria Totale % Totale 4889 circa prodotti attesi 3

4 Le caratteristiche dell area Eterogeneità tra SSD 2. Sovrapposizioni tra SSD 3. Presenza di prodotti multidisciplinari o inter-area: scienze mediche (statistica sperimentale) matematica (calcolo delle probabilità) chimica e agraria (merceologia) storia (storia economica) giuridica (scienza delle finanze) sociologia (economia del lavoro) ecc. 4

5 Pro e contro della peer review Valutazione del contenuto dell articolo, conoscenza del settore specifico, ecc Tuttavia: qualità dei referee difficile da applicata su larga scala conflitti di interesse uniformità della valutazione, ecc cosa fare se 2 referee esprimono un parere diverso? E un caso molto frequente! 5

6 Gli strumenti di valutazione del GEV 13 Peer review per monografie, articoli su libri, ecc. Peer review su articoli su riviste non classificate Peer review su campione casuale stratificato per SUB-GEV degli articoli su riviste classificate dal GEV Analisi bibliometrica per articoli su riviste classificate Confronto peer review / analisi bibliometrica Valutazione finale dei prodotti su riviste classificate: ranking della rivista + citazioni dell articolo 6

7 Confronto tra Area 13 e altre aree Aree 1-9: disponibile banca dati ISI Area 10 e 11-14: banche dati non disponibili Area 13: costruzione di banca dati Stessi criteri per tutta l area 13 Alcune società scientifiche avevano predisposto elenchi di riviste, ma con criteri molto diversi tra loro 7

8 Costruzione di una banca dati per le riviste del GEV 13 Elenco comprende (1) riviste ISI nelle subject categories rilevanti (15) (2) riviste del sito U-Gov (prodotti dei ricercatori italiani dell area 13), moltissime non ISI o non-scopus Dall elenco sono esclusi: working papers, riviste chiaramente estranee all area 13, riviste a carattere professionale, riviste non accademiche, riviste con h-index in Google Scholar <3, riviste molto recenti Lavori su riviste non incluse nell elenco vengono comunque valutati in peer review 8

9 Elenco reso pubblico nel mese di maggio 2012 attraverso il sito Anvur Correzioni e integrazioni dell elenco a seguito di commenti e suggerimenti della comunità scientifica Documentazione su sito Anvur 9

10 Suddivisione in sotto-aree 4 sotto-aree: E, A, S, H La suddivisione è motivata dalle differenze esistenti negli indicatori bibliometrici Esempio: le riviste di Storia economica e Storia del pensiero (H) hanno in media un numero di citazioni molto inferiori rispetto a E, A, S, G Ogni rivista è attribuita univocamente alla sotto-area prevalente (pro e contro della scelta) 10

11 Classificazione Indicatori bibliometrici considerati: Impact Factor a 2 anni Impact Factor a 5 anni Article Influence Score AIS (Fonte: WoS Dicembre 2010) h-index (Fonte: Google Scholar ) Vantaggi e svantaggi di IF, IF5, AIS, hais, 11

12 Distribuzione delle 1904 riviste per sotto-aree 2.468% 33.82% 40.34% 23.37% Economia Economia aziendale Statistica e matematica Storia economica 12

13 Le riviste ISI sono il 49% in media (40% in H - 65% in S) Le riviste italiane sono il 6% 13

14 La correlazione tra AIS, IF5 e h-index è molto elevata: si procede quindi con l imputazione dei valori mancanti di AIS e IF5 sulla base di h-index (documento su sito Anvur) Valori mancanti di IF5 e AIS sono imputati sulla base di regressioni, per ciascuna sotto-area, di log(ais) e log(if5) su log(h) Analisi di robustezza utilizzando vari metodi di imputazione Per ogni area le riviste sono classificate in quattro classi sulla base dei percentili di AIS e IF5: 20 / 20/ 10 / 50 Forte correlazione (93,4%) tra AIS e IF5 Nel ranking finale utilizzato il valore massimo tra AIS e IF5 14

15 Riviste italiane Sono promosse in fascia C le 20 riviste italiane con i migliori indicatori bibliometrici (separatamente per ogni area) Per riviste italiane si intendono riviste pubblicate in lingua italiana, pubblicate in tutto o in parte in altre lingue da case editrici italiane, pubblicate da case editrici internazionali per conto di istituzioni italiane 15

16 Classificazione finale degli articoli su rivista Dipende anche dal numero di citazioni ricevute dal singolo articolo E completata la valutazione in peer review di un campione casuale stratificato per SUB-GEV degli articoli su riviste incluse nella classificazione finale (10% per le aree A, E, S, 25% per l area H): 590 osservazioni 16

17 17

18 La peer review del GEV13: un lavoro più complesso di quello di una rivista Classificazione dei lavori in subject categories 2 editors invece di uno: 6000 consensus groups Referee scelti indipendentemente da due membri GEV Almeno 3 membri GEV assegnati a ciascuna subject category Giudizio di sintesi nel caso di referee con giudizi diversi Dati su referee (h-index, genere, paese) saranno rese pubbliche Dati su voti discordi nei consensus groups saranno resi pubblici 18

19 La composizione del GEV 13 Diversificato nelle competenze e dal punto di vista geografico e delle istituzioni 36 componenti 10 da università straniere 20 da diverse istituzioni italiane 3 sub-gev (Economia, Aziendale, Statistica) Il Presidente non fa parte di nessun sub-gev Un membro GEV assegnato per ognuno dei 13 gruppi inter area Fino ad ora, tutte le decisioni sono state prese all unanimità 19

20 Baccini ha definito anomala la composizione del GEV 13: Tre membri del GEV sono a distanza 1 dal presidente sono cioè suoi coautori in almeno un articolo; altri quattro si trovano a distanza 2 dal presidente, sono cioè coautori di studiosi esterni al GEV a loro volta coautori del presidente. Il 35% dei membri sono perciò a distanza 2 o inferiore dal presidente Fonte. Repec, marzo 2012 Coautori del presidente (distanza 1) Coautori di coautori del presidente (distanza 2) Distanza 1 o 2 Numero Percentuale Numero percentuale Numero Percentuale Primi % 3 30% 6 60% Primi % 7 35% 10 50% Primi % 11 37% 15 50% Primi % 14 35% 19 47% Primi % 16 32% 22 44% 20