La qualità della ricerca nell area 13/B4

Transcript

1 La qualità della ricerca nell area 13/B4 Paola Bongini, Università di Milano Bicocca Convegno AIDEA 2015, Piacenza 12 settembre

2 Agenda VQR : principali risultati VQR : scelte differenti? I nuovi Commissari ANVUR: quale agenda?. Una analisi testuale Il Manifesto di Leiden

3 VQR : la nostra votazione Media % E % B % A % L SECS-P/ SECS-P/ SECS-P/ SECS-P/ SECS-P/ ,5 6, SECS-P/ , Media area 0.32

4 Distribuzione dei lavori di ricerca per tipologia di prodotto SSD Articolo su rivista % Atto di convegno % Contributo in volume % Monografia % Altro % Totale prodotti SECS-P/09 48,60 3,91 21,23 25,14 1, SECS-P/11 41,28 1,32 39,47 16,45 1, Totale Area 13 62,45 3,91 19,88 12,75 1, SSD Numero di lavori conferiti e attesi Prodotti conferiti Prodotti attesi SECS-P/ ,05 SECS-P/ ,41 Totale ,37 % Fonte: Area 13, Rapporto di valutazione finale,

5 Distribuzione dei lavori di ricerca per tipologia e anno Anno SSD % Articolo su rivista % Atto di convegno % Contributo in volume % Monografia % Altro # Totale prodotti 2004 SECS-P/11 40,38 0,00 38,46 21,15 0, SECS-P/11 43,33 0,00 33,33 20,00 3, SECS-P/11 40,54 2,70 35,14 18,92 2, SECS-P/11 35,82 1,49 35,82 25,37 1, SECS-P/11 42,42 4,04 30,30 22,22 1, SECS-P/11 31,71 0,81 52,03 13,82 1, SECS-P/11 51,88 0,00 42,11 5,26 0, SECS-P/09 22,22 0,00 44,44 27,78 5, SECS-P/09 50,00 7,14 7,14 35,71 0, SECS-P/09 51,85 0,00 11,11 37,04 0, SECS-P/09 46,15 3,85 26,92 19,23 3, SECS-P/09 71,43 0,00 7,14 21,43 0, SECS-P/09 47,06 5,88 23,53 23,53 0, SECS-P/09 53,13 6,25 28,13 12,50 0,00 32 Totale Area 13 62,45 3,91 19,88 12,75 1, Fonte: Area 13, Rapporto di valutazione finale,

6 Distribuzione dei lavori di ricerca per lingua di pubblicazione SSD % Inglese % Italiano % Altra lingua % Lingua non disponibile # Totale prodotti SECS-P/09 36,87 54,75 0,56 7, SECS-P/11 35,03 58,72 0,16 6, Totale Area 13 56,68 34,60 0,83 7, Maggiore propensione a pubblicare articoli in lingua inglese nei settori economici e statistici rispetto a quelli di economia aziendale e di storia economica; Nei diversi anni soggetti a valutazione ( ), poche sono state le monografie in inglese apportate dai ricercatori di SECSP/11 (18% circa) mentre i prodotti con la maggiore percentuale di lavori in lingua sono gli articoli su rivista; I ricercatori del SECS/P11 sembrano essere orientati, per tradizione, a scrivere monografie in lingua italiana Situazione analoga la si riscontra in merito alla distribuzione dei lavori di ricerca relativa al SSD SECSP/09, nell ambito del quale le monografie in lingua inglese apportate sono solo il 25% (media anni ) dei prodotti complessivamente sottoposti a valutazione a fronte del 49% Fonte: Area 13, Rapporto di valutazione finale, (media anni ) circa di articoli su rivista.

7 Percentuale di lavori di ricerca valutati attraverso la peer review, la bibliometria e con entrambi i metodi di valutazione SSD % Peer review % Bibliometria % Doppia valutazione Totale prodotti SECS-P/09 64,04 35,96 0, SECS-P/11 71,95 30,86 2, Totale Area 52,86 53,20 6, Nel SSD SECS/P11 complessivamente, il 71,95% dei lavori è stato valutato con peer review e il 30,86% con analisi bibliometrica. Il 2,81% dei lavori (corrispondente al campione casuale di articoli su rivista) è stato valutato sia con la peer review sia con la bibliometria. Nel caso di doppia valutazione, quella finale del lavoro è stata la valutazione bibliometrica. Nel SSD SECS/P09 complessivamente, il 64,04% dei lavori è stato valutato con peer review e il 35,96% con analisi bibliometrica; nessun lavoro è stato valutato contemporaneamente con peer review e bibliometria. Fonte: Area 13, Rapporto di valutazione finale,

8 Punteggi ottenuti e distribuzione dei lavori conferiti non penalizzati nelle classi di merito per tipologia di pubblicazione SSD SECS- P/09 SECS- P/09 SECS- P/09 SECS- P/11 SECS- P/11 SECS- P/11 Tipologia prodotti Articolo su rivista Contributo in volume Somma punteggi (v) # Prodotti conferiti non penalizzati (n) Voto medio (I=v/n) % Prodotti Eccellenti % Prodotti Buoni % Prodotti Accettabil i % Prodotti Limitati 29, ,34 14,94 14,94 14,94 55,17 3, ,08 0,00 0,00 15,79 84,21 Monografia 0, ,01 0,00 0,00 2,22 97,78 Articolo su rivista 70, ,28 10,76 9,16 20,32 59,76 Contributo 13, ,05 0,00 2,09 7,53 90,38 in volume Monografia 5, ,05 2,00 0,00 7,00 91,00 Fonte: Area 13, Rapporto di valutazione finale,

9 Quanto i risultati della VQR hanno inciso sulle nostre successive scelte? Questionario associati Adeimf 77 rispondenti 221 prodotti VQR prodotti VQR

10 Cambia il tipo di pubblicazione VQR % 73% 1% volumi articoli Altro VQR % 62% 2% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

11 Cambia la lingua di pubblicazione VQR % 58% Lingua italiana Lingua inglese VQR % 46% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

12 Meno propensi a sperimentare nuove sedi editoriali.. Journal non Anvur 8% 11% VQR VQR

13 Il cambiamento pagherà? Forse si VQR % 17% 26% 27% Fascia A Fascia B Fascia C Fascia D VQR % 21% 20% 41% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

14 Il cambiamento non è frutto del solo esercizio di valutazione Attribuzione PO Attribuzione FA ai dipartimenti Distribuzione FA nei dipartimenti

15 Il nuovo Consiglio Anvur Cosa aspettarci? 15 candidati selezionati su 121 candidature 4 finalisti: Checchi, Terracini, Rumiati, Miccoli Analisi testuale sulle lettere di autocandidatura

16 Keywords: all Bibliometria Dati Valutazione Didattica Università Ricerca

17 Checchi Bibliometria Dati Valutazione Didattica Università Ricerca

18 Miccoli Bibliometria Dati Valutazione Didattica Università Ricerca

19 Rumiati Bibliometria Dati Valutazione Didattica Università Ricerca

20 Terracini Bibliometria Dati Valutazione Didattica Università Ricerca

21 Multidimensional scaling Metodi di valutazione (più tradizionali) MARTINELLI 0.3 C o m p i t i A N V U R + RUMIATI 0.2 DIANI DI RAIMO SARACCO 0.1 CHECCHI VICHI MARCUZZO 0 MENEGHETTI MORTARI BELTRAM ROSSI MICCOLI C o m p i t i A N V U R - SESTI TERRACINI -0.5 Metodi di valutazione (più innovativi)

22 The Leiden Manifesto for research metrics 1. Quantitative evaluation should support qualitative, expert assessment 2. Measure performance against the research missions of the institutions, group or researcher 3. Protect excellence in locally relevant research 4. Keep data collection and analytical process open, transparent and simple 5. Allow those evaluated to verify data and analysis

23 The Leiden Manifesto for research metrics 6. Account for variation by field in publication and citation practices 7. Base assessment of individual researchers on a qualitative judgement of their portfolio 8. Avoid misplaced concreteness and false precision 9. Recognize the systemic effects of assessment and indicators 10. Scrutinize indicators regularly and update them