VQR : la valutazione della qualità della ricerca

Transcript

1 Xxxx Xxx È in corso la seconda rilevazione ministeriale della qualità delle strutture di ricerca italiane VQR : la valutazione della qualità della ricerca di Fulvio Zecchini Nell attuale contesto socio-economico che richiede un continuo taglio della spesa pubblica, non si può prescindere da un oculata distribuzione dei pochi fondi disponibili. Ciò comporta necessariamente un attenta valutazione della qualità della ricerca svolta presso atenei, enti e centri nazionali, al fine di identificare le strutture di eccellenza più meritevoli. A questo scopo è nata l Anvur, l Agenzia di Valutazione del Sistema Universitario e della Ricerca, divenuta operativa nel maggio Cogliamo l occasione della valutazione in corso, riferita alle attività del settennio , per parlare assieme di come viene valutato il lavoro dei ricercatori.

2 Diversi governi europei sono vicini alla bancarotta e, tra le varie misure adottate per evitare il tracollo, sono costretti a tagliare significativamente la spesa pubblica. I pochi fondi disponibili devono essere distribuiti alle strutture più meritevoli, che producono i risultati migliori. Non fa eccezione il mondo della ricerca italiana, per il quale le risorse sono da sempre molto limitate, che viene sottoposto a valutazione ministeriale della qualità della ricerca da circa un decennio. La prima iniziativa simile è stata realizzata in Inghilterra nel 1986 dal governo presieduto da Margaret Thatcher con l obiettivo di indirizzare selettivamente il finanziamento delle università in un momento di grave difficoltà economica. In Italia il primo esercizio di valutazione viene istituito 17 anni dopo, col DM 16 dicembre 2003 n. 2206, parte così la VTR , la Valutazione Triennale della Ricerca condotta dal CIVR, il Comitato di Indirizzo per la Valutazione della Ricerca, conclusasi nel Attualmente è in corso la VQR , la Valutazione della Qualità della Ricerca riferita al settennio indicato, condotta stavolta dall Anvur, l Agenzia di Valutazione del Sistema Universitario e della Ricerca ( istituita con DPR 1 febbraio 2010 n. 76 presso le strutture del Miur, il Ministero dell Istruzione, dell Università e della Ricerca, e divenuta operativa il 2 maggio Chi, cosa e perché viene valutato Hanno dovuto obbligatoriamente sottoporsi alla valutazione le 67 università statali e le 28 non statali legalmente riconosciute, oltre ai 12 enti di ricerca vigilati dal Miur. A questi si sono aggiunti volontariamente, e a spese proprie, 27 enti di ricerca privati, tra i quali troviamo diversi consorzi interuniversitari di ricerca tematica, compreso INCA, il Consorzio Interuniversitario Nazionale La Chimica per l Ambiente, il nostro editore. Il primo parametro di giudizio è la qualità dei prodotti di ricerca, realizzati da professori ordinari e associati, ricercatori e assistenti universitari, ricercatori e tecnologi degli enti di ricerca: articoli su riviste scientifiche; libri e loro capitoli, inclusi atti di congressi (solo se dotati di ISBN, l International Standard Book Number), assieme a edizioni critiche, traduzioni e commenti scientifici; brevetti depositati; composizioni, disegni, design, performance, mostre ed esposizioni organizzate, manufatti, prototipi e opere d arte e loro progetti, banche dati e software, carte tematiche. Ogni soggetto coinvolto ha potuto sottoporre tre prodotti per la propria università e altri tre per uno solo degli eventuali enti di ricerca a cui è affiliato. Ad essere valutate, però, sono le strutture e non i singoli ricercatori. A livello di ateneo vengono considerati i singoli dipartimenti. La VQR servirà a definire la distribuzione dell FFO, il Fondo di Finanziamento Ordinario, con cui il Miur cofinanzia il funzionamento generale delle strutture di ricerca e formazione. L esercizio di valutazione è organizzato in quattordici settori che coincidono con le aree scientifiche identificate del CUN, il Consiglio Universitario Nazionale: 1. Scienze matematiche e informatiche; 2. Scienze fisiche; 3. Scienze chimiche; 4. Scienze della Terra; 5. Scienze biologiche; 6. Scienze mediche 7. Scienze agrarie e veterinarie; 8. Ingegneria civile ed Architettura; 9. Ingegneria industriale e dell informazione; 10. Scienze dell antichità, filologico-letterarie e storico-artistiche; 11. Scienze storiche, filosofiche, pedagogiche e psicologiche; 12. Scienze giuridiche; 13. Scienze economiche e statistiche; 14. Scienze politiche e sociali. Per ognuna di esse l Anvur ha nominato un GEV, cioè un Gruppo di Esperti della Valutazione, per un totale di 450 studiosi. Il loro giudizio si baserà in primo luogo sulla qualità cumulativa delle pubblicazioni scientifiche realizzate dai ricercatori del dipartimento o e su altri fattori, riferiti al settennio , descritti brevemente di seguito. Indicatore di qualità della ricerca: viene misurato sommando le valutazioni ottenute dai prodotti presentati. Indicatore di attrazione risorse: rappresenta il totale dei finanziamenti ottenuti sottoponendo proposte progettuali a bandi competitivi nazionali e internazionali. Indicatore di mobilità: è la somma delle valutazioni ottenute dai prodotti presentati dai soggetti reclutati dalla struttura (o promossi a un livello superiore) nel periodo n.27 Settembre 2012

3 Ogni organizzazione che ha partecipato alla VQR ha trasmesso i dati all Anvur attraverso un sito dedicato e riservato gestito dal consorzio CINECA per conto del Miur. A titolo d esempio mostriamo la home page dell area riservata al Consorzio INCA, l editore di Green. Indicatore di internazionalizzazione: misurato in termini di mobilità da e verso atenei ed enti internazionali (espressa in anni-persona, per periodi di permanenza superiori a tre mesi continuativi) e di somma delle valutazioni ottenute dai prodotti eccellenti con almeno un coautore straniero. L indicatore di alta formazione: è il numero di ricercatori in formazione (studenti di dottorato, assegnisti di ricerca, borsisti post-doc). Indicatore di risorse proprie: è pari alla somma dei finanziamenti per progetti di ricerca derivati da risorse finanziarie proprie della struttura, destinate al finanziamento di progetti di ricerca interni o per il cofinanziamento di progetti risultati vincitori in bandi nazionali e internazionali. Indicatore di miglioramento: misurato come differenza della qualità delle pubblicazioni tra la VQR e la VTR A questi si aggiungono degli indicatori di terza missione, di collaborazione cioè tra strutture accademiche e società civile, intesa anche come mondo produttivo. Essi sono diversi a seconda che si tratti di scienze delle aree tecniche o umanistiche. In questo contesto ci limitiamo alle prime. Indicatore conto terzi: è il totale dei finanziamenti ottenuto attraverso contratti di ricerca/consulenza commissionati direttamente alla struttura da soggetti esterni. Indicatore brevetti: definito dal numero di brevetti concessi nel periodo , di titolarità o co-titolarità della struttura. Indicatore spin-off: rappresentato dal numero di spin-off accreditati presso la struttura ai sensi dei rispettivi regolamenti interni, cioè di società compartecipate dedite allo sfruttamento commerciale dei risultati della ricerca. Indicatore incubatori: misurato dalla presenza o meno di incubatori d impresa compartecipati dalla struttura. Indicatore consorzi: rappresentato dal numero di consorzi a cui è affiliata la struttura che abbiano tra le loro finalità il trasferimento tecnologico. Le strutture che partecipano alla VQR hanno completato il 31 luglio la sottomissione dei prodotti di ricerca e degli altri dati necessari alla valutazione attraverso l apposito portale online gestito dal CINECA. Attualmente sono al lavoro i vari GEV, la pubblicazione dei risultati finali da parte dell Anvur è attesa per fine giugno La valutazione delle pubblicazioni scientifiche Oggi nel mondo accademico è sentita la necessità dell uso di criteri di meritocrazia nell assegnazione dei fondi pubblici, sempre più scarsi. La valutazione del proprio operato è pane quotidiano per chi opera in questo settore o per chi voglia accedere all insegnamento universitario. Oltre al curriculum, la carriera di un ricercatore si valuta attraverso la qualità delle sue pubblicazioni. A titolo d esempio generale possiamo citare i criteri adottati dal GEV 03 Scienze Chimiche. Faremo riferimento agli articoli scientifici pubblicati su riviste scientifiche internazionali, per i quali sono disponibili alcuni archivi online a pagamento che riportano anche gli indici bibliometrici per esprimere la qualità dei singoli paper elencati e dei loro autori. Ognuno di essi mostra dei punti deboli, tra cui il principale è spesso quello di crescere con gli anni di esperienza dell autore, sfavorendo così i ricercatori più giovani. Essi rispondono, però, all esigenza di ottenere valori numerici per ottenere giudizi quanto più possibile oggettivi e comparabili tra loro. Per la sua valutazione il GEV 03 si baserà principalmente articoli su riviste scientifiche, utilizzando la tecnica detta informed peer review, cioè un insieme di revisione 49 n.27 Settembre 2012

4 Videata dell analisi di Web of Science dell articolo attualmente più citato (501 volte) di uno dei ricercatori più prestigiosi del Consorzio INCA. Gli altri dati riportati a destra si riferiscono all autore, si notano valori molto alti delle citazioni medie per lavoro e dell H-index. WoS è un ottimo strumento per questo tipo di analisi, ma i suoi costi di gestione fanno sì che l accesso sia a pagamento e molto caro. ex novo e analisi degli indici bibliometrici disponibili, considerando sia la qualità della rivista in cui sono pubblicati, sia il loro impatto specifico, quantificato in base al numero di citazioni ricevute fino al dicembre Chiaramente i paper pubblicati all inizio del settennio hanno avuto più tempo per accumulare citazioni e raggiungere un valore statisticamente significativo del loro impatto, rispetto ai lavori più recenti. Questi ultimi potranno, quindi, richiedere una vera e propria nuova peer review da parte degli esperti del GEV o di revisori esterni opportunamente identificati. Gli indici bibliometrici considerati dalla VQR sono l impact factor (IF; letteralmente: fattore d impatto), relativo alla qualità della rivista (journal in inglese), riportato sul portale Web of Science (WoS) della Thomson Reuters (in alternativa un parametro analogo è disponibile su Scopus della Elsevier B.V.) e il numero delle citazioni che il singolo articolo ha ricevuto, incluse quelle fatte su lavori successivi dagli stessi autori. Per brevità e semplicità descriveremo il solo IF, il più utilizzato in ambito scientifico, per poi finire con alcune considerazioni sulle citazioni e su altri parametri che descrivono il valore del singolo ricercatore. L IF è un indice sintetico di proprietà della Thomson Reuters, un valore che misura il numero medio di citazioni ricevute dagli articoli pubblicati in una determinata rivista scientifica nei due anni precedenti. È stato introdotto da poco anche il 5-year Journal Impact Factor, relativo a cinque anni, come dice il nome stesso. L IF viene utilizzato per categorizzare, valutare, comparare e ordinare le riviste scientifiche elencate sul portale Web of Science di proprietà della stessa Thomson Reuters. Non tutti i giornali vengono classificati, essi vengono selezionati in base a diversi parametri qualitativi tra cui la puntualità delle pubblicazioni, l uso della peer review per filtrare gli articoli, i contenuti scientifici e la completezza delle indicazioni bibliografiche dei paper, l internazionalità degli autori. L elenco dei valori di IF delle varie riviste è pubblicato sul Journal Citation Reports (JCR), un rapporto annuale prodotto dall Institute for Scientific Information (ISI), una divisione commerciale della stessa Thomson Reuters. L impact factor venne ideato nel 1955 da Eugene Garfield, un chimico statunitense, il quale fondò cinque anni dopo l ISI, poi acquisito nel 1992 da quella che oggi è diventata la Thomson Reuters. Attualmente è uno dei parametri utilizzati in Italia per selezionare i candidati nei concorsi nazionali per posizioni di docenza e di ricerca a livello accademico ai sensi del DM del 28 luglio In questi casi si calcola il valore medio dell IF delle riviste su cui il soggetto ha pubblicato, ma va sottolineato che l uso di questo solo fattore per la valutazione di un paper o di un ricercatore viene considerato inappropriato, anche dalla stessa Thomson. Per questo motivo l Anvur ha deciso prendere in considerazione un altro parametro: il numero totale delle citazioni. WoS permette un ampia gamma di ricerche nel suo database, tra cui quelle per autore, per titolo o per parola chiave. Facciamo l esempio del primo caso. Innanzitutto bisogna accertarsi che si tratti proprio del ricercatore di nostro interesse, in quanto negli articoli solitamente vengono indicati il cognome e la sola iniziale del nome. Una volta ottenuta la lista si possono analizzare uno per uno gli articoli o fare delle valutazioni statistiche. Il sistema stesso ci fornisce il numero di citazioni di 50 n.27 Settembre 2012

5 Il sito dove può essere liberamente consultato l Eigenfactor, un indice bibliometrico che si pone come miglioria dell impact factor per la valutazione della qualità delle riviste scientifiche, proposto e gestito dalla Washington University (Seattle, Usa). ogni singolo lavoro, includendo o meno le autocitazioni. I valori di IF e di citazioni vengono poi usati dai GEV per realizzare delle matrici che permettono di classificare gli articoli in quattro classi di merito - eccellente, buono, accettabile e limitato - che verranno poi utilizzate per la valutazione, tenendo conto anche dell originalità/innovazione e dell internazionalizzazione e potenziale competitivo internazionale. Dalle valutazioni di ogni suo singolo paper deriva la valutazione bibliometrica del singolo autore. Infatti, una volta ottenuta la lista delle sue pubblicazioni su WoS, che si presume essere esaustiva, essa può essere utilizzata per ottenere degli indicatori statistici, tra cui il numero di volte in cui l autore è stato citato nella letteratura internazionale e il relativo valore medio, con e senza autocitazioni. Molto utilizzato per valutare la carriera di un ricercatore a complemento dell IF è il suo H-index, o indice di Hirsch, ideato nel 2005 da Jorge E. Hirsch dell Università della California (San Diego) per quantificare la prolificità e l impatto del lavoro degli scienziati, basandosi sia sul numero delle loro pubblicazioni che sulle citazioni ricevute. Infatti l H-index di un ricercatore è definito come il massimo numero (intero) N di sue pubblicazioni che hanno ricevuto almeno N citazioni. Esso possiede una natura tipicamente cumulativa, nel senso che può solo crescere o rimanere costante. Il problema maggiore di questo indice sta nel fatto che non differenzia l attività di ricerca più recente da quella precedente e favorisce, pertanto, i ricercatori con maggiore esperienza rispetto a quelli più giovani. Per ovviare a ciò, è stato proposto anche l uso degli indicatori H5 e H10 che si riferiscono solo agli ultimi cinque o dieci anni di attività. Un altro sistema proposto per eliminare l influenza degli anni di attività del ricercatore è quello di calcolare il suo IF relativo, dividendo il numero delle sue citazioni totali per l IF medio dei journal su cui ha pubblicato. Il mondo delle analisi bibliometriche è in continua evoluzione, alla ricerca di una maggior oggettività e comparabilità dei risultati. La descrizione in dettaglio della ridda dei nuovi indicatori proposti esula dai nostri scopi. Qui ricordiamo solo l immediacy index, gestito anch esso dall ISI, che esprime quanto una rivista sia attuale nel suo settore scientifico, attraverso il rapporto tra il totale del numero di citazioni totali degli articoli pubblicati dalla rivista in un dato anno e il numero totale degli stessi lavori. In tal modo si ottiene un indicazione di quanto tale journal sia considerato come autorevole riferimento dai vari autori che pubblicano nella stessa area scientifica. Il Citation Half-Life si riferisce alla emivita degli articoli che sono stati citati nel Journal Citation Reports ogni anno. Ad esempio, se nel 2012, per una rivista viene calcolato un valore pari a cinque ciò significa che le citazioni ricevute dal 2007 ad oggi sono la metà di tutte le citazioni ricevute da quella rivista, mentre l altra metà è antecedente a quell anno. Infine ricordiamo l Eigenfactor sviluppato nel 2007 da Jevin West e Carl Bergstrom della Washington University di Seattle, che si pone come alternativa migliorativa al journal impact factor. La classificazione si basa non soltanto sul numero totale di citazioni ricevute dagli articoli pubblicati sul singolo giornale, ma sul prestigio delle riviste in cui esse sono riportate. Pertanto a parità di altri fattori, i journal che generano un impatto maggiore sulla letteratura del settore scientifico di riferimento hanno un Eigenfactor maggiore. Diversamente da quanto avviene per l IF, quest ultimo può essere liberamente consultato sul sito Attraverso l esercizio di valutazione, la ricerca italiana si è conformata ai criteri meritocratici che vigono nel mondo accademico europeo e internazionale. La speranza, ora, è che questo buon esempio sia seguito da altri settori socio-economici nazionali strategici. Fulvio Zecchini Consorzio INCA 51 n.27 Settembre 2012