Nell era di internet, accade sempre più spesso che il vero

Transcript

1 Si può misurare il lavoro scientifico? Il profilo bibliometrico è uno strumento utile per valutare la produttività anche se cela molte insidie Giuseppe De Nicolao Nell era di internet, accade sempre più spesso che il vero problema non sia l assenza di informazioni, ma la sovrabbondanza e la conseguente difficoltà a riconoscere le informazioni più rilevanti e autorevoli. In misura crescente ci affidiamo a sistemi automatici, come i motori di ricerca, per catalogare ed elencare in ordine di importanza le risposte alle nostre domande. Mentre è relativamente facile individuare le pagine che trattano di un determinato argomento, il punto cruciale è ordinare le pagine trovate in ordine di importanza. L aspetto più sorprendente dei motori di ricerca come Google è la loro capacità di usare i link esistenti tra le pagine del web per assegnare loro un indice di importanza in modo automatico e senza l ausilio di esperti che conoscano l argomento di cui trattano le pagine. I successi ottenuti dai motori di ricerca rafforzano la fiducia che si possano utilizzare metodi automatici anche per orientarsi tra i contenuti della produzione scientifica, individuando gli articoli e gli autori più significativi e autorevoli. Mentre nel world-wide-web i legami tra le pagine sono dati dai link, nella letteratura scientifica i legami tra gli articoli sono forniti dalle citazioni che legano un articolo scientifico a un elenco di altri articoli richiamati al suo interno. Questa rete di legami fornisce informazioni sui lavori e gli scienziati più letti ed è la base sperimentale su cui si fonda la bibliometria, ovvero la disciplina che analizza in modo quantitativo la letteratura scientifico-tecnologica anche al fine di valutarne l impatto all interno della comunità scientifica. Questo articolo, si propone di spiegare le nozioni base di questa disciplina e di illustrarne potenzialità e limiti nella valutazione dell impatto scientifico di intere nazioni, di università, di riviste e di singoli scienziati. In Italia, l argomento è di grande attualità anche perché l Anvur (Agenzia nazionale per la valutazione dell Università e della Ricerca) ha proposto di assegnare un ruolo chiave agli indicatori bibliometrici non solo nella valutazione di università ed enti di ricerca, ma anche per le assunzioni e gli avanzamenti di carriera dei singoli ricercatori. Per chi fa ricerca scientifica, la pubblicazione dei risultati è un momento fondamentale del proprio lavoro. È non solo una fase di comunicazione della conoscenza ai colleghi e alla società, ma anche di verifica della validità del lavoro fatto. Soprattutto nelle discipline scientifiche, è abituale condizionare la pubblicazione degli articoli al superamento di una peer review, una revisione affidata a un collegio 38 n Darwin n gennaio/febbraio

2 University of Toronto Una sala di lettura dell Università di Toronto. di colleghi ricercatori. Infatti, le riviste scientifiche dispongono di un comitato editoriale che cura la selezione degli articoli da pubblicare. Quando gli autori inviano un articolo chiedendo che venga pubblicato, esso viene assegnato a uno dei membri del comitato editoriale che a sua volta individua un certo numero di esperti del settore (i revisori) che avranno il compito di leggere l articolo ed esprimere un giudizio sulla correttezza e sulla novità dei risultati rispetto allo stato dell arte. Per garantire una migliore imparzialità, il nome dei revisori deve rimanere sconosciuto agli autori dell articolo. Sulla base dei giudizi ricevuti, viene infine formulata una decisione che nei casi più semplici è di accettazione o respingimento, ma che può anche scendere nei dettagli di quali modifiche siano necessarie perché l articolo sia accettabile per la pubblicazione. Lo scopo della procedura di peer review è garantire la qualità degli articoli pubblicati sulla rivista scientifica in modo che i lettori possano fidarsi della correttezza e della novità dei risultati e utilizzarli per scopi pratici o come base per ulteriori ricerche. 39 n Darwin n gennaio/febbraio

3 Citable documents Figura 1. Produzione di documenti scientifici citabili nel periodo : classifica delle prime quindici nazioni (fonte: SCImago 28/11/11). Sotto l ipotesi che le procedure di peer review funzionino correttamente, si può pensare di usare il numero di articoli pubblicati da un ricercatore o da una università per misurare la produzione scientifica di qualità. Nel caso delle università o degli istituti di ricerca, rapportando la produzione al numero di ricercatori o al finanziamento, si possono calcolare indici di produttività pro capite o per unità di finanziamento. Tuttavia, molti articoli pubblicati lasciano poca traccia nella comunità scientifica, mentre altri vengono riconosciuti come avanzamenti di fondamentale importanza. Per tale ragione, un ricercatore anche molto prolifico in termini di articoli pubblicati non è necessariamente più valido di un altro ricercatore che pubblica meno articoli, che però hanno maggior influsso sulla comunità scientifica. Misurare l influsso di una scoperta scientifica è tutt altro che banale, anche perché può accadere che la sua importanza non venga riconosciuta che dopo molti anni. L affermarsi di database citazionali ha reso però possibile contare il numero di volte che un articolo è citato nella letteratura scientifica. Il numero di ci- tazioni rappresenta una misura di impatto che viene usata come surrogato di una valutazione di merito. Naturalmente, tale numero non può che crescere nel tempo e nel caso di articoli il cui numero di citazioni esplode a scoppio ritardato, si parla di «belle addormentate», un fenomeno che testimonia come l analisi bibliometrica condotta su periodi brevi possa sottovalutare il valore di alcuni contributi scientifici. Sommando le citazioni ricevute da un ricercatore, da un dipartimento o da un università, è possibile avere una misura aggregata del loro impatto sulla comunità scientifica. Gli elementi di base del profilo bibliometrico di un ricercatore o di una rivista sono gli articoli e le citazioni che ciascuno di essi ha ricevuto nella letteratura. A partire da questi dati sono stati proposti indicatori derivati. Nel caso delle riviste, l indicatore più famoso è l Impact Factor (IF), ideato nel 1955 dal chimico Eugen Garfield, poi fondatore dell Institute for Scientific Information (ISI) che ancor oggi, sotto il nome di Thomson-Reuters, mantiene uno dei principali database citazionali. Per fare un esempio, l IF 40 n Darwin n gennaio/febbraio

4 Cita%ons Figura 2. Citazioni ricevute nel periodo : classifica delle prime quindici nazioni (fonte: SCImago 28/11/11). del 2010 della rivista Nature è pari al numero medio di citazioni ricevute nel 2010 dagli articoli pubblicati nelle due annate precedenti, ovvero 2008 e nel Attraverso il calcolo degli IF è possibile classificare le riviste in base al loro impatto stimato e, a parità di condizioni, molti ricercatori considerano fonte di prestigio pubblicare su riviste ad alto IF. Un indicatore più recente, ma altrettanto famoso è l h-index, ideato da G.J. Hirsch nel 2005 e tipicamente usato per confrontare singoli ricercatori o gruppi di ricercatori. Secondo la definizione originale, un ricercatore possiede un indice pari ad h se h dei suoi N lavori hanno almeno h citazioni ciascuno e i rimanenti (N h) lavori hanno ognuno al più h citazioni. Il vantaggio, e anche il limite, dell h-index è la sua capacità di sintetizzare in un unico numero informazioni legate al numero di lavori scientifici prodotti e al loro impatto, misurato tramite le citazioni. A supporto del suo indice, Hirsch aveva notato che riconoscimenti come il premio Nobel per la fisica erano di norma attribuiti a scienziati con un h-index elevato. Esistono anche molti altri indicatori bibliometrici che non è possibile descrivere in dettaglio. Un recente volume di A. Baccini 1 offre un panorama vasto e dettagliato dei diversi aspetti, anche tecnici, della bibliometria. Per quanto l IF fosse stato originariamente proposto per orientare le scelte delle biblioteche scientifiche al fine di decidere a quali riviste scientifiche convenisse abbonarsi, l importanza degli indicatori bibliometrici è andata crescendo negli anni a causa del loro possibile utilizzo nella valutazione della ricerca scientifica prodotta sia da singoli ricercatori che da interi dipartimenti, istituti di ricerca e atenei. Per decidere l assunzione o la promozione di un ricercatore, è utile valutare la sua produzione scientifica sia in termini quantitativi che di impatto. A maggior ragione, le decisioni strategiche sulla politica di ricerca di un ateneo o di un intera nazione, richiedono la conoscenza e la valutazione delle ricerche in settori anche molto eterogenei. Un primo approccio per effettuare queste valutazioni è fare ricorso a commissioni di esperti, una procedura che consente di combinare valutazioni quantitative e qualitative, ma che, soprattutto in Italia, è criticata per i suoi margini di arbitrarietà e soggettività, basti pensare agli scandali e alle polemiche sui concorsi universitari. Un alter- 41 n Darwin n gennaio/febbraio

5 Italy: citable documents Figura 3. Italia: serie storica dei documenti scientifici citabili prodotti nel periodo (Fonte SCImago 28/11/11). nativa meno costosa e apparentemente oggettiva è basare il giudizio sugli indicatori bibliometrici. Cosa di più semplice che far vincere un concorso per una cattedra al candidato con più citazioni o con l h-index più alto? Niente più scandali e sospetti di favoritismi. Anche a livello di atenei, si può pensare di distribuire i finanziamenti premiando i più meritevoli, individuati tramite il numero di articoli prodotti (misura di quantità) oppure il numero di citazioni ottenute (misura di impatto). Tuttavia, esiste una vastissima letteratura che mostra come l uso degli indicatori bibliometrici sia meno oggettivo e più insidioso di quanto non appaia a prima vista. Un primo problema riguarda il grado di copertura della produzione scientifica da parte dei database citazionali. In ordine storico, il primo database generalista è l ISI della Thomson-Reuters che copre un insieme meno numeroso di pubblicazioni, ma comunque non incluso nell insieme coperto dal database Scopus della Elsevier. Infine, la copertura più vasta è garantita da Google Scholar, che però include anche pubblicazioni soggette a minori controlli come rapporti interni e versioni preliminari (preprint) di articoli che non hanno ancora passato il filtro della peer review. Mentre ISI e Scopus richiedono la sottoscrizione di un abbonamento, l utilizzo di Scholar è gratuito. Un punto oggetto di discussione è la trasparenza dei criteri per includere o escludere le riviste dall indicizzazione, tanto più che per Scopus si configura un conflitto di interessi in quanto Elsevier è uno dei massimi editori scientifici a livello mondiale. A differenza di ISI e Scopus, Scholar non dichiara le riviste a cui accede per le sue ricerche e la sua vulnerabilità allo spam è stata dimostrata mediante alcune beffe, per esempio facendo indicizzare articoli privi di senso e inventando un autore di fantasia, Ike Antake, il cui h-index, calcolato in base all interrogazione di Scholar superava quello di Einstein. Il problema della copertura è particolarmente grave per le scienze umane e sociali e per tutti quei settori in cui le pubblicazioni nelle lingue nazionali e le monografie hanno un ruolo decisivo nella trasmissione della conoscenza e nella costruzione della reputazione scientifica. Dato che in alcuni campi le statistiche citazionali disponibili non riflettono adeguatamente l impatto della produzione scientifica, esistono interi 42 n Darwin n gennaio/febbraio

6 Rela%ve produc%on: % world China UK Germany France Italy Spain NL CH Figura 4. Serie storiche della percentuale di documenti scientifici citabili sul totale mondiale prodotti dalla Cina e dalle principali nazioni europee (fonte: SCImago 28/11/11). settori in cui gli approcci puramente bibliometrici producono risultati talmente distorti da non essere praticamente applicabili. Anche quando le statistiche citazionali sono applicabili, l evidenza sperimentale dimostra che la valutazione dei risultati deve tenere conto delle abitudini delle diverse comunità scientifiche. Nella matematica, per esempio, il numero delle citazioni è minore che nelle discipline biomediche rendendo l h-index di un matematico non direttamente confrontabile con quello di un medico o di un biologo. Queste differenze hanno stimolato lo sviluppo di tecniche di normalizzazione basate sulla classificazione delle riviste in settori, la cui definizione, oltre che comportare un certo grado di arbitrarietà, varia da un database all altro. L h-index solleva una serie di problemi in quanto, oltre a essere influenzato dal settore scientifico, favorisce chi pubblica molti articoli, anche corti e scritti in collaborazione, rispetto a chi pubblica pochi lavori come unico autore. A tale proposito, è stata coniata l espressione «salami publishing»: suddividere la ricerca nelle fette più sottili possibili per massimizzare il numero di articoli e citazioni. Inoltre, l h-index cresce con l età del ricercatore e può essere gonfiato mediante il ricorso sistematico alle autocitazioni. Anche in questo caso, una possibile risposta è il ricorso a indicatori normalizzati come l m-index, ottenuto dividendo l h-index per l età accademica (il numero di anni trascorsi dal primo articolo pubblicato), al fine di rendere paragonabili ricercatori di diversa anzianità. Infine, esiste il problema degli errori materiali. Errori nella registrazione delle citazioni dovuti a sviste degli autori degli articoli, difficoltà nel distinguere autori omonimi, errori commessi dai database citazionali: A titolo di esempio, per vent anni il database ISI ha attribuito alla rivista Educational Research le citazioni ricevute da un altra rivista, Educational Researcher, non inclusa nel database 1. Pur con tutte le cautele indotte dai limiti e dalle insidie sopra citate, c è un consenso abbastanza dif- 43 n Darwin n gennaio/febbraio

7 Questionable Science Behind Academic Rankings - NYTimes.com HOME PAGE TODAY'S PAPER VIDEO MOST POPULAR TIMES TOPICS Education Log I Search All NYTimes.co WORLD U.S. N.Y. / REGION BUSINESS TECHNOLOGY SCIENCE HEALTH SPORTS OPINION ARTS STYLE TRAVEL JOBS R POLITICS EDUCATION BAY AREA CHICAGO TEXAS Questionable Science Behind Academic Rankings Log in to see what your friends are sharing on nytimes.com. Privacy Policy What s This? Log What s Popular Now Crony Capitalism Comes Homes Occupy Wall Street March to Support Oakland Protests Mohamed EL-Dakhakhny The campus of Alexandria University in Egypt. The college s appearance on a top rankings list this year surprised many researchers. By D.D. GUTTENPLAN Published: November 14, 2010 LONDON For institutions that regularly make the Top 10, the autumn announcement of university rankings is an occasion for quiet self-congratulation. RECOMMEND TWITTER LINKEDIN!"#$%&'#()*"+$&),##-./0 12$)3#-#$)45)3.246-&6()7896':2'"%!"#$%&'()*#+,#-./%(0!"#$%&#'#"()*+,%-./(-,$(/+,$.0(#12*,&-%&3(((45$0(2,*6#7$(&5$(1*/&($''$"&#6$(1$-%/('*,(7#//$1#%-&#%8(-%7( -,"5#6#%8(/"#$%&#'#"(,$/+.&/9(-%7(/*(-,$(-(:$0(2-,&(*'(-%($%&$,2,#/$(*%(;5#"5(*+,(5$-.&59(/$"+,#&09(-%7( 2,*/2$,#&0(+.&#1-&$.0(7$2$%73((<+=.#"-&#*%/(-,$(+/$7(=0(+%#6$,/#&#$/9('+%7#%8(-8$%"#$/9(-%7(*&5$,/(-/(-( 2,#1-,0(1$-/+,$(*'(,$/$-,"5(2,*7+"&#6#&0(-%7(#12-"&3((45$0(2.-0(-(7$"#/#6$(,*.$(#%(5#,#%89(2,*1*&#*%9( -%7(/-.-,0(7$"#/#*%/9(-%7(#%(&5$(,-%:#%8(*'(7$2-,&1$%&/9(#%/&#&+&#*%/9($6$%(%-&#*%/3((>#&5(=#8(,$;-,7/( &#$7(&*(2+=.#"-&#*%9(#&(#/(%*&(/+,2,#/#%8(&5-&(/*1$(2$*2.$($%8-8$(#%(+%$&5#"-.(=$5-6#*,9(-=+/$9(-%7( 7*;%,#85&(',-+73( (!&#..9(;5$%(?(/&-,&$7(&*(.**:(-&(&5$(#//+$/(1*,$(".*/$.09(?(;-/(-22-..$7(=0(;5-&(?( -22.#$7(1-&5$1-&#"/3((A%$("*%".+/#*%(?(7,-;(#/(&5-&("*11*%(=#=.#*1$&,#"/B/+"5(-/(&5$(#12-"&('-"&*,( '*,()*+,%-./(-%7("#&-&#*%("*+%&/('*,(-+&5*,/B-,$($-/#.0(1-%#2+.-&$7(%*&(*%.0(#%(&5$*,09(=+&(-./*(#%( 2,-"&#"$9(-%7(&5-&(&5$#,(+/$(#%(,-%:#%8(-%7()+78#%8(/5*+.7(=$("+,&-#.$73!?CD(2.-"$/(8,$-&(6-.+$(*%(/"5*.-,.0(2+=.#/5#%89(*'("*+,/$9(-%7(;$(-,$(&-:#%8(/&,*%8(-"&#*%/(&*($%/+,$( &5$(#%&$8,#&0(*'(*+,(*;%(2+=.#"-&#*%/(-%7(&*(2,*&$"&(*+,(-+&5*,/(',*1(&5$'&(*'(&5$#,(;*,:3((E+&(;$(-,$( /&#..(/&,+88.#%8(&*(7$"#7$()+/&(;5-&(-"&#*%/(;$(/5*+.7(&-:$3((!*(?(#%6#&$(&5$(&5*+85&/(*'(1$1=$,/(*'(&5$(!?CD("*11+%#&03((?'(0*+(5-6$(;#&%$//$7(&,*+=.#%8(#%"#7$%&/(#%()*+,%-.(2+=.#"-&#*%9(.$&(1$(:%*;3((F*( 0*+(&5#%:(/+"5(#%"#7$%&/(-,$(*%(&5$(,#/$G((!5*+.7(!?CD(=$(7*#%8(1*,$G((!5*+.7(;$(.**:(=$0*%7(*+,( *;%(2+=.#"-&#*%/(-%7(-+&5*,/G Titoli di articoli recenti su trucchi, scandali e pericoli della bibliometria. fuso sull utilità delle statistiche bibliometriche nella valutazione aggregata di comunità sufficientemente vaste di ricercatori. La valutazione dell impatto scientifico delle nazioni è un esempio particolarmente affascinante. In Italia, è diventato abituale deplorare le miserevoli condizioni del sistema universitario nazionale sulla base delle classifiche internazionali degli atenei, in cui nessuno degli atenei italiani riesce a raggiungere le prime posizioni. Tali commenti O omettono di osservare che tali classifiche, oltre a non avere una solida base scientifica, riflettono i risultati raggiunti senza tener conto delle risorse impegnate e che, rapportata al Pil, la spesa italiana per l università è al trentunesimo posto su trentaquattro nazioni considerate dall Ocse. Piuttosto, l approccio corretto per misurare l impatto scientifico delle nazioni è fare riferimento agli articoli scientifici e alle citazioni. Statistiche di questo genere sono liberamente consultabili sul sito della società di ranking scientifico SCImago 2, che le elabora utilizzando i dati forniti da Scopus. Cosa dicono queste classifiche riguardo all Italia? Per quanto riguarda il numero totale di documenti citabili prodotti nel periodo , l Italia si colloca in ottava posizione (Figura 1) mentre C+&5*,(1#/"*%7+"&B1*/&(*=6#*+/.0(6$,=-&#1(2.-8#-,#/19(=+&(-./*(1*,$(/+=&.$(-22,*2,#-&#*%(*'(#7$-/( -%7(7+2.#"-&$(2+=.#"-&#*%B5-/(-.;-0/(=$$%(;#&5(+/3((C&(!?CD9(5*;$6$,9(*+,(#12,$//#*%(#/(&5-&(&5$( 2,*=.$1(#/(=$"*1#%8('-,(1*,$("*11*%3((<$,5-2/($6$%(1*,$(7#/&+,=#%8(#/()*+,%-.(1#/"*%7+"&9("-,,#$7( 2$$,(,$6#$;(2,*"$//(7$/#8%$7(&*(2,*7+"$(&5$(#12,$//#*%(*'(-(/$,#*+/(/"5*.-,.0()*+,%-.(;#&5*+&(&5$( /+=/&-%"$3( (C%*&5$,(#/(&5$(7$.#=$,-&$(1-%#2+.-&#*%(*'("#&-&#*%(/&-&#/&#"/(#%(*,7$,(&*(,-#/$(&5$(#12-"&( '-"&*,(*,(*&5$,()*+,%-.(=#=.#*1$&,#"/3 C(,$"$%&("-/$(#%6*.6#%8(!?CD(=,#%8/(#%(=*&5(-+&5*,(-%7()*+,%-.(1#/"*%7+"&3((C(2-2$,(2+=.#/5$7(#%(-(!?CD()*+,%-.(#%(HIIJ(;-/(2.-8#-,#K$7($//$%&#-..0(6$,=-&#1(',*1(-(2,$2,#%&(6$,/#*%(2*/&$7(=0(&5$( -+&5*,/(*%(&5$(;$=3((C("*2#$7(6$,/#*%(*'(&5$(2-2$,(-22$-,$7(#%(&5$(1/23./)24%/)(#5%&./)(#%6#72)24*248*# )/0#7"*239*( #%(&5$(/-1$(0$-,(;#&5(7#''$,$%&(&#&.$(-%7(-+&5*,/3( (!?CDL/(2+=.#/5$,9(6#"$(2,$/#7$%&('*,( 45$("-/$(8*&(1$//#$,(-%7(1*,$(7#/&+,=#%8(;$$:(=0(;$$:3((?(7$"#7$7(&5-&(*+,('#%-.(,$2*,&(*%(#&(/5*+.7(=$( 1-7$('+..0(2+=.#"N(#&(#/(-6-#.-=.$(*%(&5$(;$=9(;5$,$(0*+("-%(,$-7(&5$(7$&-#./3 O D$-%;5#.$9 ( 5$,$ ( -,$ ( /*1$ ( *' ( &5$ ( /-7 ( "*%".+/#*%/3 ( ( E-/$7 ( *% ( &5$ ( 2-2$,/ ( &5-& ( ;$ (,$6#$;$79 ( ;$( 7$&$,1#%$7(&5-&(&5$(/+/2$"&(-+&5*,/(5-7("*11#&&$7(2.-8#-,#/1(#%(&5#/(-%7(6-,#*+/(*&5$,("-/$/3((C&(.$-/&( SIGN IN TO When Cambridge beat Harvard for the Related No. 1 spot in the QS World University PRINT French University Rankings Draw Rankings this September, Cambridge Praise and Criticism (November 15, REPRINTS 2010) put out a press release. When Harvard SHARE topped the Times Higher Education list two weeks later, it was Harvard s turn to gloat. But the news that Alexandria University in Egypt had placed 147th on the list just below the University of Birmingham and ahead of such academic powerhouses as Delft University of Technology in the Netherlands (151st) or Georgetown in the United States (164th) was cause for both celebration and puzzlement. Alexandria s Web site was quick to boast of its newfound status as the only Arab university among the top 200. Ann Mroz, editor of Times Higher Education magazine, issued a statement congratulating the Egyptian university, adding any institution that makes it into this table is truly world class. But researchers who looked behind the headlines noticed that the list also ranked Alexandria fourth in the world in a subcategory that weighed the impact of a university s research behind only Caltech, M.I.T. and Princeton, and ahead of both Harvard and Stanford. Like most university rankings, the list is made up of several different indicators, which are given weighted scores and combined to produce a final number or ranking. As Richard Holmes, who teaches at the Universiti Teknologi MARA in Malaysia, wrote on his University Ranking Watch blog, according to the Webometrics ranking of World è settima per impatto scientifico misurato attraverso even the best university in Alexandria. il numero di citazioni (Figura 2). Se si considerano 32.5% of the total weighting. le singole annate, la nostra produzione scientifica, pur mostrando chiari segni di crescita (Figura 3), è passata 1 di 4dal settimo posto nel 1996 al nono posto nel 2010, a causa dei sorpassi della Cina e dell India, che crescono molto più rapidamente delle altre nazioni. A scopo comparativo, è interessante valutare la quota di produzione scientifica italiana in relazione a quella europea e mondiale. La percentuale italiana di produzione scientifica rispetto al mondo rimane fondamentalmente stabile: nel periodo oscilla tra un minimo del 3,04%, toccato nel 2002, ed un massimo del 3,40%, raggiunto nel 2009 (Figura 4). Alla luce di questi dati, si può dire che l Italia tiene il passo del resto del mondo. In considerazione, della rapidissima crescita di Cina ed India, si tratta di un risultato molto buono, tanto è vero che, nel contesto europeo, la percentuale italiana è cresciuta nel tempo passando dall 11,08% nel 1996 al 12,44% nel Facendo ancora riferimento alle quote di produzione scientifica europea nel periodo , il confronto con le principali nazioni europee mostra che, a fronte della lieve crescita italiana, Regno Unito, Universities, published by the Spanish Ministry of Education, Alexandria University is not The overall result, he wrote, was skewed by one indicator, citations, which accounted for TimesLimited Sign up to receive exclusive products and e 44 n Darwin n gennaio/febbraio

8 Germania e Francia, pur rimanendo ampiamente le più produttive, hanno diminuito la loro percentuale di produzione scientifica, mentre la Spagna è la nazione che cresce più rapidamente. Questi dati smentiscono nettamente l immagine di una ricerca italiana in decadenza e marginale nel panorama mondiale. Se si considera che il Pil dell Italia è il settimo e che la percentuale investita nella ricerca accademica è decisamente inferiore a quella investita dalle sei nazioni che ci precedono, la produttività e l impatto della ricerca italiana sono sorprendentemente buone. Che la valutazione bibliometrica celi delle insidie, persino nelle valutazioni aggregate a livello nazionale, è stato dimostrato da un recente infortunio giornalistico. Il 22 agosto 2011, il quotidiano la Repubblica pubblica un lungo articolo intitolato «La ricerca perde pezzi. Italia maglia nera d Europa», il quale documenta e commenta un annuncio clamoroso: dal 2008 al 2009 la produzione scientifica italiana sarebbe diminuita di più del 20%, (da più di a circa articoli), un vero e proprio tracollo. La fonte citata: un articolo scientifico intitolato «Is Italian Science Declining?» in stampa sulla prestigiosa rivista Research Policy. Gli autori dell articolo scientifico sono Cinzia Daraio, ricercatrice dell Università di Bologna, e uno dei più affermati studiosi di bibliometria, Henk F. Moed, olandese. In base a quanto scritto nell articolo scientifico, i dati della ricerca erano frutto di interrogazioni del database ISI. Ritornando alla Figura 3, si è già visto che nei dati SCImago, basati su Scopus, non c è traccia di questo crollo, che per la sua entità sarebbe un fenomeno senza precedenti. Nei giorni immediatamente seguenti alla pubblicazione dell articolo su Repubblica, l autore del presente articolo controlla sul database ISI i dati pubblicati dal quotidiano e non solo scopre che sono sbagliati, ma riesce a individuare la fonte dell errore: Daraio e Moed avevano interrogato il database ISI nel primo semestre del 2010, quando gli archivi bibliometrici del 2009 non erano ancora assestati. Conseguentemente, per il 2010 il numero di documenti recuperato era inferiore a quello reale per tutte le nazioni. La prova dell uso di dati incompleti è costituita da una figura dell articolo scientifico in cui si vede che la produzione di tutte le nazioni considerate subisce un tracollo dal 2008 al La spiegazione dell errore e della sua origine viene pubblicata sul blog Univeritas 3 e viene ripresa da altri quotidiani. La ricercatrice di Bologna replica di essere sempre stata consapevole dell incompletezza dei dati, di non aver mai parlato di crollo e che la tesi di un possibile inizio di declino scientifico sostenuta dall articolo scientifico si fondava su altre considerazioni. Il giornalista di Repubblica, dopo più di un mese, rettifica la notizia, mettendo in evidenza le responsabilità dell ufficio stampa dell ateneo bolognese che gli aveva suggerito lo scoop fornendo i dati sbagliati a prova del crollo. Al di là di questo infortunio giornalistico, l aspetto più insidioso dell utilizzo degli indicatori bibliometrici come unico o principale criterio di valutazione individuale e collettiva è lo svilupparsi di comportamenti opportunistici, come lo scambio di citazioni e l abuso del ruolo ricoperto nei comitati editoriali per migliorare le statistiche proprie e delle proprie riviste. Al riguardo esiste una vasta letteratura che punta il dito anche su casi in cui questa ingegneria bibliometrica ha raggiunto esiti clamorosi. Basti pensare che nella classifica 2010 delle migliori università pubblicata da Times Higher Education, l Università di Alessandria d Egitto si è classificata quarta a livello mondiale nella classifica research influence, scavalcando persino Harvard e Stanford, grazie a un singolo scienziato dalle performance bibliometriche eccezionali, il quale aveva pubblicato centinaia di articoli nella rivista da lui diretta 4 Il caso, che ha messo in evidenza la fragilità delle classifiche compilate sulla base di soli indicatori bibliometrici, ha avuto eco internazionale al punto da essere ripreso dal New York Times. Le statistiche bibliometriche offrono informazioni preziose sui meccanismi di generazione, trasmissione e consolidamento del sapere scientifico. Difficile pensare di poterne fare a meno se si vogliono capire meglio i processi che governano l elaborazione collettiva della conoscenza scientifica. Allo stesso tempo, questi indicatori sono misure indirette, rumorose e qualche volta manipolabili dell importanza dei risultati pubblicati dai ricercatori. Non esistono formule magiche che permettano di racchiudere in un unico numero il valore di un ricercatore o quello della produzione scientifica di un ateneo. Anche nazioni come Regno Unito e Australia, che sembravano avviate verso procedimenti di valutazione fortemente ancorati agli indicatori bibliometrici, hanno fatto marcia indietro, riconoscendo la necessità di affidare un ruolo fondamentale al giudizio degli esperti, che pur avvalendosi della bibliometria non potranno esimersi dall esprimere giudizi di merito 4. Come diceva Einstein: «Not everything that counts can be counted, and not everything that can be counted counts». Giuseppe De Nicolao, Università di Pavia Bibliografia 1 A. Baccini, Valutare la ricerca scientifica, Il Mulino, Bologna SCImago Journal & Country Rank, 3 G. De Nicolao, Is Italian science declining? Anatomia di una bufala, 4 G. De Nicolao, I numeri tossici che minacciano la scienza. 45 n Darwin n gennaio/febbraio