Valutazione e valorizzazione delle attività di ricerca

Transcript

1 Valutazione e valorizzazione delle attività di ricerca Introduzione alla bibliometria: i database citazionali Luca Lanzillo Simona Turbanti Giovedì 14 gennaio 2016 Dip. di Scienze documentarie, linguistico-filologiche e geografiche Dottorato di ricerca in Scienze documentarie, linguistiche e letterarie

2 ALCUNI ACCENNI SU VALUTAZIONE E BIBLIOMETRIA

3 La valutazione della ricerca Cosa si valuta? quantità e qualità della ricerca Come si valuta? e qualitativo strumenti di tipo quantitativo Perché si valuta? monitoraggio del lavoro dei ricercatori e docenti; stimolo a una migliore produttività; distribuzione più efficace delle risorse

4 Cosa viene valutato di un prodotto della ricerca? Qualità della ricerca: valore della ricerca, in termini di originalità di contenuto e di robustezza metodologica Strumento: peer review Limiti: soggettività del giudizio dei pari Impatto: valore attribuito dalla comunità dei pari mediante le citazioni Strumento: calcolo delle citazioni/bibliometria Limiti: i lavori su argomenti molto specifici, pur di qualità, soffrono di poca ricaduta in termini di impatto Importanza: capacità di penetrazione della ricerca nel lungo termine

5 La qualità della ricerca Si tratta del riconoscimento che la ricerca è stata ben condotta in riferimento ai canoni prevalenti in un certo periodo all interno della comunità dei pari di riferimento: originalità rilevanza rigore metodologico chiarezza nell esposizione Questo concetto di qualità si presta ad essere valutato soltanto dalla comunità scientifica di riferimento che conosce e condivide i canoni di qualità medesimi 5

6 L impatto della ricerca Si intende il riconoscimento tributato in un dato intervallo temporale ad un contributo scientifico dalla comunità dei pari attraverso le citazioni Un articolo molto citato è un articolo con un elevato impatto nella comunità scientifica articolo molto citato = articolo di qualità? In realtà questa affermazione non è del tutto vera; si può anche citare un contributo per prenderne le distanze, per criticare il metodo utilizzato, per confutare i risultati ottenuti, ecc. (esistenza di diversi stili, pesi e contesti citazionali)

7 L importanza della ricerca Si intende la capacità di influenzare nel lungo periodo le ricerche condotte da altri e di aprire la strada a nuove vie per lo sviluppo della scienza. Se le pubblicazioni che hanno questa caratteristica sono certamente di qualità, non è detto che siano anche d impatto L importanza di un contributo può essere apprezzata e valutata solo nel lungo periodo Le belle addormentate : pubblicazioni che passano inosservate per un lungo periodo di tempo (ovvero non vengono citate) e che improvvisamente attraggono l attenzione della comunità scientifica. La causa di questo fenomeno si può ricondurre all innovatività di certi lavori scientifici che, precorrendo i tempi, non vengono recepiti (le scoperte di Mendel nel campo della genetica vegetale ne sono un esempio: aspettarono circa vent anni prima di essere comprese dai pari) 7

8 La trasmissione della conoscenza Lo scienziato si impegna nel suo lavoro per raggiungere la priorità della scoperta Lo scienziato è spinto a rendere pubblici i risultati della scoperta nel minor tempo possibile ed è tenuto a dimostrare l originalità del suo pensiero mostrando però il contributo del lavoro di altri alla sua scoperta attraverso la citazione Tanto più un lavoro è citato dagli altri quanto più lo scienziato incrementa la sua reputazione

9 Una panoramica 1 Livelli della valutazione 2 Oggetti della valutazione 3 Metodologie 4 Grandi aree disciplinari 5 Finalità della valutazione Micro (singolo individuo) Meso (dipartimenti, atenei) Macro (sistemi nazionali) Qualità interna Impatto scientifico Importanza Impatto sociale ed economico Qualitativa (peer review) Quantitativa (Indicatori bibliometrici, indicatori d uso) Misto (Informed peer review) Scienze dure Scienze sociali Scienze umane Ripartizione finanziamenti Progressione di carriera Abilitazione scientifica nazionale 9

10 Valutazione qualitativa Metodi di valutazione Peer review: frutto di competenze specifiche, processo lungo e costoso Valutazione quantitativa Bibliometria Informed peer review Evoluzione del peer-review: ai valutatori vengono fornite, ove disponibili, informazioni di natura bibliometrica sui prodotti sottomessi a valutazione

11 Scopi della bibliometria Tra le finalità principali della bibliometria: misurare lo sviluppo e la vitalità - di un settore disciplinare valutare l impatto della ricerca di singoli o gruppi di studiosi (non necessariamente la qualità) individuare le riviste scientifiche fondamentali (core journals) di un settore disciplinare fornire un riscontro per l analisi dello sviluppo e della coerenza degli acquisti e delle collezioni delle biblioteche la bibliometria non significa soltanto valutazione della ricerca!

12 I DATABASE CITAZIONALI

13 Bibliometria e database citazionali Autonomia disciplinare della bibliometria, dagli anni 90: nascita dei primi corsi universitari negli USA, pubblicazioni di manuali di riferimento, organizzazione di conferenze, nascita di varie riviste e di centri di ricerca specializzati Nascita dei due grandi database citazionali: Web of Science (WoS) della Thomson Reuters nel 1997 e Scopus di Elsevier nel 2004 Nascita di Google Scholar, 2004

14 Le citazioni Esistono stili e finalità citazionali diverse a seconda dei settori disciplinari Il graduale sviluppo dell abitudine a citare, negli scritti, i lavori propri o di altri studiosi ha condotto inevitabilmente all utilizzo dei citation data e, di conseguenza, a valutare un lavoro in rapporto al numero di citazioni ottenute Con l aumento della mole della produzione scientifica la citazione diviene la moneta corrente nel commercio della comunicazione scientifica ufficiale. Moneta di piccolo taglio (costa poco citare), ma dal potere d'acquisto simbolico non indifferente (N. De Bellis, La citazione bibliografica nell epoca della sua riproducibilità tecnica)

15 Citazione e riferimento bibliografico DOCUMENTO 1 DOCUMENTO 2 Se il Documento 1 cita il Documento 2, nel Documento 1 si avrà un riferimento bibliografico al Documento 2, mentre il Documento 2 sarà citato dal Documento 1 Il Documento 2 provoca un impatto sul Documento 1

16 Indici citazionali Si crea, quindi, una rete di relazioni tra documenti citanti e citati ed è necessario avere un indice citazionale che: 1. indicizza tutti i documenti citati nelle bibliografie di un insieme di fonti (quasi sempre articoli di riviste scientifiche) e 2. permette di risalire, da un determinato documento o da un dato autore, a tutti i documenti dell insieme di fonti che lo citano

17 Ricerca per citazione vs ricerca per parole chiave e/o soggetti Una ricerca effettuata in un database bibliografico con keyword o subject è generalmente più mirata rispetto alla ricerca mediante citazioni Cercare in un indice citazionale è però molto utile per trovare, a partire da un contributo su un argomento di proprio interesse, lavori su temi simili più o meno recenti La ricerca per citazioni è importante anche in caso di argomenti molto specifici con scarsa copertura bibliografica

18 Web of science Il primo database citazionale, nato nel 1997 (dopo l acquisto dell ISI da parte della Thomson Reuters); comprende Science Citation Index, Social Sciences Citation Index, Arts & Humanities Citation Index, Conference Proceedings Citation Index, Book Citation Index Oltre riviste e atti di convegni Pregi: indicizzazione totale delle riviste; controllo di qualità Limiti: scarsa presenza di riviste di scienze umane e sociali; predominanza geografica e linguistica (netta prevalenza di titoli dell area nord americana); carenza di strumenti/filtri di disambiguazione degli autori omonimi Dall autunno 2014 sinergia con Google Scholar

19 Sviluppato nel 2004 da Elsevier Scopus Circa titoli di periodici dei quali molti di ambito europeo, 350 collezioni di monografie (e, a partire dal 2013, anche monografie singole), quasi titoli di atti di convegni Pregi: maggiore presenza di fonti europee; profili autore più puliti rispetto a WoS; indicizzazione parziale di alcune riviste Limiti: scarsa presenza di riviste di scienze umane e sociali; indicizzazione non totale delle riviste e delle citazioni; carenza di strumenti/filtri di disambiguazione degli autori omonimi

20 e Google Scholar Google Scholar: motore di ricerca dedicato ai risultati della produzione scientifica accessibile gratuitamente in rete, lanciato quasi contemporaneamente a Scopus Indicizzata una vasta letteratura scientifica online, in costante crescita Pregi: inclusione di materiale monografico, didattico e di altro tipo; gratuità Limiti: ignote la copertura e le fonti dell'analisi citazionale; necessità di molte ore di lavoro per l analisi e il filtro dei risultati; carenza di strumenti/filtri di disambiguazione degli autori omonimi

21 Web of science

22 Scopus

23 Google Scholar