Corso: Banche dati e sistemi per l informazione e la valutazione della ricerca (6-7 aprile 2016)

Transcript

1 Corso: Banche dati e sistemi per l informazione e la valutazione della ricerca (6-7 aprile 2016) Metodi quantitativi e qualitativi per la valutazione della ricerca scientifica Gaetana Cognetti cognetti.bib@ifo.it

2 La gloria e il merito di alcuni è di scrivere bene, di altri di non scrivere affatto J. La Bruyère

3 Quali prodotti della ricerca valutare?

4 Come stabilire la validità di una ricerca e il suo impatto sul mondo scientifico? Quali sono gli strumenti di valutazione disponibili?

5 Strumenti per la valutazione Qualitativi revisione tra pari (peer review) Valutazione comitati di esperti Revisione dopo pubblicazione (es. Faculty 1000, ACP Journal ecc) Commenti nei blogs o sulla piattaforma della rivista o su reti sociali (twitter, blog ecc.) Quantitativi Valutazioni bibliometriche basate per lo più sulle citazioni Inserimento dell articolo o della rivista in basi dati che indicizzano la letteratura Numero di visualizzazioni degli articoli da parte dei ricercatori e altri parametri altmetrici

6 Strumenti per la valutazione bibliometrica: un po di storia Anni 60: nascono i primi indici citazionali (ISI): Science Citation Index Social Science Citation Index Art&Humanities Citation Index 3 Novembre 2004 nasce Scopus 18 novembre 2004 nasce Google Scholar 2005 nasce H Index 26 ottobre 2010 manifesto Altmetrics 2012 DORA (Declaration on Research Assessment S. Francisco) 2015 una nuova metrica? Relative citation rate

7 Utilizzo delle citazioni nella valutazione della ricerca Il Web of Science è stato per anni, l unico sistema che offriva valutazioni su base citazionale (parametri bibliometrici) allo scopo di valutare le collezioni bibliotecarie Solo in un secondo momento si sono utilizzati questi parametri per valutare la ricerca scientifica

8 Pro e contro del valutare la ricerca con i parametri bibliometrici Pareri.

9 Cordiali saluti Come sono ordinati i risultati da Google?

10 I gruppo Le citazioni sono importanti? Possibili distorsioni. Discutere su metodi quantitativi e qualitativi differenze pro e contro

11 II gruppo Che cos è Numero grezzo di citazioni A chi si riferisce? Distorsioni Immediacy Index sue distorsioni

12 Le citazioni sono importanti?

13 Le citazioni.. Testimoniano dell' interesse della comunità scientifica verso un lavoro Sono un criterio misurabile quantitativamente (non soggettivo/arbitrario)

14 Autocitazioni Citazioni di favore Distorsioni... Citazioni negative (memoria dell' acqua) Settori disciplinari Tipi di pubblicazione (es..review) Pubblicazioni e citazione di studi mai effettuati (truffe) Lingua di pubblicazione (inglese più citato ) Citazioni di favore Nel caso di attribuzione al lavoro di un autore dell IF di una rivista può essere che l autore in questione non venga mai citato

15 Quali parametri bibliometrici conoscete per la valutazione della ricerca?

16 Numero delle pubblicazioni E un criterio valido?

17 Numero grezzo di citazioni?

18 Numero delle citazioni E' un conteggio grezzo delle citazioni ricevute da un autore, da una rivista, da una istituzione, da un articolo Ha molte distorsioni dovute al numero dei lavori pubblicati (tanti ricercatori, tanti articoli tante citazioni) al settore disciplinare, al tipo di articolo (es review o ricerca) E' la base per calcolare altri parametri più complessi

19 Impact factor?

20 Fattore di impatto (Impact factor) Calcola la frequenza media di citazione degli articoli pubblicati in una data rivista in un determinato periodo Si ottiene dividendo il numero di citazioni ottenute da una rivista in un dato anno, riferite ad articoli pubblicati nei due anni precedenti, per il numero degli articoli pubblicati entro due anni dalla pubblicazione si registra in media il maggior numero di citazioni

21 Fattore di impatto grezzo Il fattore di impatto grezzo è quello ottenuto attraverso la procedura descritta ma la distorsione maggiore è che non tiene conto dei settori disciplinari

22 Fattore di impatto normalizzato Quartili Percentuali..

23 Indice di immediatezza?

24 Indice di immediatezza (Immediacy Index) Si può definire l'impact factor immediato non riferito alle citazioni di articoli dei due anni precedenti ma alle citazioni ricevute dagli articoli di una rivista nello stesso anno di pubblicazione

25 L' indice di immediatezza L È maggiore nelle discipline umanistiche o in quelle scientifiche?

26 Emivita La rivista è citata per articoli vecchi o recenti? La rivista cita articoli vecchi o recenti? (obsolescenza) Esempio di calcolo Il termine, mutuato dalla fisica, indica per una rivista il numero di anni di pubblicazione a partire dall anno preso in considerazione e andando indietro nel tempo necessari a raggiungere il 50% delle citazioni ottenute nell anno oggetto di valutazione Se una rivista nel 2012 riceve 60 citazioni di cui: 20 relative ad articoli del ad articoli del 2010 la sua emivita sarà 2 Se la rivista riceve le 30 citazioni su lavori pubblicati nei cinque anni precedenti la emivita sarà di 5

27 L emivita L È maggiore nelle discipline umanistiche o in quelle scientifiche?

28 H - index Introdotto da Jorge Hirsch (2005) in alternativa all IF misura la produttività e l impatto del ricercatore sulla base del numero dei lavori più citati. Può essere applicato ad una istituzione, ad un dipartimento o anche ad una rivista Es: se un autore pubblica 15 articoli e 9 di essi sono stati citati almeno 9 volte e gli altri sei meno di 9 l H index è 9

29 Normalizzazione per discipline H5 index = Normalizza sulla base dellì H index medio per disciplina l impatto degli autori con differenti modelli citazionali

30 H index Molto utile per valutare nella ricerca studiosi con buon pedigree Meno per giovani ricercatori Distorsioni se ho 100 lavori con 10 citazioni ho lo stesso H index di un autore che ha solo 10 lavori con 10 citazioni

31 H index in parole semplici Mette in rapporto il numero di pubblicazioni prodotte da un autore con il numero di citazioni ricevute. Se un autore ha 20 pubblicazioni citate almeno 20 volte ha un H index di 20 Chi ha 10 pubblicazioni citate almeno 10 volte ha un indice di 10

32 H index Varianti a index hb index g index hc index ( contemporary h index) hl index (individual h index) AWCR (age - weighted citation rate) Strumenti per calcolare Scholarometer Quadsearch ScHolarIndex ecc. ecc.

33 Le citazioni in realtà. Sono legate ad un contesto accademico in cui si utilizzava il supporto cartaceo Le riviste elettroniche rendono possibile il recupero di altri parametri. Nascono così le metriche alternative

34 Altmetrica?

35 Altmetrica (Altimetrics) article level metrics o metrica alternativa? Nasce nel 2010 Valutazioni alternative Con i sistemi elettronici sono possibili Sono molto più rapide delle citazioni Sono sociali misurano impatto non solo in ambito accademico Basate su strumenti, come il Web 2.0. Il termine Altmetrics può significare sia Article Level Metrics sia Alternative Metrics. Web 2.0 Twitter Linkedin Facebook blog Mendeley Zotero Google + Slideshare Wikipedia ecc. ecc.

36 Ideatore: Jason Priem, studente di dottorato in Scienza dell informazione Università North Carolina

37 J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October Nessuno può leggere tutto i tradizionali filtri sono travolti J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October

38 Primo editore a inserire Altmetrica Il lavoro è recente nessuna citazione ma Altmetrica. 803 volte visto e scaricato

39

40 ancer+clinical+research&searchtype=publishersearch

41

42 Articolo pubblicato il 27 novembre 2015 nella stessa data ha raccolto il link da un blog e 7 twitters

43 Intanto si discute su IF e valori citazionali (2012) San Francisco Declaration On Research Assessment (DORA). Un gruppo di redattori (editors) e editori (publishers) di riviste scientifiche si sono riuniti a San Francisco, California, il 16 Dicembre 2012 durante la riunione annuale della società americana di biologia cellulare (The American Society for Cell Biology ASCB) ed hanno messo a punto la prima bozza del documento che è adesso pubblicato con la firma di 78 organizzazioni (riviste -tra cui Science, Plos e PNAS e associazioni scientifiche -tra cui unica italiana Telethon) e 151 studiosi promotori. E appena iniziata l adesione di studiosi ed organizzazioni alla dichiarazione. Firme raccolte di migliaia di studiosi e centinaia di riviste ed associazioni scientifiche.

44 17 raccomandazioni Non usare metriche basate sulle riviste come JIF come surrogati della qualità della ricerca per valutare i contributi degli scienziati o per promozioni o decisioni sui finanziamenti

45 Differenti metriche per letteratura primaria e rassegne Non promuovere riviste sulla base dell IF ma utilizzare diverse metriche anche altme Considerare tutti i prodotti della ricerca: anche dati (datasets) e programmi (software) Cambia la cultura! Cita la letteratura primaria Usa diverse metriche Attenti alla qualità dei Valutare contenuto scientifico d documento non solo IF!

46 Relative Citation Ratio: una misura innovativa? Il 90% degli articoli importanti per la scienza appaiono su riviste con modesto IF Gruppo di lavoro NIH condotto da George Santangelo nell Ufficio del Direttore NIH There is no silver bullet in research evaluation; qualitative review by experts remains the gold standard for assessment

47 Relative Citation Ratio: la rete di co-citazioni Chiave del parametro è la rete delle co-citazioni. Vengono confrontate le citazioni di un articolo sulla base della sua rete citazionale rilevante cioè con l intera collezione di documenti che sono citati nei documenti che citano quello da valutare.(denominatore del RCR)

48 La scoperta dell anatra necrofila _my_life?language=it

49 Premio IG Nobel Sponsorizzati dalla rivista scientifica umoristica statunitense Annals of Improbable Research (AIR) l premio Ig Nobel conosciuto in Italia anche come premio Ignobel, viene assegnato annualmente a dieci ricercatori autori di ricerche "strane, divertenti, e perfino assurde", quel tipo di lavori improbabili che "prima fanno ridere e poi danno da pensare Lo scopo dichiarato del riconoscimento è "premiare l'insolito, l'immaginifico, e stimolare l'interesse del pubblico generale alla scienza, alla medicina, e alla tecnologia". I vincitori sono selezionati in base ad articoli pubblicati anche su riviste scientifiche autorevoli

50 La valutazione dipende dalle finalità che si ritiene utile valutare Se una delle finalità è la divulgazione scientifica allora occorre valutare anche i documenti scritti per i pazienti Sicuramente la valutazione della ricerca è un fatto complesso e ogni metrica ha le sue distorsioni Occorre mettere in gioco molti fattori per poter esercitare un buon giudizio

51