I Corso pilota ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014)

Transcript

1 I Corso pilota ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014) Metodi qualitativi e quantitativi per la valutazione della ricerca scientifica (19 marzo 2014) Giuse Ardita giuse.ardita@iss.it

2 VALUTARE LA RICERCA metodi e strumenti Perché valutare In quale contesto, chi/cosa, come valutare Valutazione qualitativa/peer Review Valutazione quantitativa: La citazione un diverso punto di vista PARAMETRI BIBLIOMETRICI - prima generazione PARAMETRI BIBLIOMETRICI - seconda generazione Misurazione bibliometrica nei database citazionali

3 Perché Valutare? La ricerca scientifica è essenzialmente pagata con soldi pubblici che devono essere utilizzati in modo efficiente e gli investimenti pubblici dovrebbero essere indirizzati verso la ricerca migliore, sia a livello nazionale che internazionale, quindi. la valutazione è indispensabile per operare le scelte necessarie a diversi livelli (allocazione fondi, carriere, indirizzi di ricerca etc.)

4 Chi/cosa si può valutare? Diversi livelli Produzione scientifica di: - Autore -Istituto di ricerca -Università Graduatorie nazionali e/o internazionali di istituti di ricerca e università Lo sviluppo della ricerca nei diversi settori scientifici a livello nazionale e/o internazionale - Rivista - articolo - progetto - Dato (es.tabella) Valutazione Siti web /contenuti

5 Esempio di valutazione/istituto

6 La ricerca scientifica - contesto del cambiamento pubblicazioni/biblioteche oggetti digitali/web The National Institutes of Health (NIH) Grants Policy Statement defines "data" as "recorded information, regardless of the form or medium on which it may be recorded, and includes writings, films, sound recordings, pictorial reproductions, drawings, designs, or other graphic representations, procedural manuals, forms, diagrams, work flow charts, equipment descriptions, data files, data processing or computer programs (software), statistical records, and other research data. ("Access to and retention of research data: Rights and responsibilities", p. 5. Council on Governmental Relations, March 2006) Roma: 4, 6, 12, 19, 26 marzo 2014

7 Chi/Cosa valutare? - problemi Tutti riconducibili all identificazione e condivisione di metadati per la discoverability Identificazione univoca di un lavoro - DOI (Digital Object Identifier) Attribuzione disambiguazione nome autore - ResearcherID, ORCID etc. Persistenza dei dati e Data Sharing - Repositories Tipo di valutazione - Peer Review- Bibliometrics > Webometrics, Altmetrics, scientometrics 2.0

8 VALUTARE LA RICERCA cosa prendere in considerazione? Valutare una rivista Ambito di pubblicazione Numero di articoli pubblicati numero di citazioni ricevute Valutare un articolo Peer review Rivista di pubblicazione Numero di citazioni ricevute Valutare un Ricercatore Valutare il Web Numero di lavori pubblicati Numero di citazioni ricevute Riconoscimenti e/o premi Numero di visualizzazioni conteggio citazioni e/o downloads (webometria)

9 VALUTARE LA RICERCA - Metodi Qualitativo Peer-review Quantitativo Misurazioni bibliometriche Misto Informed peer-review

10 PEER REVIEW Procedura di selezione di articoli o progetti di ricerca proposti da membri della comunità scientifica, effettuata attraverso una valutazione esperta eseguita da specialisti del settore per verificarne l'idoneità alla pubblicazione su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi (panel) Informed Peer Review Gli esperti si avvalgono per formulare il loro giudizio, anche di strumenti di valutazione esterni come gli indici bibliometrici

11 PEER REVIEW

12 PEER REVIEW E l unico metodo che analizza direttamente la qualità di un lavoro, ma Non sempre il revisore è più qualificato dell autore Vi sono potenziali conflitti di interesse Non sempre la revisione è accurata Rallenta la pubblicazione di un lavoro Risente dei limiti umani Un processo lungo e costoso

13 spesso frustrante, e allora? Metodo quantitativo = > imparzialità?

14

15 I lavori scientifici si ricollegano a lavori precedenti ed è necessario citare le fonti

16 Citazione/riferimento bibliografico Perché citare? RIFERIMENTO BIBLIOGRAFICO

17 Il teorico Eugene Garfield

18 IDEA Creare degli indici bibliografici basati sull associazione di idee organizzati cioè sulle relazioni esistenti tra diversi lavori scientifici SCOPO Colmare la distanza tra chi crea il documento (autore) e lo scienziato che cerca l informazione Roma: 4, 6, 12, 19, 26 marzo 2014

19 L analisi di una rete di citazioni evidenzia tipi diversi di relazioni permette di risalire all origine di un idea (fornisce una mappa della scienza) Ci dimostra come un medesimo argomento si sia sviluppato in modo diverso in studi di diversi settori Evidenzia relazioni, di per sé non scontate, tra studi appartenenti a discipline diverse Chiarisce l influenza e l importanza di uno specifico lavoro sul pensiero e la letteratura di settore Indica la qualità del lavoro di un ricercatore molto di più che non il numero grezzo delle sue pubblicazioni Mette in luce quali siano gli argomenti di maggiore attualità

20 Dalla teoria alla pratica 1958 fonda ISI (Institute for Scientific Information) che diventerà Thomson Scientific com e oggi ThomsonReuters pubblica: Current Contents of Chemical, Pharmaco - Medical & life Sciences (200 riviste in circa 32 pag per fascicolo) 1963 pubblica: Science Citation Index del 1961 (613 riviste multidisciplinari) 1973 pubblica Social Science Citation Index 1978 pubblica Arts & Humanities Citation Index 1975 pubblica Journal Citation Reports (Impact Factor) Roma: 4, 6, 12, 19, 26 marzo 2014

21 riviste

22 JOURNAL CITATION REPORTS

23 Altre risorse citazionali: SCOPUS

24 Altre risorse citazionali:googlescholar

25 PARAMETRI BLIOMETRICI Scientometria Misura e analizza i risultati ed i progressi scientifici nelle diverse discipline per mezzo di analisi bibliometriche Bibliometria Mediante tecniche matematiche e statistiche, analizza e misura l influenza di prodotti e autori della ricerca nella comunità scientifica

26 Parametri bibliometrici di prima generazione Somma dei lavori pubblicati Numero delle Pubblicazioni Numero delle Citazioni Numero delle citazioni ottenute da un lavoro scientifico, può essere riferita ad una istituzione o ad un singolo autore o ad una rivista Impact Factor Si ottiene dividendo il numero di citazioni ricevute da una rivista in un dato anno riferite agli articoli pubblicati nei due anni precedenti, per la somma degli articoli pubblicati dalla rivista in quei due anni Indice di Immediatezza Si ottiene dividendo il numero di citazioni ricevute da una rivista in un dato anno per il numero totale di articoli pubblicati dalla rivista nello stesso anno. Esprime l impatto immediato, può servire ad evidenziare gli argomenti «caldi» Emivita E il numero di anni di pubblicazione a partire dall anno preso in considerazione e andando indietro nel tempo necessari a raggiungere il 50% delle citazioni ottenute nell anno preso in considerazione. Indica il grado di obsolescenza della rivista

27 Esempio di calcolo per IF

28 IF > vantaggi Aiuta nella scelta delle acquisizioni in biblioteca Determina l influenza di una rivista nel mercato Aiuta gli autori nella scelta della rivista su cui pubblicare Indica gli ultimi sviluppi nei diversi settori disciplinari Serve ad analizzare bibliometricamente l andamento di vari settori (trend), permette di esaminare e gestire i dati citazionali presenti in WOS da diversi punti di vista

29 IF > limiti Non copre tutte le riviste esistenti (solo due database presenti in WOS) Può essere usato come strumento di promozione commerciale Privilegia le riviste di lingua inglese ed in particolare americane Vengono escluse le riviste che subiscono irregolarità di pubblicazione Varia molto secondo il campo disciplinare Varia secondo il tipo di pubblicazione Non tiene conto delle citazioni negative Non fornisce reale valutazione qualitativa

30 Probabilità di essere citati

31 IF > limiti > distorsioni Viene usato arbitrariamente per valutare l autore anche se è una misura pensata per le riviste Probabilità crescente per una pubblicazione di essere citata quando aumenta il numero di citazioni ricevute «effetto San Matteo» (vs.25,29 Vangelo S. Matteo) Scientific misconduct Attribuzione impropria di autorship (Prof anziano e/o cit. scambiata) Esclusione di un lavoro dalle cit. per attribuirsi un risultato «citation amnesia» Le citazioni possono essere influenzate da tattiche di marketing autopromozionali

32 Garfield stesso afferma che l IF non deve essere l unico parametro di giudizio e consiglia di usare anche altri metodi di valutazione per le riviste, ma soprattutto per singolo articolo e per gli autori

33 IF: odio/amore, ma.. Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evaluation. Hoeffel C. Journal impact factors [letter]. Allergy1998;53:1225.

34 Parametri bibliometrici di seconda generazione H - index Hirsch, J. E. (2005) An index to quantify an individual's scientific research output Proceedings of the National Academy of Sciences of the United States of America, 102(46), H-Index Definizione E UGUALE AL NUMERO DI H LAVORI CON QUANTITA DI CITAZIONI > o = H Es. Se un ricercatore ha almeno 20 lavori con un minimo di 20 citazioni ciascuno, il suo indice H sarà 20.

35 H -Index

36 Visualizzazione grafica dell H-Index

37 H Index - esempio

38 TOPIC

39 H-index VANTAGGI E basato su un algoritmo molto semplice È il primo indice tarato sul singolo autore Consente la valutazione di gruppi di autori e /o il confronto tra diversi istituti Non tiene conto degli articoli meno citati Consente di individuare i ricercatori di punta per le selezioni di carriera o distribuzione dei fondi LIMITI Non permette di comparare ricercatori di settori diversi E molto sensibile a variabili quali la lunghezza della carriera, Insensibile all aumento delle citazioni per i lavori più citati (ricercatori con lavori molto citati possono avere lo stesso H-index di ricercatori con lavori meno citati) Non elimina l autocitazione Non tiene conto del contesto delle citazioni (rivista) Non può valutare il contributo del singolo autore

40 H-index valuta l autore ma

41

42 Parametri bibliometrici di seconda generazione - varianti dell H-index ricercatore/istituto M-Index Proposto da J Hirsh facilita il confronto di studiosi con carriere accademiche di durata diversa. Si ottiene dividendo, l h-index per il numero di anni di attività (calcolata a partire dalla prima pubblicazione) H-B-Index Hirsch-Banks Index è come l h-index,ma tarato su articoli di fisica dello stato solido e basato sulla ricerca di uno specifico argomento o composto invece che sul nome dello scienziato A-index La media del numero di citazioni ricevute da articoli compresi nel numero di pubblicazioni incluse nell H-index G-Index Variante dell H- index calcolato sulla base della distribuzione delle citazioni ricevute dalle pubblicazioni di un ricercatore Contemporary H-Index (due tipi) 1) Divide L H-Index standard per il numero medio di autori dell articolo in modo da ridurre gli effetti del co-authorship 2) Migliora l H-index dando più peso ai lavori più recenti

43 Parametri bibliometrici di seconda generazione derivati dall IMPACT FACTOR > rivista Impact Factor su 5 anni Basato sulle citazioni dell anno corrente al materiale della rivista pubblicato nei cinque anni precedenti Eigenfactor Calcola l impatto delle riviste scientifiche, ne misura costo/citazioni usa i dati di 5 anni. Elimina le autocitazioni rivista/rivista),considera le differenze di citazioni fra diverse discipline, soppesa ciascuna referenza secondo complessi parametri in base alla rivista di provenienza Article influence Score Basato sull Eingenfacor Score della rivista diviso per il numero di articoli pubblicati sulla rivista. La media dell Article influence è normalizzata a 1.00, un punteggio > di 1 indicherà che l articolo è sopra la media

44 PARAMETRI BIBLIOMETRICI DI SECONDA GENERAZIONE WEBOMETRICS PageRank Algoritmo messo a punto da H. Page per Google, indica la maggiore o minore rilevanza delle pagine o siti web in relazione ai termini cercati Web Impact factor - WIF E basato sull analisi del rapporto tra il numero dei contatti ricevuti da un documento pubblicato su Web ed il numero delle sue pagine Usage Factor Si ottiene dividendo il numero degli articoli scaricati per il numero degli articoli pubblicati online in un dato periodi di tempo su una rivista

45 ALTMETRICS PLoS ALM (article level metrics)

46 PLoS ALM (article level metrics) esempio

47 ALTMETRICS TOOLS AND SERVICES

48 Ricapitolando La misurazione bibliometrica nei database citazionali

49 Web of Science - metriche H-Index etc.

50 Scopus Journal Analyzer + SJR e SNIPS Source-Normalized Impact per Paper (SNIP) measures contextual citation impact by weighting citations based on the total number of citations in a subject field. The impact of a single citation is given higher value in subject areas where citations are less likely, and vice versa.

51 Le metriche coprono articoli pubblicati tra il 2008 e 2012 indicizzati in GS fino luglio 2013 Indice h5 è l'indice h per gli articoli pubblicati negli ultimi cinque anni completi. È il più grande numero h, ossia h articoli pubblicati nel che hanno almeno h citazioni ciascuno Mediana h5 per una pubblicazione è il numero medio di citazioni per gli articoli che compongono il relativo indice h5.

52 Grazie... Domande?! Roma: 4, 6, 12, 19, 26 marzo 2014