I Corso pilota ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014)

Transcript

1 I Corso pilota ECDL HealthDoc () Altre risorse elettroniche per la valutazione della ricerca: Faculty1000Prime, SCImago (19 marzo 2014) Saba Motta

2 Panoramica Che cos'è Faculty of 1000? Perché Faculty of 1000? Che cos'è F1000Prime? Utilizzo di F1000Prime Classifiche di F1000Prime F1000Prime e personalizzazione di PubMed MyF1000

3 Faculty of 1000 l editore di servizi informativi a supporto dell attività clinica e di ricerca F1000Primefornisceraccomandazioni dei migliori articoli di letteratura biomedica effettuate da una Faculty di 5000 esperti nei diversi ambiti della medicina e biologia. F1000Research ef1000posters sono risorse ad accesso aperto che incoraggiano la trasparenza, condivisione e dibattito

4 Problemi relativi alla valutazione delle pubblicazioni scientifiche The problem with filtering before publishing, peer review, is that it is an ineffective, slow, expensive, biased, inefficient, anti-innovatory, and easily abused lottery: the important is just as likely to be filtered out as the unimportant. The sooner we can let the 'real' peer review of postpublication peer review get to work the better. Richard Smith, former Editor-in-Chief of BMJ

5 Problemi relativi alla valutazione delle pubblicazioni scientifiche I am sick of impact factors and so is science. Prof Stephen Curry, Imperial College, Aug /08/13/sick-of-impact-factors/ Citations are heavily gamed and are painfully slow to accumulate, and overlook increasingly important societal and clinical impacts. Priem et al., PLoS ONE 7(11): e48753 [Journal Impact Factoris] a poor indicator of citations to specific papers or of the future performance of individual researchers Nature Materials 12, 89 (2013) The widely held notion that high-impact publications determine who gets academic jobs, grants and tenure is wrong. Dr Michael Eisen, UC Berkeley, Feb

6 Problemi relativi alla comunicazione scientifica [W]e evaluated the replication of data analyses in 18 articles on microarray-based gene expression profiling published in Nature Genetics in We reproduced two analyses in principle and six partially or with some discrepancies; ten could not be reproduced. The main reason for failure to reproduce was data unavailability. Ioannidis, J. P. A. et al.repeatability of published microarray gene expression analyses. Nature Genetics 41, (2009)

7 The Seer of Science Publishing Science 4 October 2013: Vol. 342 no pp DOI: /science /6154/66.full.pdf 1. Un modo veloce per scoprire e valutare i singoli documenti e articoli rilevanti anche al di fuori del campo di competenza. 2. Open access e inclusione completa dei dati 3. Peer review trasparente, successiva alla pubblicazione (post-publication peer review) 4. Più credito ai contributi degli scienziati

8 F1000Prime F1000Prime è un servizio lanciato nel 2002 che nasce dalla collaborazione di Faculty Member internazionali. Il nome è rimasto, anche se la Faculty e la gamma di servizi continuano a crescere. Le raccomandazioni e i commenti della Faculty formano un database completamente ricercabile, contenente oltre documenti che mira a individuare il meglio della ricerca scientifica disponibile. In media, ogni mese la Faculty implementa il database con nuove raccomandazioni.

9 PAGINA HOME DI PRE-REGISTRAZIONE A F1000PRIME F1000Primeoffre ai ricercatori un servizio di letteratura personalizzato. La tecnologia alla base del sito ha un algoritmo esclusivo che "impara" gli interessi di ricerca dell'utente e mette a disposizione articoli sempre più pertinenti derivati da F1000Prime e articoli di recente pubblicazione su PubMed.

10 REGISTRAZIONE Sono sufficienti tre passaggi per ottenere una pagina home personalizzata: 1. Inserire almeno tre parole chiave rappresentative degli interessi di ricerca personali 2. Selezionare/confermare le sezioni pertinenti 3. Registrare i propri dati e le preferenze per gli avvisi per visualizzare la pagina home personalizzata

11 PAGINA SUCCESSIVA ALLA REGISTRAZIONE SU F1000PRIME La pagina home di F1000Prime è una tabella elettronica unica e personalizzata di contenuti che elenca articoli consigliati dalla Faculty di F1000Prime insieme a F1000Prime Reports e agli articoli pertinenti di PubMed

12 Faculty1000Prime Come funziona i processo editoriale La Faculty è composta da oltre 5000 scienziati e ricercatori clinici e da ~5000 collaboratori associati I Faculty Members selezionano, votano e commentano gli articoli di ricerca più interessanti ed importanti (2-3% of the life science literature) da ~3.700 journals di 40 discipline Assegna una delle tre valutazioni: Exceptional (3 stelle), Very Good (2 stelle) or Good (1 stelle ) Gli articoli sono valutati e i commenti dagli esperti che spiegano l'importanza (raccomandazione) Classifica il documento come rilevante (ad esempio per i cambiamenti nella pratica clinica)

13 RACCOMANDAZIONI DEGLI ARTICOLI - CARATTERISTICHE Le raccomandazioni degli articoli sono raccolte per Faculty e Section (sottospecializzazione), indicizzate e dotate di tag per facilitarne la ricerca. Le raccomandazioni sono recensioni brevi e accessibili che mettono in evidenza i risultati fondamentali e inseriscono il lavoro nel contesto di riferimento, oltre ad assegnare un punteggio a stelle. Faculty Member Raccomandazione Smart Search Articolo

14 RACCOMANDAZIONI DEGLI ARTICOLI - CARATTERISTICHE Punteggio totale Punteggio a stelle Tutti gli articoli presenti in F1000Prime sono consigliati, ma gli FM li classificano come Buono(*), Molto buono(**) o Eccellente(***). La combinazione dei punteggi a stelle, risultante da diverse raccomandazioni dello stesso articolo, è utilizzata per assegnare i punteggi agli articoliall'interno di ciascuna Faculty. Numero di raccomandazioni e di opinioni dissenzienti

15 RACCOMANDAZIONI DEGLI ARTICOLI - CARATTERISTICHE Caratteristiche per classificare, condividere e trovare raccomandazioni correlate. Le classificazioni comprendono "Changes clinical practice" (Cambiamenti alla pratica clinica), "Good for teaching" (Ottimale per la didattica), "Novel drug target" (Nuovo target farmaceutico), "Controversial"(Controverso). Link agli articoli e opzioni di condivisione Classificazione(i) Possibilità di citare le raccomandazioni

16 F1000PRIME RACCOMANDAZIONE DI UN ARTICOLO

17 CLASSIFICHE DEGLI ARTICOLI I 10 articoli primi classificatiin assoluto e ad oggi (rispetto agli ultimi 14 giorni). Articoli più visualizzati in assoluto e ad oggi (rispetto agli ultimi 14 giorni).

18 HIDDEN JEWELS Questa funzione individua articoli importanti pubblicati in riviste specializzate che potrebbero passare inosservati.

19 PUNTEGGI, EDITORI E DATABASE BIBLIOGRAFICI DI F1000 I link e/o i punteggi delle raccomandazioni di F1000Prime sono visualizzabili su un numero crescente di riviste, siti Web di editori, database bibliografici e servizi di "Altmetrics", che comprendono: BioMed Central (Springer) Public Library of Science (PLOS) PubMed (con il link esterno a F1000Prime abilitato) Altmetric.com ImpactStory.org

20 PUBMED FILTERS, PERSONALIZZAZIONE

21 PUBMED FILTERS, PERSONALIZZAZIONE AND ALERTS

22 PUBMED LINKOUT

23 MYF1000 Funzionalità di MyF1000 ( Adattare il sito ai tuoi interessi Ricevere avvisi via di contenuto rilevante Commenti di articoli raccomandati F1000 SmartSearch Ricerca per parole chiave di articoli consigliati da F1000Prime e/o articoli su PubMed (ricerca di PubMed attraverso F1000Prime)

24 CREAZIONE DI AVVISI PER SEZIONI PREFERITE Consente di ricevere avvisi tramite con una frequenza desiderata di nuove raccomandazioni pubblicate sulle sezioni d'interesse di F1000Prime.

25 SMARTSEARCH Uno strumento di ricerca che "impara" quali articoli sono più importanti per un utente. Avviare una ricerca iniziale con un qualsiasi articolo consigliato da F1000Prime E/o creare una SmartSearch da "MyF1000" utilizzando un qualsiasi articolo o articoli in PubMed, compreso il proprio SmartSearch ricerca tutti gli articoli di F1000Prime e PubMed Si ricevono articoli sempre più pertinenti in quanto SmartSearch "impara" dalle interazioni dell'utente Molto utile per trovare articoli in settori tematici più circoscritti

26 SMARTSEARCH COME INIZIARE Avviare la ricerca iniziale da un articolo raccomandato. Aggiungere articoli manualmente oppure scegliere articoli consigliati.

27 SMARTSEARCH PRATICA Dagli articoli consigliati, indicare quali sono pertinenti per l'utente.

28 SMARTSEARCH IMPOSTAZIONE DEGLI AVVISI Le vengono ricevute in base all'articolo o agli articoli selezionati e alla frequenza degli avvisi preferita dall'utente. Indicare se gli articoli consigliati sono pertinenti o meno per "istruire" ulteriormente SmartSearch.

29 RACCOMANDAZIONI DI F1000 E VALUTAZIONE/IMPATTO DELLA RICERCA Oggi i finanziatori della ricerca tendono a guardare oltre l impact factor delle riviste nel momento in cui valutano l'impatto della ricerca stessa. Uno studio del 2009 svolto dall'mrc ha concluso che le raccomandazioni di F1000Prime costituiscono un indicatore di impatto per citazioni future ( Il Wellcome Trust ha riscontrato che le recensioni degli esperti di F1000Prime mettevano in evidenza articoli scientifici importanti, che gli indicatori bibliometrici, da soli, non avrebbero riportato (

30 Panoramica Che cos'è Scimago Journal Rank (SJR) & Country Rank? Che cos'è Scimago Journal Rank (SJR)? Indicatori metrici citazionali presenti in SCImago Journal Rankings e Journal Indicators Journal Search Country Rankings Country Search

31 Scimago Journal Rank (SJR) & Country Rank Portale che permette di misurare il prestigio di una rivista ed elaborare una classifica dei paesi sulla base della produttività nella ricerca scientifica

32 Scimago Journal Rank (SJR) E l'indicatore bibliometrico che Scimago(database ad accesso libero nato nel 2007 da una collaborazione tra due università spagnole e l'editore Elsevier) sviluppa e rende disponibile gratuitamente sul portale Scimago Journal & Country Rank, la cui fonte sono le riviste indicizzate in Scopus che sono più di a partire dal Si pone come il principale concorrente dell'impact factor dell'isi Journal Citation Report. Lo Scimago Journal rank indicator (SJR) è sviluppato a partire dall' algoritmo del PageRank di Google e, oltre a calcolare l'impatto per rivista, calcola anche l'impatto per Paeseattraverso la funzione Country Rank. Lo spettro temporale su cui si basa è di 3 anni. SJR cerca di misurare il prestigio di una rivista a partire dal prestigio delle fonti che la citano. NB L'Indicatore SJR è inserito anche nella funzione "Analyze Journals" del database Scopus.

33 Indicatori metrici citazionali presenti in SCImago SJR misura l impatto e il prestigio della rivista. Esprime la media ponderata di citazioni ricevute nell anno selezionato dagli articoli pubblicati nei tre anni precedenti h-index del periodico-numero degli articoli che hanno ricevuto per lo meno h citazioni nell intero periodo Citations (Citazioni) -mostra il numero totale di citazioni ricevute nell anno selezionato (es. 2012), indipendentemente dalla data di pubblicazione del documento citato o Total Cites(3years) dagli articoli pubblicati nei tre anni precedenti Docs (Documenti) -mostra il numero degli articoli pubblicati da ciascun periodico per anno e nei tre anni precedenti Refs (Referenze) mostra il numero totale delle referenze negli articoli pubblicati da ciascun periodico per anno e il numero medio delle referenze per articolo Citable Docs.(3years) numero totale dei documenti citabili nei tre anni precedenti. Documenti citabili: articoli, review e conference paper Cites per doc(2 y), equivalente all IF media delle citazioni per articoloin due anni Country - Paese di pubblicazione

34 Journal Rankings Permette di visualizzare un elenco di periodici in ordine di SJR con la possibilità di impostare limiti per anno, area, categoria e/o paese e di disporli in ordine relativamente al titolo, al valore dei vari indicatori, alle citazioni, etc.

35 Journal Search

36 Journal Search Visualizzazione di H-Index di un periodico

37 Country Rankings Country rankings permette di visualizzare un elenco di periodici relativamente al paese di pubblicazione con la possibilità di impostare limiti per anno, area, categoria e/o regione geografica e di disporli in ordine relativamente al numero di documenti, citazioni, autocitazioni, etc.

38 Country Rankings Classifiche per paese in base alla disciplina

39 Country Search Permette di generare statistiche e grafici sul numero di articoli pubblicati, le citazioni, le selfcitation, articoli non citati, ecc. per paese e area.

40 Compare - Country o Journals

41 Compare - Country o Journals

42 SCImago Institutions Rankings (SIR) Word report High Quality publications(q1) percentuale delle pubblicazioni di un istituto su riviste appartenenti al primo quartile (25%) dello Scimago Journal Rank - SJR del proprio campo scientifico Excellence Rate (ER)percentuale delle pubblicazioni di un istituto che rientrano nel 10% delle pubblicazioni più citate del proprio campo scientifico Normalized Impact (NI)rapporta l impatto scientifico delle pubblicazioni di un istituto (in termini di citazioni) rispetto alla media mondiale

43 SJR vs. IF Scimago Journal Rank SJR principale concorrente dell'impact Factor dell'isi Journal Citation Report. SCImagocome fonte utilizza le riviste indicizzate nella banca dati Scopus (Elsevier) piu di IF si basa su uno spettro di riviste Le riviste analizzate in SCImago sono provenienti da circa un centinaio di paesi, a differenza dei circa 70 analizzati dai prodotti ISI Le lingue delle riviste analizzate sono 50 vs. le 30 di ISI Impact Factor è disponibile per le subject categories relative alle 2 edizioni, SCImago tiene conto di 27 aree disciplinari, per un totale di 295 soggetti, contro i 224 di JCR I periodici sotto la categoria Veterinary in SCImago sono 165 vs. 145 JCR censiti sotto la categoria Veterinary sciences SCImago la macrocategoria Veterinary e suddivisa in 4 sotto-aree di soggetto (Food animals; small animals; Equine, Veterinary miscellaneous).

44 Corso ECDL HealthDoc