Corso: Banche dati e sistemi per l informazione e la valutazione della ricerca (9-10 dicembre 2015) La revisione dopo pubblicazione

Transcript

1 Corso: Banche dati e sistemi per l informazione e la valutazione della ricerca (9-10 dicembre 2015) La revisione dopo pubblicazione Gaetana Cognetti cognetti.bib@ifo.it Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

2 Troppa informazione = nessuna informazione. Come selezionare? Si producono un gran numero di risorse informative Occore selezionare le risorse migliori tra tutte quelle disponibili Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

3 Milioni di nuovi articoli ogni anno. Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

4 Classical peer review: an empty gun? La revisione tra pari prima della pubblicazione è secondo Richard Smith (BMJ): ineffective, slow, expensive, biased, inefficient, anti-innovator, and easely abused lottery....post publication peer review get to work the better Smith Breast Cancer Research 2010, 12(Suppl 4):S13 Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

5 Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

6 Tre riviste BMJ post publication peer reviewed BMJ offre tre riviste EBM tramite Bibliosan Evidence Based Medicine Evidence Based Nursing Evidence Based Mental Health Bmj produce anche la banca dati Clinical Evidence di rassegne sistematiche(circa 3300) ora disponiamo anche di questa base dati Corso: Banche dati e sistemi informativi per la valutazione della ricerca giugno 2014

9 Vengono analizzate 100 riviste e abstract ogni anni per identificare i più importanti e validi articoli Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

10 Vengono analizzate 100 riviste e più di abstract all anno per identificare gli articoli più validi e importanti Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

12 Faculty1000Prime Nasce nel 2002 con la collaborazione di 1000 (oggi 5000) membri di facoltà universitarie È una base dati contenente oltre documenti con raccomandazioni e commenti degli esperti I membri delle facoltà selezionano, votano e commentano gli articoli che ritengono più interessanti 2-3% della letteratura biomedica da riviste afferenti a 40 discipline E inserito nella valutazione Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

17 F1000 Faculty reports (now reviews) are comprehensive, topical reviews written by members of the prestigious F1000 Faculty. Top and authors are selected by F1000 Faculty Sec Heads, who ensure authoritative coverage of th latest advances in their areas. Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

20 Se uso sinonimi Breast Cancer ottengo più risultati Ricerca avanza Posso far uscire i record a partire dal punteggio più alto Simbolo per Hithly Accessed Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015 New finding

21 Le raccomandazioni. Sono brevi commenti effettuati dai revisori che evidenziano gli aspetti positivi e/o negativi degli articoli e assegnano un punteggio (stelle) Una stella: buono Due stelle: molto buono Tre stelle: eccezionali I segreti di PubMed Roma, 23-24giugno 2015

22 Posso selezionare le faculties es: Oncology, Cancer biology in cui eseguire la ricerca I segreti di PubMed Roma, 23-24giugno 2015

23 Ricerca avanzata Gli articoli sono classificati: Posso selezionare le faculties es: Oncology, Cancer biology in cui eseguire la ricerca o il tipo di articolo - changes clinical practice - good for teaching - novel drug target - controversial.. - confirmation -clinical trial RCT -clinical trial non RCT ecc. I segreti di PubMed Roma, 23-24giugno 2015

24 Top 10 list in ogni faculty i10 articoli giudicati i migliori Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

25 Articoli più raccomandati negli ultimi 14 giorni

26 Hidden jewels: Gioielli nascosti Si tratta di articoli non pubblicati su riviste al top nelle varie aree ma che costituiscono importanti riferimenti per la ricerca clinica e sperimentale I segreti di PubMed Roma, 23-24giugno 2015

27 Hidden Jewels: oncology I segreti di PubMed Roma, 23-24giugno 2015

28 Si possono depositare i Poster I segreti di PubMed Roma, 23-24giugno 2015

29 La licenza sui poster è del tipo Creative commons con ampia libertà di utilizzo da parte di altri ricercatori I poster possono essere raccomandati accanto agli articoli da Faculty In alcuni casi di distorsione da pubblicazione (publication bias) è molto importante pubblicare i poster che documentano esiti negativi di sperimentazioni I segreti di PubMed Roma, 23-24giugno 2015

30 Faculty 1000 Che cosa ne pensate? E utile la selezione e la valutazione effettuata da ricercatori in ambito accademico? Possono esservi dei problemi o delle criticità? I segreti di PubMed Roma, 23-24giugno 2015

31 PubMed diviene sociale PubMed Commons nasce nel 2013 ed è ancora allo stato di progetto Pilota E stato sviluppato dalla NLM col supporto di un gruppo reclutato da Robert Tibshirani della Stanford University Si tratta di una rete sociale (social network) per commentare gli articoli contenuti nella base dati (circa 22 milioni) Il sistema consente di commentare anche tuttli gli articoli contenuti in PubMed anche di riviste che non hanno attivato queste funzioni I segreti di PubMed Roma, 23-24giugno 2015

32 I commenti sono importanti? I segreti di PubMed Roma, 23-24giugno 2015

33 I commenti.. Permettono di ricevere molto rapidamente le valutazioni della comunità scientifica sulle ricerche. Quando si aggiorna un documento EBM è essenziale raccogliere i commenti (insieme con gli errata corrige e le retracted publication ) in quanto essi posso evidenziare errori e problemi nella conduzione di una sperimentazione clinica prima che queste valutazioni si depositino in articoli scientifici I segreti di PubMed Roma, 23-24giugno 2015

34 Importanza di Pubmed Commons Attraverso la rete creata con PubMed Commons è possibile interagire con gli autori dei documenti invitandoli a rispondere ai commenti e a verificare i dati scientifici inseriti negli articoli. Si creano comunità di ricercatori interessati alle stesse problematiche che possono interagire e dialogare integrando anche i dati forniti dagli articoli I segreti di PubMed Roma, 23-24giugno 2015

35 Il caso di Amanda Capes-Davis Presidente dell International Cell Line Authentication Committee (ICLAC) usa PubMed Commons per informare gli autori di pubblicazioni sulle problematiche della contaminazione delle cellule Per evitare che un grosso lavoro di ricerca sia reso inutile a causa di questo fenomeno Si evita di perpetuare gli errori commessi in alcuni studi attraverso la comunicazione degli stessi negli altri lavori scientifici I segreti di PubMed Roma, 23-24giugno 2015

36 I segreti di PubMed Roma, 23-24giugno 2015

38 Commenti non anonimi Dichiarare conflitti di interesse No spam No discriminazioni No punti di vista politici di parte No plagi ecc. ecc. I segreti di PubMed Roma, 23-24giugno 2015

39 / Chi commenta resta anonimo I segreti di PubMed Roma, 23-24giugno 2015

40 about Anche i fondatori di PubPeer sono anonimi I segreti di PubMed Roma, 23-24giugno 2015

42 In primo piano I segreti di PubMed Roma, 23-24giugno 2015

43 Commenti anonimi o no? I segreti di PubMed Roma, 23-24giugno 2015

44 Un problema controverso.. Those wanting anonymous posts were concerned that many scientists, especially junior researchers, would be reluctant to make critical comments. But those opposed to anonymous comments believed that the quality of interchange would be higher if commenters were required to identify themselves, he said, adding that the group was very much split on the decision. Mainstreamed/ I segreti di PubMed Roma, 23-24giugno 2015

45 Pubmed Commons una rete sociale per i commenti I segreti di PubMed Roma, 23-24giugno 2015

48 Se PubMed ha il vostro indirizzo Siete invitati ad entrare in Commons. Dovete incollare il codice inviato rientrando nella pagina di PubMed I segreti di PubMed Roma, 23-24giugno 2015

49 A questo punto potete attivare Commons Se non riconosce l dovete farvi invitare da un collega/autore in PubMed il codice di verificazione vi viene mandato via e dovete incollarlo qui I segreti di PubMed Roma, 23-24giugno 2015

50 A questo punto potete attivare Commons Una volta incollato il codice di verificazione siete accettati nel sistema I segreti di PubMed Roma, 23-24giugno 2015

51 I segreti di PubMed Roma, 23-24giugno 2015 Commons è stato attivato

52 Posso inserire un commento ad un articolo Posso invitare uno degli autori a commentare I segreti di PubMed Roma, 23-24giugno 2015

53 Per poter commentare devo essere autore di pubblicazioni e devo registrarmi in My NCBI I segreti di PubMed Roma, 23-24giugno 2015

54 Gaetana I segreti di PubMed Roma, 23-24giugno 2015

55 Breast Cancer I segreti di PubMed Roma, 23-24giugno 2015

56 Il sistema mi riconosce e posso commentare. I segreti di PubMed Roma, 23-24giugno 2015

57 I commenti possono essere al massimo di caratteri ma link a documenti più ampi sono possibili I segreti di PubMed Roma, 23-24giugno 2015

58 breast cancer AND has_user_comments[filter] I segreti di PubMed Roma, 23-24giugno 2015

60 COGNETTI G[au] Tutti possono leggere i commenti ma solo gli autori registrati in My NCBI e in PUBMED COMMONS possono Scriverli I segreti di PubMed Roma, 23-24giugno 2015

61 Non ho commenti attualmente ma posso richiedere al sistema di aggiornarmi nel caso li riceva. Come? I segreti di PubMed Roma, 23-24giugno 2015

63 Additional Filter attivare Pubmed Commons. Per verificare i commenti I segreti di PubMed Roma, 23-24giugno 2015

64 Lo stesso autore ha risposto ai commenti indicando un link con maggiori informazioni sull argomento. I commenti non possono eccedere gli caratteri ma si possono inserire link a documenti e dati anche molto ampi...

65 Bezouska K: Il commento indica che il lavoro è stato ritirato in quanto troppo simile ad un altro lavoro (plagiarismo) ed indica il link ove si trova la relativa notizia I segreti di PubMed Roma, 23-24giugno 2015

66 Si tratta dell ottava retrazione per l ultimo autore I segreti di PubMed Roma, 23-24giugno 2015

68 Offre anche una selezione di recenti commenti I segreti di PubMed Roma, 23-24giugno 2015

70 Classificazione dei documenti Gli articolo sono oggetto di commento e di classificazione: Changes clinical practice Good for teaching Novel drug target Controversial ecc. Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

72 breast (cancer* OR tumor OR tumour OR neoplas* OR carcinoma*) Molti più risultati usando i sinonimi molto meno se uso solo breast cancer Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

73 Le raccomandazioni. Sono brevi commenti effettuati dai revisori che evidenziano gli aspetti positivi e/o negativi degli articoli e assegnano un punteggio (stelle) Una stella: buono Due stelle: molto buono Tre stelle: eccellente Il punteggio totale è il risultato della somma dei diversi commenti Corso: Banche dati e sistemi informativi per la valutazione della ricerca giugno 2014

74 Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015 Il punteggio tota è dato dalla som delle raccomanda assegnate da tut i revisori, in ques caso: 4

75 Smart search Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

76 Do un nome alla mia smart search The transcriptional repressor Snail Il sistema mi consiglia degli articoli che io posso aggiungere Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

77 La smart search. Personalizza il mio profilo di ricerca e si autoalimenta con gli articoli che io segnalo di mio interesse Mi segnala liste di articoli di interesse sul profilo che io man mano indicherò come interessante per me aggiungendo articoli che ritengo utili Si ricevono articoli sempre più pertinenti in quanto la smartsearch impara dall interazione dell utente Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

78 Posso selezionare le faculties es: Oncology, Cancer biology in cui eseguire la ricerca Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

79 Gli articoli sono classificati: Posso selezionare le faculties es: Oncology, Cancer biology in cui eseguire la ricerca o il tipo di articolo - changes clinical practice - good for teaching - novel drug target - controversial.. - confirmation -clinical trial RCT -clinical trial non RCT ecc. Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

80 Articoli più raccomandati negli ultimi 14 giorni Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

81 Hidden jewels: Gioielli nascosti Si tratta di articoli non pubblicati su riviste al top nelle varie aree mediche ma che costituiscono importanti riferimenti per la ricerca clinica e sperimentale Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

82 Hidden Jewels: oncology Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

83 An Open Science journal: rapid, open, postpublication peer-reviewed research, with underlying datasets. TOTAL6317 Total Posters/Slides Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

84 Si possono depositare i Poster Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

85 La licenza sui poster è del tipo Creative commons con ampia libertà di utilizzo da parte di altri ricercatori I poster possono essere raccomandati accanto agli articoli da Faculty 1000 In alcuni casi di distorsione da pubblicazione (publication bias) è molto Importante pubblicare i poster che documentano esiti negativi di sperimentazioni Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

86 Faculty 1000 Che cosa ne pensate? E utile la selezione e la valutazione effettuata da ricercatori in ambito accademico? Possono esservi dei problemi o delle criticità? Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

87 PubMed diviene sociale PubMed Commons nasce nel 2013 ed allo stato di progetto Pilota E stato sviluppato dalla NLM col supporto di un gruppo reclutato da Robert Tibshirani della Stanford University Si tratta di una rete sociale (social network) per commentare gli articoli contenuti nella base dati (circa 22 milioni) Il sistema consente di commentare anche ad articoli di riviste che non hanno attivato queste funzioni Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

88 I commenti sono importanti? Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

89 I commenti.. Permettono di ricevere molto rapidamente le valutazioni della comunità scientifica sulle ricerche. Quando si aggiorna un documento EBM è essenziale raccogliere i commenti (insieme con gli errata corrige e le retracted publication ) in quanto essi posso evidenziare errori e problemi nella conduzione di una sperimentazione clinica prima che queste valutazioni si depositino in articoli scientifici Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

90 Importanza di Pubmed Commons Attraverso la rete creata con PubMed Commons è possibile interagire con gli autori dei documenti invitandoli a rispondere ai commenti e a verificare i dati scientifici inseriti negli articoli. Si creano comunità di ricercatori interessati alle stesse problematiche che possono interagire e dialogare integrando anche i dati forniti dagli articoli Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

91 Il caso di Amanda Capes-Davis Presidente dell International Cell Line Authentication Committee (ICLAC) usa PubMed Commons per informare gli autori di pubblicazioni sulle problematiche della contaminazione delle cellule Per evitare che un grosso lavoro di ricerca sia reso inutile a causa di questo fenomeno Si evita di perpetuare gli errori commessi in alcuni studi attraverso la comunicazione degli stessi negli altri lavori scientifici Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

94 Commenti non anonimi Dichiarare conflitti di interesse No spam No discriminazioni No punti di vista politici di parte No plagi ecc. ecc. Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

95 / Chi commenta resta anonimo Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

96 about Anche i fondatori di Pubpeer sono anonimi Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

98 In primo piano Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

99 Commenti anonimi o no? Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015

100 Un problema controverso.. Those wanting anonymous posts were concerned that many scientists, especially junior researchers, would be reluctant to make critical comments. But those opposed to anonymous comments believed that the quality of interchange would be higher if commenters were required to identify themselves, he said, adding that the group was very much split on the decision. Mainstreamed/ Corso: Banche dati e sistemi informativi per la valutazione della ricerca dicembre 2015