I Corso pilota ECDL HealthDoc (Roma: 4,5,12,19,26 marzo 2014)

Transcript

1 I Corso pilota ECDL HealthDoc () La valutazione della ricerca in Italia (19 marzo 2014) Saba Motta Corso ECDL Health Doc

2 La valutazione della ricerca La valutazione della ricerca è il complesso di azioni, finalizzate all'espressione di un giudizio sulle attività o sui risultati della ricerca scientifica. Valutare la ricerca significa stabilire criteri e procedure di valutazione all'interno della comunità scientifica adatti ed esprimere dei giudizi di qualità, impatto, efficacia, efficienza, rilevanza. Può essere effettuata in momenti differenti: ex ante (ad esempio per la selezione di progetti), in itinere (per verificare l'andamento di un progetto/programma di ricerca), o ex post, sui risultati in termini di pubblicazioni, brevetti etc., o sul loro impatto.

3 La valutazione della ricerca La valutazione riveste un ruolo fondamentale nel processo di crescita e di disseminazione della conoscenza scientifica Garanzia di circolazione, diffusione e condivisione dei risultati ottenuti Erogazione, ripartizione e rendicontazione dei fondi per la ricerca che lo Stato e gli enti finanziatori investono nella ricerca pubblica Selezione, valutazione e reclutamento di docenti e ricercatori

4 MIUR - Anvur

5 MIUR - Anvur

6 Ministero della Salute Criteri di riconoscimento IRCCS

7 Ministero della Salute Criteri di riconoscimento IRCCS

8 Ministero della Salute Criteri di valutazione progetti di ricerca finalizzata

9 Ministero della Salute Criteri di valutazione per la selezione Direttori Scientifici

10 Regione Lombardia- Direzione Generale Sanità Crediti formativi attività di ricerca

11 Valutazione della performance scientifica La valutazione della ricerca utilizza due metodologie: - la valutazione di tipo qualitativo, basata sul giudizio dei pari (valutatori) o revisione dei pari (peer review), non economica e soggettiva per definizione ma frutto di competenze specifiche; - la valutazione quantitativa, strutturata su indicatori matematici tesi a misurare l impatto di un lavoro di ricerca sulle comunità scientifiche. Tali indicatori quantitativi si distinguono in indicatori di tipo bibliometrico basato sull analisi citazionale(ad esempio Impact Factor, H-Index) e indicatori non bibliometrici (ad esempio i dati brevettuali, i dati sui fondi di ricerca ottenuti, il numero di partecipazioni a conferenze, il numero di partecipazioni a comitati scientifici di riviste ecc.).

12 Caratteristiche della valutazione della ricerca A quale livello valutare? Quali sono i soggetti? livello macro : sistemi scientifici nazionali, livello meso : istituzioni, incluse le singole università, livello micro : gruppi di ricerca e singoli ricercatori. Oggetto di valutazione articoli, libri od altri prodotti similari progetti di ricerca, programmi, gruppi intere istituzioni che svolgono o finanziano attività di ricerca.

13 Definizione di Bibliometria La bibliometria è la scienza che applica tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni scientifiche e per verificare il loro impatto all interno delle comunità scientifiche. E l analisi statistica dei dati bibliografici sviluppatasi negli ultimi vent anni grazie alla disponibilità online di banche dati di grandi dimensioni.

14 Valutazione qualitativa o quantitativa? Una corretta valutazione dovrebbe sempre essere fondata su un appropriata combinazione di indicatori quantitativi (inclusi quelli bibliometrici) e analisi dei pari (peer review). Nell'analisi bibliometrica, le due misure bibliometriche più conosciute sono: il numero di citazioni il fattore di impatto o impact factor IF, il numero di citazioni ricevute nell'anno corrente agli articoli pubblicati nei due anni precedenti diviso per il totale del numero di articoli pubblicati negli stessi due anni

15 Peer Review La valutazione tra pari, revisione dei pari, o "peer review" indica la procedura di selezione degli articoli o dei progetti di ricerca proposti da membri della comunità scientifica, effettuata attraverso una valutazione esperta eseguita da specialisti del settore incaricati di identificare eventuali bias e valutare l'idoneità e la qualità della pubblicazione scientifica su riviste specializzate o, nel caso di progetti, al finanziamento degli stessi.

16 Peer Review Nell'editoria scientifica vengono impiegate tre forme di peer review: Single-blind peer review: il nome dell'autore è noto al revisore ma il nome del revisore è ignoto all'autore (è attualmente la forma di peer review più utilizzata) Double-blind peer review: sia il nome del revisore che quello dell'autore sono ignoti a entrambi (criterio che garantisce l imparzialità e l anonimato) Open peer review: sono note sia l'identità del revisore sia quella dell'autore, nonchè tempi e commenti del processo (è una forma recente e innovativa che prevale nel mondo editoriale Open Access)

17 Peer Review Vantaggi Soggettività della valutazione che consente di considerare l effettiva qualità dei singoli prodotti mediante una revisione fra pari Applicabile a tutta la varietà della produzione di ricerca dei diversi settori scientifico-disciplinari Potenzialmente in grado di valutare l impatto dei prodotti, non solo in termini di citazioni, e la performance individuale.

18 Peer Review Svantaggi/Critiche Gli svantaggi più evidenti sono i seguenti: Inefficacia parziale a rilevare errori, falsificazioni e plagi Spesso non viene replicato l esperimento Costi elevati che crescono in funzione del numero di articoli rifiutati Tempi lunghi del processo di revisione e conseguenti ritardi di pubblicazione Parzialità nel giudizio del revisore e possibile conflitto di interessi Applicazione limitata al settore delle scienze dure a causa delle inferiori disponibilità finanziarie delle scienze umane

19

20 Crisi della Peer Review Con l'avvento del Web e dell'editoria digitale Open Access, il modello tradizionale è stato fortemente modificato Meccanismo di revisione è diventato aperto, dialogico e meno autoreferenziale (valutazione aperta anche ai non accademici) Post-Pubblication Peer Review (cfr F1000 Prime e PlosOne) nuovo modello in evoluzione

21 Social Peer Review Nella social peer review (o open peer-review) il controllo qualitativo viene prevalentemente svolto dopo la pubblicazione (ex-post) attraverso strumenti digitali quali blog, wiki, social bookmarking websites. La rivista peer-reviewed PLoS ONE, nata nel 2006, è stata concepita come un grande contenitore di contenuti scientifici nel campo medico e consente ai lettori (previa registrazione) di esprimere in rete un voto per ogni singolo articolo pubblicato PLos ONE riesca a completare la revisione/ accettazione di un nuovo articolo (non sperimentale) dopo solo 4 giorni dalla ricezione, accelerando la sua diffusione: 1059 visualizzazioni in 30 giorni

22 Social Peer Review Limiti Il social peer review (o open peer-review) non viene ancora considerato dalla comunità accademica come una reale alternativa alle forme di peer review tradizionale.

23

24 Principali indicatori bibliometrici La citazione bibliografica come unità minima informativa Dalla citazione, ovvero dal riferimento bibliografico, derivano gli indicatori bibliometrici: Impact factor H-index G-index

25 Impact factor Impact Factor o IF misura il numero medio di citazioni ricevute in un particolare anno da articoli pubblicati in una rivista scientifica (Journal) nei due anni precedenti. Misura il livello delle pubblicazioni scientifiche Questa misura viene utilizzata oltre che per valutare, comparare e ordinare le riviste scientifiche, anche per valutare l attività di ricerca ed erogare finanziamenti. Calcolo dell'if 2010 per la rivista presa in considerazione: Citazioni 2010 di articoli pubblicati nel biennio = --- = 0,484 Totale articoli pubblicati nel biennio

26 IF - Vantaggi lmmediata comprensibilità; Robustezza nel tempo. Le variazioni da un anno al successivo del valore IF di una rivista non sono mai consistenti; la pronta disponibilità. È costantemente aggiornato; l apparente riproducibilità ovvero l idea che, almeno in teoria, sia possibile verificare in ogni momento i dati citazionali sottostanti

27 IF - Critiche Uso distorto IF non è indicato per la valutazione dei singoli documenti e ricercatori L autocitazione, intesa come citazione tra articoli di autori diversi pubblicati su una medesima rivista, gonfia i dati citazionali IF calcolato su un arco temporale di due anni è penalizzante per quelle discipline la cui durata delle citazioni si prolunga nel tempo per es. scienze sociali o matematica Non valuta le differenze citazionali fra le discipline

28 Che cos è l IF normalizzato? La valutazione ministeriale (Ministero della Salute) è basata sull Impact Factor Normalizzato delle riviste La normalizzazione dell IF grezzo è un criterio messo a punto dal Ministero della Salute, in particolare in relazione alla valutazione della ricerca degli IRCCS, nel tentativo di risolvere il problema del differente peso di un IF all interno delle diverse discipline

29

30 Impact Factor Normalizzato

31 Esempio di IF relativo ad ambiti disciplinari diversi (riferimento 2009) Veterinary Sciences (142 riviste) Biochemistry & Molecular Biology (283 riviste)

32

33

34

35 Criteri di valutazione Ministero della Salute

36 Criteri di valutazione Ministero della Salute Tipologia di lavori

37 Criteri di valutazione Ministero della Salute

38 Criteri di valutazione Ministero della Salute

39 Novità 2014 Ministero della Salute Negli anni passati le riviste non impattate ricevevano il valore di 0,1

40 H-Index L H-Index o Indice di Hirsch è un indice proposto nel 2005 da Jorge E. Hirsch della University of California di San Diego per quantificare la prolificità e l impatto del lavoro degli scienziati, basandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute. (es. h-index 13, significa che quell autore ha pubblicato almeno 13 articoli che hanno ricevuto almeno 13 citazioni ciascuno).

41

42

43 H-Index Critiche L H-index non riesce a descrivere compiutamente il valore della produzione scientifica di un ricercatore Favorisce chi vanta una lunga carriera universitaria, penalizza il lavoro degli scienziati molto selettivi che pubblicano pochi articoli ma ricevono molte citazioni L H-index ignora il numero di citazioni di ogni singolo articolo, ovvero non riesce allo stesso tempo a tenere conto degli articoli che appartenendo all hcore abbiano ricevuto un numero molto elevato di citazioni Problema delle autocitazioni della coproduzione degli articoli attribuendo un notevole vantaggio a coloro che decidono di firmare un articolo in gruppo Analogamente all IF, esiste la criticità del contesto disciplinare, ragion per cui è poco significativo confrontare tra loro le performance bibliometriche di ricercatori operanti in settori diversi

44 H-index e calcolo delle citazioni L indice è direttamente collegato al database che interroga; può essere calcolato sia in banche dati commerciali WoS e Scopus, sia in motori di ricerca specialistici come Google Scholar quindi può subire delle fluttuazioni Attenzione nessuno di questi strumenti è in grado di recuperare tutte le citazioni di un lavoro scientifico quindi il valore di H-Index di un autore cambia in base al diverso grado di copertura bibliografica dei database di riferimento Buona prassi, per qualsiasi indicatore bibliometrico, segnalare sempre la fonte a partire dalla quale se ne ricava il valore.

45 g-index L indice G o g-index è un indicatore bibliometrico di tipo quantitativo per misurare la produttività scientifica dei fisici e altri scienziati, anch esso basato sui record citazionali delle loro pubblicazioni. Fu suggerito nel 2006 da Leo Egghe, sulla base di una variante dell indice H. Il g-index è calcolato sulla base della distribuzione delle citazioni ricevute dalle pubblicazioni di un dato ricercatore e per attribuire maggior peso agli articoli altamente citati.

46 Eigenfactor (EI) Eigenfactor: ranking and mapping scientific knowledge è un nuovo modello matematico per calcolare l'impatto delle riviste scientifiche accademiche che tiene conto dei diversi standard di citazione tra una disciplina e l'altra e quindi del diverso peso delle riviste. ha lo scopo di sviluppare un nuovo metodo per la valutazione dell'influenza (impatto) dei periodici accademico-scientitici ai fini di ottenere una mappatura della struttura della ricerca accademica. L Eigenfactor viene calcolato su un periodo temporale di cinque anni utilizzando i dati del Journal Citation Reports con tutti i limiti imposti dal grado di copertura del JCR

47 Mondo OA e bibliometria Nel mondo Open Access stanno nascendo iniziative e progetti che interessano il campo della "bibliometria" dove si stanno sperimentando soluzioni alternative al tradizionale IF Da qualche tempo i servizi Web stanno mettendo in discussione il predominio non solo degli strumenti dell ISI ma dello stesso IF. Se gli indicatori generati dall autore sono le citazioni, quelli generati dai lettori sono i dati sull utilizzo che possono essere raccolti tramite server web e linkresolver logs. Indicatore bibliometrico quantitativo di nuova generazione è l Usage Factor UF, complementare e non sostitutivo a fattori di impatto tradizionali o alternativi all IF. Nuovi strumenti e/o progetti per l analisi citazionale nell ambiente Web, tra cui il Web Impact Factor (WIF) e per l analisi statistica dei log e dei dati, che si riconducono alla nuova scienza nota come metrica del web o Webometrica.

48 UF Usage Factor Usage Factor utilizza il download della versione digitale di un articolo come misura base di un nuovo concetto di bibliometria basata sul ruolo dei lettori rispetto a quello degli autori. Vantaggi: Immediata tracciabilità di utilizzo (articoli, libri, audio,video,dati di ricerca) Criticità: Viene letto tutto quello che si scarica? Rischio di manipolazione degli autori

49 Web Impact Factor WIF Il Web Impact Factor WIF è basato sull analisi dei link e si ricava dal numero dei contatti che un documento pubblicato sul web riceve moltiplicato per il numero delle pagine. Lo studio si fonda sull assunto secondo cui Internet è lo strumento in grado di veicolare al meglio le informazioni prodotte dalla ricerca scientifica Criticità: Il WIF è una misura di uso più che di qualità scientifica

50 ALTMETRICS AND ARTICLE-LEVEL METRICS Altmetrics: Una misura che considera, oltre al consueto conto delle citazioni ricevute da un articolo, altre forme di impatto quali i riferimenti contenuti nelle knowledge base, i download, le viste online, e la loro menzione nei social media e altri canali come blog o siti web. Può essere misurato per cose che non sono articoli. Article level metrics (ALMs): Una misura di utilizzo di una particolare articolo da una varietà di fonti, che possono includere citazioni.

51