Metodi bibliometrici per la valutazione della ricerca: non solo IF. Antonella De Robbio

Transcript

1 Metodi bibliometrici per la valutazione della ricerca: non solo IF Antonella De Robbio

2 Contenuti La bibliometria Metodi di valutazione della ricerca Metodi bibliometrici Indicatori bibliometrici L Impact Factor (IF) Principali difetti dell Impact Factor Indici bibliometrici alternativi all Impact Factor: L Eigenfactor (EI), H-Index e sue varianti, La metrica del Web e il Web Impact Factor (WIF) L Usage Factor (UF)

3 La bibliometria La bibliometria è un ambito di studio applicato alle varie discipline scientifiche, che comprende anche l analisi bibliometrica, sviluppatosi negli ultimi vent anni grazie alla disponibilità online di banche dati di grandi dimensioni. E collocata entro un contesto più ampio di scientometria, la scienza per la misura e l analisi della scienza. La bibliometria, utilizza tecniche matematiche e statistiche per analizzare i modelli di distribuzione delle pubblicazioni e per esplorare l impatto entro le comunità scientifiche

4 Analisi bibliometrica Le due misure bibliometriche più conosciute sono il numero di citazioni il fattore di impatto o impact factor IF, il numero di citazioni ricevute nell anno corrente agli articoli pubblicati nei due anni precedenti diviso per il totale del numero di articoli pubblicati negli stessi due anni. Ci sono numerosi altri indicatori meno noti e altri emergenti, in particolare nel contesto Open Access l idea di fondo è che la misurazione della produzione del sapere scientifico usi entrambi gli approcci in modo combinato.

5 This diagram has been adapted from Evolution of Scientific Information. [From Allan Kent and Harold Lancour, eds., Encyclopedia of Library and Information Science (New York, 1979), s.v. Scientific Literature, by K. Subramanyam, 394].

6 La valutazione della ricerca La valutazione della ricerca richiede un duplice approccio: quantitativo (ossia in termini numerici di impatto scientifico, brevettabilità, della presenza di contratti con aziende interessate a temi di ricerca); qualitativo, il giudizio dei pari (valutatori) o peer-review, che risulta a tutt oggi il più importante dei metodi per una valutazione significativa della qualità. Appare evidente come sarebbe necessario associare ai metodi quantitativi uno o più metodi qualitativi. Oltre all analisi bibliometrica (quantitativa), usata un po ovunque, in altri paesi invece vengono usati più metodi, tra i quali il panel (modello anglosassone, ora dismesso dalla RAE/2008), il peer review (il giudizio dei pari) e l analisi del beneficio economico.

7

8 Il 35% è favorevole a che i revisori vengano pagati, il 40% no. Il 90 per cento degli autori intervistati svolge anche compiti di revisione. Nulla di particolarmente nuovo, credo che lo studio confermi l'attuale tendenza a voler mantenere il sistema di peer-review con piccoli aggiustamenti. Lo studio sembrerebbe dimostrare che i ricercatori sono favorevoli al peer-review perchè migliora la qualità delle pubblicazioni scientifiche, ma desidererebbero un sistema nel quale sia l'autore che il revisore sono anonimi (double-blind) e accettano volentieri l'idea dei commenti aperti dopo la pubblicazione dell'articolo. Molti auspicano il miglioramento dell'attuale sistema di peer-review e si lamentano dei tempi lunghi del referaggio.

9 L azione del CIVR fase Contrariamente a quello si pensa NON ha usato nessun tipo di metrica, ma si è basato su peer-review. L'analisi della citazione fu scartata in quanto l'uso di tecniche bibliometriche basate sulla citazione (analisi citazionale) presentava grandi svantaggi (IF). Dalla valutazione italiana sono esclusi di materiali didattici. Ma dove interviene la bibliometria a livello di valutazione nel panorama Italiano? Può accadere (e solitamente è accaduto così) che vengano applicate tecniche di questo tipo (uso di IF per esempio) nella selezione operata dalla base (strutture, dipartimenti) per l'invio dei materiali da proporre al CIVR per la valutazione. Si tratta di selezioni basate sull'analisi citazionale effettuate non dal CIVR bensì dalle strutture che inviano materiale utile per la valutazione. Spesso si tratta anche di un criterio accessorio, in certi atenei.

10 L azione del CIVR Ogni ateneo ha un suo criterio interno che applica al fine di individuare quali prodotti somministrare. A livello centrale CIVR, il modello di allocazione delle risorse prevede dei punteggi, 4/9 per la qualità di una pubblicazione, il criterio della qualità è qualcosa che incide notevolmente sul risultato della valutazione. In sostanza si è voluta una quota molto ristretta di prodotti inviati dagli atenei sulla quale operare la valutazione Gli aspetti per noi rilevanti sono nella FASE INIZIALE: - scelta del prodotto da inviare - tipologia delle produzioni CAPIRE MEGLIO QUALE SIA IL GRADO POLITICO DI APPLICAZIONE DI CRITERI RIGORE/FILTRO SCIENTIFICO RIVISTE OA (VALUTAZIONE DEI PARI)

11 Elementi di differenza con il metodo RAE britannico RAE include anche i materiali didattici ai fini della valutazione RAE chiede che ciascun ricercatore (a livello nominale) presenti 4 lavori (ultimi 6 anni) a sua scelta. Non si è operata peer-review su tutto ciò che arrivava, perchè in questo modo, agendo a livello nominale, i lavori sono numerosi e il processo lungo e costoso. Non vi è stata quindi selezione di eccellenza operata dalle università, ma è lo stesso ricercatore che invia ciò che ritiene migliore RAE estrae un campione casuale e su questo campione rappresentativo di ciascun ateneo applica la peer-review. Fino al 2007 vi è stata una selezione dei Panel per la mappatura dell'eccellenza scientifica che in questo modo agisce su un campione casuale. NUOVO Rapporto RAE 2008

12 Fuori dall Italia: tendenze opposte Regno Unito: la valutazione delle Università, fino ad oggi era condotta attraverso panel disciplinari del RAE Dal 2008 RAE si baserà su indici bibliometrici appositamente costruiti per la misurazione della qualità (sviluppo di nuovi indicatori) La valutazione dei pari in forma di light peer-review si effettuerà per le sole discipline umane e sociali (incluse però anche matematica e statistica), dove le metriche non hanno ancora raggiunto standard accettabili. Australia: la valutazione delle istituzioni dovrebbe passare da una sistema basato esclusivamente sull uso delle metriche a un nuovo sistema dove la valutazione dovrebbe essere condotta da panel di pari e di utilizzatori finali dei risultati prodotti.

13

14 L analisi citazionale L analisi citazionale è considerata la macchina dove poggia il fattore d impatto, noto come IF. L Impact Factor o IF, è l indicatore bibliometrico più conosciuto, ma non è il solo indicatore proposto dall ISI (ora Thompson) a cui fare riferimento. Da studi effettuati è emerso che ciascun servizio produce risultati anche piuttosto differenti l uno dell altro. In termini di analisi quantitativa appare quanto mai necessario usare diverse fonti di citazione per giudicare il reale impatto di un opera scientifica. Il Web infatti ha avuto un enorme impatto sulla ricerca dell analisi citazionale. Negli anni recenti dozzine di database tra cui Scopus e anche Google Scholar sono comparsi sulla scena, permettendo modalità e modelli di citazione dei lavori scientifici mai visti in precedenza. Questo potrebbe segnare, secondo alcuni, la fine del monopolio sull analisi citazionale durato oltre quarant anni e detenuto dal commerciale statunitense Thomson Scientific, meglio conosciuto con il nome precedente di ISI.

15 Science Citation Index (ISI) Il Science Citation Index dell ISI Institue for Scientific Information - ora Web of Science WoS di Thompson è stato considerato lo strumento principe per la misurazione delle citazioni fu lanciato nel 1964 e ben presto divenne popolare tra scienziati e bibliotecari e tutt oggi è uno dei database multidisciplinari più importanti del mondo ed è affiancato ad altri database citazionali come l Arts and Humanities Citation Index (A&HCI) e il Social Science Citation Index (SSC). Insieme contano circa 40 milioni di record in oltre 8700 periodici scientifici tra i più prestigiosi del mondo. Fino al 1988 questi indici esistevano solo in forma cartacea a stampa, dalla metà degli anni settanta ricerche online usano sistemi di information-retrieval messi a disposizione da soggetti terzi come Dialog. dal 1988 prime edizioni su CD-Rom e finalmente nel 1997 i database ISI migrarono su web con il lancio del Web of Science (WoS).

16 Gli indicatori utilizzati nell analisi bibliometrica proposta dall ISI: non solo IF Immediacy Index: misura quanto successo sta avendo il lavoro nell anno di pubblicazione e in relazione a quanto velocemente un articolo della rivista è mediamente citato e quanto spesso gli articoli della rivista sono citati nello stesso anno; Cited Half Life: ciclo di emivita di un lavoro scientifico; misura la validità nel tempo degli articoli citati o la durata delle citazioni nel tempo. Misura il numero degli anni, andando all'indietro da quello corrente, in cui si raggiunge il 50% delle citazioni totali ricevute dalla rivista nell'anno presente. Rate of Cites Index: rappresenta un indice di qualità del singolo lavoro, basato sull assioma che quanto più il lavoro è citato da altri ricercatori tanto più rilevante è il suo valore scientifico. Citation Impact: è calcolato per uno specifico soggetto o autore o istituzione o paese sulla base del rapporto tra il numero di citazioni ricevute e il numero di articoli pubblicati (un elevato numero di citazioni indica che la pubblicazione ha avuto un forte impatto).

17 Volume mondiale di citazioni Il volume di citazioni mondiali risulta incrementato del 61%, passando da 2.69 milioni a 4.34 milioni, le citazioni tra nazioni e aree geografiche diverse crescono dal 42% al 48%, altro segno dell incremento della globalizzazione della scienza. in EU aumenta fortemente la condivisione di citazioni globali, eliminando in parte di divario con gli Stati Uniti

18 Mondo OA e bibliometria Nel mondo Open Access stanno nascendo iniziative e progetti che interessano il campo della "bibliometria" dove si stanno sperimentando soluzioni alternative al tradizionale IF Da qualche tempo i servizi Web stanno mettendo in discussione il predominio non solo degli strumenti dell ISI ma dello stesso IF. Se gli indicatori generati dall autore sono le citazioni, quelli generati dai lettori sono i dati sull utilizzo che possono essere raccolti tramite server web e linkresolver logs. Indicatore bibliometrico quantitativo di nuova generazione è l Usage Factor UF, complementare e non sostitutivo a fattori di impatto tradizionali o alternativi all IF. nuovi strumenti e/o progetti per l analisi citazionale nell ambiente Web, tra cui il Web Impact Factor (WIF) e per l analisi statistica dei log e dei dati, che si riconducono alla nuova scienza nota come metrica del web o Webometrica.

19 L Eigenfactor (EI) Eigenfactor: ranking and mapping scientific knowledge è un nuovo modello matematico per calcolare l'impatto delle riviste scientifiche accademiche che tiene conto dei diversi standard di citazione tra una disciplina e l'altra. progetto di ricerca accademica non-commerciale sponsorizzato dal Bergstrom lab al Department of Biology dell Università di Washington ha lo scopo di sviluppare un nuovo metodo per la valutazione dell'influenza (impatto) dei periodici accademico-scientitici ai fini di ottenere una mappatura della struttura della ricerca accademica. Completamente free

20

21

22 PoP software Publish or Perish (PoP) is a software program that retrieves and analyzes academic citations. It uses Google Scholar to obtain the raw citations, then analyzes these and calculates a series of citation metrics. The results are available on-screen and can also be copied to the Windows clipboard (for pasting into other applications) or saved to a text file (for future reference or further analysis).

23

24 Analisi biometriche PoP Papers: 166 Citations: 153 Years: 48 Cites/year: 3.19 Cites/paper: 0.92 Cites/author: Papers/author: Authors/paper: 1.45 h-index: 5 g-index: 6 hc-index: 4 hi-index: 3.13 hi,norm: 4 AWCR: AW-index: 4.34 AWCRpA: Hirsch a=6.12, m=0.10 Contemporary ac=4.69 Cites/paper 0.92/0.0/0 (mean/median/mode) Authors/paper 1.45/1.0/1 (mean/median/mode) 6 paper(s) with 0 author(s) 112 paper(s) with 1 author(s) 26 paper(s) with 2 author(s) 16 paper(s) with 3 author(s) 2 paper(s) with 4 author(s) 4 paper(s) with 5 author(s)

25

26 H index Con h-index si intende un indice proposto nel 2005 da Jorge E. Hirsch della University of California di San Diego per quantificare la prolificità e l'impatto del lavoro degli scienziati, basandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute.

27

28

29

30 h-b-index Hirsch-Banks Index Altra variante dell indice H è l h-b-index (Hirsch-Banks Index), meglio un estensione dell indice H sviluppato da Michael Banks del Max Planck Institute for Solid State Research, focalizzato sulle pubblicazioni in fisica dello stato solido. E definito allo stesso modo dell Indice H, ma è basato sulla ricerca di uno specifico argomento o composto, invece che del nome dello scienziato.

31 a-index Il curatore di Science Focus, Jin Bihui ha inventato un ulteriore metodo, detto aindex il quale è definito come la media del numero di citazioni ricevute da opere nel numero di pubblicazioni h-index.

32 G-index L indice G o g-index è un indicatore bibliometrico di tipo quantitativo per misurare la produttività scientifica dei fisici e altri scienziati, anch esso basato sui record citazionali delle loro pubblicazioni. Fu suggerito nel 2006 da Leo Egghe, sulla base di una variante dell indice H. Il g-index è calcolato sulla base della distribuzione delle citazioni ricevute dalle pubblicazioni di un dato ricercatore.

33 Contemporary h-index Mentre Antonis Sidiropoulos, Dimitrios Katsaros, e Yannis Manolopoulos hanno descritto come migliorare l'indice H dando più peso ai lavori recenti "thus rewarding academics who maintain a steady level of activity", Pablo D. Batista, Monica G. Campiteli, Osame Kinouchi, e Alexandre S. Martinez propongono di dividere l'indice H standard per il numero medio di autori nell'articolo che contribuiscono all'indice stesso, di modo da ridurre gli effetti del co-authorship.

34 Age-weighted citation rate: (AWCR, AWCRpA) e AW-index Numero di citazioni basate sull'età del documento (AWCR, AWCRpA) e AW-index E nato dalla nota di Bihui Jin intitolata "The AR-index: complementing the h-index" ISSI Newsletter, 2007, 3(1), p. 6. AWCR misura il numero di citazioni ricevute da un'intera collezione di opere, calcolato in base all'età di ogni singolo documento (Age-weighted citation rate). È il numero di citazioni calcolato sulla base dell'età del documento in cui il numero di citazioni di un determinato documento viene diviso per l'età del documento. Jin definisce AR-index come la radice quadrata della somma delle citazioni basate sull'età di un documento calcolata sul numero totale di documenti che contribuiscono all'h-index. Publish or Perish tiene conto della somma di tutti i documenti di modo da rappresentare più accuratamente l'impatto dell'intera collezione di opere. (in questo modo i documenti più recenti e di conseguenza con un minor numero di citazioni possono contribuire a AWCR, anche se non potrebbero ancora contribuire all'h-index). AW-index è considerato la radice quadrata di AWCR per consentire un paragone/confronto con l'h-index: esso si avvicina all'h-index se il numero medio di citazioni rimane più o meno costante nel corso degli anni. Il numero di citazioni basato sull'età del documento e sull'autore (per-author age-weighted citation rate) è simile al AWCR di base, ma è normalizzato sul numero di autori per ogni documento. Il risultato di queste metriche è indicato come AWCR, AWCRpA e AW-index.

35 L h-index di Scopus Fornisce un unica e semplice metrica per migliorare la valutazione di un autore nell arco degli ultimi dieci anni. Rappresenta gli articoli pubblicati dal 1996 in avanti. È possibile visualizzarlo usando lo strumento Citation Tracker dalla pagina Author Details Fornisce all utente tre grafici: il grafico h, il numero di articoli pubblicati e il numero di citazioni.

36 TopCited di SCOPUS Scopus ha rilasciato un nuovo servizio gratuito TopCited ( che permette di consultare gli articoli più citati nelle varie discipline usando un'api integrata con Google Map. I 20 articoli più citati negli ultimi 3-5 anni in tutte le discipline (26 aree di soggetto) sono OA, come risulta da questa ricerca effettuata da Klaus Graf

37

38

39

40

41 SCImago Journal & Country Rank (SJR) nuovo database gratuito accessibile in Internet messo a punto dalle università spagnole di Granada, Estremadura e Carlos III di Madrid In collaborazione con Elsevier che ha fornito le citazioni relative ai 13 mila periodici indicizzati da SCOPUS (dal 1996 ad oggi) permette di generare statitistiche sulle citazioni degli articoli pubblicati nelle riviste peer-reviewed calcola anche l'impact factor delle riviste usando un nuovo algoritmo simile a PageRank, l'algoritmo utilizzato da Google per ordinare le pagine Si possono fare ricerche incrociate per paesi e per discipline genera statistiche per paese, confronta il numero degli articoli pubblicati, le citazioni, per paese Come si colloca l'italia

42

43

44

45 WIF Web Impact Factor Almind e Ingwersen, considerati tra i più accreditati studiosi di metodi bibliometrici, hanno pubblicato nel 1997 i primi studi relativi all area di problemi definita con il termine Webometrics. Si tratta dello studio degli aspetti quantitativi della costruzione e dell uso delle risorse informative delle strutture e delle tecnologie sul web valutate secondo un approccio bibliometrico ed informetrico (Bjömeborn & Ingwersen, 2004). Con il termine Cybermetrics si indica lo studio di tutte le applicazioni Internet, con il termine Webometrics si indica lo studio dedicato esclusivamente al web. il Web Impact Factor WIF è basato sull analisi dei link e si ricava dal numero dei contatti che un documento pubblicato sul web riceve moltiplicato per il numero delle pagine. Questo comporta una proporzione di 1:1 tra la visibilità (numero contatti) e la dimensione (numero di pagine).

46 Lo studio si fonda sull assunto secondo cui Internet è lo strumento in grado di veicolare al meglio le informazioni prodotte dalla ricerca scientifica combinazione di una serie di indicatori relativi alla presenza in Internet delle Università e dei Centri di ricerca basandosi sul WIF, Web Impact Factor, messo a punto da Tomas C. Almind e Peter Ingwersen, in maniera del tutto analoga al database bibliografico pubblicato dalla Thomson Scientific, costruito tenendo conto del Impact Factor of Journal Citation Reports.

47 UF Usage Factor Usage Factor per misurare l'autorevolezza e il valore delle riviste scientifiche UK Serials Group (UKSG) ha commissionato alcune ricerche volte a misurare la possibilità di utilizzare l"usage Factor" come indice per misurare il valore delle pubblicazioni accademiche.

48

49

50

51

52

53