Publish or Perish (PoP) è un software del 2006 sviluppato da Anne Will Harzing, scaricabile gratuitamente dal sito

Transcript

1

2 Publish or Perish (PoP) è un software del 2006 sviluppato da Anne Will Harzing, scaricabile gratuitamente dal sito PoP recupera e analizza le citazioni accademiche da Google Scholar e calcola una serie di indici bibliometrici, per studiare l impatto di uno specifico autore nella comunità scientifica, quali: h-index e sue varianti g-index numero di citazioni per autore citazioni medie per autore, articolo, anno

3

4

5

6 H-index è un indice proposto nel 2005 da Jorge E. Hirsch (University of California, San Diego) per quantificare la prolificità e l'impatto del lavoro degli scienziati, basandosi sul numero delle loro pubblicazioni ed il numero di citazioni ricevute. Il calcolo dell'indice H è il seguente: Unoscienziatopossiedeunindicehsehdeisuoilavorihannoalmenohcitazioniciascunoei rimanenti lavori hanno ognuno meno di h citazioni. Supponiamo che un ricercatore abbia 15 pubblicazioni. Se 10 di queste pubblicazioni sono citate almeno 10 volte da altri ricercatori, l indice h dello scienziato è 10 (le altre 5 hanno meno di 10 citazioni). Se tutte e 15 hanno 10 citazioni sarà sempre 10. L'indice è strutturato per verificare non solo la produzione, ma anche la reale influenza di un ricercatore, distinguendolo, ad esempio, da coloro che invece, pur avendo pubblicato molto, hanno prodotto articoli scarsamente citati. Hirsch JE, An index to quantify an individual's scientific research output

7 Il valore dell h-index dipende dal database che si usa per calcolare il numero di citazioni. Se si usa il Web of Science dell ISI, vengono solo prese in considerazione le riviste ivi incluse. In generale Google Scholar fornisce un h-index più alto di Scopus o Web of Science, perché comprende tutti i tipi di pubblicazione quali libri, atti di conferenze, PhD tesi (e non solo un set selezionato di riviste). Finch A., Can we do better than existing author citation metrics? G-index (complementare all h-index) Indice creato da Leo Egghe nel Il g-index è una modifica dell h-index che prende in considerazione articoli molto citati oltre il valore dell indice h. E una misura della performance globale delle citazioni di un set di articoli, evidenziando la maggiore visibilità di uno scienziato. Egghe L, Theory and practise of the g-index

8

9

10

11 Google Scholar Citations consente agli autori di tenere traccia delle citazioni dei loro articoli. Puoi sapere chi cita le tue pubblicazioni, riportare su un grafico temporale le citazioni e calcolare diverse metriche relative alle citazioni. Puoi anche rendere pubblico il tuo profilo in modo che possa essere visualizzato nei risultati di Google Scholar quando gli utenti cercano il tuo nome.

12

13

14

15

16 Citazioni: è il numero di citazioni relative a tutte le pubblicazioni. La seconda colonna contiene la versione "recente" di questo dato che è il numero di nuove citazioni relative a tutte le pubblicazioni negli ultimi 5 anni. i10-index: è il numero di pubblicazioni con almeno 10 citazioni. La seconda colonna contiene la versione "recente" di questo dato che è il numero di pubblicazioni che hanno ricevuto almeno 10 nuove citazioni negli ultimi 5 anni. Indice H è il massimo numero h tale che h pubblicazioni abbiano almeno h citazioni. La seconda colonna è la versione "recente" di questo dato che è il massimo numero h tale che h pubblicazioni abbiano almeno h citazioni nuove negli ultimi 5 anni.

17

18

19 Creare il proprio profilo Google Scholar Citations; Cercare un autore a piacere

20 Schemi riassuntivi e considerazioni generali sulla valutazione

21 Numero delle pubblicazioni Numero delle citazioni ricevute Numero di accessi a una pagina Numero di download di una pagina Colombo L. I sistemi di valutazione delle pubblicazioni scientifiche. Università degli studi di Milano Bicocca 2011.

22 Impact Factor: misura quanto è importante una rivista. Immediacy Index: misura quanto successo sta avendo il lavoro nell anno di pubblicazione. Cited Half Life: misura la validità nel tempo degli articoli citati. SJR (Scimago Journal Rank): misura il prestigio di una rivista basandosi su quante volte è stato citato un articolo su altre riviste o siti. Citation Index: misura quanto è importante un articolo. H-Index: misura la prolificità degli autori basandosi su quante volte è stato citato un articolo su altre riviste. Colombo L. I sistemi di valutazione delle pubblicazioni scientifiche. Università degli studi di Milano Bicocca 2011.

23 Moed H, Halevi G. Research assessment: Review of methodologies and approaches. Research Trends 2014; 36:4 s.com/issue-36-march- 2014/researchassessment/

24 Nell ambito della Web metrica, che si occupa di aspetti di misurazione del web: siti web, pagine web, parti di pagine web, le parole nelle pagine web, collegamenti ipertestuali, i risultati dei motori di ricerca web, lo Usage Factor (Fattore di Utilizzo) ha lo scopo di misurare la qualità dei periodici scientifici in base al numero di download: si confronta il numero degli articoli scaricati con il numero di articoli pubblicati Moed H, Halevi G. Research assessment: Review of methodologies and approaches. Research Trends 2014; 36: march-2014/researchassessment/

25 Moed H, Halevi G. Research assessment: Review of methodologies and approaches. Research Trends 2014; 36:4 s.com/issue-36-march- 2014/researchassessment/

26

27 Comportamenti o motivazioni nell attribuire citazioni Pubblicazione madre : il lavoro originale in cui un idea, concetto o principio son stati descritti Lavori precedenti relativi all argomento di ricerca: per commentarli, criticarli, correggerli, confermarli Autorevolezza: si citano altri lavori per supportare il proprio lavoro e convincere i lettori; per confermare dati, metodi e risultati di altri Fattori sociali: citare ricercatori prestigiosi, colleghi, per aumentare la visibilità, ecc.

28

29 Violazioni nel citare i lavori scientifici I ricercatori sono responsabili di bibliographic negligence (Eugene Garfield 1992) o citation amnesia (Garfield 1980). Si tende ad omettere i più recenti risultati dei propri avversari scientifici, i lavori antecedenti pionieristici. Bisognerebbe adottare esplicitamente una best practice. Garfield alcuni anni fa propose di far firmare agli autori una dichiarazione in cui affermassero di: aver fatto una ricerca della letteratura scientifica tale che per quanto ne sappiano non esistono altri importanti lavori. The Scientist: Citation Violations. (May 2009:vol 23, n. 5, p. 13) E. Garfield, "From citation amnesia to bibliographic plagiarism," Current Contents, No. 23, pages 5-9, June 9, Reprinted in Essays of an Information Scientist, Volume 4, pages Philadelphia: ISI Press, E. Garfield, "Bibliographic negligence: A serious transgression," The Scientist, 5[23]:14, Nov. 25, Reprinted in Essays of an Information Scientist, Volume 14, pages Philadelphia: ISI Press,

30 I metodi bibliometrici sono uno strumento utile per misurare la produzione (output) scientifica. Tuttavia la pressione a pubblicare ( publish or perish : se non pubblichi niente finanziamenti e niente carriera) può comportare delle distorsioni comportamentali (es. riproporre quasi lo stesso articolo a altre riviste, salami science: spezzettare un articolo in 2 o 3 articoli con informazioni minime, ecc.) che possono portare ad una distorsione complessiva del processo valutativo. E auspicabile una diminuzione della pressione a pubblicare. I metodi quantitativi dovrebbero essere complementari ai qualitativi (peer review), tanto che Martin e Irvine li chiamano partial indicators (Research Policy, 1983). Tenere sempre in mente che entrambi i metodi presentano bias (distorsioni), fondamentalmente derivate dal comportamento umano.

31 Problema legato al declino dell onestà intellettuale e dell etica scientifica : Anyone who has been a scientist for more than 20 years will realize that there has been a progressive decline in the honesty of communication between scientists, between scientists and their institutions, and between scientists and their institutions and the outside world. Yet real science must be an arena where truth is the rule; ore else the activity simply stops being science and becomes something else: Zombie science. Charlton BG. Are you an honest scientist? Truthfulness in science should be an iron law, not a vague aspiration. Medical Hypotheses 2009;73:

32

33 ...L'analisi statistica dei dati mostra che gli scienziati non sono giudici affidabili del valore di una ricerca: raramente ne riconoscono l'importanza e spesso si lasciano influenzare da dove è stata pubblicata. Le valutazioni, inoltre, sono scarsamente correlate tra loro, il che significa che uno stesso articolo può ricevere valutazioni fortemente contrastanti gli scienziati sembrano essere vittime di un "principio di autorità", perché sovrastimano i risultati pubblicati sulle riviste più importanti Per quanto riguarda il numero di citazioni, sembrano avere una limitata relazione con il merito. Le citazioni si accumulano in modo stocastico, cioè casuale: 2 lavori simili per merito scientifico possono ricevere inizialmente valutazioni soggettive diverse, uno dei due può essere citato da altri studiosi che a sua volta lo citeranno, accumulando infine "un distacco" che non corrisponde alla differenza reale del valore In realtà tutte e tre queste misure del merito scientifico sono poco affidabili Bisognerebbe utilizzare quindi più parametri, tra i quali dovrebbero essere compresi anche il numero di visualizzazioni su Internet (per gli articoli o gli abstract disponibili), le discussioni sui social network, la menzione sui media aperti al largo pubblico o infine le ricadute pratiche dei risultati.

34 EUGENIO PICANO «..oggi ti misurano e ti misuri sulla base dell Impact factor e, meglio ancora, dell indice H. Esiste persino, manifestata negli ultimi anni, una variante degli indici bibliometrici dal volto umano: il gaming editoriale per cui, ad esempio, se sei direttore di un giornale obblighi, con la pistola dell accettazione puntata alla loro tempia, gli increduli autori a citare letteratura non attinente pubblicata sul tuo giornale oppure per i più creativi pubblicata da te. Così sale nel primo caso l Impact factor del tuo giornale (equivale a rubare per il partito), e nel secondo caso il tuo indice H (equivale a rubacchiare qualche citazione per sé). Anche gli indici bibliometricipiù freddi si riscaldano, a contatto con il fattore umano». «..sono uno strumento rozzo e imperfetto per misurare la produzione scientifica; e però rappresentano l unica alternativa possibile alla produzione-monnezza (trash publications), che mettendo assieme abstract su riviste italiane, articolacci a invito su giornali in dialetto, capitoletti di libri autofinanziati, ha consentito per decenni a molti autorevoli membri della comunità scientifica di ostentare pomposamente una produzione cartacea a 3 o 4 cifre tutta scritta sull acqua: centinaia o migliaia di articoli di cui tipicamente 4 o 5 adornati di un qualche Impact factor. L Impact factor punta il dito su questi curriculum drogati e mostra che il ricercatore è nudo: è perciò un fattore di moralizzazione e di chiarezza a cui dobbiamo gratitudine. Nel mondo dell autoreferenzialità, è stato costringere il ricercatore a guardarsi allo specchio».

35