Alessandra Sansavini (componente GEV 11b) Roberto Cubelli (coordinatore GEV 11b)

Transcript

1 GUIDA PER LA SCELTA DEI PRODOTTI Alessandra Sansavini (componente GEV 11b) Roberto Cubelli (coordinatore GEV 11b) Bologna, 1 dicembre

2 Premessa Questa guida è stata messa a punto su richiesta del Comitato Esecutivo della Sezione AIP Sviluppo e Educazione e di alcuni colleghi di SSD psicologici dell Ateneo di Bologna. La guida è un documento operativo che esplicita i passi e le procedure da seguire per scegliere i prodotti da conferire per la VQR. In particolare, guida gli autori nella ricerca degli indicatori bibliometrici dei prodotti presenti nelle basi di dati WoS e Scopus, al fine di ottenere le informazioni che consentano di scegliere i prodotti in modo consapevole e documentato. La guida ha quindi la funzione di accompagnare gli autori nella lettura dei documenti, Bando VQR e Criteri GEV 11b, e nella applicazione del processo di conferimento dei prodotti. La guida non sostituisce in alcun modo i documenti, che richiedono una attenta e accurata lettura ai fini della comprensione delle finalità e delle modalità di valutazione della VQR. 2

3 ANVUR- VQR La VQR è uno dei compiti di ANVUR Presidente ANVUR: Stefano Fantoni Coordinatore VQR : Sergio Benedetto Vice-coordinatoreVQR : Andrea Graziosi Bando VQR p. 20 Riferimenti normativi VQR: sezione VQR Nel Bando VQR sono illustrate le finalità e le modalità della valutazione Si aggiungono FAQ e documento di accompagnamento dei criteri GEV bibliometrici 3

4 ANVUR- VQR- GEV 11B I criteri di valutazione dei prodotti di Scienze Psicologiche sono stati messi a punto dal GEV 11b, partendo dal Bando VQR e coordinandosi con i GEV delle aree bibliometriche. GEV 11b- Componenti Assistente GEV11b: dott.ssa Serena Mastroberardino Riferimenti normativi criteri GEV 11b: sezione VQR GEV 11b Criteri 4

5 OGGETTO DI VALUTAZIONE DELLA VQR Bando VQR p. 1 La VQR valuta i risultati della ricerca scientifica delle Istituzioni: a) Università statali b) Università non statali legalmente riconosciute c) Enti di ricerca pubblici vigilati dal MIUR d) Altri soggetti pubblici e privati che svolgono attività di ricerca e) Dipartimenti delle università e analoghe articolazioni interne delle altre Istituzioni 5

6 CRITERI DI VALUTAZIONE PER TUTTI I PRODOTTI Bando VQR p. 14 6

7 CLASSI DI MERITO Bando VQR p. 15

8 PRODOTTI DA CONFERIRE Bando VQR pp. 5-7 All autore/struttura è chiesto di conferire 2 prodotti pubblicati nel periodo (si fa riferimento alla prima data di pubblicazione in formato elettronico o cartaceo). L Ateneo può chiedere all autore di conferire più prodotti (probabilmente 4), indicando in ordine i primi 2 da conferire e poi gli altri 2 di riserva. Nel caso in cui due autori dello stesso Ateneo conferiscano lo stesso prodotto, l Ateneo può sostituire quel prodotto con un altro tra quelli indicati dall autore. L autore deve esaminare la propria produzione scientifica degli anni VQR alla luce dei criteri dei GEV di riferimento; controllare i dati dei prodotti, inseriti nel catalogo IRIS, che intende selezionare, perché la completezza e la correttezza di queste informazioni sono di fondamentale importanza per garantire: a) l associazione con le banche dati citazionali (essenziale nelle aree bibliometriche); b) la qualità delle informazioni descrittive che saranno esportate nella scheda destinata ai GEV e che costituiranno un elemento di valutazione anche nell analisi bibliometrica. 8

9 LA VALUTAZIONE DEI PRODOTTI- GEV 11b Criteri GEV 11b pp. 6-7

10 PRODOTTI VALUTATI CON LA PEER REVIEW Criteri GEV 11b p. 20 La peer reviewriguarda: prodotti senza indicatori bibliometrici, prodotti con indicatori bibliometrici che si collocano nelle aree di incertezza o vicino alle soglie di merito, un campione statistico del 10% dei prodotti con indicatori bibliometrici (solo per lo studio della correlazione dei metodi di valutazione). La peer reviewpotrà anche riguardare prodotti con indicatori bibliometrici: a) pubblicati nel 2014 con dati citazionali insufficienti, b) con un numero di autocitazioni >50% del totale delle citazioni di quel prodotto, c) suggeriti dall autore in quanto di area di ricerca emergente, a forte specializzazione o a carattere interdisciplinare o per il quale non esistano dati citazionali adeguati 10

11 PRODOTTI VALUTATI CON LA PEER REVIEW Bando VQR p. 14- Criteri GEV 11b p. 8 e p.18 La peer review seguirà la metodologia illustrata nel Bando VQR (p. 14) e nei Criteri GEV 11b (p. 8 e p. 18). Nella valutazione dell impatto saranno privilegiati i volumi a diffusione internazionale (pubblicati da case editrici che coinvolgono autori, lettori, redattori e revisori provenienti da più paesi), i volumi indicizzati nelle basi di dati WoS e Scopus e i volumi che sono stati anche tradotti e pubblicati in altra lingua. Per garantire coerenza nella classificazione dei prodotti, l esito della valutazione della peer review terrà conto delle diverse tipologie: Volumi a diffusione internazionale fino alla classe eccellente Volumi a diffusione nazionale fino alla classe discreto Contributi in volumi a diffusione internazionale fino alla classe discreto Contributi in volumi a diffusione nazionale fino alla classe accettabile Articoli su riviste non indicizzate fino alla classe accettabile Banche dati, software e test fino alla classe discreto. 11

12 PRODOTTI VALUTABILI CON ANALISI BIBLIOMETRICA Criteri GEV 11b p. 9 Articoli scientifici anche nella forma di Letters e rassegne critiche (review), indicizzati nelle basi di dati citazionali WoS e Scopus, sono suscettibili di valutazione bibliometrica. Nella scheda prodotto all autore/struttura sarà chiesto di indicare la base di dati preferita (WoS o Scopus) e un solo indicatore di impatto, fra i due ad essa associati, che dovrà essere utilizzato per la valutazione. Gli indicatori di impatto tra cui l autore potrà scegliere sono: per WoS ( 5-year Impact Factor (5YIF), quale indicatore di popolarità, e Article Influence Score (AIS), quale indicatore di prestigio. In WoS le riviste recenti potrebbero non avere né 5YIF né AI. In questo caso, qualora l autore/struttura indicasse WoS quale base di dati di riferimento per il prodotto presentato, sarà utilizzato l'if quale indicatore di default. per Scopus ( Impact per Publication (IPP), quale indicatore di popolarità, e SCImago Journal Rank (SJR), quale indicatore di prestigio. 12

13 SUBJECT CATEGORY Criteri GEV 11b p. 11 L autore/struttura dovrà indicare nella scheda prodotto l area scientifica di appartenenza dell articolo, rappresentata dalla categoria di riferimento nota come SubjectCategory (SC) in WoS e AllScience Journal Classification (ASJC) in Scopus (d ora in avanti SC). In genere, una rivista appartiene ad una sola SC; tuttavia, poiché la rivista può appartenere a più di una SC, anche di aree disciplinari diverse, l individuazione univoca della SC dipenderà dall indicazione dell autore/struttura. La scelta è comunque subordinata all approvazione del GEV. 13

14 SUBJECT CATEGORY MULTIDISCIPLINARE Criteri GEV 11b pp Gli articoli pubblicati su una rivista che compare solo in una categoria multidisciplinare sia in WoS (Multidisciplinary Sciences; Psychology, multidisciplinary) sia in Scopus (Multidisciplinary; Miscellaneous) saranno riassegnati a un altra SC sulla base (i) delle citazioni contenute nell articolo e (ii) delle citazioni ricevute dall articolo. In particolare, la pubblicazione sarà assegnata alla SC che include il maggior numero di riviste citate e citanti. In questo modo la pubblicazione sarà confrontata con pubblicazioni della stessa area tematica e/o disciplinare. Nell assegnazione alla nuova SC, l articolo porterà con sé il JM della rivista e il numero di citazioni ricevute, senza modificare le distribuzioni della SC di destinazione. 14

15 TRASMISSIONE PRODOTTI Bando VQR p

16 DATI BIBLIOMETRICI FORNITI DALL ATENEO- GUIDA L autore deve controllare in IRIS (catalogo della ricerca) che i prodotti che intende conferire abbiano i codici Scopus e WoS corretti. Gli Atenei stanno predisponendo un modulo per la scelta dei prodotti da conferire. Molti Atenei hanno aderito all accordo Premium di CRUI con WoS e Scopus per avere l applicativo che consente di fornire all autore i valori e i percentili degli indicatori di impatto delle riviste e i valori (e, forse, i percentili) delle citazioni dei prodotti che si intendono conferire. Con queste informazioni l autore potrà effettuare la selezione. L autore può cercare su WoS e Scopus (con la procedura descritta in questa guida nelle prossime pagine) i valori e i rank per SC degli indicatori di impatto delle riviste e i valori (ma non i rank) per SC delle citazioni dei propri prodotti e verificarli quando l applicativo sarà disponibile. 16

17 INFORMAZIONI PER PRODOTTO- GUIDA Per ogni prodotto, l autore può costruirsi una scheda che raccolga tutte le informazioni necessarie al fine di scegliere la base di dati (WoSo Scopus), la SC e l indicatore di impatto che valorizzano maggiormente il prodotto. L accesso a WoS e Scopus è possibile tramite il sistema bibliotecario di quasi tutti gli atenei. INFORMAZIONI PER OGNI PRODOTTO Titolo dell articolo- Rivista- Anno - Tipo: article/letter o review WoS n. Citazioni =. SC (subject category):.. (può appartenere a SSCI- social science- e/o a SCI- science) 5yIF anno. = valore. (rank /.) AIS anno. = valore. (rank /.) Scopus n. Citazioni =. ASJC (all science journal classification):.. IPP anno. = valore. (rank /.) SJR anno. = valore. (rank /.) Se il prodotto appartiene a più SC o a più ASJC, i dati vanno raccolti per ogni SC e per ogni 17 ASJC, poi confrontati per scegliere il valore migliore.

18 INFORMAZIONI PER PRODOTTO- GUIDA Dopo avere raccolto per ogni prodotto le informazioni (citazioni ricevute, SC e valori degli indicatori di impatto della rivista), l autore può accertare quale base di dati (WoS o Scopus) e quale indicatore di impatto valorizzano di più il prodotto. Per i valori citazionali, ad oggi l autore può vedere quelli di ciascun prodotto, mentre non può trovare i rank delle citazioni per SC. E possibile che nelle prossime settimane gli atenei possano calcolare i rank delle citazioni per SC, in tal caso li metteranno a disposizione degli autori. Per consentire alle Istituzioni di scegliere i prodotti da sottoporre alla valutazione, i GEV riceveranno i dati citazionali provvisori da ISI WoS e Scopus nel mese di dicembre e applicheranno ad essi gli algoritmi bibliometrici di calibrazione in modo da pubblicare entro metà gennaio le informazioni complete sulle aree di classificazione. Tali informazioni, basate su dati citazionali anteriori a quelli definitivi, potranno subire piccole variazioni dopo il 29 febbraio, ma non tali da compromettere la selezione degli articoli indicizzati (Anvur, Documento di accompagnamento dei Criteri dei GEV bibliometrici p. 1). Nella scelta dei prodotti, occorre anche considerare che il peso dell indicatore di impatto della rivista e dell indicatore citazionale del prodotto variano in funzione dell anno di pubblicazione, con un peso maggiore dell indicatore citazionale per i prodotti meno recenti e un peso maggiore dell indicatore di impatto della rivista per i prodotti più recenti (Criteri GEV pp ). L autore terrà conto di tutte queste indicazioni per scegliere, tra i suoi prodotti, quelli che potranno ricevere una migliore valutazione. 18

19 N. CITAZIONI DI UN PRODOTTO IN WOS- GUIDA Andare sul data base WoS (apps.webofknowledge.com), inserire il Cognome e l iniziale de nome dell autore e cliccare Search per accedere alla lista delle pubblicazioni Accanto ad ogni prodotto compaiono le citazioni ricevute. N.B. La procedura descritta in questa e nelle prossime pagine è accompagnata, a fini esemplificativi, dalle foto delle schermate su WoS e Scopus, che potrebbero, in alcuni casi, mantenendo la stessa procedura, presentare piccole variazioni in funzione del sistema operativo del PC. 19

20 INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA In WoS cliccare Journal CitationReportse cliccare Go to Journal Profile per cercare la rivista in cui è pubblicato l articolo (per esempio CHILD DEVELOPMENT). La rivista può appartenere a una o più SC delle due aree scientifiche SSCI (social science) e SCI (science). 20

21 INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA Selezionare la rivista Child Development che in questo caso è presente solo tra le Scienze Sociali (SSCI) 21

22 INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA Compaiono per ogni anno gli indicatori di impatto della rivista Es. Indicatori di impatto di Child Development nel 2014: 5YIF = AIS = Child Development appartiene a: SC Psychology Educational- SSCI SC Psychology Developmental- SSCI Per trovare il rank della rivista per SC, occorre cliccare su ogni SC 22

23 INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA Cliccare Customizeindicators per selezionare gli indicatori di impatto 5YIF e AIS (chiudere senza cliccare su Save) e cliccare Select JCR year per indicare l anno di pubblicazione dell articolo

24 RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA esempio di rivista in SC Psychology Educational, rank 5YIF Selezionare l anno del prodotto Select JCR Year Ordinare per 5YIF cliccando sopra (5YIF diventa rosso) Es. Child Development SC Psychology Educational ordinata per 5YIF anno YIF = (rank 1/55) 24

25 RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA esempio di rivista in SC Psychology Educational, rank AIS Selezionare l anno del prodotto Select JCR Year Ordinare per AIS cliccando sopra (AIS diventa rosso). Es. Child Development SC Psychology Educational ordinata per AIS anno 2014 AIS = (rank 1/55) 25

26 RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA Per cambiare categoria, entrare in Select Categories, selezionare la nuova categoria, cancellare la selezione della precedente e cliccare Submit in basso a destra 26

27 RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA esempio di rivista in SC Psychology Developmental, rank 5YIF Selezionare l anno del prodotto Select JCR Year Ordinare per 5YIF cliccando sopra (5YIF diventa rosso) Es. Child Development SC Psychology Developmental ordinata per 5YIF anno YIF = (rank 3/68) 27

28 RANK INDICATORI DI IMPATTO DI RIVISTA IN WOS- GUIDA esempio di rivista in SC Psychology Developmental, rank AIS Selezionare l anno del prodotto Select JCR Year Ordinare per AIS cliccando sopra (AIS diventa rosso) Es. Child Development SC Psychology Developmental ordinata per AIS anno 2014 AIS = (rank 2/68) 28

29 N. CITAZIONI DI UN PRODOTTO IN SCOPUS- GUIDA Andare sul data base Scopus (www-scopus-com), in Author Search, inserire il Cognome dell autore e cliccare Search per accedere alla lista delle pubblicazioni Accanto ad ogni prodotto compaiono le citazioni ricevute. 29

30 INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- GUIDA In Scopus Journal Metrics ( cercare la Rivista (Search) in cui è pubblicato l articolo indicando l anno di pubblicazione dell articolo (Start year) oppure dal 2011 (così si visualizza dal 2011 al 2014) 30

31 INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- GUIDA Compaiono per ogni anno gli indicatori di impatto della rivista, che può appartenere a una o più SC 31

32 INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- GUIDA Per conoscere il rank all interno di ogni categoria vai nel sito e scarica il file Download the entire dataset (June 2015), dove trovi tutte le informazioni. Usando i filtri puoi isolare le categorie ACJS che ti interessano. I codici per le categorie di psicologia sono i seguenti: 3200 Psychology (all), 3201 Psychology (miscellaneous), 3202 Applied Psychology, 3203 Clinical Psychology, 3204 Developmental and Educational Psychology, 3205 Experimental and Cognitive Psychology, 3206 Neuropsychology and Physiological Psychology, 3207 Social Psychology I codici di tutte le altre categorie e altre informazioni le trovi qui pdf ASJC Codes pp

33 RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- GUIDA Per trovare IPP e SJR di una rivista e il loro rank per singola categoria ASJC per un dato anno si apre il file Con la funzione Home-Trova si cerca la rivista e nell ultima colonna del file sono indicati i codici delle ASJC a cui la rivista appartiene es. Child Development appartiene a SC 3204, 3304, 2735 Si seleziona tutto il foglio Excel (cliccando il rettagolino in alto a sinistra) e si attiva la funzione Dati-Filtro. Si va sulla colonna ASJC, si apre la finestra e si attiva il filtro per testo indicando il codice della SC che si vuole cercare scrivendolo direttamente (programma Excel 2013) oppure scrivendolo con la funzione contiene (programma Excel 2007). Si va su IPP dell anno che interessa, si clicca per selezionare ordina dalla Z alla A (dal valore maggiore al minore) e si guarda il rank della rivista cercata. Si va su SJR dell anno che interessa, si clicca per selezionare ordina dalla Z alla A (dal valore maggiore al minore) e si guarda il rank della rivista cercata. N.B. Nel programma Excel 2007 con la funzione ordina dalla Z alla A sono ordinati dal maggiore al minore prima tutti i valori IPP (o SJR) < 1, poi di seguito i valori IPP (o SJR) Per vedere il rank si parte dal valore più elevato in assoluto.

34 RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- ESEMPIO GUIDA ChildDevelopment appartiene a tre SC (3204, 3304, 2735). I valori di IPP 2014 (4.690) e SJR 2014 (3.065) hanno un rank diverso nelle 3 SC. SC 3204 Developmental and Educational Psychology IPP 2014 = (rank 7/247) SJR 2014 = (rank 3/247) SC 3304 Education IPP 2014 = (rank 5/959) SJR 2014 = (rank 6/959) SC 2735 Pediatrics, Perinatology and Child Health IPP 2014 = (rank 4/377) SJR 2014 = (rank 1/377) In quest ultimo caso, la SC (2735) è di area medica. Quindi, il peso da dare anno per anno all indicatore di impatto e all indicatore citazionale seguirà i valori di pendenza indicati dal GEV 06 Scienze Mediche. 34

35 RANK INDICATORI DI IMPATTO DI RIVISTA IN SCOPUS- GUIDA Per trovare SJR si può anche andare sul sito Scimago Journal Ranking e indicare: Subject area: es. Psychology Subject Category: es. Developmental and Education Anno: es Compare il rank per SJR Si cerca la rivista Es. Child Development SJR 2014 = Rank 4/278 E comunque più preciso usare il metodo precedente con il file 35