Appendice A. Confronto tra valutazione peer e valutazione bibliometrica

Transcript

1 Appendice A. Confronto tra valutazione peer e valutazione bibliometrica A.1 Il campione casuale Un campione casuale di 631 articoli su rivista passibili di valutazione bibliometrica è stato estratto dalla popolazione di 6758 articoli, valutabili bibliometricamente, sottomessi alla valutazione nel GEV01. La popolazione è stratificata in base della distribuzione dei prodotti all interno dei 4 sub- GEV identificati nell Area, ossia: Informatica; Matematica fondamentale; Analisi e probabilità; Matematica applicata. La classificazione degli articoli all interno dei sub-gev si basa sul sub-gev di effettiva valutazione dell articolo, ed è calcolata escludendo i casi di articoli duplicati presentati da diversi autori all interno di uno stesso strato campionario. Il campione include il 10% dei prodotti di Informatica, il 9,1% di prodotti di Matematica fondamentale, il 9% di prodotti di Analisi e probabilità e il 9,3% di prodotti di Matematica applicata (Tab. A.1). Il campione è stato estratto ai primi di settembre 2012, prima dell inizio del processo di revisione peer, mediante una procedura casuale con il vincolo di selezionare una proporzione significativa di prodotti in ciascun sub-gev. Sub-GEV Popolazione Campione % Informatica ,0 Matematica fondamentale ,1 Analisi e probabilità ,0 Matematica applicata ,3 Totale ,3 Tabella A.1 Distribuzione degli articoli su rivista nel campione e nella popolazione Classe Popolazione % Campione % Informatica E , ,98 B , ,76 A 31 1,89 5 3,05 L 105 6,42 8 4,88 IR , ,34 Matematica fondamentale E , ,15 B , ,88 A 87 6,51 9 7,44 L , ,22

2 IR , ,31 Analisi e probabilità E , ,81 B , ,29 A 102 5,12 9 5,03 L 144 7, ,70 IR , ,17 Matematica applicata E , ,35 B , ,38 A 108 6, ,59 L 175 9, ,58 IR , ,11 Totale E , ,90 B , ,89 A 328 4, ,39 L 593 8, ,24 IR , ,59 Tabella A.2 Distribuzione delle valutazioni bibliometriche nel campione e nella popolazione La Tabella A.2 riporta la distribuzione nelle classi di valutazione VQR (Eccellente; Buono; Accettabile; Limitato; Incerto (IR)) ottenuta utilizzando la valutazione bibliometrica degli articoli su rivista nei quattro sub-gev, per il campione e per la popolazione. Come si vede, la distribuzione delle valutazioni bibliometriche (E/ B/ A/ L/ IR) è sufficientemente vicina nella popolazione e nel campione, sia per il totale che per i sub-gev così da concludere che il campione estratto è rappresentativo della popolazione di riferimento. Per ciascun articolo su rivista incluso nel campione casuale sono disponibili le seguenti informazioni: Rapporto del primo revisore (P1) Rapporto del secondo revisore (P2) Rapporto di un eventuale terzo e quarto revisore (P3 e P4) Valutazione di sintesi dei giudizi del primo e secondo revisore (P) Valutazione bibliometrica (F) Le variabili P e P1-P4 assumono come valore una delle 4 classi di valutazione E, B, A, L; la valutazione bibliometrica F ha come possibile risultato anche la classe di valutazione IR, ossia il suggerimento di procedere con la informed peer review nel caso di risultati molto diversi tra i due

3 indicatori bibliometrici (riviste e numero citazioni, cfr. i criteri del GEV descritti nell Appendice B). Le quattro classi, secondo il Bando VQR, sono definite con riferimento ai percentili della distribuzione della qualità degli articoli pubblicati nel mondo. In particolare, la qualifica eccellente corrisponde ad un articolo che si colloca nel 20% superiore della distribuzione della qualità degli articoli pubblicati nel mondo, quella di buono nel successivo 20%, di accettabile nel successivo 10% e, infine, quella di limitato nel 50% inferiore. Le variabili P1-P4 sono originariamente misurate su una scala numerica compresa tra 0 e 9, con un punteggio da 0 a 3 assegnato a 3 diversi criteri; tali punteggi sono successivamente utilizzati per determinare per ciascun prodotto sottomesso a valutazione la classe di valutazione peer del prodotto, sulla base dei criteri fissati dal GEV 1 ; le variabili P ed F sono invece rispettivamente espresse in termini delle 4 o 5 classi di valutazione sopra elencate. Sulla base del Bando VQR, alle quattro classi E, B, A, L corrispondono rispettivamente i punteggi 1; 0,8; 0,5; 0. La classificazione adottata nell analisi bibliometrica si basa sui criteri descritti nell Appendice B di questo rapporto. Nella revisione dei pari, ai revisori esterni è stato richiesto di valutare ciascun prodotto sulla base della loro percezione soggettiva della qualità del prodotto rispetto alla distribuzione mondiale dei prodotti della ricerca nel settore scientifico a cui il prodotto faceva riferimento. La valutazione dei revisori è stata quindi sintetizzata sulla base di un algoritmo specifico al GEV01, secondo il quale, rispettivamente: i prodotti di classe E erano quelli con un punteggio complessivo pari a 8-9; i prodotti di classe B avevano un punteggio complessivo pari a 6-7; i prodotti di classe A un punteggio complessivo pari a 5 e i prodotti di classe L un punteggio inferiore o uguale a 4. Al fine di confrontare i risultati della valutazione bibliometrica e della revisione tra pari, si procede nel seguito a confrontare gli indicatori F e P. Anche altri confronti possono essere tuttavia di importanza significativa: in particolare il confronto tra le valutazioni tra pari P1 e P2 consente di valutare il grado di corrispondenza dei giudizi tra i due revisori 2. A.2 Le distribuzioni F e P Le distribuzioni F e P sopra descritte non sono immediatamente confrontabili, dato che la distribuzione F delle valutazioni bibliometriche comprende una classe IR che non è invece prevista nella valutazione dei pari. E però possibile ipotizzare che una discordanza di almeno due classi tra la valutazione del primo e secondo revisore segnali un incertezza della revisione dei pari del tutto analoga a quella che emerge dal confronto tra numero di citazioni e fattore di impatto della sede di pubblicazione nell analisi bibliometrica: in analogia con la classificazione IR della valutazione bibliometrica, si è creata dunque una corrispondente classificazione Incerta Peer (IP) per la valutazione dei pari, al fine di consentire il confronto tra le distribuzioni F e P. La Tabella A.3 mostra la distribuzione in numeri assoluti e percentuali degli indicatori F e P sopra descritti per il totale del campione del GEV01. 1 L etichetta P1 e P2 assegnata ai due revisori è puramente convenzionale e riflette esclusivamente l ordine di accettazione della proposta di revisione avanzata al potenziale revisore. 2 Nel GEV1, per 15 prodotti è stato necessario procedere anche a una terza valutazione dei pari. La terza valutazione non è stata qui considerata.

4 Valutazione bibliometrica (F) % rispetto al totale delle valutazioni bibliometriche di classe E Valutazione peer (P) E B A L IP Totale E ,2 33,2 4,7 2,9 18,1 100 B % rispetto al totale delle valutazioni bibliometriche di classe B 9,3 37,3 9,3 29,3 14,7 100 A % rispetto al totale delle valutazioni bibliometriche di classe A 2,9 20,6 5,9 41,2 29,4 100 L % rispetto al totale delle valutazioni bibliometriche di classe L 3,8 25,0 3,8 42,3 25,0 100 IR % rispetto al totale delle valutazioni bibliometriche IR 21,2 31,1 8,3 16,6 22,8 100 % rispetto al totale delle valutazioni bibliometriche Totale ,1 31,7 6,3 15,5 20,3 100 Tabella A.3: Confronto tra F e P totale del campione Gli elementi sulla diagonale principale della Tabella A.3 corrispondono ai casi in cui la valutazione dei pari e quella bibliometrica coincidono. Gli elementi al di fuori della diagonale principale corrispondono invece ai casi di non coincidenza tra F e P, o perché la valutazione F è migliore della P (elementi al di sopra della diagonale principale) o viceversa (elementi al di sotto della diagonale). La Tabella A.3 mostra che la principale discordanza tra la valutazione bibliometrica e quella dei pari è dovuta al fatto che la valutazione bibliometrica è più generosa. In particolare, gli articoli classificati come eccellenti sulla base degli indicatori bibliometrici sono 277, contro i soli 165 articoli eccellenti della valutazione tra pari: solo il 41,2% degli articoli classificati come E secondo la bibliometria ottiene E anche secondo la revisione dei pari, mentre rispettivamente nel 33,2%, 4,7% e 2,9% dei casi i prodotti bibliometricamente eccellenti risultano buoni, accettabili o limitati nella valutazione dei pari. D altro lato, il numero di articoli che sono classificati in B, A e L dalla valutazione dei pari (200, 40 e 98 articoli rispettivamente) è nettamente più elevato rispetto agli articoli che risultano in B, A ed L secondo la valutazione bibliometrica (75, 34 e 52 articoli rispettivamente). Infine, la numerosità di valutazioni incerte è maggiore nel caso della valutazione bibliometrica rispetto alle revisioni tra pari (193 casi contro 128). Le valutazioni bibliometriche incerte hanno in oltre il 50% dei casi una valutazione almeno pari a B nell analisi peer, e viceversa.

5 Complessivamente, l analisi bibliometrica e la revisione tra pari coincidono in circa un terzo dei casi. Se si sommano alle valutazioni coincidenti quelle che differiscono di una sola classe, si arriva al 54% del campione. Gli articoli con valutazioni che differiscono per due classi sono 49, l 8% del campione, quelli con massima discordanza (ossia, che differiscono per 3 classi) sono solo 10 (l 1,6% del campione). Il restante 37% del campione ha una assegnazione IR o IP con uno dei due metodi, e arriva invece ad una classe di assegnazione definita secondo l altro metodo. La Tabella A.4 mostra la distribuzione degli indicatori P1 e P2. Le valutazioni dei due revisori coincidono nel 46% dei casi, sono diverse per una classe di valutazione nel 34% dei casi e divergono invece rispettivamente per 2 o 3 classi di valutazione nel 14% e nel 6% dei casi. E da notare anche che le valutazioni su un giudizio di assegnazione alla classe E sono convergenti in 141 casi, pari a circa il 57% del totale delle valutazioni eccellenti (249) fornite dal primo revisore e a circa il 61% delle valutazioni eccellenti (228) del secondo revisore. P1 P2 E B A L Totale E % rispetto al totale delle valutazioni bibliometriche di classe E 56,6 25,3 9,6 8,4 100 B % rispetto al totale delle valutazioni bibliometriche di classe B 27,2 44,5 14,7 13,6 100 A % rispetto al totale delle valutazioni bibliometriche di classe A 24,4 33,3 11,5 30,8 100 L % rispetto al totale delle valutazioni bibliometriche di classe L 14,2 19,5 18,6 47,8 100 Totale % rispetto al totale delle valutazioni bibliometriche 36,1 31,1 13,0 19,8 100,0 Tabella A.4: Confronto tra le valutazioni P1 e P2 totale del campione Le Tabelle A.5 e A.6 estendono i risultati delle Tabelle A.3 e A.4 ai singoli sub-gev. In particolare, dall analisi dei dati presentati dalla Tabella A.5 emerge che in tutti i sub-gev il numero di valutazioni eccellenti è maggiore secondo la valutazione bibliometrica rispetto alla peer. D altra parte, il numero di valutazioni buone, accettabili e limitate è invece sempre maggiore secondo l analisi peer rispetto a quella bibliometrica, ad indicazione che la tendenza della valutazione bibliometrica ad essere più vantaggiosa rispetto a quella peer è comune a tutti i sub-gev (un test formale di tale ipotesi è presentato nella Sezione A.3). I casi di discordanza di due classi o più tra le

6 due valutazioni sono più frequenti in Analisi e probabilità (12,8%) rispetto ad Informatica (6,1%), Matematica fondamentale (8,3%) e Matematica applicata (9,6%). Valutazione bibliometrica (F) % rispetto al totale delle valutazioni bibliometriche di classe E % rispetto al totale delle valutazioni bibliometriche di classe B % rispetto al totale delle valutazioni bibliometriche di classe A % rispetto al totale delle valutazioni bibliometriche di classe L % rispetto al totale delle valutazioni bibliometriche IR % rispetto al totale delle valutazioni bibliometriche Informatica Valutazione peer (P) E B A L IP Totale E ,0 22,0 2,0 2,0 17,0 100,0 B ,5 56,3 0,0 25,0 6,3 100,0 A ,0 20,0 0,0 40,0 40,0 100,0 L ,0 25,0 0,0 50,0 25,0 100,0 IR ,9 25,7 14,3 5,7 11,4 100,0 Totale Valutazione bibliometrica (F) % rispetto al totale delle valutazioni bibliometriche di classe E % rispetto al totale delle valutazioni bibliometriche di classe B % rispetto al totale delle valutazioni bibliometriche di classe A 45,1 26,2 4,3 8,5 15,9 100,0 Matematica fondamentale Valutazione peer (P) E B A L IP Totale E ,2 43,1 2,0 2,0 11,8 100,0 B ,6 44,4 16,7 11,1 22,2 100,0 A ,0 44,4 11,1 22,2 22,2 100,0 L

7 % rispetto al totale delle valutazioni bibliometriche di classe L % rispetto al totale delle valutazioni bibliometriche IR % rispetto al totale delle valutazioni bibliometriche 12,5 25,0 0,0 25,0 37,5 100,0 IR ,8 25,9 0,0 18,5 40,7 100,0 Totale Valutazione bibliometrica (F) % rispetto al totale delle valutazioni bibliometriche di classe E % rispetto al totale delle valutazioni bibliometriche di classe B % rispetto al totale delle valutazioni bibliometriche di classe A % rispetto al totale delle valutazioni bibliometriche di classe L % rispetto al totale delle valutazioni bibliometriche IR % rispetto al totale delle valutazioni bibliometriche 23,1 37,2 4,1 11,6 24,0 100,0 Analisi e probabilità Valutazione peer (P) E B A L IP Totale E ,9 35,4 8,5 3,7 19,5 100,0 B ,1 18,2 9,1 45,5 18,2 100,0 A ,1 22,2 0,0 44,4 22,2 100,0 L ,0 16,7 8,3 66,7 8,3 100,0 IR ,4 29,6 9,3 18,5 22,2 100,0 Totale Valutazione bibliometrica (F) % rispetto al totale delle valutazioni bibliometriche di classe E % rispetto al totale delle valutazioni bibliometriche di classe B 22,9 29,6 8,4 19,6 19,6 100,0 Matematica applicata Valutazione peer (P) E B A L IP Totale E ,5 43,2 6,8 4,5 25,0 100,0 B ,5 36,8 10,5 31,6 10,5 100,0 A

8 % rispetto al totale delle valutazioni bibliometriche di classe A % rispetto al totale delle valutazioni bibliometriche di classe L % rispetto al totale delle valutazioni bibliometriche IR % rispetto al totale delle valutazioni bibliometriche 0,0 0,0 9,1 54,5 36,4 100,0 L ,0 31,3 6,3 37,5 25,0 100,0 IR ,3 36,4 7,8 19,5 22,1 100,0 Totale ,2 35,3 7,8 21,0 22,8 100,0 Tabella A.5: Confronto tra F e P per sub-gev La Tabella A.6 estende i risultati della Tabella A.4 ai singoli sub-gev. In particolare, dall analisi emerge che la convergenza nelle valutazioni dei due revisori è più elevata in Informatica (60%) rispetto a Matematica fondamentale (40%), Analisi e probabilità (43%) e Matematica applicata (38%). Le divergenze per almeno 2 classi di valutazione sono più frequenti in Matematica fondamentale (24% dei casi) rispetto a Informatica (15,8%), Analisi e probabilità (19,5%) e Matematica applicata (22,9%). E da notare anche che le valutazioni su un giudizio di assegnazione alla classe E sono convergenti in almeno la metà dei casi in tre sub-gev sui quattro considerati: fa eccezione infatti la Matematica applicata, dove meno della metà delle valutazioni eccellenti del revisore 1 sono eccellenti anche per il revisore 2, e viceversa. P1 Informatica P2 E B A L Totale E % rispetto al totale delle valutazioni di classe E del primo revisore 79,5 8,0 6,8 5,7 100 B % rispetto al totale delle valutazioni di classe B del primo revisore 37,2 44,2 11,6 7,0 100 A % rispetto al totale delle valutazioni di classe A del primo revisore 28,6 35,7 14,3 21,4 100 L % rispetto al totale delle valutazioni di classe L del primo revisore 15,8 26,3 15,8 42,1 100 Totale % rispetto al totale delle valutazioni del primo revisore 56,7 22,0 9,8 11,6 100

9 P1 Matematica fondamentale P2 E B A L Totale E % rispetto al totale delle valutazioni di classe E del primo revisore 50,0 33,3 6,3 10,4 100 B % rispetto al totale delle valutazioni di classe B del primo revisore 19,0 47,6 14,3 19,0 100 A % rispetto al totale delle valutazioni di classe A del primo revisore 33,3 33,3 0,0 33,3 100 L % rispetto al totale delle valutazioni di classe L del primo revisore 21,1 26,3 26,3 26,3 100 Totale % rispetto al totale delle valutazioni del primo revisore 33,1 37,2 11,6 18,2 100 Analisi e probabilità P1 P2 E B A L Totale E % rispetto al totale delle valutazioni di classe E del primo revisore 54,1 29,5 6,6 9,8 100 B % rispetto al totale delle valutazioni di classe B del primo revisore 30,0 40,0 18,0 12,0 100 A % rispetto al totale delle valutazioni di classe A del primo revisore 17,2 34,5 13,8 34,5 100 L % rispetto al totale delle valutazioni di classe L del primo revisore 15,4 20,5 12,8 51,3 100 Totale % rispetto al totale delle valutazioni del primo revisore P1 33,0 31,3 12,3 23,5 100 Matematica applicata P2 E B A L Totale E

10 % rispetto al totale delle valutazioni di classe E del primo revisore 26,9 42,3 21,2 9,6 100 B % rispetto al totale delle valutazioni di classe B del primo revisore 23,2 46,4 14,3 16,1 100 A % rispetto al totale delle valutazioni di classe A del primo revisore 26,1 30,4 13,0 30,4 100 L % rispetto al totale delle valutazioni di classe L del primo revisore 8,3 11,1 22,2 58,3 100 Totale % rispetto al totale delle valutazioni del primo revisore 21,6 35,3 18,0 25,1 100 A.3 Il confronto tra le distribuzioni di F e P Tabella A.6: Confronto tra le valutazioni P1 e P2 per sub-gev Il confronto tra la valutazione dei pari e quella bibliometrica si può basare su due criteri fondamentali: 1. Grado di concordanza tra la distribuzione F e la distribuzione P, ossia se F e P tendono ad assegnare lo stesso punteggio ad ogni articolo 2. Grado di differenza sistematica esistente tra F e P misurata mediante la differenza media del punteggio assegnato da F e P sulla base dei pesi attribuiti alle classi della VQR. Ovviamente, una perfetta concordanza implica anche la non esistenza di differenze sistematiche tra F e P, ma il contrario non è necessariamente vero, e in generale i due criteri misurano due diversi aspetti della differenza esistente tra le due distribuzioni. Si consideri ad esempio una distribuzione con un basso grado di concordanza tra F e P (molti articoli ricevono differenti valutazioni F e P). Anche in tale caso può accadere che, in media, F e P forniscano un punteggio complessivo simile. Questa distribuzione sarebbe caratterizzata da un basso livello di concordanza e da un basso grado di differenza sistematica: adottare uno dei due metodi di valutazione (per esempio quella bibliometrica, F) comporterebbe una frequente differenza di valutazione degli articoli sulla base della bibliometria e della valutazione peer (ossia, si avrebbero molti articoli con una buona valutazione in base a F, ma una peggiore valutazione in base a P, o viceversa). Alternativamente, si consideri un caso di elevata (ma non perfetta) concordanza tra F e P. In questo caso, potrebbe ancora succedere che, per esempio, il numero di articoli con classificazione elevata sia sistematicamente maggiore in F che in P. In questo caso si avrebbe un elevato grado di concordanza, ma anche un alto grado di differenza sistematica tra le due distribuzioni, dato che il punteggio medio attribuito da F differirebbe dal punteggio medio di P. Adottare uno dei due metodi di valutazione può risultare in una sopravalutazione (o sottovalutazione) in relazione all altro

11 criterio: ossia, gli articoli riceverebbero un punteggio notevolmente diverso se valutati con F o con P. Da un punto di vista statistico, il grado di concordanza tra F e P può essere misurato utilizzando la statistica K di Cohen; differenze sistematiche tra F e P possono invece essere misurate guardando alle differenze tra le medie delle distribuzioni e valutandone la significatività con un test t di Student. A.3.1 Il grado di concordanza tra le distribuzioni F e P La Tabella A.7 riporta i valori della statistica K di Cohen, calcolati per l intero campione e separatamente per ciascun sub-gev. I risultati sono riferiti a campioni omogenei (paired sample), ossia ai prodotti del campione per i quali sono disponibili sia i risultati della valutazione peer sia quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per i quali la valutazione bibliometrica fornisce come risultato una classificazione IR; nel caso del GEV di Matematica, le osservazioni a disposizione si riducono a 438. La statistica K è costruita in modo tale da essere pari a zero quando la concordanza tra due (o più) valutazioni è del tutto casuale, vale a dire nel caso in cui le valutazioni siano indipendenti l una dall altra; la statistica assume invece valore pari ad 1 nel caso in cui ci sia perfetta concordanza. E possibile calcolare il test utilizzando una matrice standard di pesi lineari (1; 0,67; 0,33; 0) attribuiti ai casi di concordanza, discordanza di una classe e così via, rispettivamente. In questo caso, nel totale del campione, K è uguale a 0,32, un valore statisticamente diverso da zero agli usuali livelli di significatività. Il grado di concordanza è maggiore in Informatica e Matematica fondamentale rispetto a Analisi e probabilità e Matematica applicata; il test K presenta comunque sempre valori statisticamente diversi da zero ad un livello di confidenza dell 1%. Come accennato sopra, il calcolo di K riportato nella prima riga della tabella usa pesi lineari. E possibile argomentare che nel nostro caso i pesi appropriati da utilizzare debbano però essere quelli suggeriti dalle regole della VQR. Sulla base di questi pesi, è possibile calcolare la distanza tra le valutazioni utilizzando i punteggi numerici della VQR (1; 0,8; 0,5; 0), associati con le valutazioni qualitative (E, B, A, L). La seconda riga della Tabella 2.16 riporta i valori della statistica K calcolati utilizzando i pesi della VQR: la concordanza in questo caso risulta sostanzialmente in linea con quella riscontrata utilizzando le distanze lineari, sia nel totale del campione che nei singoli sub- GEV. In ogni caso, il test z conferma che la statistica K è diversa da zero agli usuali livelli di significatività. Test Totale campione Informatica Matematica fondamentale Analisi e probabilità Matematica applicata F e P, pesi lineari F e P, pesi VQR (10.25) * (6.61)* (4.70)* (4.90)* (3.69)* 0,3173 (0,74)* (6.66)* (4,34)* (5,02)* 0,2403 (3,32)*

12 P1 e P2, pesi lineari 0,3595 (10,22)* 0,4161 (6,22)* 0,2183 (2,98)* 0,3722 (5,69)* 0,2804 (3,74)* P1 e P2, pesi 0,3516 (9,82)* 0,4027 (6,06)* 0,1723 (2,38)* 0,3881 (5,68)* 0,2975 (3,79)* VQR Nota: La tabella riporta la statistica K e in parentesi il valore z 3 ad essa associato. La presenza di un asterisco indica la significatività del test al livello dell 1% Tabella A.7: Statistica K di Cohen sul grado di concordanza La Tabella A.7 riporta anche la statistica K per il grado di concordanza tra i due revisori (P1 e P2), sia per il totale del campione che per i sub-gev. Nel complesso del campione, il grado di concordanza tra la valutazione bibliometrica (F) e la revisione peer (P) è simile a quello a quello esistente tra i giudizi formulati dai due revisori esterni. Nel complesso del campione, la statistica K calcolata con pesi lineari è pari a 0,36 (0,35 con i pesi della VQR). Analoghi risultati si hanno a livello dei singoli sub-gev. Il test z associato conduce sempre a rifiutare l ipotesi nulla di non concordanza. A.3.2 Il grado di differenza sistematica tra le distribuzioni F e P La Tabella A.8 riporta il punteggio medio risultante dalle valutazioni F e P. I valori numerici sono ottenuti sommando i pesi assegnati dalla VQR alle quattro classi di merito e dividendo per il numero degli articoli valutati. Si noti ancora una volta come, date le regole della VQR, gli scarti tra F e P non abbiano lo stesso peso: ad esempio, la differenza tra L e A ha un peso di 0,5, mentre la differenza tra E e B ha un peso pari solo a 0,2. Come nel caso delle analisi contenute nella sezione precedente, i risultati riportati sono riferiti a campioni omogenei (paired sample), ossia ai prodotti del campione per i quali sono disponibili sia i dati della valutazione peer sia quelli relativi alla valutazione bibliometrica, eliminando cioè dal campione i prodotti per i quali la valutazione bibliometrica fornisce come risultato una classificazione IR. Come ricordato sopra, gli articoli a disposizione in questo caso sono 438. La terza colonna mostra che il punteggio medio finale della revisione peer (punteggio P) è pari a 0,675: il punteggio è superiore alla media complessiva in Informatica (0,787) e Matematica fondamentale (0,711) ed inferiore alla media in Analisi e probabilità (0,615) e Matematica applicata (0,568). Le differenze tra i sub-gev che emergono dall analisi dei dati della terza colonna della tabella possono essere attribuite: A una migliore qualità degli articoli sottomessi alla valutazione in Informatica e Matematica fondamentale rispetto a quella degli articoli di Analisi e probabilità e Matematica applicata 3 Il test z verifica se K è statisticamente pari a zero assumendone una distribuzione Gaussiana, o normale. Si calcola dividendo il valore di K per il suo errore standard. Se il valore di z è superiore al valore-soglia della distribuzione normale corrispondente a una certa probabilità, si conclude che la statistica K è statisticamente diversa da zero, ossia che le due valutazioni non sono indipendenti l una dall altra e mostrano quindi un grado statisticamente significativo di concordanza.

13 A una maggiore generosità dei revisori dei primi due sub-gev rispetto a quelli degli ultimi due All intrinseca variabilità statistica nella scelta del campione. La quarta colonna contiene il punteggio medio ottenuto nella valutazione bibliometrica: tale punteggio è pari a 0,808 per la media complessiva dei lavori sottoposti al GEV01, risultando inferiore alla media generale nella Matematica fondamentale (0,744) e nella Matematica applicata (0,719) e superiore ad essa in Informatica (0,894) e Analisi e probabilità (0,833). L ordinamento dei sub-gev in base alla qualità degli articoli presentati è diverso a seconda che si consideri l analisi bibliometrica e quella peer: secondo l analisi bibliometrica, a ricevere la valutazione migliori sono gli articoli di Informatica, seguiti da Analisi e probabilità, dalla Matematica fondamentale e da Matematica applicata; nella peer, la valutazione migliore la riceve sempre l Informatica, seguita però dalla Matematica fondamentale, da Analisi e probabilità e da Matematica Applicata. Il risultato più interessante dell analisi è mostrato nella quinta colonna, che presenta la differenza tra valutazione peer e bibliometrica, con le colonne 7-8 che riportano il risultato del test t per campioni di uguale ampiezza ad esso associato. Nel totale del campione, emerge una differenza sistematica tra la valutazione bibliometrica e la valutazione peer: più precisamente, la valutazione media ottenuta con l analisi bibliometrica è statisticamente maggiore a quella ottenuta con la valutazione peer. Il risultato è confermato anche per i dati riferiti ai sub-gev di Informatica, Analisi e probabilità e Matematica applicata; nella Matematica fondamentale, invece, la differenza tra le due valutazioni non risulta essere statisticamente diversa da zero. Area Punteggio P1 Punteggio P2 Punteggio P Punteggio F Diff F-P # Osservazioni Test t p-value Informatica 0,792 0,788 0,787 0,894 0, ,521 0,000 Matematica fondamentale Analisi e probabilità Matematica applicata 0,749 0,724 0,711 0,744 0, ,848 0,199 0,651 0,632 0,615 0,833 0, ,144 0,000 0,637 0,583 0,568 0,719 0, ,444 0,000 Totale 0,711 0,688 0,675 0,808 0, ,828 0,000 A.4 Conclusioni Tabella A.8: Test t sulla differenza tra i punteggi bibliometrici e peer review Nel totale del campione dei prodotti del GEV01 conferiti per la valutazione, si riscontra una più che adeguata concordanza tra valutazioni effettuate con il metodo della revisione tra pari e con quello bibliometrico. Inoltre, il grado di concordanza tra valutazione finale bibliometrica e peer è molto simile al grado di concordanza tra le due valutazioni peer. D altro lato, però, emerge evidenza di

14 differenze sistematiche tra i punteggi corrispondenti alle valutazioni peer e bibliometriche. In effetti, è possibile osservare che il numero di prodotti della ricerca classificati come eccellenti (E) con l algoritmo di valutazione bibliometrica sia superiore a quello dei prodotti eccellenti secondo la valutazione tra pari. Il grado di concordanza tra valutazioni peer e valutazioni bibliometriche è elevato in tutti i sub- GEV. Le differenze sistematiche tra i punteggi medi sono statisticamente significative e sempre di segno positivo (ossia, la valutazione biblometrica è significativamente più favorevole in media rispetto a quella peer) in Informatica, Analisi e probabilità e Matematica applicata; non si registrano invece differenze significative in Matematica fondamentale.

15 Appendice B. Documento sui Criteri per la valutazione dei prodotti di ricerca (comprensivo di FAQ) Criteri per la valutazione dei prodotti di ricerca Gruppo di Esperti della Valutazione dell Area 01 (GEV01) 1. Introduzione Questo documento ha per oggetto l organizzazione e il funzionamento del Gruppo di Esperti della Valutazione (GEV) istituito dal Consiglio direttivo dell ANVUR per l Area 01 Scienze Matematiche e Informatiche (GEV01) e comprendente i Settori Scientifico Disciplinari (SSD) da MAT/01 a MAT/09, e il settore INF/01. L'obiettivo finale dell esercizio di Valutazione della Qualità della Ricerca (VQR) è fornire un panorama qualitativo della ricerca in Italia. Nel complesso, i prodotti che il GEV01 esaminerà per questo esercizio sono principalmente articoli su riviste scientifiche, articoli su atti di congresso, libri e capitoli di libri. La valutazione verrà fatta utilizzando la tecnica della informed peer review, cioè un mix di criteri bibliometrici e di revisione peer. Più precisamente, gli articoli su rivista saranno classificati prevalentemente utilizzando indicatori bibliometrici integrati, considerando sia la qualità della rivista su cui sono pubblicati sia il loro impatto, quantificato in base al numero citazioni ricevute dall articolo fino al 31 dicembre Chiaramente, articoli pubblicati all'inizio del periodo di valutazione, 2004 e 2005, hanno avuto più tempo per accumulare citazioni e costruire l'impatto rispetto ai lavori pubblicati nel 2010; di conseguenza, nella scelta di quali prodotti valutare tramite peer review si terrà conto della data di pubblicazione. Articoli su atti di congresso, libri e capitoli di libri, altri prodotti della ricerca quali edizioni critiche, traduzioni e commenti scientifici, brevetti, banche dati e software, come pure articoli delle aree di storia delle matematiche e di didattica della matematica, che per la loro 1

16 affinità con le materie umanistiche sono spesso sprovvisti di indicatori bibliometrici attendibili, saranno invece principalmente valutati usando la metodologia peer review. Si raccomanda che i soggetti valutati e le strutture di ricerca forniscano nella scheda descrittiva che accompagna i prodotti, in particolare per quelli che potrebbero essere valutati mediante peer review, ogni informazione utile alla valorizzazione del prodotto, quali, ad esempio, l indicazione che il prodotto ha aperto un nuovo campo di ricerca o ha ottenuto riconoscimenti significativi, o possiede un carattere profondamente interdisciplinare. 2. Delimitazione dell area GEV Il GEV01: Scienze Matematiche e Informatiche (Area 01), ha come riferimento i seguenti settori scientifico disciplinari (SSD): MAT/01 Logica Matematica MAT/02 Algebra MAT/03 Geometria MAT/04 Matematiche Complementari MAT/05 Analisi Matematica MAT/06 Probabilità e Statistica Matematica MAT/07 Fisica Matematica MAT/08 Analisi Numerica MAT/09 Ricerca Operativa INF/01 Informatica I settori ERC di pertinenza sono: - PE1 Mathematics: all areas of mathematics, pure and applied, plus mathematical foundations of computer science, mathematical physics and statistics o PE1_1 Logic and foundations o PE1_2 Algebra o PE1_3 Number theory o PE1_4 Algebraic and complex geometry o PE1_5 Geometry o PE1_6 Topology o PE1_7 Lie groups, Lie algebras o PE1_8 Analysis o PE1_9 Operator algebras and functional analysis o PE1_10 ODE and dynamical systems o PE1_11 Theoretical aspects of partial differential equations o PE1_12 Mathematical physics o PE1_13 Probability o PE1_14 Statistics 2

17 o PE1_15 Discrete mathematics and combinatorics o PE1_16 Mathematical aspects of computer science o PE1_17 Numerical analysis o PE1_18 Scientific computing and data processing o PE1_19 Control theory and optimization o PE1_20 Application of mathematics in sciences o PE1_21 Application of mathematics in industry and society life - PE6 Computer science and informatics:informatics and information systems, computer science, scientific computing, intelligent systems o PE6_1 Computer architecture, pervasive computing, ubiquitous computing o PE6_2 Computer systems, parallel/distributed systems, sensor networks, embeddedsystems, cyber-physical systems o PE6_3 Software engineering, operating systems, computer languages o PE6_4 Theoretical computer science, formal methods, and quantum computing o PE6_5 Cryptology, security, privacy, quantum crypto o PE6_6 Algorithms, distributed, parallel and network algorithms, algorithmic game theory o PE6_7 Artificial intelligence, intelligent systems, multi agent systems o PE6_8 Computer graphics, computer vision, multi media, computer games o PE6_9 Human computer interaction and interface, visualization and natural language processing o PE6_10 Web and information systems, database systems, information retrieval and digital libraries o PE6_11 Machine learning, statistical data processing and applications using signal processing (eg. speech, image, video) o PE6_12 Scientific computing, simulation and modelling tools o PE6_13 Bioinformatics, biocomputing, and DNA and molecular computation - SH6The study of the human past: archaeology, historyand memory o SH6_9 History of ideas, intellectual history, history ofsciences and techniques - SH4 The human mind and its complexity:cognition,psychology, linguistics,philosophy and education o SH4_12 Education: systems and institutions, teaching andlearning 3. Organizzazione del GEV 3.1 Sub-GEV Il GEV dell Area 01 è organizzato come segue: Presidente: Alfio QUARTERONI Vice presidente: Marco ABATE 3

18 Sub-GEV01.1: INFORMATICA(INF/01) Pierangela SAMARATI: coordinatore Giuseppe CASTAGNA Paolo CIANCARINI Alfredo DE SANTIS Elena FERRARI Vladimiro SASSONE Nobuko YOSHIDA Sub-GEV01.2: MATEMATICA FONDAMENTALE (MAT/01, MAT/02, MAT/03, MAT/04) Corrado DE CONCINI: coordinatore Marco ABATE Lucia CAPORASO Graziano GENTILI Livia GIACARDI Simon SALAMON Sub-GEV01.3: ANALISI e PROBABILITA (MAT/05, MAT/06) Nicola FUSCO: coordinatore Alberto BRESSAN Haim BREZIS Giuseppe Mario BUTTAZZO Maria J. ESTEBAN Franco FAGNOLA Sub-GEV01.4: MATEMATICA APPLICATA (MAT/07, MAT/08, MAT/09) Franco BREZZI: coordinatore Nicola BELLOMO Silvano MARTELLO Alfio QUARTERONI Valeria SIMONCINI Giuseppe TOSCANI 3.2 Regole di funzionamento del GEV a) La convocazione del GEV avviene almeno 15 giorni prima della riunione. La riunione è convocata dal Presidente, che fissa anche l ordine del giorno. b) Le decisioni all interno del GEV sono prese a maggioranza semplice dei presenti. Per partecipare alla votazione non è necessario essere fisicamente presenti alle riunioni, purché presenti in modalità telematica. c) Alle riunioni del GEV partecipa, con funzioni di segretario senza diritto di voto, anche l assistente al GEV, Dott. Ric. Irene Mazzotta, attribuito da ANVUR al GEV. Al termine di ciascuna riunione viene redatto un resoconto della seduta in italiano, e un verbale succinto che riporta le conclusione principali in lingua italiana e inglese. I verbali 4

19 vengono fatti circolare tra i membri del GEV e approvati tramite o utilizzando l ambiente software predisposto dal CINECA. 3.3 Allocazione dei prodotti all interno del GEV L allocazione dei prodotti ai sub-gev avverrà sulla base del SSD indicato dal soggetto valutato così come trasmesso dalle strutture (fatte salve le eccezioni previste al punto 4 della Sezione 6.4). Il significato del SSD associato al prodotto, che può anche essere diverso dal SSD di appartenenza del soggetto valutato, si riferisce al sub-gev che con maggior competenza, secondo il soggetto valutato, può valutare il prodotto in questione. Nel caso in cui un prodotto sia assegnato a più GEV, in quanto presentato da più autori che hanno indicato per il prodotto SSD afferenti ad aree CUN diverse o per il suo carattere interdisciplinare, saranno adottati identici criteri di valutazione concordati tra i vari GEV. A tale scopo, i Presidenti dei GEV interessati istituiscono specifici Gruppi di Consenso Inter-Area. 4. Mix valutativo Salvo restando che la responsabilità finale della valutazione di ogni prodotto è del GEV nel suo complesso, il GEV01 utilizzerà per la valutazione la tecnica della informed peer review, cioè un mix di criteri bibliometrici e di revisione peer. Fra i prodotti elencati nella Sezione 2.3 del Bando ANVUR VQR , i prodotti delle tipologie b (libri, capitoli di libri e atti di congressi, solo se dotati di ISBN), c (edizioni critiche, traduzioni e commenti scientifici) e d (brevetti), e parte dei prodotti della tipologia e (specificatamente, banche dati e software), saranno valutati utilizzando la revisione peer. Dei prodotti di cui alla tipologia a (articoli su riviste) una percentuale non inferiore al 10% sarà valutata tramite revisione peer, come descritto nella Sezione 5; i restanti prodotti saranno valutati tramite analisi bibliometrica condotta dai sub-gev come descritto nella Sezione 6. La selezione dei prodotti di tipologia a da valutare tramite revisione peer sarà effettuata dal sub-gev di riferimento tenendo conto dei seguenti criteri: disponibilità di dati bibliometrici per il prodotto; indicazione fornita in tal senso dall analisi bibliometrica (vedi la Sezione 6.4); eventuale raccomandazione in tal senso formulata dalle strutture nell apposito campo dell interfaccia CINECA (i prodotti per i quali la richiesta di revisione peer sarà ben motivata avranno maggiore probabilità di essere valutati con revisione peer); data di pubblicazione del prodotto (prodotti più recenti hanno maggiore probabilità di essere mandati a revisione peer); 5

20 tipologia di prodotto (gli articoli di rassegna hanno maggiore probabilità di essere mandati a revisione peer); di norma, distribuzione sostanzialmente uniforme della percentuale di revisione peer fra le varie strutture; di norma, distribuzione sostanzialmente uniforme della percentuale di revisione peer fra i vari SSD (con l eccezione di MAT/04, che essendo più affine ai settori umanistici richiederà una percentuale sensibilmente maggiore di revisione peer). Anche per i prodotti inviati alla revisione peer verrà effettuata, ove possibile, l analisi bibliometrica, in modo da studiare il grado di correlazione tra i due metodi e la loro robustezza. In particolare, ciò avverrà per un campione statisticamente significativo di prodotti individuati tramite un algoritmo di campionamento casuale stratificato studiato da un Gruppo di lavoro dell ANVUR. Come previsto nella Sezione 2.4 del bando ANVUR VQR , la valutazione di ciascun prodotto si conclude con l attribuzione di una classe di merito, scelta fra quattro (A: eccellente; B: buono; C: accettabile; D: limitato), e con la stesura di un giudizio di qualità di tipo descrittivo riferito ai seguenti criteri: a) rilevanza, da intendersi come valore aggiunto per l avanzamento della conoscenza nel settore e per la scienza in generale, anche in termini di congruità, efficacia, tempestività e durata delle ricadute; b) originalità/innovazione, da intendersi come contributo all avanzamento di conoscenze o a nuove acquisizioni nel settore di riferimento; c) internazionalizzazione, da intendersi come posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni; d) relativamente ai brevetti, il trasferimento, lo sviluppo tecnologico e le ricadute socioeconomiche (anche potenziali). Sempre come previsto nella Sezione 2.4 del bando ANVUR VQR , prodotti appartenenti a tipologie escluse dal presente esercizio, o che sono stati pubblicati in anni precedenti o successivi al settennio di riferimento, o che (per i prodotti di tipologia e) non sono corredati da pubblicazioni atte a consentirne un adeguata valutazione, saranno penalizzati (classe di merito E), come pure a maggior ragione prodotti in accertati casi di plagio o frode (classe di merito F). Infine, si ricorda che la valutazione si baserà principalmente sulla qualità scientifica, e non didattica o divulgativa, dei prodotti presentati. 6

21 4.1 Gestione dei conflitti In caso un sub-gev non trovi un accordo sulla classe di merito finale di un determinato prodotto, la proposta di attribuzione della classe di merito finale è demandata a un Gruppo di Consenso formato dai coordinatori dei sub-gev affiancati dal presidente e dal vicepresidente del GEV. In ogni caso, la responsabilità della valutazione conclusiva di ciascun prodotto rimane dell intero GEV. 4.2 Assenza di dati bibliometrici Tutti i prodotti non contenuti nelle basi di dati citazionali specificate nella Sezione 6.1 saranno sottoposti a valutazione diretta da parte del GEV, o, in assenza delle competenze necessarie al suo interno, a revisione peer da parte di revisori esterni selezionati dal GEV, con le procedure descritte nella Sezione Peer review Anche nel caso di revisione peer la responsabilità della valutazione finale è del GEV, che allo scopo utilizzerà la metodologia della informed peer review tenendo conto di ogni possibile elemento di valutazione, quali peer review, indicazioni bibliometriche, competenze di membri GEV. Nel caso di utilizzo di revisione peer il prodotto sarà inviato a due revisori esterni, oppure valutato, sussistendo le condizioni di competenza e di assenza di conflitti, all interno del GEV utilizzando le stesse procedure e la stessa scheda di revisione. 5.1 Individuazione dei revisori peer La selezione dei revisori esterni, italiani e stranieri, attese le sue rilevanti finalità di pubblico interesse, si informa al principio di leale cooperazione istituzionale ed è retta da criteri di correttezza, obiettività e imparzialità. Il GEV intende coinvolgere revisori esterni con un profilo di ricerca internazionale e un curriculum di alto livello, testimoniato, in particolare negli ultimi anni, da un elevato numero di pubblicazioni nelle sedi di riferimento della comunità scientifica internazionale del settore, un significativo numero di citazioni e la necessaria competenza nella specifica area di valutazione. Il GEV preparerà un elenco di revisori esterni, stabilendo standard minimi di qualità scientifica, di impatto sulla comunità scientifica internazionale e di esperienza nella valutazione. Nella fase di predisposizione dell elenco, il Presidente GEV consulterà la lista di revisori della propria area resa disponibile dal CINECA, e chiederà ai componenti GEV, tramite i coordinatori 7

22 dei sub-gev, di suggerire un numero significativo di esperti che soddisfano ai criteri indicati nel paragrafo precedente. Il Presidente GEV raccoglierà le indicazioni corredate di informazioni fornite sulla base di una scheda condivisa e, anche con l ausilio dei coordinatori dei sub-gev, provvederà a modificare la lista CINECA con integrazioni e/o cancellazioni. Il processo di integrazione della lista continuerà per tutta la durata della valutazione, sulla base delle necessità che dovessero emergere a valle della trasmissione dei prodotti da parte delle strutture. Grande attenzione verrà posta al mantenimento dell anonimato dei revisori, sia nella fase di predisposizione dell elenco dei revisori che nella fase operativa di valutazione. Le informazioni acquisite ai fini della selezione dei revisori possono essere utilizzate esclusivamente ai fini della valutazione della qualità della ricerca. L individuazione dei revisori sarà fatta, ove possibile, da 2 membri diversi del GEV, evitando conflitti di interesse tra i revisori stessi e gli autori e/o la struttura di affiliazione. I revisori saranno scelti sulla base della loro competenza, degli indicatori bibliometrici e tenendo conto del loro tasso di attività recente. Inoltre, sarà garantita l indipendenza dei revisori ponendo attenzione alla sede di affiliazione, alle collaborazioni scientifiche e, ove possibile, alla nazionalità. Per minimizzare i conflitti di interesse, si privilegeranno i revisori operanti al di fuori dei confini nazionali; si veda comunque la Sezione 8 per maggiori informazioni sulla gestione dei conflitti di interesse. 5.2 Assegnazione delle classi di merito VQR sulla base della revisione peer La valutazione dei revisori peer si baserà su una apposita scheda-revisore predisposta dal GEV, costituita da una serie di domande a risposta multipla e da un campo libero con numero limitato di parole. Per ciascun prodotto inviato a revisione peer il sub-gev di riferimento proporrà l assegnazione della classe di merito finale basandosi sui pareri dei revisori esterni e sull analisi bibliometrica, se effettuata. Nel caso di valutazioni fortemente divergenti fra i revisori peer o, nel caso di disponibilità di entrambe, fra revisione peer e analisi bibliometrica, il sub-gev può avvalersi, se lo ritiene, del giudizio di un terzo esperto esterno. La Sezione 4.1 indica la procedura da seguire in caso non si trovi un accordo all interno del sub-gev. In ogni caso la responsabilità della valutazione conclusiva è dell intero GEV. 6. Analisi bibliometrica 6.1 Basi di dati Il GEV01 utilizzerà informazioni ricavate dalle seguenti banche dati: 8

23 Web of Science di Thomson Reuters (WoS); Scopus di Elsevier B.V (Scopus); MathSciNet: Mathematical Reviews on the web (MathSciNet). 6.2 Finestra temporale delle citazioni Nel calcolo degli indicatori bibliometrici il GEV01 utilizzerà le citazioni fino al 31 dicembre Auto-citazioni L opportunità di includere o escludere le autocitazioni nella valutazione bibliometrica è tuttora oggetto di dibattito nella comunità scientifica. Nella VQR , per motivi di ordine tecnico legati soprattutto all uso di WoS, che non lo consente direttamente, e ai problemi legati alla disambiguazione dei nomi degli autori se lo si volesse realizzare a partire dai dati grezzi, non verranno escluse le autocitazioni. 6.4 Gli indicatori bibliometrici La valutazione utilizzerà, per tutti gli articoli pubblicati su riviste indicizzate nelle basi di dati WoS o Scopus, un algoritmo che terrà conto sia della qualità della rivista ospitante che del numero di citazioni ricevute dall articolo. L algoritmo che sarà utilizzato dal GEV01 per la classificazione degli articoli tramite analisi bibliometrica nelle 4 classi di merito della VQR è il seguente: 1. Preliminarmente, il GEV ha identificato, come descritto nella Sezione 6.5, degli insiemi di riviste di riferimento che integrano e sostituiscono le Subject Categories WoS, in quanto queste ultime non riflettono correttamente l articolazione interna della ricerca matematica. Gli insiemi identificati (le liste complete sono disponibili in allegato) sono i seguenti: 1.1. Computer science (SSD INF/01; sub-gev01.1); 1.2. Logica matematica, algebra, geometria (SSD MAT/01, 02, 03; sub-gev01.2); 1.3. Storia e didattica della matematica (SSD MAT/04; sub-gev01.2); 1.4. Analisi matematica (SSD MAT/05; sub-gev01.3); 1.5. Probabilità e statistica matematica (SSD MAT/06; sub-gev01.3); 1.6. Matematica applicata (SSD MAT/07, 08, 09; sub-gev01.4). 2. Ogni sub-gev, con le procedure descritte nella Sezione 6.6, ha poi assegnato a ciascuna rivista degli insiemi di riferimento di sua competenza una classe di merito, da 1 a 4 in ordine decrescente di qualità, in modo che in ogni insieme il 20% delle riviste sia in classe 1, il 20% in classe 2, il 10% in classe 3 e il resto in classe 4. L elenco completo delle riviste comprese negli insiemi di riferimento con la relativa classe di merito è disponibile in allegato. 3. Per ogni anno, dal 2004 al 2010 inclusi, ciascun sub-gev calcola la funzione di distribuzione cumulativa empirica del numero di citazioni di tutti gli articoli (dalla data di pubblicazione al 9

24 31 dicembre 2011) pubblicati dalle riviste di ciascun insieme di riferimento (per cui si posseggano tali dati) nell anno indicato e la suddivide in 4 classi, indicate dai numeri da 1 a 4, caratterizzate dai valori di probabilità 0.2, 0.2, 0.1, 0.5 partendo dalla parte superiore della distribuzione. Se lo ritiene necessario, il sub-gev può calcolare funzioni di distribuzione distinte per gli articoli di rassegna e per gli articoli originali. 4. L articolo è assegnato al sub-gev competente in base al SSD attribuito all articolo dalla struttura, a meno che il GEV, in base al contenuto dell articolo, non ritenga di assegnarlo a un altro sub-gev. Il sub-gev competente associa poi l articolo a un insieme di riferimento che contiene la rivista su cui è pubblicato, in base nuovamente al SSD dell articolo o (in caso la rivista non appartenga all insieme di riferimento corrispondente al SSD) in base al contenuto dell articolo. In caso l articolo sia pubblicato su una rivista non inclusa in alcun insieme di riferimento per il GEV01 ma appartenente a una Subject Category WoS di pertinenza di un altro GEV, l articolo sarà valutato tramite informed peer review, nel senso che all analisi bibliometrica, svolta con i criteri stabiliti del GEV di pertinenza della rivista, sarà affiancata una revisione peer dell articolo per valutarne lo specifico contributo matematico/informatico. Infine, nel caso in cui l articolo sia pubblicato su una rivista non contenuta in alcun insieme di riferimento per il GEV01 e non classificata nella banca dati WoS, l articolo verrà valutato esclusivamente tramite revisione peer. 5. Il sub-gev assegna all articolo una coppia di indicatori di merito come segue: 5.1. Il primo indicatore è la classe di merito assegnata alla rivista su cui l articolo è pubblicato, nell insieme di riferimento a esso associato nel punto Il secondo indicatore è la classe assegnata in base al numero di citazioni dell articolo, utilizzando la funzione di distribuzione ottenuta nel punto 3 applicata all insieme di riferimento a cui è stato associato l articolo nel punto L attribuzione della classe finale di merito avviene usando la matrice riportata in Figura 1, nella quale la lettera A si riferisce alla classe finale eccellente, la B a buono, la C ad accettabile, e la D a limitato, mentre si veda il punto 7 per il significato di IR : 10