VQR Indicatori Qualitàdella Ricerca per i Dipartimenti Bologna, 7 febbraio 2014
VQR 2004-2010 Collaborazione ANVUR-CRUI ANVUR e CRUI hanno collaborato all affinamento degli indicatori VQR per la valutazione della qualità della ricerca dipartimentale. Nell ambito di tale collaborazione la Commissione Ricerca della CRUI, in particolare con l impegno del prof. Giacomo Poggi dell Università di Firenze, ha definito nuovi indicatori calcolati direttamente da ANVUR e pubblicati sul sito ANVUR. Gli indicatori sono stati calcolati per tutti i dipartimenti post legge 240, sono presenti in tabelle accessibili dal sito ANVUR dove è disponibile un documento del Professor Poggi che illustra le caratteristiche degli indicatori e delle tabelle stesse. La prima tabella riguarda l'indicatore di Voto Standardizzato su SSD suggerito dal Commissione Ricerca della CRUI, la seconda riporta l indicatore con valutazione di Area. 2
Perchèun nuovoindicatoreper i dipartimenti? L indicatore è concepito con l intento di definire un modo per confrontare fra loro dipartimenti diversi, comunque composti in termini di Settori Scientifico Disciplinari (SSD nel seguito). IDVA: l Indicatore di Dipartimento Virtuale Associato (IDVA) proposto serve per rispondere alla seguente domanda: Come si colloca il nostro dipartimento rispetto ad un dipartimento virtuale (cioè ipotetico) che fosse composto in termini di SSD come il nostro ma che avesse i suoi membri di qualità in media pari a quella nazionale nei rispettivi SSD? N: Prodotti attesi del dipartimento RSSD: è il rapporto tra la votazione media del dipartimento in un dato SSD e la valutazione media nazionale del SSD nssd: è il numero dei prodotti attesi del dipartimento in un dato SSD. L indicatore confronta la valutazione media dei prodotti della ricerca di ciascun SSD del dipartimento con la valutazione media a livello nazionale dello stesso SSD. Ogni SSD del dipartimento contribuisce al valore finale di dipartimento in proporzione alla frazione dei prodotti attesi del dipartimento nel SSD sul totale dei prodotti attesi del dipartimento. 3
Indicatore IDVA IDVA varrebbe 1 se i prodotti del dipartimento avessero ricevuto una valutazione pari a quella media nazionale del SSD di afferenza. IDVA è maggiore di 1 se il dipartimento è al di sopra della media nazionale. IDVA è minore di 1 se il dipartimento è al di sotto della media nazionale. Solo ANVUR può calcolare l indicatore perché in molti dipartimenti i prodotti attesi per un certo SSD sono inferiori a 10 e quindi la valutazione per SSD non è stata resa disponibile per motivi di privacy. 4
Le proprietà dell indicatore IDVA E basato sulla qualità dei prodotti della ricerca esaminati nel dettaglio di SSD Valuta esclusivamente la qualità dei prodotti ed è indipendente dalla numerosità del dipartimento Costruisce quindi un voto con cui è possibile ponderare la dimensione del Dipartimento per l erogazione di risorse non dipendenti dal costo della ricerca, sulla falsariga degli indicatori quali-quantitavi dell ANVUR stessa Utilizza R e quindi non è influenzato dalla difformità di valutazione dei GEV nei diversi SSD E applicabile ad ogni dipartimento, indipendentemente dal numero dei membri dei singoli SSD che lo compongono; e cioè indipendente dalla non omogeneità, in termini di SSD, della composizione del dipartimento E costruito partendo dalla informazione completa raccolta nell esercizio VQR e considera le università e non gli altri enti di ricerca 5
Problemi non risolti da IDVA Le distribuzioni nazionali dei voti nei vari SSD sono molto differenti: Differiscono i valori medi (per questo usiamo R); Differiscono le larghezze, cioè le dispersioni dei voti Spesso nei SSD bibliometrici si rilevano valutazioni assai più compatte e mediamente più elevate. Spesso nei SSD non bibliometrici domina l effetto discrezionalità : maggiori larghezze della distribuzione e valori medi inferiori. Quindi nei SSD con valori medi più elevati e larghezze minori: Escursione di R strutturalmente minore rispetto ai SSD con valori medi bassi e larghezze maggiori. Il campo di votazioni normali (non solo le votazioni medie) varia da SSD a SSD. Inoltre, all interno dello stesso SSD, le escursioni osservabili in R sono maggiori per le aggregazioni di piccola numerosità (da taluni definito «effetto imbuto» o dei «piccoli numeri»). 6
Il voto standardizzato Esso consiste nell applicare la correzione per la deviazione standard a partire dalla valutazione del singolo membro. Il voto standardizzato di dipartimento è una combinazione dei voti standardizzati dei suoi membri, opportunamente pesati tenendo presente il numero di prodotti che ciascun membro doveva presentare 7