ISTRUZIONI AI VPA PER VALUTAZIONE PRODOTTI OTTI Aprile 2014

Transcript

1 ISTRUZIONI AI VPA PER VALUTAZIONE PRODOTTI OTTI 2013 Aprile 2014 Ai Valutatori dei Panel d Area Care Colleghe e Colleghi, Trieste, 3 aprile 2014 Le operazioni di valutazione dei prodotti della ricerca (pubblicazioni) 2013 avranno ufficialmente inizio a partire dal 2 aprile 2014 e dovranno concludersi entro il 18 maggio Le modalità di valutazione saranno in sostanza le stesse già adottate in passato, ossia si baseranno sul programma VALE (si consiglia l accesso dalla rete d ateneo per ottimizzare la funzionalità), che ha subito alcune modifiche minori con riferimento alla descrizione di alcune tipologie di prodotti. Alla luce di quanto emerso dall esperienza precedente e in particolare dalle risultanze della VQR che, come noto, non sono state generalmente positive per l ateneo di Trieste vi trasmettiamo alcune istruzioni intese a risolvere le incertezze nella classificazione di alcune tipologie di pubblicazione. Ricordiamo a questo proposito che già nelle istruzioni 2013, in quelle 2012 e nello stesso Rapporto sullo stato della ricerca abbiamo scritto che L esercizio CVR 2012 ha carattere necessariamente sperimentale e darà luogo a successive revisioni, affinamenti e miglioramenti del metodo in base alle risultanze ottenute. Andrà peraltro ricordato che, in base al preciso mandato espresso dagli OOAA nell ultimo trimestre del 2013, i metodi e criteri di valutazione messi a punto dalla CVR sono stati impiegati per la valutazione non più di aggregati coincidenti con le aree CUN e i macro-settori (identificati in base alla radice degli SSD), come in occasione dei due esercizi precedenti, bensì anche per la valutazione degli SSD a livello di singoli dipartimenti e per la determinazione della condizione di ricercatore attivo ovvero non attivo. Ricordiamo a tal proposito che quest ultima definizione è stata proposta dalla CVR stessa e adottata dagli OOAA e identifica il ricercatore attivo come colui che nell arco dei 4 anni precedenti presenta almeno quattro pubblicazioni appartenenti alle tipologie di pubblicazioni valutabili, ossia di peso superiore a 0 (v. relativo elenco), oppure un numero di lavori valutabili anche in numero inferiore a quattro, ma il cui peso totale secondo i criteri CVR sia almeno 10.

2 Non ci sono mutamenti da segnalare per quanto riguarda la macro-area ST, dove i criteri di valutazione, i criteri di identificazione dei prodotti e le pesature sono sostanzialmente invariati, con una unica eccezione relativa alle monografie segnalata più avanti. Alcune modifiche sono state invece introdotte nella macroarea SSH e passiamo a illustrarle in due punti. Si tratta di modifiche che derivano essenzialmente dall intento di allineare le valutazioni interne a quelle nazionali effettuate con la VQR , con lo scopo di sollecitare una maggiore attenzione da parte dei ricercatori dell ateneo per le tipologie di pubblicazioni più suscettibili di una valutazione positiva nell ambito della futura VQR. A questo proposito è stata elaborata una lista di prodotti valutabili, ossia prodotti la cui pesatura sarà positiva (> 0). Tale lista è basata sia su di un analogo documento stilato sempre per scopi valutativi dall OR dell Università di Bologna sia sulla lista dei prodotti valutabili redatta dall ANVUR per la VQR e riportata nel bando VQR (p. 3, punto 2.3: ( integrata dalle apposite FAQ contenute sul sito ANVUR ( &Itemid=226&lang=it). Rispetto a questo documenti sono state introdotte alcune ulteriori precisazioni, allo scopo di risolvere dubbi persistenti. I. I. MONOGRAFIE E VOLUMI COLLETTANEI C I cambiamenti apportati alla tabella dalla CVR, alla luce delle osservazioni dei VPA, di discussioni interne alla CVR, del citato documento dell OR dell Università di Bologna e delle procedure ANVUR-VQR di cui sopra, hanno riguardato la definizione e la pesatura di due tipologie di prodotti: monografie di massimo livello e contributi su volume di livello meno che nazionale. Per le monografie di classe superiore (9-SSH-MA e 7-ST-MA): è stato deciso di uniformare il peso, che è stato portato a 9 in entrambe le macro-aree; i capitoli di libro (3-SSH-CapB): è parso necessario prevedere una terza classe di capitoli di libro, ossia (su segnalazione dell area 14) quelli che non sono definibili né nazionali né tantomeno internazionali, ma che sono solo locali. Perciò è stato deciso di introdurre una variante nella definizione di Capitolo di manuale collettaneo, che ora suona Capitolo di libro a diffusione locale o di manuale collettaneo (sigla: 1-SSH-CC). Inoltre, si è preso atto delle incertezze indotte dalla definizione delle monografie di classe superiore e si è quindi provveduto a modificarla

3 nel modo seguente: Monografie di ricerca di rilevante collocazione editoriale, che siano internazionali (per lingua e luogo di pubblicazione) o a diffusione internazionale (verifica a mezzo opac e metaopac internazionali) o ad accesso aperto (verifica mediante numero e provenienza degli accessi) (sigla: 9-SSH-MA e 9-ST-MA). La monografia di rango superiore deve comunque presentare il requisito dell internazionalità, che prevale sulla sede editoriale. Tale requisito, come chiarito meglio più avanti, fa riferimento non solo alla la lingua e alla sede di pubblicazione, ma anche alla diffusione (metaopac e opa citati), alle dimensioni e al profilo complessivo del lavoro, e prevale sulla collocazione editoriale: in altre parole, l accertata diffusione internazionale, accompagnata da valutazioni complessive di profilo, è sufficiente per una valutazione massima, anche se la sede editoriale non è particolarmente rilevante. Per contro, una monografia di ricerca in sede editoriale rilevante solo nella disciplina data, ma priva di accertata diffusione internazionale, dovrebbe essere valutata col massimo peso solo se per rilievo e originalità del tema, ampiezza di trattazione, dimensioni si tratta di un opera di ricerca (e non una semplice sintesi) di evidente importanza, destinata a essere di riferimento in quella disciplina. La definizione richiede ulteriori precisazioni. 1. La prima riguarda il concetto di monografia (o volume collettaneo) di ricerca. Questa tipologia va tenuta ben distinta dalle pubblicazioni in forma di libro con finalità di mera sintesi delle conoscenza acquisite, di divulgazione, di manualistica e trattatistica universitaria. Le monografie di ricerca devono cioè presentare risultati originali di una ricerca tematicamente ben identificata e con una dimensione quantitativa adeguata (indicativamente oltre le pagine, dato che la dimensione standard di volumetti di sintesi a fini didattici pubblicati da varie case editrici è di circa pagine). 2. La seconda precisazione riguarda il concetto di rilevante collocazione editoriale. Come è noto non esistono graduatorie di editori italiani o stranieri (a differenza di quanto esiste per le riviste scientifiche) e le iniziative in tal senso non hanno dato alcun risultato soprattutto per l opposizione degli editori. Per stabilire la rilevante collocazione editoriale bisogna perciò rifarsi al prestigio consolidato di alcune case editrici italiane e straniere che operano nel campo dell editoria accademica e per le quali è presumibile (ma comunque sempre da accertare con apposite indagini su OPAC e Metaopac) la diffusione internazionale (in Italia e solo a titolo di esempio e non certo con

4 pretesa di esaustività: Il Mulino, Laterza, Einaudi, Le Lettere, Storia e Letteratura, Olschki, Garzanti [...]). Altri criteri per accertare la qualità della sede editoriale consistono nell individuazione della collana di appartenenza (vedi oltre per alcuni esempi) di una monografia, del relativo comitato scientifico, dall apertura internazionale della collana e del comitato, dell esistenza accertata di procedure di peer review della presenza in repertori internazionali di riferimento per la disciplina. 3. Terza precisazione, sul concetto di diffusione internazionale o nazionale. L accertamento della presenza in biblioteche internazionali avverrà sempre ricorrendo e incrociando entrambi i Metaopac Worldcat e KVK (avendo cura, nel caso di quest ultimo, di selezionare le caselle di spunta di tutti i paesi nei quali effettuare la ricerca e salvando questa configurazione), in biblioteche nazionali con il Metaopac nazionale SBN. È da considerarsi internazionale la diffusione quando la monografia (o il volume collettaneo) è presente in almeno 10 biblioteche internazionali; la verifica deve però estendersi anche al fatto che le biblioteche appartengano a paesi diversi; non basta, di conseguenza, per definire internazionale una monografia il fatto che sia edita in paese straniero e in lingua diversa dall italiano. È nazionale la diffusione quando la monografia (o il volume collettaneo) è presente in almeno 20 biblioteche nazionali, avendo cura di verificare che si tratti di biblioteche distribuite sul territorio nazionale, non appartenenti a una unica o a due città, e che siano prevalentemente biblioteche di ricerca (nazionali, universitarie, di enti di ricerca anche religiosi) e non esclusivamente biblioteche civiche, comunali, provinciali. 4. È chiaro tuttavia che la vita scientifica di una monografia di ricerca SSH si dispiega nel medio-lungo periodo e quindi che la sua diffusione è difficilmente misurabile nell arco di pochi mesi. Questa condizione oggettiva da un lato complica l affidabilità dei riscontri quantitativi e dall altro accresce la necessità di considerazioni in sede valutativa che facciano riferimento al profilo complessivo di un lavoro, accertabile anche facendo ricorso pur senza entrare nel merito dei contenti a un riscontro diretto sul libro nel suo formato cartaceo o nella versione PDF che, se l autore ne ha effettuato il caricamento in U-GOV, è disponibile liberamente nello stesso U-GOV attraverso la ricerca del singolo prodotto.

5 La CVR, con riferimento alla valutazione delle monografie scientifiche e dei volumi collettanei a carattere scientifico, intende ancora sottolineare i punti seguenti: Deve trattarsi di vere opere di ricerca inserite in Collane riconoscibili come collane di ricerca e non di didattica o di divulgazione. A titolo di esempio, sono collane di didattica o di divulgazione le seguenti collane de Il Mulino: Farsi un idea, Orientamenti, Introduzioni, Guide, Strumenti, Manuali, Itinerari, Percorsi e altre (verificare sul sito della casa editrice); e di Laterza: Biblioteca essenziale, Collezione scolastica, Guide ai classici, Guide archeologiche, Alfabeto letterario-strumenti di analisi, I filosofi, I pensatori politici, I Robinson, le serie dei manuali Hoepli ecc. Non sono quindi da considerarsi propriamente di ricerca libri a carattere manualistico, divulgativo, di sintesi generale, di sintesi didattica di qualsiasi livello, il cui valore è indiscutibile, ma che vanno tenuti distinti dalle opere di ricerca. Per essi infatti è prevista una apposita classificazione diversa da quella propria delle monografie di ricerca. Sta naturalmente al singolo valutatore far valere la conoscenza specifica del proprio settore per giudicare se casa editrice e collana quest ultima in teoria da giudicare anche in base ai membri del Comitato scientifico rispondono a requisiti tali da permettere di applicare il concetto di rilevante collocazione editoriale. Più in generale, è alla sensibilità e alla preparazione del valutatore che si rimette il giudizio sul profilo complessivo di una monografia di ricerca e se questa possa effettivamente essere considerata una monografia collocata al massimo livello sia scientifico ifico sia editoriale che ci si possa attendere in una data area disciplinare. Queste indicazioni risolvono solo in parte il caso delle monografie di ricerca e dei volumi collettanei di area giuridica e di certi ambiti di ricerca delle scienze sociali, le quali molto spesso fanno riferimento a temi di interesse eminentemente nazionale. In questi casi, sarà opportuno esercitare il proprio discernimento per stabilire quale sia l effettiva collocazione di una monografia di ricerca o di un volume collettaneo in un dato ambito disciplinare e se veramente le si possa assegnare il massimo peso previsto. V è poi il caso dei volumi monografici o collettanei editi in formato digitale e ad accesso aperto, particolarmente dalle Edizioni Università di Trieste o da altre editrici universitarie italiane. Esiste un policy di ateneo che stabilisce le modalità di applicazione dell open access. Accanto a questa esistono però considerazioni di

6 carattere economico e di diffusione che incoraggiano la pubblicazione ad accesso aperto, soprattutto di monografie tramite la EUT. Vanno tuttavia fatte alcune precisazioni: o Restano sempre validi, anche in questo caso, i requisiti dimensionali, di portata della ricerca, dell ampiezza e rilevanza del tema trattato ttato. Quanto alla diffusione, l accesso aperto garantisce teoricamente la massima diffusione, ma necessita di verifiche teoricamente possibili ricorrendo alle statistiche delle visite e dei download. Tali statistiche sono disponibili sul sito EUT in corrispondenza della scheda di ciascun volume. Consultando tali statistiche è possibile verificare quanti accessi e quanti scaricamenti sono stati effettuati e da quali parti del mondo. A questo proposito va però tenuto presente che sussistono non poche riserve sull attendibilità e quindi sul significato reale di quei dati, che vanno di conseguenza utilizzati solo come elemento integrativo e non di per sé risolutivo. Infatti: o Il numero degli accessi ai materiali digitali open acces sono pesantemente influenzati dai meccanismi automatici di harvesting effettuati da motori di ricerca e strumenti di indicizzazione e gli stessi download non risultano al momento perfettamente controllabili. o Bisogna tenere conto della data di pubblicazione: ovviamente gli accessi e gli scaricamenti saranno tanto meno numerosi quanto più recente è la data di pubblicazione. o Nell arco di un anno si può dire indicativamente che è significativo lo scaricamento di circa 300 copie effettuato da provenienze nazionali e altrettanto da provenienze internazionali. o I riscontri sulle statistiche di download da soli non sono però sufficienti a stabilire la diffusione ndi un volume open access. E sempre opportuno effettuare sia una valutazione complessiva del profilo dell opera anche mediante verifica diretta sul PDF sia controlli sugli opac e i metaopac: se è vero che le pubblicazioni open access distribuite in formato digitale hanno minore circolazione cartacea, ciononostante si danno no rari casi di volumi EUT open access che fanno registrare significative presenze in biblioteche nazionali e internazionali. o Altri elementi che si suggeriscono per la valutazione delle monografie per le quali sussistano incertezze sono le recensioni

7 oppure anche le eventuali valutazioni ricevute in sede VQR, che a tal fine possono essere richieste all autore e all autrice (fatta salva, per le seconde, la facoltà dell autore o dell autrice di mantenere riservate tali valutazioni e comunque con impegno alla massima riservatezza da parte del valutatore. II. ARTICO RTICOLI SU S RIVISTA SSH SSH 1. I criteri di accertamento del rango delle riviste SSH derivano da prassi ormai relativamente consolidate circa l individuazione della qualità di una rivista. Vale la pena ripetere però che la CVR ha ritenuto di utilizzare i seguenti strumenti: rating delle riviste ANVUR, rating ERIH (ove applicabile in base alla disciplina: INT1, INT2, NAT1 e NAT2 definiscono con chiarezza la valutazione della rivista), presenza in database internazionali (SCOPUS), presenza in indici specializzati (AIDA, ACNP, DOAJ) presenza in indici internazionali disciplinari (Historical Abstracts, Philosopher s Index, International Bibliography of the History of Art ecc.), verifica presenza in biblioteche internazionali e nazionali mediante sia Worldcat sia KVK (entrambi) e metaopac SBN. Per quanto riguarda le liste delle riviste elaborate dall ANVUR, va osservato che al momento attuale (aprile 2014) i documenti ANVUR aggiornati non prevedono più distinzioni in fascia A-B-C e D (là dove tali fasce erano state originariamente individuate). Si dispone attualmente, per i settori non bibliometrici, di liste semplicemente di riviste scientifiche e di liste di riviste di fascia A elaborate ai fini dell Abilitazione Scientifica Nazionale e che vanno a sostituire esplicitamente le liste precedenti. Le nuove liste, aggiornate al 18 febbraio 2014, sono disponibili sul sito ANVUR all indirizzo: d=254&itemid=315&lang=it. Se in precedenza le valutazioni CVR prevedevano di fare riferimento soprattutto ai rating ANVUR (che prevedevano distinzioni in più fasce), ora è necessario un cambiamento di metodo. Nel valutare il posizionamento di una rivista si farà pertanto riferimento al fatto che compaia nella lista delle riviste di fascia A aggiornata per la relativa area e, nel caso non vi sia inclusa, che quantomeno figuri nella lista delle riviste scientifiche. Tuttavia, ai fini della valutazione CVR e considerato un ampliamento delle liste di riviste di fascia A avvenuto in modo non sempre misurato, sarà indispensabile effettuare sempre riscontri diretti sulla diffusione della rivista in questione. In altre parole: la presenza nelle

8 liste di riviste di fascia A si configura come condizione non sufficiente per considerare una rivista di livello internazionale, condizione che sarà da accertare mediante verifiche da effettuare ricorrendo agli a strumenti sopra indicati (opac e metaopac). Come già in occasione delle precedenti tornate di valutazione, oltre che a seguito di riscontri in indici o database internazionali, si considera di livello internazionale un a rivista che faccia registrare almeno 30 presenze in Worldcat e/o KVK K e di livello nazionale una che faccia registrare almeno 30 presenze in SBN. Le riviste che non siano state censite e classificate dall ANVUR dovranno ricevere di norma la pesatura più bassa prevista, benché sia sempre consigliabile una verificain Worldcat, KVK e SBN. 2. Un altro elemento sul quale è necessario attrarre l attenzione sono, soprattutto nelle aree SSH, le recensioni. Le recensioni, anche nella nuova classificazione U-GOV sono rubricate come articoli su rivista (1.03) Tali si possono considerare però solo se sono di dimensioni significative (indicativamente più di 5 pagine) e se sviluppano, in forma di rassegna non limitata a un unico contributo, una riflessione su un tema di ricerca a partire dalla discussione di un singolo contributo contestualizzato nella tradizione interpretativa. Se sono di dimensioni inferiori e contengono solo la presentazione, descrizione o segnalazione di un libro, andranno classificate NC. CONCLUSIONE La CVR incoraggia gli scambi e i confronti tra i VPA di macro-area, che condividono i medesimi problemi di valutazione. È perciò auspicabile che avvengano contatti per risolvere i casi di più difficile interpretazione. In generale, la CVR auspica che le valutazioni siano effettuate in modo rigoroso, tenendo conto del fatto che i VPA (così come i membri della CVR) non sono rappresentanti d area dai quali ci attende che difendano gli interessi dell area, bensì figure prescelte in base alle garanzie di competenza e di imparzialità che offrono. Tale competenza deve essere messa al servizio di una valutazione stringente e non permissiva. La CVR è sempre disponibile per scambi e confronti tesi a risolvere i casi dubbi. In ogni caso, al termine delle procedure di valutazione, dopo il 18 maggio, sarà effettuata, come in precedenza, un attenta verifica delle valutazioni, anche con l apertura di un breve periodo di tempo in cui come già avvenuto

9 recentemente i singoli ricercatori possano far pervenire segnalazioni di dubbi o errori relativamente alle valutazioni dei propri prodotti. Dei risultati finali della valutazione la responsabile ultima è la CVR, che proprio per questo motivo deve esercitare opera di supervisione e validazione finale delle valutazioni. Grazie della collaborazione e, restando disposizione per qualsiasi esigenza di chiarimento, a tutti un augurio di buon lavoro. Per la CVR Il Presidente Guido Abbattista