L ANVUR e la valutazione della ricerca nelle humanities and social sciences

Transcript

1 1 0 D I C E M B R E 2014 L ANVUR e la valutazione della ricerca nelle humanities and social sciences di Francesca Romana Lenzi Ricercatrice di Storia dell Europa orientale Università Europea di Roma

2 L ANVUR e la valutazione della ricerca nelle humanities and social sciences * di Francesca Romana Lenzi Ricercatrice di Storia dell Europa orientale Università Europea di Roma Il 17 novembre 2014, presso l Auditorium Antonianum di Roma, si è tenuto il Workshop internazionale dedicato dall Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR) alla valutazione della ricerca nelle Humanities e nelle Social Sciences (da ora HSS). 1 Le profonde innovazioni alle quali è stato sottoposto il sistema universitario e della ricerca, per effetto della l. 30 dicembre 2010, n.240 e dei provvedimenti che vi hanno dato attuazione, hanno interessato, come noto, anche la valutazione della ricerca scientifica svolta sia dai singoli sia presso le strutture, assoggettandola a «nuove regole» sostanziali e procedurali. Durante tale processo, la produzione scientifica delle aree disciplinari tradizionalmente ricondotte all ambito delle HSS, relative ai settori storico-filosofici, giuridici, economici e socio-politici, le cui modalità di espressione e diffusione della ricerca -sia pure con talune eccezioni- mai avevano sperimentato l utilizzo di criteri di natura cd. bibliometrica, ha conosciuto le maggiori difficoltà di incontro con la «nuova valutazione» voluta dal legislatore della riforma. La definizione di criteri che, mimando quelli di natura quali- quantitativa propri dell analisi bibliometrica, potessero tener conto delle specificità di questi saperi non ha soddisfatto le attese. La loro applicazione, avvenuta soprattutto in occasione delle prime tornate dell Abilitazione Scientifica Nazionale (2012 e 2013), ha mostrato le debolezze degli adattamenti tentati e sollecitato l apertura di un dibattito per l individuazione di altri strumenti di valutazione adeguati alle HSS, chiari, equi e metodologicamente condivisi. Il Workshop del 17 novembre ha inteso collocarsi nell ambito di questa riflessione ancora aperta, anche all interno di altre esperienze, quasi a palesare come la ricerca dei «giusti» criteri di valutazione per le HSS non sia «faccenda» solamente italiana. L attenzione è stata perciò dedicata * Workshop internazionale, Roma, 17 novembre Per il materiale presentato nel corso della giornata, cfr. 2 federalismi.it n. 23/2014

3 in prima istanza al contributo di ricercatori di altri Paesi europei, impegnati nell individuazione e nel riconoscimento di metodologie di indagine utili alla valutazione della ricerca scientifica prodotta dalle Scienze Umane e Sociali. Gli interventi hanno portato alla luce un esigenza innanzi tutto: quella di «definire prima di valutare». Su tale base, si sono indagati i principali limiti degli attuali strumenti di valutazione: che cosa s intende per adeguata copertura negli indici citazionali? Quali sono le condizioni necessarie perché essa sia applicabile alle Scienze Umane e Sociali? Interrogativi che hanno condotto a evidenziare alcune necessità. Innanzi tutto, quella di esaminare in modo più approfondito la struttura delle discipline interessate, anche attraverso delle field specific referencing pratices, per creare un background esperienziale di partenza, coinvolgendo allo scopo tutti i livelli dell accademia 2. E inoltre emersa l esigenza di tenere conto della disomogeneità citazionale- della quale sono stati presentati taluni dati- dovuta al gap esistente tra produzione nazionale e visibilità internazionale, oltre che alla mancanza di databases rigorosi. 3 In aggiunta alle complessità proposte dall analisi citazionale, quando applicata alle HSS, si è riconosciuta anche la difficoltà di raggiungere una sensibilità comune su quali possano essere altri indicatori utili. In questo senso, è eloquente, fra le altre, l esperienza della comunità scientifica svizzera coinvolta allo scopo in una consultazione dedicata: dei 19 criteri selezionati per la valutazione della qualità dei prodotti, numerosi non sono misurabili e pochissimi sono gli indicatori condivisi da più di due discipline umanistiche 4. Né appare pacifica l interpretazione delle informazioni che possono trarsi da altri indicatori ipotizzati. 5 Ma ancor prima, quando ci si misura con gli strumenti per la valutazione, vi è il bisogno ancora insoddisfatto di definire l identità delle discipline umanistiche come un unico corpus. Le HSS sono 2 Il lavoro rientra in una più ampia call form projects dal titolo Developing and Testing Research Quality Criteria in the Humanities, with an emphasis on Literature Studies and Art History che ha avuto come esito il prodotto Ochsner, M., Hug, S. E., & Daniel, Setting the stage for the assessment of research quality in the humanities: consolidating the results of four empirical studies. In I. Gogolin & D. Lenzen (eds.), Qualität im Bildungs- und Wissenschaftssystem. Zeitschrift für Erziehungswissenschaften - Sonderheft, Band 23. Wien, Sui dati e sulle proposte si rimanda al book citation index di Thomson Reuters in The meaning of referencing in the humanities and social sciences and its interpretation in a evaluative context (Thed Van Leeuwen, Leiden University, Netherlands) e al Citation counts di google scholars e Scopus, in New developments in the evaluation of HSS research (Henk Moed, Leiden University, Netherlands). Si rimanda alle relazioni degli autori reperibili sul sito dell Anvur, come specificato in nota 1. 4 Cfr. La presentazione di Sven E.Hug and Michael Ochsner, Quality criteria and indicators in the light of humanities scholars notions of quality: A bottom up approach 5 La relazione del prof. Glaser (Bielefeld University, Germany) è approfondita anche in: Glaser, J., Laudel, G., Integrating scientometric indicators into sociological studies: methodical and methodologicalproblems, in Scientometrics 52 (3) Nov.-Des., Budapest, 2001, pp federalismi.it n. 23/2014

4 per definizione attraversate da importanti eterogeneità interne e non sono assimilabili alle scienze dure, neppure in presenza di tipologie di prodotto simili (si pensi al numero medio di autori ). Egualmente diverso è il pubblico che ne fruisce. Le HSS hanno spesso un pubblico «allargato», di interessati non necessariamente accademici, il che richiederebbe una distinzione ulteriore tra impatto scientifico e culturale delle produzioni, in fase di valutazione 6. Il confronto tra le esperienze di valutazione delle HSS in Inghilterra, Francia, Danimarca e Spagna 7 ha inoltre consentito di cogliere la presenza di un altra questione irrisolta e comune, ossia il rapporto tra le Humanities e la cd. internazionalizzazione del linguaggio: il passaggio dalla lingua d origine e dal background nazionale (di pensiero,cultura, tradizione) alla dimensione internazionale, subisce un processo di standardizzazione che penalizza i contenuti di un certo tipo di produzione, per così dire locale, incidendo sulla valutazione di cui essa sarà oggetto 8. La tavola rotonda del pomeriggio, tutta italiana, ha visto avvicendarsi i Presidenti dei gruppi di ricerca sulla valutazione delle aree umanistiche, giuridiche e sociali, recentemente costituitisi su impulso dell ANVUR e chiamati a produrre pareri sui temi della valutazione con riferimento alle diverse discipline. Ciascun Presidente di gruppo si è soffermato sulle questioni che più chiedono soluzione. Stefano Poggi, (Presidente del gruppo di lavoro per la macroarea 10 - Scienze dell'antichità, filologico-letterarie e storico-artistiche - e 11 - Scienze storiche, filosofiche, pedagogiche e psicologiche) ha posto la questione della specificità delle discipline da valorizzare quale vettore per una maggiore giustizia valutativa. Vincenzo Militello (Presidente del gruppo di lavoro per l area 12, scienze giuridiche), ha identificato tre grandi problematiche legate alla valutazione: pregiudiziali, ossia legate alla riserva sulla legittimità dei meccanismi di valutazione in area giuridica e non solo; di contenuto e di rilevanza. Quanto ai problemi connessi al contenuto, sono questi a proporre le maggiori complessità. I lavori monografici, ad esempio, non possono, per tempistiche e per struttura, essere accomunati 6 Si veda la presentazione di Henk Moed, New developments in the evaluation of HSS research, disponibile sul sito Anvur 7 Le presentazioni online a cui ci si riferisce sono: Outputs and access. Two issues in the evaluation of HSS research (Nigel Vincent, University of Manchester, UK); The French experience of evaluation of research in humanities and social sciences, (I.Galleron and G.Williams, Maison des Sciences de l Homme, Bretagne, France); Importance of books and development of book citation indices for evaluating the humanities (Alesia Zucala, University of Copenhagen, Denmark); Indicators for SSH s book publishers: Recent development in Spain (Elea Gimenez Toledo, CCHS, CSIC, Spain). 8 Si è discussa l appropriatezza, in tal senso, dell impact factor come criterio di valutazione per le HSS. Cfr. l intervento del prof. Nigel Vincent. 4 federalismi.it n. 23/2014

5 ad altri prodotti scientifici. Pertanto, Militello sostiene con forza l esigenza di modulare il criterio quantitativo (numero di prodotti) che consente l accesso alla valutazione, calibrando il peso specifico delle differenti tipologie di lavori sottoposti a giudizio. Ugualmente, le tipologie ad oggi escluse dalla valutazione, come recensioni o curatele, possono avere differente natura e qualità, la cui distinzione di peso andrebbe sottoposta a valutazione. Altre problematiche sono relative alla selezione dei lavori, alla responsabilità del singolo o degli Atenei (anche nel caso di prodotti multidisciplinari) nella selezione. Con riguardo ai parametri di valutazione, sorgono questioni circa l internazionalizzazione. Anche per Militello, infatti, se essa è assunta come indicatore tout court di qualità rischia di penalizzare la vocazione nazionale di certe produzioni giuridiche. E questo un ulteriore caso in cui sarebbe opportuno calibrare la valutazione. Infine, il luogo di pubblicazione: il ranking o comunque anche il rating delle riviste non coincidono con una stima reale di qualità dei lavori. Il carico di lavoro e la motivazione dei revisori, insieme a contorte e incomplete scale e punteggi a cui essi fanno riferimento, rendono inadeguato e non equo il processo valutativo. Stefano Brusoni ( Presidente del gruppo di lavoro per l area 13 settore studi aziendali) rimanda alla riunione del gruppo non ancora avvenuta ed evidenzia le criticità che presenta economia aziendale, per le numerose anime in cerca di criteri per la valutazione. Infine, Leonardo Morlino (Presidente del gruppo di lavoro, ancora in fase di costituzione, per l area 14) segnala l assenza di fondi per la ricerca e un progetto di finanziamento europeo che privilegia alcuni settori a discapito di altri. di. Per l area 14, l imparzialità della valutazione è minacciata dall appartenenza dei revisori a talune scuole di pensiero, per cui una parziale garanzia potrebbe provenire dall introduzione di modalità bibliometriche di valutazione. ANVUR, dal canto suo, nelle parole di Andrea Bonaccorsi, ha detto di riconoscere la necessità di creare un terreno condiviso che sani le lacune gnoseologiche sulle HSS e diventi una solida base su cui costruire la valutazione, presentando una scheda riassuntiva di quanto oggi consolidato 9. Tra le acquisizioni vi è, innanzi tutto, il riconoscimento della specificità di questi saperi, l esistenza di un paradigmatico pluralismo strutturale; l esigenza di valorizzarne i mezzi di comunicazione, riconoscendo il ruolo del libro. Una specificità delle HSS che si manifesta anche nella lingua utilizzata, nella differente dimensione delle tempistiche, quanto ai tempi del «fare ricerca», della citazione, divulgazione e dell acquisizione dei contributi, nonché nell «attitudine riflessiva» delle scienze umane. Sicuramente, vi è la centralità che, ai fini della loro valutazione, 9 Dalla relazione Evaluating research in HSS: The ANVUR experience- and the open issues, Andrea Bonaccorsi, membro del Consiglio Direttivo di Anvur 5 federalismi.it n. 23/2014

6 riveste il ricorso alla peer review; il che conduce alla necessità di analisi approfondite per migliorarla, anche sotto il profilo metodologico. D altro canto, l «impalcatura valutativa» dev essere il risultato di un ascolto reciproco e necessita di una crescita del consenso per consolidarsi. Come rispondere a tali esigenze, a fronte delle future scadenze valutative? Per il miglioramento delle procedure della peer review ai fini della VQR , sono state presentate dall Agenzia alcune misure di prossima adozione, tra le quali l elaborazione di guidelines per i referees (la cui pubblicazione è prevista per gennaio 2015), la richiesta ai revisori di redigere obbligatoriamente commenti di accompagnamento ai punteggi attribuiti, la valutazione dell attività dei referees, l ampliamento della definizione di conflitto di interesse, la rapida pubblicazione dell elenco dei referees al termine delle attività. Quanto alle valutazioni funzionali alle procedure per l Abilitazione Scientifica Nazionale, si ritiene necessario sottoporre anche la valutazione della qualità delle riviste a procedure di peer review. Sono già state predisposte misure per la correzione di errori iniziali tra cui i falsi positivi nella valutazione delle riviste scientifiche, la revisione annuale delle riviste su richiesta degli editori, la rotazione biennale per i panels di esperti. La revisione periodica della classificazione delle riviste sarà, invece, a regime dal 2015 e includerà procedure di downgrade, che tuttavia terranno conto dei casi specifici 10. Anche per la SUA_RD è prevista la raccolta annuale dei dati sull attività di ricerca dipartimentale. In prospettiva, l Agenzia si prefigge, comunque, di lavorare alla messa a punto di nuovi indicatori utili per le HSS, senza che ciò debba intendersi come adeguamento meccanico a standard propri delle scienze dure. Per favorire una riflessione più consapevole, l Agenzia intende affidarsi all attività di gruppi di lavoro ad hoc, ai quali intende demandare anche la messa a punto di data base adeguati alle HSS e la creazione di una piattaforma di riviste italiane che consenta la loro divulgazione in ambito internazionale. Nelle parole di Andrea Bonaccorsi, d altro canto, il confronto sulla valutazione delle HSS viene comparato a uno sport di contatto, che mette in discussione gli spazi, le collocazioni, i rapporti e le identità poiché richiede l elaborazione di un piano di comunicazione nuovo. Ed è un gioco dalle regole molto complesse, come il quadro di Escher che è stato scelto come icona del Workshop. 10 Effects of downgrading should consider thatauthors, particularly junior authors, relied in good faith on the previous classification Ibidem 6 federalismi.it n. 23/2014