Valutare l impatto per valutare la qualità della produzione scientifica. Alcune riflessioni nel campo della sociologia Marco Caselli Università Cattolica del Sacro Cuore marco.caselli@unicatt.it X Convegno Nazionale dell Associazione Italiana di Sociologia La qualità del sapere sociologico Firenze, 10-12 ottobre 2013 Testo per la discussione - Provvisorio Le procedure legate all implementazione dei sistemi della VQR e della ASN hanno posto al centro dell attenzione della comunità scientifica accademica italiana i temi della valutazione e in particolare della valutazione della ricerca scientifica. Ricerca scientifica che viene in larga parte (pressoché in toto quando si entra nel campo delle scienze sociali, dove, per esempio, non ci sono i brevetti) valutata sulla base delle pubblicazioni che è stata capace di generare. Riflettere sulla valutazione della ricerca significa dunque soprattutto riflettere sulla valutazione delle pubblicazioni scientifiche. In questa riflessione, si è fatta largo in particolare l esigenza di individuare criteri e strumenti oggettivi di valutazione, non perché questi siano in astratto migliori di una valutazione soggettiva bensì per due motivi principali. Il primo è quello di semplificare le procedure di valutazione, anche se questo va a scapito di una analisi profonda di ciò che si sta valutando (Rebora 2013: 182): è più rapido ed economico, per esempio, verificare se un candidato supera o non supera le mediane previste dall ASN piuttosto che leggere le sue pubblicazioni. Il secondo è il tentativo di prevenire i possibili abusi che potrebbero derivare da una valutazione soggettiva (abusi tutt altro che improbabili quando dalla valutazione derivano, come nel caso della VQR e della ASN, attribuzioni di risorse economiche e progressioni di carriera). Quali le strade possibili, allora, per la valutazione oggettiva della produzione scientifica? Mi sembra fondamentalmente due. La prima è quella legata al conteggio delle pubblicazioni; conteggio che può essere effettuato distinguendo tra tipi diversi di prodotti scientifici: si tratta della strada seguita nel caso della ASN, con 1
riferimento ai settori e alle discipline cosiddette non bibliometriche, tra cui la sociologia. Questa strada presenta tuttavia importanti limiti e controindicazioni. La quantità (soprattutto per alcune tipologie di prodotto scientifico) non è necessariamente sinonimo di qualità: se in un anno non pubblico nulla sono un fannullone, se pubblico cinque lavori sono uno che si dà da fare, se ne pubblico cinquanta sono probabilmente uno che scrive (e lavora) in modo approssimativo e poco rigoroso. Pensiamo alle mediane previste dall ASN: monografie? Se ne possono produrre da 50 pagine scritte larghe e pubblicarle grazie alle attuali tecnologie di stampa a costo irrilevante con editori o stampatori di rilievo domestico, basta che abbiano l ISBN (che tutti possono chiedere!). Capitoli o articoli? Certo, le riviste devono essere scientifiche (ma i criteri di inclusione sono stati larghi) ma i capitoli possono essere comparsi su qualsiasi testo (e si torna a quanto detto per le monografie). Articoli su riviste di classe A? Questo è a mio giudizio, almeno in teoria, l unico indicatore serio e consistente, ma il problema si sposta alla definizione delle riviste di classe A: su questo ritornerò più avanti. Ad ogni modo, se tra le finalità della valutazione vi è e si auspica che ci sia il progresso delle varie discipline, non mi sembra che i più volte denunciati limiti della sociologia italiana siano legati a una produzione quantitativamente insufficiente La seconda strada, a mio giudizio largamente preferibile, passa invece per la valutazione dell impatto delle pubblicazioni, misurato a partire dal conteggio del numero di citazioni ottenuto dai vari prodotti scientifici (come detto, nel campo della sociologia non possiamo considerare altro, come per esempio i brevetti): numero di citazioni su cui si basano alcuni strumenti appunto per la valutazione dell impatto tra cui il più noto è probabilmente l H Index. Si tratta, questa, della strada seguita nel caso della ASN, con riferimento ai settori e alle discipline cosiddette bibliometriche. L utilizzo delle citazioni come strumento per la valutazione dell impatto e quindi della qualità delle pubblicazioni è l oggetto di questo mio contributo Anne-Wil Harzing, autrice del celebre software Publish or Perish, quindi persona, da questo punto di vista, al di sopra di ogni sospetto, afferma: It is important to note that, although high quality scholarship might be highly cited, citations are not in and of themselves a measure of quality. When assessing the quality of scholarship, there is no substitute for reading an academic s work. (Harzing 2010: 1). Prima di andare avanti, mi sembra però importante fare un piccolo affondo su di un tema centrale che troppo spesso viene dato per scontato o comunque rimane nel non detto. Se, in generale, vogliamo valutare una pratica, una procedura o un processo 2
dobbiamo individuare le finalità di quella pratica/procedura/processo, dal momento che la valutazione ha senz altro a che fare con l adeguatezza, efficacia ed efficienza rispetto al perseguimento di queste finalità. Chiediamoci allora qual è la finalità del nostro lavoro scientifico. La risposta, a mio giudizio è che il nostro lavoro scientifico deve contribuire al progresso del dibattito scientifico e quindi delle conoscenze rispetto a determinate tematiche, a vantaggio del benessere della collettività (che, per inciso, nella maggior parte dei casi è colei che ci paga per fare il lavoro che facciamo) La mia tesi è allora che se è vero che valutare l impatto (a partire dalle citazioni ricevute) di una pubblicazione o di una intera produzione scientifica non significa valutare in toto la qualità di quella pubblicazione/produzione scientifica, è altrettanto vero che significa però valutarne una qualità importante, fondamentale. Gli strumenti che cercano di determinare l impatto di una pubblicazione e della produzione scientifica di un autore a partire dalle citazioni che queste ricevono sono dunque almeno potenzialmente, a mio giudizio, strumenti utili per concorrere a valutare la qualità (una qualità) di questa stessa produzione scientifica. Un lavoro, per poter contribuire al progresso del dibattito scientifico, deve essere letto, e il fatto che venga citato è indicatore del fatto che sia stato letto e in qualche modo considerato rilevante. A questo proposito vi è chi obietta che le citazioni potrebbero essere negative: la mia impressione è che questo accada di rado; un lavoro scadente viene semplicemente cestinato; se viceversa ha saputo suscitare un dibattito qualche merito lo ha avuto (meglio di un ottimo lavoro che nessuno ha mai letto). Un altra obiezione, a mio giudizio più consistente, è quella per cui uno studio potrebbe avere un impatto scarso in ambito accademico ma significativo su di una specifica comunità locale (Rebora 2013: 182). Questo è probabilmente vero, ma se valutiamo l intera produzione scientifica di un accademico si deve immaginare che questo abbia scritto anche per l accademia. Mi sembra importante utilizzare la riflessione sulla valutazione della ricerca scientifica per cercare di uscire da una autoreferenzialità spinta che a volte ci contraddistingue come disciplina e come singoli, dall idea che nostri lavori abbiamo un valore in sé a prescindere dalle ricadute scientifiche e sociali che possono avere. Ho sentito dire a un seminario sulla valutazione universitaria. possibile che una monografia che è costata all autore due o più anni di lavoro venga valutata meno di un articolo di 15 pagine soltanto perché quest ultimo è scritto in inglese e pubblicato su di una rivista straniera?. La mia risposta è: sì, è possibile. Usciamo dalla 3
concezione del valore/lavoro: se ho impiegato due o più anni per scrivere un volume monumentale che nessuno legge o leggerà mai, ho buttato via il mio tempo! (oltre che i soldi della collettività che mi ha mantenuto). Meglio un contributo agile, snello, che viene commentato, discusso e magari anche criticato aspramente: questo contribuisce al progresso della disciplina e del sapere scientifico. Sottolineerei anche una possibile funzione pedagogica di una riflessione che sottolinei l importanza dell impatto delle pubblicazioni scientifica; funzione pedagogica nei confronti soprattutto dei giovani e più in generale dei sociologi in carriera. Si è detto, noi dovremmo fare ricerca e scrivere per contribuire al progresso del sapere scientifico. Invece noi tendiamo a smarrire o a dimenticarci di questa finalità: facciamo ricerca e scriviamo per vincere i concorsi; il nostro pubblico di riferimento, quando scriviamo, non è la comunità scientifica in senso lato ma i nostri potenziali commissari di concorso. A volte, leggendo alcuni contributi dei colleghi più giovani, spesso appesantiti da continue digressioni, si ha l impressione che l autore si sia preoccupato più di dimostrare la sua preparazione e la sua bravura che non di argomentare con linearità e lucidità alcune tesi, che non di comunicare in modo chiaro un particolare risultato di ricerca. Pensiamo alla tesi di dottorato, che dovrebbero rappresentare il primo importante e maturo contributo di uno studioso al dibattito scientifico, e che invece risulta talvolta qualcosa di assimilabile mi si passi il paragone al tema di italiano all esame di maturità: un contributo destinato ad essere letto (e valutato) soltanto dai commissari d esame, conservato in uno scatolone nei termini di legge e poi condotto al macero. Cerchiamo di fare in modo allora che i processi di valutazione (che inevitabilmente inducono comportamenti strumentali/opportunistici) sostengano atteggiamenti e comportamenti virtuosi. Certo, il sistema delle citazioni può prestarsi ad abusi (autocitazioni, citazioni all interno di cerchie ristrette) e presenta limiti (le citazioni ci mettono un po ad arrivare e questo penalizza i più giovani, il problema degli studi di nicchia, il fatto che lavori complessi o studi particolarmente innovativi potrebbero ottenere meno citazioni o impiegare più tempo per essere citati: Banfi & De Nicolao 2013): in generale, citazioni di un lavoro dipendono da suo impatto scientifico ma anche da altri fattori, quali la reputazione personale, l istituzione per cui si lavora o, appunto, le autocitazioni o l appartenenza a cerchie particolari (Waltman et al.). Ma questo deve spingerci a usare prudenza e consapevolezza nell utilizzo di strumenti basati sulle citazioni stesse, non a respingerli in toto: certo è un errore affermare che un ricercatore con un H index pari a 12 è più bravo di un altro ricercatore con un H index pari a 10, ma è altrettanto vero che tra un H index pari a 20 e un H index pari a 3 la differenza è più che significativa! 4
Un modo prudente di utilizzare questi strumenti (ma è solo una proposta tra le molte possibili) potrebbe essere quello di servirsene per definire delle soglie per accedere ad ulteriori step di valutazione, di tipo qualitativo e soggettivo. Il principio delle soglie, di fatto, è quanto proposto per l ASN, solo che le modalità di scelta delle soglie stesse e il loro utilizzo è in questo caso del tutto discutibile: soglie che sono molto generose (difficile non superarne nemmeno una su tre) e vincolanti ma solo parzialmente, visto che possono comunque essere bypassate, lasciando quindi mano quasi completamente libera alle commissioni. Quale strumento utilizzare allora per determinare l impatto della produzione scientifica di un autore a partire dalle citazioni ottenute? Mi soffermerò in particolare su quello oggi di maggior successo, che ritengo sia forse il migliore a nostra disposizione: l H Index (Hirsch 2005). Il valore dell H Index, per ciascun autore, come noto è dato dal numero x di pubblicazioni di quell autore che hanno ottenuto almeno x citazioni (un H Index pari a 10 significa che dieci pubblicazioni di quell autore hanno ottenuto almeno 10 citazioni ciascuna). L H Index può risultare preferibile rispetto al numero di citazioni totali sia perché ha una maggiore stabilità nel tempo sia perché combina la dimensione dell impatto di ciascuna pubblicazione con il volume e la continuità della produzione scientifica. Si può obiettare che l H Index, rispetto alle citazioni totali, rischi di sottostimare alcune eccellenze. Per esempio, un soggetto che abbia pubblicato una monografia o un articolo capace di raccogliere da solo 5.000 citazioni ha sicuramente, sul dibattito scientifico, un impatto maggiore di un altro soggetto che abbia 10 pubblicazioni citate ciascuna 10 volte o poco più, anche se quest ultimo risulta avere un H Index maggiore. Questo esempio, senza voler sottovalutare un problema reale, mi sembra però qualcosa che assomiglia a un ipotesi di scuola: è raro che un autore raggiunga un numero elevatissimo di citazioni alla prima pubblicazione, così come il fatto di aver prodotto un contributo di straordinario successo non dovrebbe esentare dal continuare a fare ricerca e a scrivere. Quanto detto sinora non deve però farci sottovalutare alcuni importanti limiti dell H Index, da tenere presenti nella prospettiva di quell utilizzo prudente di questo o di altri strumenti simili a cui ho fatto riferimento in precedenza. Tra i limiti dell H Index, senza pretesa di esaustività, segnalo allora: il fatto di penalizzare i più giovani, dal momento che le pubblicazioni hanno bisogno di un po di tempo per essere citate; di non considerare a sufficienza il peso di pubblicazioni che, da sole, hanno ottenuto un numero particolarmente elevato di citazioni; il fatto di considerare nello stesso modo contributi a firma singola o a più autori e, secondo alcuni, il fatto di non 5
decrescere, neanche quando l autore considerato cessasse la sua attività (Harzing 2010: 9-11). A fronte dei limiti sopra richiamati, vi sono stati alcuni tentativi di correggere questi stessi limiti introducendo strumenti alternativi, che a oggi tuttavia non sembrano avere riscosso un pari successo rispetto all H Index (H Index che ha il grande vantaggio di essere estremamente semplice nella sua costruzione). Tra questi, senza pretesa di esaustività, possiamo menzionare il conteggio dei citatori piuttosto che delle citazioni (Franceschini et al. 2010), il G Index (Egghe 2006) che premia la presenza di contributi fortemente citati; l H Index normalizzato (Harzing 2010: 11) che considera la presenza di coautori; il P Index (Papp et. al) che considera le citazioni ricevute dai contributi che hanno citato un determinato lavoro. Al di là dei limiti per così dire strutturali, l H Index si scontra anche con due problemi di ordine pratico. Il primo è quello della base dati da cui attingere le informazioni per la sua determinazione. Le basi dati possibili sono essenzialmente tre: ISI Web of Science; Scopus; Google Scholar. Nel caso delle scienze sociali e della sociologia in particolare, la fonte preferibile è probabilmente Google Scholar, che offre una migliore copertura della produzione scientifica: ISI e Scopus infatti non prendono in considerazione né le monografie né i capitoli di libri, mentre la copertura delle riviste, per quanto riguarda le scienze sociali, è ancora limitata soprattutto per quelle di lingua diversa dall inglese. Google Scholar, come detto, offre una copertura più ampia, ma non ancora completa; inoltre non sono del tutto trasparenti i criteri di inclusione all interno di questo strumento (Rebora 2013: 189; Harzing 2013). Certo, si può auspicare una continua e progressiva implementazione di Google Scholar, ma non si può non evidenziare il punto debole costituito dal dover ricorrere a una base dati su cui la comunità scientifica non ha, di fatto, alcuna possibilità di controllo. Il secondo problema, una volta deciso di ricorrere a Google Scholar, poi quello di stabilire lo strumento attraverso il quale materialmente andare a calcolare l H index o altri strumenti basati sulle citazioni. Anche in questo caso esistono due possibilità: il ricorso al software Publish or Perish, oppure l utilizzo delle pagine personali di Google Scholar. La seconda opzione mi sembra preferibile alla prima: Publish or Perish fornisce infatti una informazione grezza, che deve essere pulita (casi di omonimia, medesimi testi menzionati più volte con diversa titolazione che si dividono le citazioni alterando il valore dell H index, contributi non riconosciuti dal software eccetera); lavoro di pulizia che nella maggior parte dei casi deve essere effettuato dal soggetto preso in considerazione. Anche la pagina personale di Google Scholar richiede un impegno da parte dell interessato, che deve provvedere all attivazione del profilo e alla sua manutenzione, ma questo lavoro personale 6
risulta poi pubblicamente visibile (e quindi controllabile) e, pertanto, potenzialmente utilizzabile nell ambito di processi di valutazione. Al di là delle citazioni, un ulteriore elemento che può essere preso in considerazione per stimare l impatto di una pubblicazione è la sua collocazione editoriale, aspetto che si collega anche al tema dell internazionalizzazione delle pubblicazioni. Aspetto che potrebbe essere utilizzato in modo più marcato per la valutazione dei giovani, dal momento che questi, come detto, rischiano di essere penalizzati dal sistema delle citazioni. In linea di principio, è evidente che un ottimo lavoro potrebbe essere pubblicato in qualsiasi lingua e lo si potrebbe essere trovare in qualsiasi collocazione editoriale: perché allora premiare i contributi scritti in inglese (o in altre lingue ad ampia diffusione, come lo spagnolo o il francese) e quelli pubblicati con case editrici/ su riviste prestigiose? Per l utilizzo dell inglese la risposta è semplice: un contributo scritto in inglese ha un pubblico di lettori potenziali molto più ampio che non un contributo scritto in italiano, e quindi può avere un impatto molto maggiore sul dibattito scientifico. Con questo non intendo dire che dobbiamo rinunciare all uso della lingua italiana nelle nostre pubblicazioni: dobbiamo però adeguare la lingua utilizzata al pubblico di riferimento delle nostre opere. Se pubblico i risultati di una ricerca specifica destinati ad alimentare il dibattito all interno della comunità (locale, professionale o quant altro) oggetto di studio, la lingua dovrà essere quella della comunità in questione. Ma se pubblico un lavoro di carattere più generale, potenzialmente destinato a tutta la comunità scientifica di riferimento, dovrò utilizzare una lingua (in genere l inglese) che possa essere compresa da tutta questa comunità. Ancora una volta, di nuovo pensando soprattutto ai più giovani, dobbiamo avere l obiettivo e l ambizione di far leggere i nostri lavori a un pubblico il più ampio possibile, non solo ai commissari di concorso! La cultura e la sociologia italiana non si promuove e si difende (per questo è l argomento talvolta sentito) chiudendoci a riccio: la si difende e la si promuove facendola conoscere anche fuori dall Italia; ma perché ciò sia possibile occorre usare una lingua che fuori dall Italia sia compresa. Quanto al prestigio della sede editoriale, occorre considerare che viviamo in un momento caratterizzato da una (in termini quantitativi) iperproduzione scientifica, facilmente accessibile grazie allo sviluppo dei mezzi informatici. Qualunque sia il tema che vogliamo affrontare, la bibliografia di riferimento potenziale è tendenzialmente enorme. Come scegliere allora i contributi da prendere in considerazione? La collocazione editoriale a questo proposito gioca un ruolo rilevante: per esempio, andrò a consultare i cataloghi delle grandi case editrici internazionali, non quelli (ammesso che siano facilmente rintracciabili) di un piccolo stampatore di rilevanza locale (di cui magari non conosco neppure l esistenza). Garantire una buona collocazione ai nostri lavori, soprattutto e a maggior ragione 7
quelli che riteniamo di buona qualità, è uno dei compiti di cui dobbiamo farci carico come studiosi; la disseminazione dei risultati del nostro lavoro è uno dei compiti a cui siamo chiamati (e che quindi può e deve essere valutato). Una prima conclusione: strumenti che determinano l impatto della produzione scientifica di uno studioso a partire dalle citazioni ottenute, previo il loro affinamento, possono essere utilizzati all interno dei processi di valutazione. Ma la valutazione non può limitarsi all utilizzo di tali strumenti. Una seconda conclusione è che la ricerca di strumenti oggettivi di valutazione rappresenta probabilmente anche il tentativo di non farsi carico delle responsabilità legate alla valutazione: una valutazione basata su strumenti oggettivi è una valutazione irresponsabile. Tuttavia tale oggettività è solo apparente: la soggettività della valutazione è imprescindibile; semplicemente la si sposta a monte, nella determinazione dei criteri su cui si fonderanno le valutazioni successive (Rebora 2013: 194). D altra parte, però, in questo modo, il vantaggio consiste nel fatto che i criteri stabiliti sia pure in maniera soggettiva vengono poi applicati uniformemente a tutti i soggetti da valutare. La mia opinione è però che, nello scenario attuale, l università italiana abbia bisogno di maggiore e non di minore responsabilità. Valutare un docente universitario è un compito estremamente complicato, data la molteplicità dei tratti e delle competenze che possono essere richieste e apprezzabili in tale figura (nel campo della ricerca, della didattica, del fund raising, del networking, della formazione e dell accompagnamento dei futuri ricercatori/docenti, dell organizzazione e della gestione della vita accademica e via dicendo). Ogni procedura di valutazione che non riconosca tale complessità rischia di perdere di vista e quindi mancare gli obiettivi della valutazione stessa. Il problema della valutazione e della selezione del personale accademico va allora affrontato responsabilizzando chi deve effettuare le scelte, attraverso sistemi di incentivi e disincentivi. Scelte che devono appunto in un ottica di responsabilizzazione essere effettuate da parte dell Ateneo presso cui i soggetti selezionati andranno a operare. Premesso che non esistono strumenti e procedure di valutazione che non possano essere aggirati o distorti da pratiche poco trasparenti e censurabili, anche se è indubbio che alcune procedure e alcuni strumenti siano in tal senso più robusti di altri, il problema della valutazione e della selezione in ambito accademico sarà risolto quando, al di là dei tecnicismi delle procedure di selezione, chi effettuerà le selezioni avrà un concreto interesse a scegliere il meglio. Ma attraverso quali meccanismi è possibile effettuare tale responsabilizzazione? a ben vedere, quanto appena affermato si limita a spostare il problema senza risolverlo. 8