Valutazione della ricerca e assicurazione della qualità Roberto Bottinelli incontro La preparazione alla visita di accreditamento periodico alla luce di AVA 2.0 9 Maggio 2017 - Aula Foscolo Università di Pavia
valutazione della ricerca 2
Valutazione della ricerca - complessità (I) 1. chi o cosa si valuta istituzioni, enti, strutture semplici - monotematiche complesse - multidisciplinari dipartimenti collegi di dottorato settori scientifico disciplinari gruppi di ricerca progetti di ricerca singoli docenti 2. quali aree del sapere si valutano bibliometriche o non bibliometriche 3
Valutazione della ricerca - complessità (II) 3. quali scopi distribuzione di risorse a università/enti dipartimenti dottorati a progetti di ricerca individuazione di aree forti/deboli monitoraggio della ricerca di un ente interventi migliorativi valutazione di singoli docenti es: promozione dei docenti procedure concorsuali es: premialità prevista dalla L. 240/2010 4
docente singolo peer review Valutazione della ricerca strumenti potenziali molto qualificata & molto discrezionale università & enti procedure & regole: valutazione bibliometrica controversa procedure concorsuali ASN: bibliometria & altro procedure locali problema dei settori NON bibliometrici on site visits tempi & costi sistema misto bibliometria + peer review bibliometria + peer review + on site visits 5
Valutazione della ricerca - strumenti disponibili (I) 1. bibliometria semplice H index - impact factors - citazioni Web of science & Scopus/Elsevier 2. bibliometria complessa SciVal Scopus/Elsevier valuta docenti singoli, enti, Research Value CRUI (in sviluppo) 6
Valutazione della ricerca - strumenti disponibili (II) 3. VQR 2004-2010 & 2011-2014 sistema misto: bibliometria complessa + peer review scopo valuta: monitorare e promuovere la qualità della ricerca degli atenei/enti distribuire risorse pubbliche università & enti dipartimenti dottorati aree CUN livello: nazionale - atenei - dipartimenti settori scientifico disciplinari livello: nazionale - atenei - dipartimenti NON singoli docenti 7
quali strumenti utilizzare negli atenei? VQR? altri approcci tra quelli disponibili? in ogni caso VQR difficile accettabilità da parte della comunità accademica del principio e delle modalità della valutazione 8
VQR - accettabilità da parte della comunità VQR 2004-2010 & 2011-2014 critiche di varia natura alla bibliometria in sè al modo in cui viene applicata 2-3 prodotti in 4-6 anni alle valutazioni peer-review discrezionalità vs obiettività si evidenzia un problema noto: la bibliometria ha dei limiti non entra sufficientemente nel merito della qualità del prodotto/i la valutazione peer-review ha dei limiti è esposta alla discrezionalità dei revisori che fare? 9
quali strumenti offre la VQR? confronto tra atenei confronto tra aree CUN di atenei diversi confronto tra dipartimenti dipartimenti specchio normalizzazione sui SSD confronto tra SSD di atenei diversi di dipartimenti diversi problema: non valutazione del singolo docente non valutazione di aree CUN o SSD con meno di 4 docenti a Pavia - VQR 2011-2014 203/904 docenti sottoposti a valutazione e in possesso di almeno 1 prodotto 10
assicurazione della qualità della ricerca Pavia 11
gli strumenti utilizzati sono stati diversi parametri VQR peer review interna ed esterna scelti sulla base degli scopi che ci si proponeva alcuni esempi 12
politiche di reclutamento -punti organico VQR scopo: metodo effettuare la distribuzione delle risorse di docenza (punti organico) ai Dipartimenti in modo meritocratico per promuovere comportamenti virtuosi schema distributivo strumento: VQR indicatori correlati ai parametri di distribuzione delle risorse ministeriali che fanno riferimento alla qualità della didattica e della ricerca alla Quota ricerca è destinato il 45% delle risorse distribuite sulla base dei seguenti parametri: Voto Standardizzato di Dipartimento della VQR 2004-2010 peso 35% Qualità del Reclutamento di dipartimento: IRD3-Mob della VQR 2004-2010 peso 10% 13
distribuzione risorse interne per la ricerca (I) Fondo ricerca dipartimenti - VQR & altri parametri scopo Istituire un fondo di ricerca finanziato dall Ateneo (FRG) da distribuire ai Dipartimenti sulla base della qualità e della quantità della ricerca prodotta metodo utilizzare criteri legati ai parametri di distribuzione delle risorse ministeriali che fanno riferimento alla qualità della ricerca strumento: VQR & numero dottorandi ed assegnisti di ricerca Quota FRG base (25%): attribuisce i fondi necessari ad ogni dipartimento per istituire/rinnovare assegni di ricerca di tipo A di. 25.000 cadauno. Quota FRG-assegni di ricerca (35%): si basa sul voto standardizzato (VQR 2004-2010) per il 40%, sul numero di dottorandi per il 45%, sul numero di assegnisti per il 10% e sul numero di ricercatori Rita Levi Montalcini e vincitori FIR, SIR e ERC per il 5%. Quota FRG-finanziamento per la ricerca (40%): si basa sul parametro IRDF dei dipartimenti (VQR 2004-2010). 14
distribuzione risorse interne per la ricerca (II) Fondo di ricerca di ateneo - peer review esterna scopo istituire un fondo di ricerca di Ateneo per sostenere la ricerca libera curiosity driven metodo valutazione dei progetti individuali strumento - peer review esterna preselezione dipartimentale fino ad un numero di progetti 4 volte superiore ai progetti ammissibili al finanziamento selezione da parte di reviewers esterni ed anonimi piattaforma CINECA 15
Individuazione temi strategici ricerca di ateneo peer review esterna & interna scopo definire tematiche di ricerca multidisciplinari che rappresentassero punti di forza dell Ateneo piano strategico tematico in tutte le macro-aree dell ateneo metodo sollecitazione di proposte ampie su temi di alto rilievo bottom-up + top-down strumento - peer review interna & esterna governance revisori esterni organi di governo 16
valutazione & accreditamento dottorati scopo metodo bottom up & peer review interna adottare una procedura di definizione dell offerta di corsi di dottorato che consenta di valorizzare e incrementare la qualità dei dottorati pavesi a. stimolo della governance dell ateneo alla riconsiderazione dei corsi esistenti e alla creazione di nuovi corsi b. procedura bottom-up strumento analisi delle singole proposte da parte della Scuola di Alta Formazione Dottorale (SAFD) nominata dai coordinatori di dottorato esistenti SAFD - analisi peer review interna non quantitativa proposta dottorati da accreditare e del numero di borse prevalutazione collegi - ANVUR monitoraggio anche attraverso gli indicatori ANVUR di qualità del collegio docenti 17
premialità dei docenti premialità una tantum docenti inattivi esclusi premiati i titolari di finanziamenti alla ricerca didattica & attività istituzionale scatti di premialità docenti inattivi esclusi didattica & attività istituzionale 18
scopo promozione progettazione europea INROaD - peer review interna selezionati i migliori candidati a grant ERC e collaborative Grant europei sostenere tutte le fasi della progettazione della proposta metodo utilizzare il know how di vincitori di grant ERC e Collaborative Grant europei a supporto della progettazione europea ERC & coordinatori collaborative grant H2020 creazione di un Institutional Horizon Committee - INROaD vincitori di ERC di Pavia responsabili progetti strategici di ateneo strumento peer review interna (Inroad) 19
preselezioni interne di progetti - esempi preselezione progetti PRIN 2012 peer review esterna - revisori esterni anonimi preselezione giovani candidati a AXA fellowships peer review interna selezione progetti bando ERC Cariplo - Regione Lombardia peer review interna 20
monitoraggio e promozione ricerca 21
monitoraggio e promozione ricerca dipartimenti distribuzione ai dipartimenti dei dati relativi a: voto standardizzato di dipartimento attrattività risorse - IRD2 qualità del reclutamento - IRD3mob utilizzo degli stessi parametri VQR per la distribuzione delle risorse incentivazione a comportamenti virtuosi 22
monitoraggio e promozione ricerca settori scientifico disciplinari e singoli docenti monitoraggio strumento promozione VQR & SSD da analisi dipartimento specchio distribuzione ai dipartimenti dei dati disaggregati della produzione scientifica dei SSD dei docenti afferenti utilizzo di criteri meritocratici nella distribuzione risorse di personale e di ricerca a dipartimenti e laboratori selezioni interne di progetti da sottoporre a valutazione 23
criticità 24
monitoraggio e promozione ricerca settori scientifico disciplinari e singoli docenti problemi nell elaborare consigli/interventi mirati su aree e/o SSD debolezze tecniche VQR manca la valutazione di tutti i SSD dei dipartimenti non è disegnata per valutare i singoli docenti la valutazione dei SSD richiede una normalizzazione su base nazionale improponibile eseguirla localmente la valutazione individuale richiederebbe l analisi peer review improponibile su numeri alti di docenti ed in modo continuo bibliometria & settori NON bibliometrici 25
monitoraggio e promozione ricerca settori scientifico disciplinari e singoli docenti problemi nell elaborare consigli/interventi mirati su aree e/o SSD accettabilità della valutazione diminuisce via via che si giunge anche accidentalmente a confrontare settori piccoli o docenti confronto inevitabile ci si avvicina a valutare il singolo docente richiederebbe peer review manca un approccio riconosciuto e condiviso alla valutazione si evidenzia tanto più la popolazione valutata si restringe il problema della coesistenza di aree bibliometriche e NON rende ancor più complesso trovare strumenti locali alternativi 26
soluzioni? 27
sistema di valutazione continuo e CRUI proposta di sistema di valutazione forza: SciVal Elsevier? Research Value? condiviso ente autorevole - autovalutazione monitoraggio continuo valuta tutte le pubblicazioni di un docente a rigore può valutare il singolo debolezza bibliometria avanzata - VQR esposta a critiche sulla bibliometria sulla VQR 28
Acknowledgments Servizio Ricerca & Terza Missione Sofia Baggini e co. Servizio qualità e dati statistici Elena Albera e co. 29