Valutazione Interna della Ricerca. Prof. Paolo Sacchetta Università degli Studi G. d Annunzio Chieti-Pescara

Transcript

1 Valutazione Interna della Ricerca Prof. Paolo Sacchetta Università degli Studi G. d Annunzio Chieti-Pescara 1

2 Argomenti A. La valutazione della Ricerca in Italia a. Un po di storia b. CIVR (VTR) c. ANVUR (VQR) B. La distribuzione delle risorse a. Miur b. Ateneo c. Dipartimenti C. La CRUI e ViR (Valutazione interna della Ricerca) a. Ricognizione sugli atenei b. Proposte all ANVUR D. Adempimenti dei dipartimenti a. Piano triennale b. SUA c. AVA (AQ) i. Autovalutazione (CP) ii. Valutazione (NUV) iii. Accreditamento (ANVUR) E. References 2

3 A.a. un po di Storia: gli attori Anni 80 Conferenza europea Rettori Anni 90 CRUI commissione 1993 Osservatorio e NuV 1996 CRUI primi dati ( Osservatorio CNVSU 1999 CIVR 2006 (2011) ANVUR 3

4 A.a. un po Storia: i metodi A. Alla fine degli anni 90 la CRUI propone al MIUR l acquisto del data base dell ISI ed effettua una prima valutazione basata su un criterio bibliometrico per le aree ove applicabile B. Nel 2006 il CIVR porta termine la VTR (Valutazione Triennale della Ricerca ) 2003) basata tutta sulla peer review su un numero limitato di prodotti, ritenuti i migliori dalle strutture C. L 11 novembre 2011 l ANVUR l avvia la VQR (Valutazione della Qualità della Ricerca ) 2010) basata un metodo misto bibliometrico e/o peer review su un numero di prodotti rappresentativo di tutto il personale in servizio alla data di avvio del processo 4

5 A.b. il CIVR [Comitato di Indirizzo per la Valutazione della Ricerca] Il CIVR è un organismo di nomina governativa, istituito dal D.Lgs. 204/98, che ha il compito di promuovere l attività di valutazione della ricerca attraverso il sostegno alla qualità e alla valorizzazione scientifica. L attività del CIVR si articola in iniziative che comprendono: la sperimentazione di metodologie per la valutazione, la determinazione di criteri generali per la valutazione di enti di ricerca, la formulazione di criteri per la composizione dei CIV di enti di ricerca, la valutazione esterna di enti di ricerca e progetti o programmi di ricerca da esse coordinati o finanziati. Nel 2004 il CIVR ha coordinato il primo esercizio di valutazione nazionale della ricerca, progetto di valutazione della produzione scientifica di eccellenza dell intero sistema della ricerca italiana, promosso su iniziativa del Governo. 5

6 CIVR A.b. la VTR: cos è? Governo Strutture di ricerca Comunità scientifica Dati & informazioni Relazione NUV/CIV Giudizi Panel di Area Prodotti Strutture di ricerca 6

7 A.b. la VTR: i numeri Strutture partecipanti 102 Ricercatori coinvolti Aree di Ricerca (14 CUN + 6 speciali) 20 Panelist 151 Esperti esterni Prodotti valutati Costi diretti di processo (M )( 3,55 7

8 A.b. la VTR: i risultati (Ranking list) 8

9 A.b. la VTR: i risultati (Valutazione della produzione scientifica) 9

10 A.b. la VTR: i risultati (Indicatori di area) 10

11 A.c. l ANVUR: riferimenti normativi Documento L 24 nov 2006, n. 286-Art.2, cc 138, 139, 140 DPR 1 feb 2010, n. 76 DM 24 giu 2010 DPR 22 feb 2011 Descrizione Legge Istituzione Regolamento Comitato di selezione Nomina componenti 11

12 A.c. l ANVUR: la mission 138. Istituzione e compiti ----OMISSIS---- a) valutazione esterna della qualità delle attività delle università e degli enti di ricerca pubblici e privati destinatari di finanziamenti pubblici, sulla base di un programma annuale approvato dal Ministro dell'università e della ricerca; ----OMISSIS Utilizzo dei risultati della valutazione I risultati delle attività di valutazione dell'anvur costituiscono criterio di riferimento per l'allocazione dei finanziamenti statali alle università e agli enti di ricerca Disciplina del regolamento ----OMISSIS

13 A.c.[1] la VQR: cos è? Valutazione della Qualità della Ricerca Partecipano al VQR i soggetti valutati, vale a dire: Professori ordinari Professori associati Ricercatori universitari e assistenti universitari Ricercatori e tecnologi degli enti di ricerca vigilati dal MIUR Le strutture scelgono, da una lista predisposta dai soggetti valutati, tre prodotti di ricerca per PO, PA, RIC-ASS, TECN.-ENTI, e sei per i RIC-ENTI, di cui rispettivamente: Due pubblicati nel quadriennio e uno nel triennio Quattro pubblicati nel quadriennio e due nel triennio

14 A.c. [2] la VQR: cos è? Per i ricercatori universitari e i tecnologi dei centri di ricerca che hanno preso servizio dopo il primo gennaio 2004 valgono le seguenti regole: Se la presa di servizio è avvenuta dopo il primo gennaio 2006, devono presentare 2 prodotti di ricerca Se la presa di servizio è avvenuta dopo il primo gennaio 2008, devono presentare 1 prodotto di ricerca Se la presa di servizio è avvenuta dopo il primo gennaio 2010, sono esentati dall esercizio VQR 14

15 A.c. [3] la VQR: cos è? I GEV utilizzano, singolarmente o in combinazione, le seguenti due metodologie: analisi delle citazioni del prodotto di ricerca e del fattore di impatto della rivista ospitante il prodotto (ove applicabile), condotta direttamente da ciascun GEV, che utilizza a tal fine le banche dati concordate con l ANVUR; peer-review affidata ad esperti esterni fra loro indipendenti scelti collegialmente dal GEV (di norma non più di due), cui è affidato il compito di esprimersi, in modo anonimo, sulla qualità delle pubblicazioni selezionate. 15

16 A.c. [4] la VQR: cos è? I giudizi descrittivi devono tradursi in un giudizio sintetico, con attribuzione della pubblicazione a uno dei seguenti livelli di merito: Eccellente: (peso 1) Buono: (peso 0,8) Accettabile: (peso 0,5) Limitato: (peso 0) Non valutabile: la pubblicazione appartiene a tipologie escluse dal presente esercizio o presenta allegati e/o documentazione inadeguati per la valutazione o è stata pubblicata in anni precedenti o successivi al settennio di riferimento (peso -1); In casi accertati di plagio o frode, la pubblicazione viene pesata con peso -2 Per ciascuna pubblicazione mancante rispetto al numero atteso è assegnato un peso negativo pari a -0,5 16

17 A.c. la VQR: i numeri Strutture partecipanti 144 Ricercatori coinvolti Aree di Ricerca 14 GEV 450 Esperti esterni c.a Prodotti da valutare Costi diretti di processo (M )( ) c.a

18 A.c. la VQR: distribuzione dei prodotti GEV # Prodotti attesi # Prodotti conferiti # mancanti % mancanti ,1% ,6% ,9% ,8% ,7% ,2% ,4% ,0% ,0% ,9% ,5% ,2% ,6% ,7% Totale ,3% 18

19 A.c. la VQR: allocazione dei prodotti GEV Area del soggetto valutato Area del prodotto Saldo Totale

20 A.c. la VQR: gli output Articolazione della Relazione finale ANVUR: a. Valutazione di merito complessivo del SNR, articolato per Area b. Valutazione di merito delle Strutture basata sui rapporti finali dei GEV e sui dati conoscitivi e sulle informazioni trasmessi dalle Strutture stesse. Nella elaborazione del giudizio di merito, l ANVUR opera secondo criteri, indicatori e pesi definiti nell Appendice 2 del bando c. Valutazione di Merito dei Dipartimenti (o altre organizzazioni equivalenti). Nella elaborazione del giudizio di merito, l ANVUR l opera secondo criteri, indicatori e pesi definiti nell Appendice 3 del bando d. Valutazione delle attività di terza missione (brevetti, spin-off e altro di cui al comma 3 dell Appendice 2). Nella elaborazione del giudizio di merito, l ANVUR l opera secondo criteri, indicatori e pesi definiti per le strutture e i dipartimenti nelle Appendici 2 e 3 del bando. 20

21 A.c. la VQR: le ricadute La valutazione riguarderà le aree, le strutture e i dipartimenti La valutazione delle strutture interverrà nella distribuzione del Fondo di Finanziamento Ordinario La valutazione dei dipartimenti potrà essere utilizzata dagli organi di governo delle strutture, in piena autonomia, per orientare la redistribuzione interna delle risorse acquisite. 21

22 B.a. quota premiale FFO Offerta Ricerca Anno Formativa Scientifica Totale (peso 34%) (peso 66%) M 345 M 523 M M 475 M 720 M M 549 M 832 M M 600 M 909 M 22

23 B.a. FFO indicatori valutazione della ricerca Indicatori per la ripartizione della quota di cui alla legge 9 gennaio 2009, n.1 FFO 2012 Indicatore B1 B2 B3 B4 Percentuale di docenti e ricercatori presenti in progetti PRIN valutati positivamente, pesati per il fattore di successo dell area scientifica Media degli indicatori relativi al programma Futuro in ricerca 2008 e 2010, a valere sul fondo FIRB. Per ogni anno considerato, l indicatore è stato costruito come media dei tassi di partecipazione pesati con i relativi tassi di successo, calcolati sulle diverse linee di finanziamento e normalizzati rispetto ai valori di sistema Coefficiente di ripartizione destinate alle Arre VTR CIVR Media delle percentuali di: Descrizione 1. Finanziamento e di successo acquisiti dagli atenei nell ambito dei progetti del VII PQ - Unione Europea CORDIS; 2. Finanziamento dall Unione Europea; 3. Finanziamento da altre istituzioni pubbliche estere Peso 0,40 0,15 0,20 0,25 23

24 B.b. distribuzione delle risorse sui dipartimenti Nell ambito di una marcata disomogeneità,, tra i criteri ricorrenti si possono riassumere in: A. Fondo annuale per il funzionamento. [in genere riferito a parametri quantitativi relativi al dipartimento nel suo complesso] a. Dimensioni (spazi) b. Numerosità (personale) B. Fondo finalizzato alla ricerca. [in genere riferito a parametri relativi ai singoli ricercatori] a. Produzione scientifica i. Quantitativi, numero di prodotti in un certo arco temporale ii. Qualitativi, IF, citazioni, Hindex,, indicatori di qualità individuati dalle sedi, peer review b. Posizione accademica. (PO, PA, RU) i. Quota procapite proporzionata al parametro assegnato al ruolo ii. Coefficiente di correzione della quota a. parametrato al ruolo 24

25 B.c. distribuzione delle risorse all interno dei dipartimenti Nell ambito dell autonomia dei dipartimenti un sistema virtuoso per la ripartizione delle risorse dovrebbe basarsi (almeno per una quota consiste) su criteri oggettivi di valutazione della ricerca: A. Visibilità esterna a. Capacità di attrazione di risorse b. Premi e riconoscimenti c. Performance nelle valutazioni esterne VQR* B. Produzione scientifica a. Quantitativi, numero di prodotti in un certo arco temporale b. Qualitativi, IF, citazioni, Hindex,, indicatori di qualità individuati dalle sedi, peer review * Assoluta necessità di disporre dei dati analitici della valutazione dei prodotti 25

26 Suggerimenti. B.c. suggerimenti e raccomandazioni Incentivare la cultura della valutazione. Determinare criteri di ripartizione delle risorse che tengano conto della valutazione della ricerca. Raccomandazioni Dotarsi di un sistema di archiviazione della produzione scientifica ica Organizzare una strategia di monitoraggio Stimolare continuamente all aggiornamento aggiornamento delle informazioni Controllare la correttezza delle informazioni Piano triennale secondo modelli concordati. Contribuire alla formalizzazione di un modello per la stesura dei piani triennali. 26

27 C. gruppo di lavoro CRUI Valutazione Ricerca Commissione Ricerca Presiedente Rettore di Pavia Prof. Angiolino Stella Gruppo di Lavoro Valutazione Ricerca Coordinatore Prof. Roberto Di Lauro (Federico II) Sottogruppi: Problematiche procedurali e tecniche del VQR (Giovanni Miano) Valutazione interna della qualità della ricerca (Paolo Sacchetta) Preselezione PRIN e FIRB (Giancarlo Ruocco) 27

28 questionario C.a. l indagine CRUI sulla ViR [metodo] Sulla base delle esigenze emerse nei Gruppi di lavoro, la CRUI ha sviluppato un questionario online finalizzato ad avere una prima sintetica mappatura delle esperienze di Valutazione interna della Ricerca negli atenei italiani Il questionario è organizzato in 4 sezioni che intendono identificare Se la ViR è svolta con regolarità e da quanto tempo Quali siano le modalità Quale sia l organizzazione Quali siano le finalità I risultati sono finalizzati alle successive attività del sottogruppo che potrebbero prevedere: Una analisi approfondita delle esperienze più consolidate Un confronto su alcuni aspetti delle metodologie e modelli adottati Una identificazione degli aspetti qualificanti e l eventuale redazione di Linee Guida 28

29 Somministrazione: C.a. l indagine CRUI sulla ViR [primi risultati parziali 1] Diffuso agli 81 atenei associati alla CRUI (ai Delegati Ricerca o ai Rettori se Delegato assente) Modalità online con risposte prevalentemente chiuse, i cui contenuti sono stati concordati con: i coordinatori dei Gruppi di lavoro, il Coordinatore della Commissione Ricerca e presentati in Giunta CRUI ATENEI RISPONDENTI (al 5 novembre 2012): 43 (53%) BARI POLITECNICO, BERGAMO, BOLOGNA, BOLZANO, CAGLIARI, CALABRIA, CAMERINO, CASTELLANZA CATTANEO LIUC, CHIETI PESCARA, FERRARA, FIRENZE, GENOVA, LUCCA IMT, MACERATA, MESSINA, MILANO, MILANO BICOCCA, MILANO BOCCONI, MILANO CATTOLICA, MILANO POLITECNICO, NAPOLI FEDERICO II, NAPOLI PARTHENOPE, NAPOLI SECONDA, NAPOLI SUOR O. BENINCASA, PALERMO, PARMA, PAVIA, PERUGIA STRANIERI, PISA S. ANNA, REGGIO CALABRIA MEDITERRANEA, ROMA CAMPUS BIOMEDICO, ROMA LUISS G. CARLI, ROMA TOR VERGATA, ROMA TRE, SALENTO, SALERNO, SANNIO, SASSARI, SIENA STRANIERI, TRIESTE, TUSCIA, URBINO, VERONA Termine rilevazione: 10 novembre

30 C.a. l indagine CRUI sulla ViR [primi risultati parziali 2] 32 atenei su 43 svolgono una regolare attività di Valutazione interna della Ricerca Scientifica; i rimanenti 11 atenei hanno in programma di avviare prossimamente la ViR e ritengono utile il confronto con gli altri atenei 25 atenei fra quelli che svolgono la VIR (83%), hanno sviluppato e sono guidati da uno specifico documento metodologico. Nel 90% dei casi, gli atenei si sono dotati di una struttura ad hoc per la ViR Il 36% degli atenei rispondenti al questionario ha una esperienza significativa di valutazione della ricerca: dal 1993 al 2000 sono 10 gli atenei che hanno mosso i primi passi in questa attività che negli anni si è sempre più consolidata. Altri 10 atenei hanno avviato azioni di valutazione fra il 2006 e il

31 C.b. sottogruppo ViR [Valutazione interna della qualità della Ricerca] Sintesi delle finalità del documento finale Ribadire l importanza della VQR ed il suo utilizzo per la distribuzione delle risorse agli atenei. Sottolineare le criticità legate al ribaltamento della valutazione sui Dipartimenti attribuzione dei prodotti agli autori legati all ottimizzazione dei risultati della Struttura non del dipartimento, l arco temporale preso in considerazione è molto lungo. Segnalare le possibili interferenze con i criteri di ripartizione interna delle risorse adottati dagli atenei periodicità della valutazione, elementi della valutazione. Sottolineare che gli atenei fanno una loro valutazione interna su cui vale la pena di confrontarsi Chiedere di fornire alle strutture gli elementi per il ribaltamento delle valutazioni. Auspicare la massima trasparenza per l intero processo. 31

32 D.a. piano triennale I Piani Triennali dei Dipartimenti (PTD) sono un essenziale strumento di controllo volto a monitorare l efficace implementazione della strategia deliberata a livello centrale e formalizzata in primis nel Piano Strategico di Ateneo. Il processo di formazione dei PTD richiede una minuziosa pianificazione e deve essere gestito dagli organi di vertice stabilendo ex ante e con dovizia di particolari: (1) chi siano gli attori chiave coinvolti e come questi siano tenuti ad interagire tra loro; (2) quali oggetti vadano ricompresi* nella definizione dei PTD e quali vadano esclusi; (3) quali regole (protocolli etc.) debbano essere seguite nel processo di formazione dei PTD; (4) quale sia l arco temporale di riferimento per completare le diverse fasi di sviluppo. *e.g. Didattica, Ricerca,Studenti, Internazionalizzazione, Personale, Assetto interno, Integrazione con il Territorio, Sostenibilità 32

33 D.b. SUA-RD 33

34 D.b. SUA-RD 34

35 D.c. AVA Riferimenti normativi 1. DPR 1 febbraio 2010, n. 76, art. 3 (attività, criteri e metodi) 2. Legge 30 dicembre 2010, n. 240, art 2 (Organi e articolazione interna delle università), comma 1, lettera r. [NUV] art 2 (Organi e articolazione interna delle università), comma 2, lettera g. [CP] art 5 (Delega in materia di interventi per la qualità e l efficienza del sistema universitario), comma 3. [accreditamento] 3. Decreto Legislativo 27 gennaio 2012, n. 19 (Valorizzazione dell efficienza delle università e conseguente introduzione di meccanismi premiali nella distribuzione di risorse pubbliche sulla base di criteri definiti ex ante anche mediante la previsione di un sistema di accreditamento periodico delle università ) 35

36 D.c. AVA Riferimenti normativi [Qualificazione docenti] 36

37 D.c. AVA Riferimenti normativi[indicatori qualità della ricerca] 1. Percentuale dei docenti che non hanno pubblicato negli ultimi 5 anni (inattivi) 2. Produzione scientifica per area degli ultimi 10 anni/docenti di ateneo 3. Numero di premi nazionali e internazionali 4. Attività di divulgazione scientifica e culturale 5. Fellow (o equivalenti) di società scientifiche 6. Rapporto numero progetti in bandi competitivi/docenti dell ateneo negli ultimi 10 anni 7. Percentuale di prodotti negli ultimi 5 anni con coautori internazionali 8. Numero medio di tesi di dottorato per docente 9. Numero medio di brevetti per docente negli ultimi 10 anni 10. Rapporto fatturato conto terzi e progetti di ricerca vinti in bandi competitivi/numero docenti negli ultimi 10 anni 11. Numero spin off degli ultimi 10 anni 12. Numero di attività extra moenia collegate alle aree di ricerca (es. organizzazione di attività culturali o formative, gestione di musei e siti archeologici, organizzazione di convegni ) 13. Numero di mesi/uomo di docenti/ricercatori stranieri trascorsi in ateneo 14. Risultati VQR 37

38 D.c. AVA Riferimenti normativi[assicurazione della Qualità] 38

39 D.c. AVA Riferimenti normativi [Presidio della Qualità] 39

40 D.c.i. Autovalutazione [Commissioni Paritetiche] Le CP non si esprimono sulla Ricerca 40

41 D.c.ii. Valutazione [NUV] 41

42 D.c.iii. Accreditamento [ANVUR] 42

43 E. References 1. Valutare la ricerca? Capire, applicare, difendersi. Aa.Vv. A cura di: Paolo Miccoli, Adriano Fabris. Edizioni ETS 2. Research Assessment Exsercise RAE ( 3. Reseach Excellence Framework REF2014 ( 4. Return On Academic ReSearch ( 5. ANVUR ( 6. VTR ( 7. VQR ( 43

44 44