L attività di valutazione svolta dal Comitato di Valutazione del CRA. Roma, 21 febbraio 2012

Transcript

1 L attività di valutazione svolta dal Comitato di Valutazione del CRA 1

2 Riferimenti normativi Statuto art. 6 - Comitato di Valutazione comma 1 - Le attività scientifiche e i risultati conseguiti dalle Strutture di ricerca e dai Dipartimenti, di cui al successivo art. 20, vengono valutati da un Comitato di Valutazione secondo criteri e modalità operative indicati nel regolamento di organizzazione e funzionamento del C.R.A. e nel rispetto di quanto stabilito dal CIVR ai sensi dell art. 5 del D.L.vo 5 giugno 1998, n omissis art. 9 - Consiglio di Amministrazione comma 2 - Il Consiglio di Amministrazione istituisce il Comitato di Valutazione della ricerca di cui al precedente art. 6. Regolamento di Organizzazione Funzionamento art Valutazione delle Strutture di ricerca e dei Dipartimenti L attività scientifica complessiva del C.R.A e i risultati conseguiti dalle Strutture di ricerca e dai Dipartimenti sono valutati dal Comitato di Valutazione di cui all art. 6 dello Statuto, omissis. Il Comitato di Valutazione è costituito con delibera del Consiglio di Amministrazione ed è composto da cinque esperti esterni al C.R.A. Omissis. Dei risultati della valutazione si tiene conto in sede di programmazione e assegnazione delle risorse umane e finanziarie, in sede di rinnovo degli incarichi di direzione nonché ai fini della conferma, trasformazione, fusione o soppressione delle Strutture di ricerca e dei Dipartimenti. 2

3 Componenti del CdV 1. Marilena Cipollaro (Presidente) Professore Associato 2 Università di Napoli - Facoltà di Medicina e Chirurgia, Dipartimento di Medicina Sperimentale 2. Luca Corelli Grappadelli Professore Ordinario Alma Mater Studiorum, Università degli Studi di Bologna, Dipartimento di Colture Arboree 3. Paolo Cupo Professore Ordinario - Università degli Studi di Napoli Federico II, Dipartimento di Economia e Politica Agraria 4. Emanuele Marconi Preside della Facoltà di Agraria - Università degli Studi del Molise, Dipartimento di Scienze e Tecnologie Agro-alimentari, Ambientali e Microbiologiche 5. Paolo Raddi CNR, Istituto per la Protezione delle Piante - Firenze 3

4 Riunioni 80 Riunioni: Dal 10 gennaio 2006 al 13 gennaio riunione in videoconferenza con i Direttori delle strutture per illustrare i principi ed i criteri da applicare all Autovalutazione delle Strutture Per ciascuna delle 80 riunioni è stato redatto un resoconto disponibile in formato elettronico

5 Compiti del CdV CdA - Delibere n 24/2005 e 62/2010 LINEE GUIDA per l operato del Comitato di Valutazione Elabora criteri e indicatori per la valutazione delle Strutture di ricerca e dei progetti Elabora metodi e procedure di monitoraggio delle attività di ricerca che consentano alle Strutture un esercizio di autovalutazione con cadenza annuale Collabora con l Amministrazione centrale del CRA nella definizione di struttura e contenuti di banche dati sulle attività di ricerca Redige il rapporto annuale sulle attività di ricerca e sullo stato delle Strutture del CRA Redige il rapporto di valutazione triennale, con allegato executive summary, da elaborarsi secondo le indicazioni del CIVR/ANVUR Elabora il progetto per l autovalutazione e la valutazione esterna dell operosità di ricercatori e tecnologi Elabora criteri e metodi di valutazione dell attività svolta dai Direttori dei Centri e delle Unità di ricerca 5

6 Documenti prodotti 1. Linee Guida per la valutazione delle Strutture e dei Progetti di ricerca (Approvato dal CdA nella seduta del 28 febbraio/1 marzo 2007) 2. Metodi e procedure di monitoraggio per l autovalutazione delle strutture di ricerca e sperimentazione del CRA MV-Strutture (1 stesura luglio 2009; 2 stesura luglio 2011) 3. Linee Guida per la Valutazione dell operosità dei Ricercatori e dei Tecnologi afferenti alle Strutture di Ricerca e Sperimentazione del CRA (versione definitiva settembre 2011) 4. Procedura operativa per l applicazione del TEST di Autovalutazione dell operosità di Ricercatori e Tecnologi afferenti alle Strutture di Ricerca e Sperimentazione del CRA (versione definitiva settembre 2011) 5. Criteri e Metodi di Valutazione dell attività svolta dai Direttori delle Strutture di ricerca e sperimentazione del CRA MV Direttori (versione definitiva novembre 2011) 6

7 Attività di valutazione svolta 1. Valutazione delle strutture anno 2008 (Rapporto annuale di valutazione) 2. Valutazione delle strutture anno 2009 (Rapporto annuale di valutazione) 3. Valutazione delle strutture anno 2010 (Attività in itinere) 4. Valutazione dell attività svolta da 1 direttore di Dipartimento 5. Valutazione dell attività svolta da 10 direttori di Centri di ricerca 7

8 Rapporti con il CIVR / ANVUR A norma dell art. 6 dello Statuto del CRA l attività del Comitato di Valutazione è allineata a quanto stabilito e realizzato dal Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) Il CIVR (ora ANVUR) rappresenta l organo indipendente deputato alla valutazione delle Università e degli Enti di ricerca vigilati da MIUR Incontro CdV-CIVR (8 gennaio 2008) finalizzato ad un confronto: - sui criteri di valutazione delle strutture - sui criteri di valutazione dei ricercatori Sono stati attivati contatti con l ANVUR per allineare gli esercizi di valutazione 8

9 Valutazione delle Strutture del CRA Documento applicativo 9

10 Valutazione delle Strutture del CRA - CRITERI Criteri Aspetti analizzati N Indicatori Finanziario peso: 0,30 Strutturale peso: 0,15 Gestionale peso: 0,15 Scientifico peso: 0,40 Composizione delle fonti di finanziamento: - Finanziamento ordinario - Finanziamento non ordinario, nazionale ed internazionale Ricercatori e Tecnologi (ETP) Finanziamento per ETP (Ricercatori + Tecnologi) Precarietà degli addetti Preparazione scientifica risorse umane Spese sostenute per la ricerca Personale strutturato Apparecchiature ed impianti Prodotti della ricerca (valutazione quanti-qualitativa) Brevetti, privative, iscrizioni Attività formativa e didattica Relazioni internazionali Attività Divulgativa Attività di Consulenza Attività di Servizio

11 Prodotti della ricerca Assegnazione di un peso in funzione della categoria del prodotto scientifico (libri, capitoli, riviste, atti di convegni, brevetti, privative ecc.) Utilizzo dell Impact Factor quale indicatore bibliometrico (quartili) Abbonamento alla banca dati ISI WoS

12 Valutazione delle Strutture del CRA Comitato di Valutazione del CRA MV - Strutture Servizio monitoraggio Monitoraggio e Valutazione valutazione Autovalutazione Centri e Unità di ricerca Rapporto di Valutazione Annuale Compito istituzionale del CdV, propedeutico alla Valutazione Triennale 12

13 Valutazione delle Strutture del CRA 1 Valutazione oggettiva (numerica) dipendente dal risultato degli Indicatori 2 Relazione del Direttore della Struttura: a) Analisi esplicativa dei risultati della valutazione oggettiva b) Indicazione dei Punti di forza e di debolezza c) Richieste e proposte Procedura di Autovalutazione 3 Rapporto di valutazione annuale Valutazione esterna svolta dal CdV 4 Valutazione Triennale delle Strutture da elaborare secondo le Linee guida 13

14 Rapporti di valutazione annuale Documento in corso di realizzazione 14

15 Risultati dell applicazione della procedura di Autovalutazione delle Strutture

16 Risultati autovalutazione

17 Risultati autovalutazione

18 Risultati autovalutazione

19 Valutazione dei Ricercatori/Tecnologi Documento applicativo 19

20 Valutazione dei Ric./Tec. - CRITERI Criteri Competenza riconosciuta Peso (criteri) livello livello livello 0,10 0,20 0,30 Competenza scientifica Aspetti analizzati N Indicat. - Coordinamento Progetti o Responsabilità di Unità Operativa - Valutazione progetti - Appartenenza ad editorial board, consigli di società scientifiche - Revisione articoli scientifici - Relazioni ad invito e presidenza si di sessioni in convegni - Premi e riconoscimenti Competenza professionale - Svolgimento di consulenze - Svolgimento di attività di servizio 8 2 Continuing Education 0,10 0,10 0,10 Formazione (post-laura del Ric./Tec. e formazione impartita) Attività divulgativa (interviste, presentazioni on-line, ecc.) Attività organizzativa (di eventi, workshop, giornate dim., ecc.) 4 Produttività 0,75 0,55 0,35 Qualità della produzione scientifica selezionata Quantità e qualità della produzione scientifica 2 Acquisizione risorse finanziarie 0,05 0,15 0,25 Acquisizione risorse finanziarie internazionali Acquisizione risorse finanziarie nazionali Acquisizione risorse finanziarie locali Acquisizione di altre risorse finanziarie 4 20

21 Valutazione dell attività di direzione Criteri Aspetti analizzati Efficacia dell attività scientifica Performance del Direttore nel promuovere e nell organizzare le attività scientifiche della Struttura che dirige, compresa la gestione efficiente delle aziende agrarie sperimentali e dei laboratori Risultati conseguiti dalla Struttura di ricerca Risultati conseguiti dalla Struttura di ricerca nell ambito della programmazione generale dell Ente 21

22 Goal Attività di Valutazione La Valutazione: ha stimolato le Strutture nel reperimento di finanziamenti esterni e nel migliorare la qualità della ricerca ha fornito informazioni utili per la riorganizzazione delle Strutture e per la riformulazione della missione delle singole Strutture ha prodotto una valutazione efficace ed efficiente delle Strutture a costi ridotti (la partecipazione alla VQR avrebbe richiesto con informazioni aggregate e poco significative per l articolazione delle strutture del CRA) ha condotto alla stesura di un documento sulla valutazione dell operosità dei Ricercatori/Tecnologi (esempio unico in Italia per istituzioni accademiche e di ricerca) potrà favorire l acquisizione di personale ricercatore/tecnologo qualificato ha prodotto una proficua interazione con il CIVR / ANVUR 22

23 Attività di supporto al Comitato di Valutazione Direzione Centrale Attività Scientifiche Riccardo Aleandri Servizio monitoraggio e valutazione Composizione: Mara Peronti Alessandra Pasquini Mara Sarlatto Monica Ranuzzi

24 Attività di supporto al Comitato di Valutazione Verbalizzazione delle riunioni Supporto tecnico nella predisposizione dei documenti del CdV Coordinamento dell applicazione delle procedure di valutazione Predisposizione dei supporti informatici, pre-compilazione e istruttoria Elaborazione dei risultati Attività di controllo e validazione delle pubblicazioni del CRA Interfaccia tra il CdV e le Strutture di ricerca Archivio cartaceo ed elettronico della documentazione del CdV

25 Problemi aperti 1. Migliore definizione della missione dei Centri e delle Unità 2. Problematiche relative alle microstrutture (non attendibilità della valutazione (vedi introduzione Rapporti ) 3. Rivisitazione della procedura di valutazione delle Strutture anche in relazione ai criteri attualmente stabiliti dall ANVUR 4. Rivisitazione della definizione di attività di servizio 5. ETP dei Ricercatori/Tecnologi in relazione all attività svolta 6. Visibilità dell attività di valutazione svolta dal CRA 7. Potenziamento del Servizio monitoraggio e valutazione 8. Acquisizione di ulteriori banche dati (Scopus/SCImago) 9. Utilizzo di indicatori bibliometrici/peer review (costi) 25

26 Grazie per l attenzione 26