Metodi e procedure per l autovalutazione delle Strutture di ricerca e sperimentazione del CRA Attività MV Strutture 2013.

Transcript

1 Metodi e procedure per l autovalutazione delle Strutture di ricerca e sperimentazione del CRA Attività 2013 MV Strutture 2013 elaborate dal Comitato di Valutazione con il supporto del Servizio Programmazione scientifica e relazioni internazionali - maggio

2

3 Indice Premessa...4 Metodologia per l Autovalutazione delle Strutture di Ricerca e Sperimentazione del CRA...7 Allegato 1. Utilizzo del file Excel (sigla Struttura)_AUTOVALUTAZIONE Allegato 2. Valutazione Oggettiva...20 Allegato 3. Valutazione dei prodotti scientifici - Categorie ISI...21

4 Premessa L art. 6 dello Statuto (Comitato di Valutazione) prevede che le attività scientifiche e i risultati conseguiti dalle Strutture di ricerca e dai Dipartimenti, di cui al successivo art. 20, vengano valutati da un Comitato di Valutazione secondo criteri e modalità operative indicati nel regolamento di organizzazione e funzionamento del CRA e nel rispetto di quanto stabilito dal CIVR ai sensi dell art. 5 del D.L.vo 5 giugno 1998, n I criteri di valutazione, resi noti a priori, dovranno risultare coerenti con le finalità e gli indirizzi assunti dal CRA. Il Consiglio di Amministrazione del CRA nella seduta del 29 aprile 2010 ha aggiornato le Linee Guida per l operato del Comitato di Valutazione (CdV) già approvate con delibera n 24/05, che vengono di seguito richiamate: Più specificamente il Comitato di Valutazione: 1. Elabora, tenendo conto delle linee guida elaborate dal CIVR, criteri e indicatori per i processi di valutazione di programmi e Strutture coerenti con le finalità e gli indirizzi assunti dal CRA; i criteri di valutazione vengono comunicati alle Strutture di ricerca prima del periodo cui la valutazione si riferisce. 2. Elabora metodi e procedure di monitoraggio delle attività di ricerca (in particolare metodologie applicabili ai singoli progetti), delle attività di trasferimento dell innovazione, dei percorsi di valorizzazione del capitale umano che consentano alle Strutture un esercizio di autovalutazione con cadenza annuale che dia risultati coerenti e comparabili all interno del Consiglio per la ricerca e la sperimentazione in agricoltura. 3. Collabora con l Amministrazione centrale del CRA nella definizione di struttura e contenuti di banche dati sulle attività di ricerca che siano d appoggio al monitoraggio e alle valutazioni periodiche. 4. Sulla base delle relazioni di autovalutazione e dei dati oggettivi rilevati dall Amministrazione centrale, redige un rapporto annuale sulle attività di ricerca e sullo stato delle Strutture del CRA che contenga, oltre a valutazioni retrospettive, anche indicazioni sulle misure opportune per un miglioramento continuo della qualità. In particolare tale rapporto annuale dovrà contenere indicazioni utili per una migliore programmazione, per una più efficace assegnazione delle risorse umane e finanziarie, per il rinnovo degli incarichi di direzione, nonché ai fini della conferma, trasformazione, fusione o soppressione delle Strutture di ricerca e dei Dipartimenti. 5. E responsabile, per conto del Consiglio per la ricerca e la sperimentazione in agricoltura, della redazione del rapporto di valutazione triennale, con allegato executive summary, da elaborarsi secondo le indicazioni del CIVR. 6. Elabora un progetto per l autovalutazione e la valutazione esterna dell operosità di ricercatori e tecnologi in analogia a quanto avviene nelle maggiori Istituzioni di ricerca di altri Paesi. 7. Elabora criteri e metodi di valutazione dell attività svolta dai Direttori dei Centri e delle Unità di ricerca. Uno dei primi compiti portati a termine dal CdV è stato l elaborazione delle Linee guida per la valutazione delle Strutture e dei Progetti di ricerca approvate dal Consiglio di Amministrazione del CRA nella seduta del 1 marzo Le Linee guida sono reperibili all indirizzo: 4

5 Per la loro realizzazione il CdV si è ispirato alle Linee guida del CIVR, così come prescritto dal Decreto legislativo 29 ottobre 1999, n. 454, ma ha introdotto o modificato criteri e indicatori in modo da tenere conto della specificità del CRA, ovvero della sua missione prevalentemente focalizzata su ricerca orientata ed applicata, dell attenzione che esso deve dedicare allo sviluppo di conoscenze rapidamente traducibili in innovazione per le imprese, del suo ruolo di consulente per la Pubblica Amministrazione. Le Linee guida per la valutazione delle Strutture e dei Progetti di ricerca definiscono, tra l altro, i criteri e gli indicatori per la valutazione triennale delle Strutture. Per la loro applicazione, tuttavia, occorre procedere preventivamente alla valutazione annuale delle stesse Strutture che, peraltro, costituisce uno dei compiti del CdV, richiamato al punto 2 delle Linee Guida per l operato del Comitato di Valutazione. Tale valutazione prende in considerazione anche l analisi dell autovalutazione che ogni Struttura, per il tramite del direttore, è tenuta a fornire, con cadenza annuale, al CdV. Nel presente documento viene quindi descritta la metodologia per l autovalutazione annuale delle Strutture di ricerca e sperimentazione del CRA, che si basa sui criteri già previsti dalle Linee guida per la valutazione delle Strutture e dei Progetti di ricerca per l esercizio di valutazione triennale delle Strutture. A seguito della valutazione riferita al 2012, nella quale era stato introdotto in via sperimentale il criterio relativo all attività di trasferimento, il CdV ritiene necessario prolungare per un ulteriore esercizio di valutazione la fase di sperimentazione, al fine di poter meglio attribuire soglie e pesi tra i vari indicatori del criterio. Perciò anche per la valutazione delle strutture dell anno 2013 tale criterio sarà considerato solo in via sperimentale e non sarà utilizzato nella valutazione complessiva. Alla predisposizione del presente documento e dei relativi moduli informatici per la raccolta delle informazioni ha collaborato il Servizio Programmazione scientifica e relazioni internazionali. I componenti del Comitato di Valutazione Marilena Cipollaro, Luca Corelli Grappadelli, Paolo Cupo, Emanuele Marconi, Paolo Raddi 5

6

7 Metodologia per l Autovalutazione delle Strutture di Ricerca e Sperimentazione del CRA La procedura di autovalutazione, coordinata dal Servizio programmazione scientifica e relazioni internazionali e applicata dai Direttori delle Strutture di ricerca, deve consentire al CdV di disporre delle seguenti informazioni: 1. nome e missione del Centro o dell Unità, come da Piano di riorganizzazione e razionalizzazione del CRA ; 2. settori scientifico disciplinari (SSD) dei Ricercatori / Tecnologi (R/T) di ruolo in servizio presso la Struttura; 3. valutazione oggettiva derivante dalla procedura di calcolo, che considera i valori assunti dai criteri e dagli indicatori definiti dal CdV. Per tale valutazione vengono considerati solo alcuni indicatori ai quali viene attribuito un giudizio di valore univoco; 4. analisi esplicativa dei risultati derivanti dalla valutazione oggettiva che tenga conto anche di altri fattori, compreso il risultato degli indicatori non utilizzati nella valutazione oggettiva; 5. indicazione dei punti di forza e di debolezza della Struttura; 6. richieste e proposte formulate in base ai risultati dell'esercizio di autovalutazione. La base di partenza della procedura di autovalutazione è rappresentata dalla quantificazione degli indicatori. Nella Tabella 1 sono indicati i criteri e gli indicatori. Ad essa seguono le note esplicative per una migliore comprensione dei fattori che concorrono alla loro determinazione. Le informazioni necessarie per la quantificazione degli indicatori sono in parte fornite dalla Sede centrale del CRA e, in parte, indicate dal Direttore della Struttura. Il Direttore della Struttura si assume la responsabilità della correttezza e veridicità delle informazioni a qualsiasi titolo trasmesse ai fini della autovalutazione, ivi inclusa la classificazione dei prodotti scientifici. 7

8 Tabella 1: Indicatori per la valutazione delle Strutture (gli indicatori nelle celle a fondo grigio non concorrono al calcolo della valutazione oggettiva) CRITERI Sub-Criteri Aspetto analizzato INDICATORI Struttura Indicatori Peso indicatori rispetto al CRITERIO di appartenenza Peso indicatori rispetto alla VALUTAZIONE COMPLESSIVA Classi di valore degli Indicatori PUNTEGGIO > 80,00% 0 Composizione delle fonti di finanziamento Dipendenza finanziaria Indicatore di dipendenza finanziaria Finanziamento ordinario (1) / Entrate totali (3) 80,00% 28,00% 71,00% - 80,00% 1 61,00% - 70,99% 2 < 61,00% 3 Composizione delle fonti di finanziamento Autonomia finanziaria totale Indicatore di capacità di autofinanziamento (attrazione risorse esterne) Finanziamenti nazionali ed internazionali non ordinari (2) / Entrate totali (3) Criterio Finanziario Peso: 35% Composizione delle fonti di finanziamento Autonomia finanziaria nazionale Indicatore di finanziamento nazionale esterno Finanziamenti nazionali non ordinari (2) / Entrate totali (3) < 1,00% 0 Composizione delle fonti di finanziamento Autonomia finanziaria internazionale Indicatore di finanziamento internazionale esterno Finanziamenti internazionali non ordinari (2) / Entrate totali (3) 20,00% 7,00% 1,00% - 1,99% 1 2,00% - 3,00% 2 > 3,00% 3 8

9 CRITERI Criterio Strutturale Peso: 20% Sub-Criteri Composizione delle risorse umane Dimensione finanziaria Composizione delle risorse umane Impiego delle risorse umane Impiego delle risorse finanziarie Aspetto analizzato Dotazione di capitale umano R/T totale Dotazione di capitale monetario Incidenza del capitale umano non strutturato Impiego per ricerca e sperimentazione Impiego per adeguamento tecnologico INDICATORI Struttura Indicatori Peso indicatori rispetto al CRITERIO di appartenenza Peso indicatori rispetto alla VALUTAZIONE COMPLESSIVA Indicatore di dimensione ETP totale (4) Indicatore di finanziamento non ordinario per ETP (5) Indicatore di finanziamento ordinario per ETP (5) Indicatore di finanziamento totale per ETP (5) Indicatore di precarietà degli addetti per la ricerca e la sperimentazione Indicatore di impiego delle risorse umane nella ricerca e sperimentazione Indicatore di acquisizione di apparecchiature ed impianti scientifici Finanziamento non ordinario (2) / ETP totale (4) Finanziamento ordinario (1) / ETP totale (4) 80% 16% Entrate totali (1) / ETP totale (4) Disponibilità di laureati non strutturati (6) / (Disponibilità di laureati non strutturati + ETP strutturato) ETP strutturato (4) / Disponibilità del personale strutturato (7) N di apparecchiature ed impianti scientifici acquisiti con fondi ordinari e non ordinari (8) 20,00% 4,00% Classi di valore degli Indicatori PUNTEGGIO < , , , , ,00 2 > , > 2 3 9

10 CRITERI Sub-Criteri Aspetto analizzato INDICATORI Struttura Indicatori Peso indicatori rispetto al CRITERIO di appartenenza Peso indicatori rispetto alla VALUTAZIONE COMPLESSIVA Classi di valore degli Indicatori PUNTEGGIO Produzione scientifica e tecnologica Quantità della produzione scientifica Quantità della produzione tecnologica Indicatore di quantità della produzione scientifica Indicatore di produzione di innovazione Somma ponderata dei prodotti scientifici e divulgativi (9) / ETP totale (4) Somma ponderata dei prodotti tecnologici (10) / ETP totale (4) 45,00% 20,25% 20,00% 9,00% < 70,0 70,00-150, ,01-200,00 2 > 200,00 3 < 10,0 10,00-20, ,01-30,00 2 > 30, ,33 0 Criterio Scientifico Peso: 45% Organizzazione Indicatore di attività organizzativa Attività organizzativa (11) svolta dai R/T / ETP totale (4) 5,00% 2,25% 0,34-0,66 1 0,67-0,99 2 > 0,99 3 Servizio e Consulenza Consulenza Indicatore di attività di consulenza Attività di consulenza (12) svolta dai R/T / ETP totale (4) 10,00% 4,50% 0,01-1,00 1 1,01-2,00 2 > 2,00 3 Servizio Indicatore di attività di servizio Attività di servizio (13) svolta dai R/T / ETP totale (4) 20,00% 9,00% 0,1-0,3 1 0,3-0,6 2 > 0,6 3 10

11 CRITERI Sub-Criteri Aspetto analizzato INDICATORI Struttura Indicatori Peso indicatori rispetto al CRITERIO di appartenenza Peso indicatori rispetto alla VALUTAZIONE COMPLESSIVA Classi di valore degli Indicatori PUNTEGGIO Attività di trasferimento Divulgazione Indicatore di attività di divulgazione Numero di Schede risultato compilate (14) / ETP totale (4) X X X X Criterio Trasferimento Peso: Attività di trasferimento Animazione Indicatore di attività di animazione Numero di Comunità di Pratica (CdP) animate (15) / ETP totale (4) X X X X Attività di trasferimento Affiancamento Indicatore di attività di affiancamento Numero di attività di affiancamento (16) / ETP totale (4) X X X X 11

12 Note (1) Finanziamento ordinario - Riepilogo dei fattori che concorrono a determinarlo: Trasferimenti a preventivo per il funzionamento Altri trasferimenti su Ob.Fu Stipenti personale di ruolo Reperimento dati a cura di: (2) Finanziamenti nazionali e internazionali non-ordinari - Le Entrate considerate sono quelle riguardanti: A. Progetti di ricerca nazionali e internazionali N.B. un progetto verrà considerato internazionale quando il partenariato scientifico (coordinatore del progetto o responsabile di Unità operativa) è internazionale. B. Attività c/terzi C. Strumenti formativi non ricompresi nei progetti di ricerca D. Royalty A. Il calcolo delle Entrate sui Progetti di ricerca nazionali e internazionali (Ob.Fu. 1., 2., e 9.) viene effettuato dalla Sede centrale utilizzando le banche dati disponibili. Il calcolo è il seguente: Entrata = contributo concesso n mesi svolgimento attività x n mesi relativi all anno di valutazione Il contributo concesso corrisponde all importo complessivo erogato dall ente finanziatore. Il calcolo del n mesi svolgimento attività viene effettuato tenendo conto: della data di inizio attività, che corrisponde alla data dell atto di concessione, a meno che non risulti diversamente specificata; della data di fine attività, che corrisponde alla data di fine indicata nell atto di concessione oppure, a quella calcolata sommando alla data di inizio la durata del progetto. La data di fine progetto per proroga non è considerata ai fini di questo calcolo. Il n mesi relativi all anno di valutazione, sono i mesi di vita del progetto durante l anno di valutazione. B. Il calcolo delle Entrate riguardanti le attività c/terzi (Ob.Fu. 3) viene effettuato dalla Sede centrale utilizzando le banche dati disponibili, secondo la seguente procedura: Entrate c/terzi = Accertato di competenza + Avanzo iniziale Avanzo finale C. Il calcolo delle Entrate relative agli Strumenti formativi deve essere effettuato dalle Strutture di ricerca. Vanno considerati solo quegli strumenti che hanno un loro specifico finanziamento, indipendente dai progetti di ricerca. Quelli che vengono finanziati con entrate derivanti dai progetti non devono essere inseriti, in quanto già ricompresi nel finanziamento del progetto stesso. Il Direttore della Struttura, per ciascuno Strumento formativo attivato, dovrà indicare: - Codice Obiettivo Funzione (Ob.Fu.) - Descrizione dello strumento formativo e nominativo del destinatario - Ente finanziatore - Contributo totale - Data inizio (corrispondente all erogazione del primo stipendio) - Data fine (corrispondente alla data a cui verrà erogato l ultimo stipendio) - N mesi di attività relativi all anno di valutazione. 12

13 D. Il calcolo delle Entrate relative alle Royalty viene effettuato dalla Sede centrale utilizzando i dati inseriti nel programma di contabilità. Le informazioni riguardano: - Descrizione, ossia l oggetto della Royalty; - Utilizzatore, ossia chi paga per lo sfruttamento di una varietà iscritta ai registri, di una privativa o di un brevetto; - Importo, ossia le entrate per l anno di valutazione. E compito del Direttore della Struttura verificare l esattezza dei dati finanziari, sia nel caso in cui siano stati inseriti dalla Sede centrale, che indicati dall amministrazione della sua Struttura. (3) Entrate totali - Riepilogo delle voci che concorrono a determinarle: Finanziamento ordinario (si veda nota 1) Finanziamenti nazionali ed internazionali non ordinari (si veda nota 2) (4) ETP - Equivalente Tempo Pieno Il valore dell ETP è posto pari a 1 sia per il Direttore della Struttura, che per i R/T a tempo indeterminato (t.i.) e a tempo determinato (t.d.) L ETP totale viene così calcolato: ETP totale = ETP R/T strutturati + ETP R/T non strutturati Nel caso in cui risultasse un valore ETP < 1, nei calcoli verrà posto pari a 1; ciò al fine di non innalzare artificiosamente il valore di tutti gli indicatori nei quali questo parametro è posto al denominatore. (5) Indicatore di finanziamento per ETP Questo indicatore ha una triplice valenza: considera le entrate nel loro complesso e distinte tra ordinarie e non ordinarie. (6) Disponibilità di laureati non strutturati Per personale laureato non strutturato si intende il numero di: borsisti, assegnisti, dottorandi, contrattisti a progetto, co.co.co, co.co.pro. ed eventuali altri profili a t.d. che si dedicano ad attività di ricerca / sperimentazione. Per ciascuno di essi la presenza è normalizzata in termini di ETP, in quanto si tiene conto sia dei mesi lavorati, sia della tipologia del rapporto di lavoro (a tempo pieno o part-time). (7) Disponibilità del personale strutturato Per disponibilità di personale strutturato si intende il numero complessivo del personale strutturato, sia tecnico-scientifico che amministrativo, presente nella Struttura, normalizzato in termini di ETP. (8) N di apparecchiature ed impianti scientifici Per poter valutare l adeguamento tecnologico delle Strutture, vengono considerate le attrezzature acquistate nell anno (così come risulta dalla data della fattura), di valore uguale o superiore a ,00 (IVA compresa), sia con fondi ordinari che che con fondi provenienti dai progetti di ricerca. 13

14 (9) Somma ponderata dei prodotti scientifici e divulgativi Il calcolo della Somma ponderata dei Prodotti scientifici e divulgativi è basato sulla classificazione del prodotto editoriale di ciascun lavoro scientifico. A tal fine si fa riferimento alle categorie e ai pesi presenti nella Tabella 2: Prodotti della ricerca Classificazione (pagg ). Nella procedura di valutazione delle Strutture, i lavori scientifici per essere considerati devono soddisfare le seguenti condizioni: almeno un R/T a t.i. o a t.d. deve figurare tra gli autori e deve essere presente nella Struttura nell anno di pubblicazione del lavoro scientifico. i riferimenti bibliografici devono contenere le seguenti informazioni: - Autore/i - Titolo - Titolo Rivista / Libro / Atti di convegno - Classificazione del prodotto editoriale - N. Volume e/o N. Rivista - Pagine - Editore - Codice ISSN o ISBN - Anno Inoltre, nel caso delle pubblicazioni ricadenti nell Area 2 Pubblicazioni su riviste ISI, devono essere riportate anche le seguenti informazioni: Valore dell IF della rivista. Sarà quello indicato nella banca dati ISI JCR, riferito all anno precedente quello di valutazione. Categoria di appartenenza della rivista all interno della banca dati ISI JCR. Nel caso in cui la rivista appartenga a più categorie, dovrà essere indicata quella di maggiore pertinenza rispetto al contenuto dell articolo. nel caso in cui non sia fruibile on-line, i ricercatori devono rendere disponibile copia del loro lavoro in formato PDF, allegandolo alla scheda informatica della banca dati Monitor o inviandolo al Servizio Trasferimento della conoscenza (S-4). Nel caso dei capitoli di libri, oltre al PDF del capitolo stesso, si dovrà disporre anche del PDF della copertina, del frontespizio, del colophon e dell indice; nel caso dei libri o manuali si dovrà disporre del PDF solo di queste ultime informazioni. L'assenza di una sola delle informazioni suddette comporta l'automatica esclusione del prodotto scientifico dalla valutazione. (10) Somma ponderata dei Prodotti tecnologici Il calcolo della Somma ponderata dei Prodotti tecnologici è basato sulle categorie e sui pesi riportati nella Sezione Prodotti TECNOLOGICI della Tabella 2: Prodotti della ricerca Classificazione (pag. 17). Ai fini della valutazione delle Strutture vengono considerati solo i Prodotti tecnologici i cui autori sono i R/T a t.i. o a t.d.. Per i brevetti e le privative si fa riferimento alla data della domanda; per le iscrizioni ai registri varietali si fa riferimento alla data del decreto. Gli Spin-off, vengono considerati a partire dall anno di costituzione e per tutto il periodo del sostegno del CRA, indicato nella convenzione. (11) Attività organizzativa Numero di: convegni, congressi, workshop, seminari organizzati dal personale R/T a t.i. o a t.d., appartenente alla Struttura. L organizzazione di questi eventi viene considerata solo nel caso in cui uno o più R/T a t.i. o a t.d. della Struttura siano esplicitamente coinvolti nel comitato organizzativo. Ciò deve risultare in maniera chiara dalla descrizione sintetica che deve esserne fatta. Inoltre, gli estremi dei documenti indicanti l attività dovranno essere compiutamente specificati. 14

15 (12) Attività di consulenza Sono considerate Attività di consulenza quelle effettuate dai R/T a t.i. o a t.d. per la partecipazione a Commissioni, Comitati, Gruppi di lavoro, ecc., nell ambito del rapporto di lavoro con il CRA. Pertanto gli incarichi extra-istituzionali disciplinati nel Regolamento CRA reperibile all indirizzo: li.pdf, poiché svolti a favore di enti pubblici o di soggetti privati al di fuori del rapporto di lavoro con il CRA, non sono presi in considerazione. Per quanto detto, le indicazioni fornite e gli estremi dei documenti a supporto delle attività dichiarate devono indicare in maniera inequivocabile la natura delle attività stesse. (13) Attività di servizio svolta Sono considerate Attività di servizio quelle autorizzate alle Strutture di ricerca, sulla base di un decreto o di un atto formale di affidamento, da parte di organismi pubblici e/o amministrazioni dello Stato, anche se svolte saltuariamente. Nel novero delle Attività di servizio non devono essere indicati gli incarichi c/terzi e i contratti/convenzioni a titolo oneroso. (14) Schede Risultato N di schede descrittive dei risultati delle ricerche condotte nell ambito dei progetti del CRA che, nella banca dati MONITOR, hanno ottenuto lo stato di pubblicato. (15) Comunità di Pratica (CdP) N di CdP animate. Per animazione si intende la gestione di un gruppo di lavoro tematico costituito tra R/T del CRA e portatori di interesse per lo scambio di esperienze tecnico-pratiche, tramite una piattaforma informatica dedicata. Il dato viene ricavato da tale piattaforma. (16) Attività di affiancamento N. di eventi organizzati sul territorio (incontri tecnici) con i portatori di interesse e con l ausilio della piattaforma informatica, su una specifica tematica affrontata. Questi incontri tecnici non sono da includere nelle attività organizzative della Struttura. 15

16 Tabella 2: Prodotti della ricerca - Classificazione Prodotti SCIENTIFICI e DIVULGATIVI Area 1: Libri, capitoli, monografie, altri prodotti editoriali Peso relativo Libri scientifici e monografie in collane editoriali a diffusione internazionale Libri scientifici e monografie in collane editoriali a diffusione nazionale Capitoli di libro scientifico in collane editoriali a diffusione internazionale Capitoli di libro scientifico in collane editoriali a diffusione nazionale Recensioni critiche Voci enciclopediche 30 Area 2: Pubblicazioni su riviste ISI-JCR suddivise per categoria (subject category index) nei seguenti gruppi percentili, in funzione dei valori di IF IF >75 percentile percentile <= IF <= 75 percentile percentile <= IF < 50 percentile IF < 25 percentile 70 Area 3: Articoli su altre riviste ISSN (non ISI-JCR) Articoli su altre riviste a diffusione nazionale con revisori Articoli su altre riviste a diffusione internazionale con revisori Articoli su altre riviste a diffusione nazionale senza revisori Articoli su altre riviste a diffusione internazionale senza revisori Articoli su riviste di interesse locale o su riviste divulgative 1 Area 4: Abstract, Riassunti, Poster Ai fini della valutazione i prodotti di quest Area non vengono considerati Abstract, Riassunti, Poster a congressi nazionali Abstract, Riassunti, Poster a congressi internazionali 0 Area 5: Atti di Congressi Articoli su Atti di Congressi nazionali Articoli su Atti di Congressi internazionali 10 Area 6: Prodotti specifici di area Carte tematiche originali pubblicate su riviste scientifiche Carte tematiche riassuntive o derivate pubblicate su riviste scientifiche Prototipi Protocolli, linee guida, disciplinari Prodotti scientifici di tipo informatico Bollettini con frequenza almeno mensile Altri bollettini Rapporti di prova (questo tipo di documentazione scientifica può essere considerata solo se scaturisce dalle attività di un progetto di ricerca e non da attività c/terzi) 20 16

17 Prodotti SCIENTIFICI e DIVULGATIVI Area 7: Attività editoriale Peso relativo Cura di libri, di atti di convegni, di riviste a diffusione nazionale Cura di libri, di atti di convegni, di riviste a diffusione internazionale Traduzione di libro Manuali e libri a carattere divulgativo Capitoli di manuali e libri a carattere divulgativo 5 Prodotti TECNOLOGICI Area 8: Brevetti, Privative, Iscrizioni, Spin-off Brevetti, privative ed iscrizioni a registri nazionali 1 (coautore almeno un dipendente della Struttura) 8.2 Brevetti e privative internazionali (coautore almeno un dipendente della Struttura) Peso relativo 8.3 Costituzione di Spin-off 100 Riguardo la classificazione dei prodotti della ricerca si chiarisce che: le riviste sono classificate con revisori quando illustrano con sufficiente chiarezza il processo di revisione seguito; le riviste sono definite internazionali quando: - la diffusione è internazionale; - l Editorial Board è internazionale; - contengono contributi originali di autori stranieri; - sono presenti in biblioteche di Università / Istituzioni di ricerca e in Repertori bibliografici internazionali. L attribuzione della classificazione viene verificata dal CdV, di volta in volta, sulla base della presenza/assenza delle caratteristiche indicate. A tale riguardo si precisa che all indirizzo: è disponibile l ultima versione del documento Classificazione delle riviste con ISSN che non rientrano nel circuito ISI-JCR contenente l elenco completo ed aggiornato delle riviste utilizzate dai R/T del CRA con la corrispondente classificazione stabilita dal CdV. Inoltre, si precisa che: la procedura di valutazione delle Strutture non prende in considerazione gli abstract, i riassunti e i poster; i capitoli di libro non devono configurarsi come abstract/long abstract o atti di convegno; gli atti di convegno non devono configurarsi come abstract/long abstract e devono essere strutturati come una pubblicazione scientifica; se una rivista ha pubblicato Atti di convegni, la pubblicazione stessa dovrà essere classificata come Atti di congressi (Area 5) e non come Articoli su altre riviste ISSN (Area 3); Il termine nazionale fa riferimento alla valenza del titolo giuridico (brevetto o privativa) e dell iscrizione ai registri, nell ambito di un solo Stato (Italia o Paese estero). 17

18 i Meeting abstract e le lettere, anche se pubblicati su riviste del circuito ISI con IF, devono essere classificati come Abstract, Riassunti, Poster a Congressi internazionali; i lavori scientifici accettati, ma non ancora pubblicati, anche se in possesso del DOI, sono considerati solo per l anno di effettiva pubblicazione, ciò al fine di evitare doppie imputazioni su anni consecutivi. 18

19 Allegato 1. Utilizzo del file Excel (sigla Struttura)_AUTOVALUTAZIONE 2013 Per il calcolo degli indicatori va utilizzato il file Excel (sigla Struttura)_ AUTOVALUTAZIONE 2013 Questo file comprende sette fogli di lavoro, strutturati per accogliere le informazioni ed elaborarle in formato numerico. Nei primi quattro fogli il Direttore della Struttura dovrà compilare gli spazi contrassegnati in giallo; le celle con sfondo verde contengono le informazioni inserite dalla Sede centrale; le celle con sfondo bianco riportano i risultati dei calcoli. Si forniscono, di seguito, indicazioni specifiche relative ai singoli fogli: 1 - Finanziamenti non ordinari. Questo foglio si utilizza per l inserimento delle indicazioni riguardanti le entrate finanziarie. In questo foglio il Direttore dovrà verificare l esattezza e la completezza delle informazioni inserite dalla Sede centrale riguardanti: - i finanziamenti sui progetti sia nazionali che internazionali - le attività c/terzi - le royalty ed inserire le informazioni relative agli strumenti formativi. 2 - Riepilogo dati finanziari. In questo foglio vengono riepilogati i dati riguardanti il finanziamento ordinario e straordinario, il costo del personale e si effettua il calcolo delle Entrate totali. 3 - Tabelle calcoli. Questo foglio va utilizzato per l inserimento delle informazioni utili al calcolo dei diversi indicatori. 4 - Prodotti. In questo foglio il Direttore della Struttura dovrà: - verificare l esattezza e la completezza delle informazioni già presenti, riguardanti i Prodotti scientifici (Aree 1, 2, 3, 5, 7) e i Prodotti tecnologici; - inserire le informazioni sui prodotti scientifici e divulgativi che ricadono nell Area 6 (Prodotti specifici di area). 5 - Risultato indicatori. Questo foglio riepiloga le informazioni elaborate nei quattro fogli precedenti e mostra i risultato ottenuto da ciascun indicatore. In questo foglio non occorre compilare alcun campo. 6 - Pesi e punteggi. In questo foglio, che è solo di consultazione, è riportato il peso dei criteri e degli indicatori utilizzati per la valutazione oggettiva, nonché le classi di valori ed i punteggi relativi. 7 - Valutazione oggettiva. Questo foglio contiene i risultati relativi al calcolo di ciascun indicatore e il risultato complessivo della Valutazione oggettiva a cui corrisponde il giudizio di valore finale. In questo foglio non occorre compilare alcun campo. 19

20 Allegato 2. Valutazione Oggettiva Al calcolo della valutazione oggettiva partecipano i seguenti indicatori: 1. Indicatore di dipendenza finanziaria 2. Indicatore di finanziamento internazionale esterno 3. Indicatore di finanziamento non ordinario per ETP 4. Indicatore di acquisizione di apparecchiature ed impianti scientifici 5. Indicatore di quantità della produzione scientifica 6. Indicatore di produzione di innovazione 7. Indicatore di attività organizzativa 8. Indicatore di attività di consulenza 9. Indicatore di attività di servizio Del risultato dei restanti indicatori il CdV tiene conto in sede di predisposizione del Rapporto annuale. La valutazione oggettiva comprende: 1. una valutazione complessiva - espressa in valore assoluto, che viene calcolata sommando i punteggi ponderati raggiunti dai singoli criteri. Il giudizio di valore finale è articolato in quattro classi: INSUFFICIENTE SUFFICIENTE BUONO ECCELLENTE 0 punteggio 0,75 0,75 < punteggio 1,50 1,50 < punteggio 2,25 2,25 < punteggio 3,00 2. una valutazione per ogni singolo criterio - espressa in percentuale, che viene definita rapportando il punteggio ponderato raggiunto dal criterio al suo valore massimo. Il giudizio di valore è articolato in quattro classi. ECCELLENTE BUONO SUFFICIENTE INSUFFICIENTE >75,00 % 75,00% - 50,00% 49,99% - 25,01% 25,00 % 20

21 Allegato 3. Valutazione dei prodotti scientifici - Categorie ISI Le informazioni relative ai lavori scientifici pubblicati su riviste ISI vengono inserite nel Foglio 4 del file Excel - Area 2: Pubblicazioni su riviste ISI-JCR. Si tratta di un area dedicata ai lavori scientifici editi da riviste internazionali, i cui titoli sono inseriti nel Journal Citation Reports (JCR), una delle banche dati messa a punto dall Institute for Scientific Information (ISI). In questa banca dati le riviste sono aggregate in aree tematiche o categorie (subject category) e, per ciascuna, sono fornite delle indicazioni, fra cui, l Impact Factor (IF). Questo valore, per un determinato anno, è dato dal rapporto tra le citazioni che una rivista ottiene, riferite agli articoli in essa pubblicati nei due anni precedenti, e il numero di questi articoli. Considerando la struttura di questo rapporto, i valori dell IF di anno in anno possono subire delle variazioni. Poiché a seconda della categoria ISI considerata i valori dell IF sono distribuiti su range molto diversi, ai fini dell autovalutazione delle Strutture si procede con una normalizzazione che riconduce questi range a soli 4 intervalli. Pertanto l IF che viene considerato non è quello proprio della rivista, ma quello normalizzato in funzione della categoria. Il criterio di normalizzazione adottato dal CdV è quello utilizzato in JCR, che prevede la suddivisione di ciascuna categoria in quartili e l appartenenza dell IF delle riviste entro il 25 percentile (Q 4 ), tra il 25 e 50 percentile (Q 3 ), tra il 50 e 75 percentile (Q 2 ), e superiore al 75 percentile (Q 1 ). Sulla base di tali valori le riviste vengono ricondotte ad uno dei seguenti 4 gruppi a ciascuno dei quali viene attribuito un peso: IF > 75 percentile peso relativo pari a percentile IF 75 percentile peso relativo pari a percentile IF < 50 percentile peso relativo pari a 80 IF < 25 percentile peso relativo pari a 70 Riguardo la categoria di appartenenza è fondamentale tener presente che, nel caso in cui la rivista appartenga a più categorie, va considerata quella di maggiore pertinenza rispetto all articolo. Infine si evidenzia che i valori dell IF delle riviste utilizzati per la valutazione (e di conseguenza la loro posizione nelle classi normalizzate), sono quelli disponibili nella banca dati ISI JCR per l anno precedente a quello di valutazione. 21