LA VALUTAZIONE DELLA PROPOSTA IN HORIZON 2020 Barbara Pernati CNR Ufficio Supporto alla Programmazione Operativa tel. +39 010 6475 306 voip +39 06 4993 2312 e-mail barbara.pernati@cnr.it
AGENDA: - VALUTAZIONE NEL CICLO DI VITA DEL PROGETTO - RUOLO DEI VALUTATORI - FASI DEL PROCESSO DI VALUTAZIONE - CRITERI DI VALUTAZIONE - ALCUNI SUGGERIMENTI
LA VALUTAZIONE NELL ITER DEL PROGETTO UE 1. Idea progettuale 2. Creazione del consorzio 3. Scrittura del progetto 4. Sottomissione della proposta 5. Selezione e valutazione 7. Inizio dell attività
NOVITÀ NELLA VALUTAZIONE RISPETTO A FP7 PROPOSTE MULTI DISCIPLINARI/SETTORIALI Call for experts pubblicata a fine 2013 - Nuovi profili di esperti Più esperti per proposta Regole definite per il turnover di esperti (25% annuale) RIDUZIONE DEI TEMPI (TIME TO GRANT) Eliminata la negoziazione, valutazione basata sul merito della proposta, senza suggerimenti per modifiche sostanziali Multi-step (valutazione bloccata al mancato raggiungimento delle soglie minime) - Penalità per i valutatori che non rispettano i tempi e le scadenze
IL RUOLO DEI VALUTATORI IN H2020
COME VENGONO SCELTI I VALUTATORI? I valutatori sono scelti dal DATABASE degli esperti della Commissione CARATTERISTICHE dei valutatori: competenze di alto livello, esperienza e conoscenza nelle aree rilevanti non solo tecnico scientifiche ma anche trasversali (es. project management, innovazione, comunicazione, disseminazione e sfruttamento dei risultati) Viene garantito un BILANCIAMENTO di: Conoscenze, competenze, esperienza Provenienza geografica Genere Settore pubblico o privato (se rilevante) Turnover annuale Esperti di etica vengono coinvolti nella review etica (quando rilevante)
RUOLO DEI VALUTATORI 1) valuta le proposte sottomesse in risposta ad uno specifico bando con indipendenza, imparzialità, obiettività, accuratezza e coerenza 2) è responsabile in prima persona della valutazione, non può delegare nessuno e non rappresenta nessuno 3) deve rispettare le scadenze e i tempi indicati dalla Commissione 4) è legato a un impegno di confidenzialità, gli è fatto divieto di: - discutere della valutazione con altri (fatta eccezione per gli altri valutatori dello stesso panel) - contattare i partner dei consorzi coinvolti nella valutazione - rivelare i nomi degli altri valutatori - mostrare i documenti della valutazione
CONFLITTO DI INTERESSI Il valutatore non deve essere: coinvolto nella preparazione del progetto o avere un interesse diretto o indiretto nel successo del progetto parente di qualcuno che rappresenta un entità legale coinvolta nel progetto direttore fiduciario o partner di un proponente alle dipendenze di un proponente o di un subcontraente membro di un Advisory Group o Programme Committee nell ambito del bando rilevante National Contact Point coinvolto nella attività di Enterprise Europe Network
LA PROCEDURA DI VALUTAZIONE
CRITERI di AMMISSIBILITÀ L ammissibilità è verificata dalla Commissione/Agenzia Per essere ammessa alla valutazione la proposta deve essere: (a) Sottomessa nel sistema di sottomissione elettronica entro la scadenza stabilita dal bando (b) Completa (i.e. sia la parte amministrativa che la descrizione tecnica della proposta) (c) Leggibile, accessibile e stampabile Limiti di pagina chiramente definiti nella modulistica sul portale
Sottomissione della proposta Expert Expert Expert Expert Expert Scelta dei valutatori (almeno 3 esperti per proposta) Individual Assessment and Scoring Individual Assessment and Scoring Individual Assessment and Scoring Ripartizione proposte tra agli esperti Briefing degli esperti Individual Assessment Report (IAR) Consensus group discussion Individual Assessment Report (IAR) Individual assessment and scoring - Individual assessment Report (IAR) Consensus Report (CR) Panel Review Consensus group discussion and scoring -Consensus Report (CR) Panel Review - Evaluation Summary Report (ESR) Evaluation Summary Report (ESR)
FINALIZZAZIONE DELLA GRADUATORIA Le proposte sopra soglia in ogni topic vengono inserite nella lista delle proposte potenzialmente finanziabili La graduatoria finale (Final Rank List) viene predisposta dalla Commissione sulla base delle risorse disponibili Le proposte vengono finanziate secondo l ordine della graduatoria finché il budget non è esaurito I risultati della valutazione vengono trasmessi ai proponenti con l invio dell Evaluation Summary Report (ESR)
I CRITERI DI VALUTAZIONE
PARTE B Struttura COVER PAGE 1. EXCELLENCE 1.1 Objectives* 1.2 Relation to the work programme * 1.3 Concept and approach* 1.4 Ambition* 2. IMPACT 2.1 Expected impacts * 2.2 Measures to maximise impact LA PARTE B È STRUTTURATA SULLA BASE DEI CRITERI DI VALUTAZIONE a) Dissemination and exploitation of results b) Communication activities 3. IMPLEMENTATION 3.1 Work plan Work packages, deliverables and milestones 3.2 Management structure and procedures 3.3 Consortium as a whole 3.4 Resources to be committed 4. Members of the consortium 5. Ethics and Security
CRITERI DI VALUTAZIONE RIA & IA EXCELLENCE IMPACT QUALITY AND EFFICIENCY OF THE IMPLEMENTATION Chiarezza degli obiettivi; Bontà dell idea (incluse considerazioni transdisciplinari); Progresso oltre lo stato dell arte, potenziale di innovazione, ambizione Credibilità dell approccio proposto; impatto atteso tra quelli elencati nel WP capacità di innovazione e integrazione di nuove conoscenze; rafforzamento della competitività e crescita di compagnie attraverso lo sviluppo dell innovazione in risposta ai bisogni Europei e dei mercati globali; diffusione e sfruttamento dei risultati, comunicazione Coerenza del piano di lavoro, suddivisione di compiti e risorse; Competenze, esperienza e complementarietà dei partecipanti sia individualmente che come consorzio; Appropriatezza della struttura e delle procedure di management, risk management Nel primo step della procedura di sottomissione in due step sono valutati solo gli aspetti riportati in giallo
CRITERI DI VALUTAZIONE CSA I criteri sono adattati ai diversi tipi di azione, come specificato nel WP EXCELLENCE IMPACT QUALITY AND EFFICIENCY OF THE IMPLEMENTATION Chiarezza e pertinenza degli obiettivi; Bontà dell idea (incluse considerazioni transdisciplinari); Credibilità dell approccio proposto; Qualità della misure di coordinamento e supporto proposte Impatto atteso tra quelli elencati nel WP Efficacia delle misure proposte per la diffusione, comunicazione e sfruttamento dei risultati Coerenza del piano di lavoro, suddivisione di compiti e risorse; Complementarietà dei partecipanti sia individualmente che come consorzio; Appropriatezza della struttura di management, risk management
PARTICIPANT OPERATIONAL CAPACITY (as part of criterion 3: Quality & Efficiency of Implementation) Si basa sulle informazioni fornite nel progetto: Descrizione del profilo del responsabile scientifico dell attività di ricerca proposta; Fino a cinque pubblicazioni e/o prodotti e/o servizi rilevanti per il bando/topic in questione; Fino a cinque progetti o attività precedenti correlati all oggetto della proposta; Infrastrutture significative (esistenti) o strumentazioni tecniche rilevanti, necessarie allo svolgimento del lavoro proposto; Descrizione delle terze parti che contribuiranno all attività proposta
I PUNTEGGI NELLA VALUTAZIONE Viene assegnato un punteggio ad ogni criterio Ciascun criterio è valutato da 0 (Non-relevant) a 5 (Excellent) È possibile assegnare punteggi con decimali Soglia minima per criterio 3/5 Soglia complessiva 10/15 (le soglie variano per tema e a seconda se I o II stage)
INTERPRETAZIONE DEI PUNTEGGI 0 The proposal fails to address the criterion or cannot be assessed due to missing or incomplete information. 1 Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. 2 Fair. The proposal broadly addresses the criterion, but there are significant weaknesses. 3 Good. The proposal addresses the criterion well, but a number of shortcomings are present. 4 Very Good. The proposal addresses the criterion very well, but a small number of shortcomings are present. 5 Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor.
PRIORITÀ PROPOSTE CON PARI PUNTEGGIO NELL ORDINE SI ATTRIBUISCE PRIORITÀ A: 1. le proposte che riguardano topic altrimenti non coperti all interno del WP 2. tra queste, si guarda prima al punteggio del criterio 'excellence', e poi ad 'impact' (al contrario per Innovation actions & SME instrument) 3. se c è ancora parità, al budget destinato alle PMI 4. se c è ancora parità, al bilanciamento di genere del personale coinvolto 5. se c è ancora parità, altri fattori (sinergie tra progetti, obiettivi H2020, ecc...)
EVALUATION REVIEW (RULES - ART. 16) PROCEDURA DI REDRESS EVALUATION REVIEW Un COMITATO AD HOC decide su: Nuova valutazione della proposta (con valutatori diversi) Conferma del giudizio iniziale Attivabile entro 30 giorni dalla comunicazione dell ESR Ammissibile solo per errori formali
Le AGENZIE ESECUTIVE SPECIALIZZATE della CE Research Executive Agency - REA H2020 - Eccellenza Scientifica: MSCA e FET open; H2020 - Leadership Industriale: ricerca sullo spazio; Sfide Sociali: Food Security, Sustainable Agriculture and Forestry, Marine, Maritime and Inland Water Research and the Bioeconomy; Europe in a changing world Inclusive, innovative and reflective societies; Secure societies; Temi trasversali: Spreading Excellence and Widening Participation, Science with and for Society. Executive Agency for SMEs - EASME (sostituirà la EACI) H2020 - Strumento per le PMI; H2020 - Sfide Sociali: il bando Efficienza Energetica della sfida sociale "energia" nonché i bandi sui temi rifiuti, innovazione idrica e fornitura sostenibile di materie prime sotto la sfida sociale "ambiente"; H2020 - Leadership industriale: parte LEIT3, innovazione nelle PMI, schema per industria sostenibile a bassa emissione di carbonio (SILC II); COSME: parte importante che include Enterprise Europe Network (EEN), Your Europe Business e lo European IPR Helpdesk; LIFE 2014-2020; Parte del Fondo europeo per gli affari marittimi e la pesca. Innovation and Networks Executive Agency - INEA (sostituirà la TEN-T Executive Agency) Connecting Europe Facility; H2020 - Sfide Sociali: parte "energia" (Low Carbon Economy e Smart Cities and Communities) e "trasporti" (Mobility for Growth e Green Vehicles). Education, Audiovisual and Culture Executive Agency - EACEA Erasmus +; Creative Europe; Europe for citizens.
ALCUNI SUGGERIMENTI La proposta viene scritta prima di tutto per i valutatori Chiedere a un collega non coinvolto nel progetto che esegua una Mock Evaluation con la modulistica utilizzata dai valutatori La proposta deve essere sintetica, chiara e leggibile (i valutatori hanno poche ore per leggere il progetto e valutarlo) Prevedere indici e una chiara suddivisione dei paragrafi Nella descrizione dell attività andare subito al punto ed evidenziarlo anche graficamente Rispettare i limiti di ciascuna sezione
LINK UTILI Documenti di riferimento per H2020 http://ec.europa.eu/research/participants/portal/desktop/en/fun ding/reference_docs.html#h2020-call_ptef-ef Guida alla sottomissione e valutazione delle proposte http://ec.europa.eu/research/participants/data/ref/h2020/grants _manual/pse/h2020-guide-pse_en.pdf Standard evaluation forms per RIA/IA/CSA http://ec.europa.eu/research/participants/data/ref/h2020/call_p tef/ef/h2020-call-ef-ria-ia-csa_en.pdf Per registrarsi nel database degli esperti http://ec.europa.eu/research/participants/portal/desktop/en/ex perts/index.html
GRAZIE PER L ATTENZIONE Barbara Pernati CNR Ufficio Supporto alla Programmazione Operativa tel. +39 010 6475 306 voip +39 06 4993 2312 e-mail barbara.pernati@cnr.it