Le fasi della valutazione

Transcript

1 Il processo di valutazione in Horizon2020 Augusta Maria Paci 24 marzo 2015 CNR -Roma Corso di Formazione: Il processo di valutazione in Horizon 2020

2 Horizon2020 E il Programma destinato alle attività di ricerca e innovazione della Commissione Europea operativo per sette anni dal 1 gennaio 2014 fino al 31 dicembre 2020 Supporterà l'ue nelle sfide globali fornendo a ricercatori e innovatori gli strumenti necessari alla realizzazione dei propri progetti e delle proprie idee Il sistema di valutazione non è stato sostanzialmente modificato rispetto ai precedenti Programmi Quadro e le modalità di svolgimento di questo fondamentale processo di gara competitiva sono confermate Il processo di valutazione costituisce un momento importante della programmazione europea in ricerca e innovazione e il corso ha lo scopo di evidenziare i diversi fattori che incidono nella valutazione delle proposte Durante il corso si tratteranno le caratteristiche della valutazione attraverso le esperienzedi esperti CNR valutatori in diversi programmi con indicazioni pratiche per migliorare le proposte in H2020 e per la comprensione di modalità di valutazione e relativi aspetti qualitativi

3 Le fasi della valutazione Horizon 2020 prevede nuovi tipi di bandi e richiede nuove tipologie di proposte (multi-disciplinari e multi-settoriali con una maggiore enfasi sull innovazione e al mercato). Il processo di valutazione vede confermate le cinque fasi: 1. Sottomissione della proposta 2. Valutazione individuale 3. Consenso 4. Riunione di Panel 5. Finalizzazione della lista di priorità Prima e ultima fase con ruolo diretto della Commissione, le tre centrali con apporto diretto di esperti indipendenti chiamati in qualità di valutatori con capacità multidisciplinari e multi-settoriali in accordo con il nuovo approccio di Horizon 2020

4 Principi base della valutazione Eccellenza Trasparenza Confidenzialità Efficienza& Rapidità Equità& Imparzialità Aspetti di Etica & Sicurezza Regoledi Partecipazione ad H2020

5 Flussodel processodivalutazione Evaluators Receipt of proposals Individual evaluation Consensus group Panel Review Finalisation Eligibility check Allocation of proposals to evaluators Individual Evaluation Reports (Usually done remotely) Consensus Report (May be done remotely) Panel report Evaluation Summary Report Panel ranked list Final ranked list HORIZON 2020 Fonte: Generalbriefingfortheevaluators.pptx della EC

6 Snodidel processodivalutazione Proposal Eligible proposal Expert Expert Expert Expert Expert Minimum 3 experts Individual Evaluation Report Individual Evaluation Report Individual Evaluation Report Individual evaluation Individual Evaluation Report Consensus group Individual Evaluation Report Consensus HORIZON 2020 Consensus Report Fonte: Generalbriefingfortheevaluators.pptx della EC

7 Valutatori e Processo di valutazione Fase1 -Giudiziodi Base Fase2 -Giudiziodi Ranking Proposta X copia 1 IER esperto 1 Proposta X copia 2 IER esperto 2 Consensus meeting CR 3/5 esperti Proposta X copia 3 5 IAR/IER Individual Assessment Report CR Consensus Report ESR Evaluation Summary Report IER esperto 3 /5 ESR (x proposta) con tutti i panel di esperti

8 I tre criteri di valutazione 1 Eccellenza 2 Impatto 3 Implementazione Criteri di Valutazione: Article 15 Selection and award criteria Comma 1. The proposals submitted shall be evaluated on the basis of the following award criteria: (a) excellence (b) impact (c) quality and efficiency of the implementation Comma 3. The criterion referred to in point (b) of paragraph 1 may be given a higher weighting for proposals for innovation actions. Assegnazione dei punteggi: Assegnare punteggi utilizzando anche i decimali; Soglia minima per criterio 3/5; Soglia complessiva 10/15 (le soglie variano per temaeseioiistage). Documento Ufficiale di H2020: Rules for participation and dissemination in Horizon

9 Evaluation criteria Research and Innovation/Innovation/SME instrument For the first stage of a two-stage procedure, only the aspects of the criteria in yellow are evaluated Clarity and pertinence of the objectives Fonte: Generalbriefingfortheevaluators.pptx della EC Excellence Soundness of the concept, including trans-disciplinary considerations, where relevant Extent that proposed work is ambitious, has innovation potential, and is beyond the state of the art (e.g. groundbreaking objectives, novel concepts and approaches) Credibility of the proposed approach Impact The expected impacts listed in the work programmeunder the relevant topic Enhancing innovation capacity and integration of new knowledge Strengthening the competitiveness and growth of companies by developing innovations meeting the needs of European and global markets; and, where relevant, by delivering such innovations to the markets Any other environmental and socially important impacts (not already covered above) Effectiveness of the proposed measures to exploit and disseminate the project results (including management of IPR), to communicate the project, and to manage research data where relevant Implementation Coherence and effectiveness of the work plan, including appropriateness of the allocation of tasks and resources Complementarity of the participants within the consortium (when relevant) Appropriateness of the management structures and procedures, including risk and innovation management HORIZON 2020

10 Verifiche nell applicazione dei criteri Criterio Eccellenza (qualità S/T) Concetto, obiettivo, innovazione e piano di lavoro Impatto Contributo agli impatti attesi nel WP Piani per la disseminazione e lo sfruttamento Implementazione Struttura di management Singoli partecipanti e consorzio Allocazione e giustificativi delle risorse Verifica Per verificare la pertinenza al Topic della Call Chiaro riferimento al WP per verificare la pertinenzacon gli obiettivi della Call Non è richiesto un dettaglio dei costi. I valutatori devono soloverificarecosti non necessari

11 A s s e g n a z i o n e d e l p u n t e g g i o The proposal fails to address the criterion or cannot be judged due to missing or incomplete information Poor. The criterion is inadequately addressed, or there are serious inherent weaknesses. Fair. While the proposal broadly addresses the criterion, there are significant weaknesses. Good. The proposal addresses the criterion well, although a number of shortcomings are present. Very Good. The proposal addresses the criterion very well, although a small number of shortcomings are present. Excellent. The proposal successfully addresses all relevant aspects of the criterion. Any shortcomings are minor. HORIZON 2020

12 Fase del Consenso locale Discussione tra i tre valutatori sulla base degli IER Scopo del consenso: trovare accordo su punteggi e relativi commenti sui meriti, motivazioni e punti di forza e debolezza nei tre criteri Redazione del Rapporto di Consenso (CR) documento chiave per il ranking di Panel Alta numerosità di proposte nella fascia di punteggio Verifica complessiva del consenso ricevuto dalle singole proposte e consistenza dei punteggi Finalizzazione dei punteggi finali del Panel ai fini del ranking finale HORIZON 2020

13 Schema della valutazione In remoto Bruxelles Sottomissione Valutazione individuale Consenso Panel Finalizzazione Proposta Proposal forms Eligibilità Commissione Europea Valutatore Criteria IER/IAR Valutatori della proposta Criteria CR ESR Valutatori Criteri Proposte suggerite in ordine di priorità PR FPR Alcuni valutatori Lista con ranking finale Lista delle proposte non ammesse Commissione Europea ruolo degli Esperti nella valutazione

14 Considerazioni conclusive E frequente l applicazione del punteggio 3 a proposte che sono deboli anche quando i commenti sono negativi E frequente l effetto sorpresa, nel consenso locale, rispetto ai punteggi individuali E importante la soglia di partenza attribuita alla proposta da ciascun valutatore E neutrale la guida del moderatore di panel E sempre di riferimento il testo della call E di prassi la revisione dei punteggi criterio per criterio con analisi di sotto-criteri e relative discussioni E usuale fare riferimenti al testo della proposta per motivare i commenti La valutazione in H2020 è un processo molto intenso e competitivo richiede un ruolo pro-attivo e partecipativo dell esperto per individuare soluzioni anche in situazioni di giudizio difformi i proponenti che tengono conto anche di ciò nelle proposte progettuali, aumentano le possibilità di successo

15 Roadmap della Task Force Interdipartimentale per le Strategie Europee II semestre I semestre II semestre 2015 e Sviluppo dell approccio di sistema per attività interdipartimentali strategiche in H2020 Analisi portfolio FP7-PON Evidenza di casi di successo top-down e bottom-up Sviluppo del networking strategico Posizionamento strategico del CNR nel processo di programmazione strategica rapporto rafforzato con i Delegati CNR ed altri esperti nei diversi Comitati di Programma H2020 nell interesse generale dell Ente Procedure per consultazioni, incontri ad hoc con i Delegati, Gestione collaborativa di risposte per Pillar H2020 Midtermreviewdi H2020 e corrispondente valutazione della partecipazione CNR

16 TFI: Consultazione IGLOCORE Scopo della Consultazione: individuare aspetti prioritari collegati ai cambiamenti introdotti nelle prime Call di H2020 organizzata dal Network of Liason offices Organization Research and Technology Organisation (RTO) e rivolta a Coordinatori di Proposte nelle Call di H2020. La consultazione ha riguardato 4 aspetti della valutazione in Horizon 2020: 1) Description of topics in the work programme Difficoltà per ampiezza e interdisciplinarietà dei call topic 2) Technical aspects of the participant portal such as the submission of proposals, the filling up of information and the retrieval of information. Buone funzionalità 3) The first experiences with the evaluation of proposals, the content of Evaluation Summary Reports (ESR) and their links with the description of topics in work programmes. Commenti su ESR, sul criterio Impatto ed in generale sulla valutazione 4) The clarity of legal issues, guidelines and the annotated model grant agreements Buona comprensione La TFI ha in corso un azione per ripetere questa Consultazione nel CNR prima dell estate, dopo la chiusura dei prossimi bandi

17 Grazie dell attenzione per comunicazioni alla Task ForceInterdipartimentale per le Strategie Europee