Una testimonianza di valutazione nell ambito del Programma People

Transcript

1 Una testimonianza di valutazione nell ambito del Programma People Ciro Franco Ufficio di Coordinamento e Internazionalizzazione degli Enti di ricerca regionali AREA Science Park Giornata nazionale People Roma 7 novembre 2011

2 Obiettivi dell intervento Portare l esperienza della valutazione, quale occasione di confronto interdisciplinare, intersettoriale, internazionale e come strumento di crescita personale Evidenziare l importanza della conoscenza dei meccanismi e dei processi di valutazione, per scrivere una proposta vincente

3 Focus sulle risorse umane Growth will come from the expansion of services and investment in science and technology industries, and this can only happen if people have the right competencies and skills People Initial training Life-long training Industry-academia International dimension Il valore e la funzione delle Azioni Marie Curie Specific actions People non prevede veri e propri progetti di ricerca: attenzione al Training Confermati nelle FP7 mid-term evaluations e nell analisi delle future prospettive

4 Importanti riferimenti di background Importanti riferimenti di background Mobilità intersettoriale: Mobility of Researchers between Academia and Industry, 12 Practical Recommendations Rispetto della Carta Europea dei Ricercatori e del Codice di Condotta per la loro assunzione: crescente rilevanza ai fini della positiva valutazione dei progetti People

5 I Panel di valutazione ed il ruolo dei valutatori ( independent experts ) Fondamentale la scelta del Panel in cui si desidera venga valutata la propria proposta: CHE, SOC, ECO, ENG, ENV, LIF, MAT, PHY I valutatori esperti sono selezionati dal database del 7PQ Expert Management Module (EMM), utilizzando vari livelli di parole chiave, al fine di ottenere la necessaria expertise, i settori economici, l esperienza in peer review, una vasta rappresentatività geografica e l equilibrio di genere tra i valutatori stessi ( Ciascuna proposta viene valutata da almeno 3 valutatori, fino ad un massimo di 5 Il valutatore è tenuto a fornire un parere indipendente, imparziale ed obiettivo, attenendosi solo a quanto scritto nella proposta! Il valutatore non rappresenta nè l istituzione nè il Paese di provenienza Grande responsabilità: attraverso i propri commenti e suggerimenti, i valutatori possono mettere in risalto il valore di un progetto

6 La valutazione individuale la fase scientifica della valutazione Submission Individual reading Consensus Panel Meeting Commission Follow-up Proposal parts /content Proposal forms Eligibility COMMISSION Evaluators Criteria Evaluators Criteria Evaluators Criteria Questions Proposals in suggested priority order Final ranking list/funding scenarios Rejection list COMMISSION

7 I criteri di valutazione: l esempio delle IEF Per ciascun criterio di valutazione, viene attribuito un punteggio ed un commento, CHE TIENE CONTO DI TUTTI I SOTTOCRITERI

8 Il consensus la fase relazionale Submission Individual reading Consensus Panel Meeting Commission Follow-up Proposal parts /content Proposal forms Eligibility COMMISSION Evaluators Criteria Evaluators Criteria Evaluators Criteria Questions Proposals in suggested priority order Final ranking list/funding scenarios Rejection list COMMISSION

9 Il consensus Ciascun consensus meeting dura in media ½ ora Bisogna in questa sede trovare l unanimità su punteggi e commenti Si parte dalle valutazioni individuali È necessaria un approfondita discussione I valutatori coinvolti hanno background diversi Non è sufficiente raggiungere una media tra i punteggi assegnati dai singoli valutatori Per ciascuna proposta viene nominato un Rapporteur, che ha l incarico di stilare il Consensus Report: questo rappresenta una chiara e motivata valutazione complessiva della proposta Necessario vivere in modo positivo l esperienza e lo scambio di punti di vista, sorridere e ricordare che la valutazione di una proposta non è un fatto personale!!!

10 Le più ricorrenti criticità nei giudizi dei valutatori (1/2) 1. Scientific & Technological Quality: The objectives are vaguely stated The project is out of the scope The proposal failed to specify its methods, its scientific and technological approach The originality of the project is not adequately demonstrated 2. Training: The training objectives are not clearly stated The additional competencies expected from the project are not evident A personalised training programme is not illustrated

11 Le più ricorrenti criticità nei giudizi dei valutatori (2/2) 3. Researcher: The research results are not adequately illustrated Independent thinking and leadership qualities of the fellow have not been convincingly demonstrated 4. Implementation: The work plan is not sufficiently presented The project is neither fully credible nor convincing The project is too ambitious 5. Impact: The prospects of reaching a position of professional maturity through the fellowship are not convincingly presented The benefit of the fellowship to European competitiveness in the field is not demonstrated in the proposal

12 Elevata e crescente competizione Marie Curie Individual Fellowships (ECO-SOC Panel) Call 2009: 624 proposte Call 2010: oltre 800 proposte Call 2011: 972 proposte Marie Curie Individual Fellowships (tutti i Panel) Call proposte Call proposte Call proposte

13 In conclusione, alcuni consigli pratici per i candidati Prepararsi con largo anticipo (strategia di lungo termine) Dimostrare conoscenza approfondita dello stato dell arte della ricerca Attenzione alle criticità maggiormente ricorrenti: obiettivi non chiari e fumosi e richiesta finanziaria non giustificata dalle attività del progetto Attenzione a metodologia innovativa e ad aspetti interdisciplinari ed intersettoriali Coinvolgere nella stesura della proposta sia staff scientifico che amministrativo (fondamentale il bilanciamento delle attività) Non indisporre il valutatore con tecnicismi, piuttosto accompagnarlo nella proposta Non utilizzare acronimi incomprensibili: dall acronimo dovrebbe evincersi il concetto di base del progetto È fondamentale stare nei limiti di pagine previsti dal Form B: la REA richiede sempre più il rispetto di questa regola Attenzione alle attività di disseminazione ( Outreach activities plan ) Infine, candidarsi come valutatore poichè si è in grado di osservare la macchina dall interno

14 Grazie dell attenzione! Ciro Franco Ufficio Coordinamento e Internazionalizzazione degli Enti di ricerca regionali AREA Science Park Padriciano, 99 Trieste Tel: ciro.franco@area.trieste.it