Resoconto III incontro del gruppo degli esperti sulla valutazione della politica di sviluppo rurale (07 dicembre 2009) Rete europea sulla valutazione

Transcript

1 Resoconto III incontro del gruppo degli esperti sulla valutazione della politica di sviluppo rurale (07 dicembre 2009) Rete europea sulla valutazione Dicembre 2009

2 Documento realizzato nell ambito delle attività della Rete Rurale Nazionale Task force: Monitoraggio e Valutazione Autore: Roberto Cagliero, Simona Cristiano, Alessandro Monteleone. 4

3 Premessa Il 07 dicembre 2009 si è tenuto a Bruxelles il terzo incontro del Gruppo degli esperti sulla valutazione della politica di sviluppo rurale, costituito nell ambito della Rete Europea sulla valutazione. Al gruppo partecipano la Commissione europea, rappresentanti dell Help desk (la struttura operativa che supporta la Commissione nello svolgimento delle attività di analisi e indirizzo) e rappresentanti degli Stati membri. Nel corso dell incontro riunione sono stati presentati e discussi i seguenti temi: 1. Aggiornamento del needs assessment degli Stati Membri; 2. Presentazione del Programma annuale di lavoro 2010 della Rete degli esperti della valutazione; 3. Presentazione di una proposta di working paper sulla valutazione degli impatti dei PSR nel contesto di fattori di intervento multipli; 4. Proposta della DG AGRI di istituire un sub-group del Comitato degli Esperti della valutazione dei PSR; 5. Presentazione di una proposta per un gruppo di lavoro sul tema degli approcci metodologici alla valutazione degli impatti di LEADER e delle misure tese al miglioramento della qualità della vita nelle aree rurali; 6. Presentazione della sintesi dei capitoli sullo stato di attuazione della valutazione ongoing sottoscritti dagli SM nelle relazioni annuali di esecuzione dei PSR (annualità 2008); 7. Presentazione di un report della DG AGRI sulle questioni aperte in materia di indicatori di monitoraggio; 8. Presentazione dell organizzazione della valutazione on-going in Svezia. 5

4 1. Aggiornamento del needs assessment degli Stati Membri Questa attività viene svolta dall Helpdesk della Rete Europea degli esperti della valutazione con l obiettivo di verificare il fabbisogno di supporto degli Stati Membri e dei valutatori coinvolti nella programmazione in termini di chiarimenti ed indirizzi per il corretto a- dempimento delle richieste regolamentari in materia di valutazione. L aggiornamento del Needs assessment viene realizzato con cadenza annuale, a seguito dello svolgimento di specifici focus presso i diversi Stati membri e quest anno, in particolare, l indagine è stata rivolta principalmente alla rilevazione dei fabbisogni dei valutatori. A tal fine, in data 23 ottobre 2009, era stato realizzato in Italia, dall Helpdesk con la collaborazione della Rete Rurale nazionale, il focus group dal titolo "Analisi delle esigenze della comunità dei valutatori con particolare riferimento alla valutazione di medio termine". In tale contesto, la discussione aveva fatto emergere alcune criticità e fabbisogni dei valutatori sia in materia di QCMV, con particolare riferimento a metodi di analisi e indicatori di impatto, che in materia di valutazione dei PSR e soprattutto dell approccio LEADER 1. Nel corso dell incontro sono stati pertanto presentati i risultati dell indagine svolta a livello europeo, che ha fatto emergere specifici fabbisogni dei valutatori nelle seguenti materie: supporto sia in termini di metodologie che di chiarimenti per la valutazione degli impatti e la quantificazione dei relativi indicatori; supporto in termini di metodologie di valutazione dell approccio LEADER e delle misure relative al miglioramento della qualità della vita; necessità di avere un migliore e più tempestivo riscontro sugli output dei gruppi di lavoro istituiti nell ambito della Rete Europea; necessità di avere risposte tempestive alle richieste di chiarimento; necessità di rendere effettivo lo scambio di prassi ed esperienze tra I valutatori dei diversi Stati membri anche senza il tramite dell helpdesk. Per avere il quadro completo dei risultati dell analisi si può fare riferimento alla presentazione n 1 e al documento di approfondimento Update of the needs assessment in the member States (nov 2009). 1 Pagina web: 6

5 2. Presentazione del Programma annuale di lavoro 2010 della Rete degli esperti della valutazione Il Programma presenta una rivisitazione delle attività svolta in relazione al Needs assessment (precedente punto 1.) e allo stato di attuazione della attività in corso. Il programma è allegato al presente Report (presentazione n 2 e del documento Work programme nd Draft (nov 2009). 3. WP su The assessment of socio-economic and environmental impacts in the context of multiple intervening factors Il working paper era stato già discusso dagli esperti nazionali della valutazione coinvolti nella programmazione nel corso di due workshop tenutisi nel mese di ottobre in due Statti Membri. In data 28 ottobre si era tenuto il primo focus group organizzato dall Hepldesk in collaborazione con Rete Rurale nazionale sul tema degli approcci alla valutazione degli impatti socio-economici dei PSR ; mentre in data 29 ottobre u.s. un focus group sul tema degli approcci alla valutazione degli impatti ambientali dei PSR si è tenuto a Vienna. Nel corso dei workshop gli esperti convenuti avevano discusso sui contenuti del documento e sulle opportunità di miglioramento che meglio lo finalizzassero rispetto alle esigenze di conoscenza e scambio di buone prassi tra i diversi Stati Membri. Nel corso del focus group, i valutatori avevano inoltre presentato le metodologie utilizzate per la valutazione degli impatti e che avrebbero potuto integrare la rassegna fatta dall helpdesk. A seguito di tali focus group, il documento in oggetto era stato pertanto revisionato ed integrato con alcune delle metodologie ivi presentate dagli esperti. In generale gli Stati Membri esprimono parere positivo sul documento e si apprezza un miglioramento dell attuale versione rispetto a quella che era stata oggetto di consultazione nel corso dei focus group. Si afferma tuttavia l opportunità che il documento debba essere dinamico e possa essere suscettibile di ulteriori miglioramenti che potranno seguire all implementazione delle metodologie e delle tecniche di valutazione ed indagine presso gli Stati membri. In tal senso, viene sottolineata la necessità che il documento debba costantemente raccogliere le prassi in circolazione presso gli Stati Membri. Al riguardo, l Helpdesk considera l opportunità di alcune modalità operative di implementazione del documento su internet o su supporto informatico che faciliterebbero la consultazione del documento e ne consentirebbero la continua revisione. Vengono inoltre fatte ulteriori proposte di miglioramento che riguardano: 7

6 l utilizzo di tecniche controfattuali: viene rilevata la difficoltà degli esperti ad individuare adeguati gruppi di confronto (di controllo). Al riguardo si richiede di presentare, nell ambito del documento, tecniche di campionamento utilizzabili in tale contesto. l inserimento di riferimenti bibliografici relativi della letteratura di riferimento sulle metodologie d indagine e di valutazione e non soltanto quelli riferiti alle prassi presentate nel documento. più ampia trattazione degli indicatori aggiuntivi. Al riguardo si sollecitano gli autori a voler sviluppare in maniera più ampia il tema degli indicatori aggiuntivi. indicatori relativi al climate change: alcuni SM rilevano la necessità di valutare gli impatti dei PSR sul climate change per entità di contributi molto bassi, direttamente erogati nell ambito di misure tese a promuovere la produzione di energie rinnovabili. Nel rilevare la necessità di istituire tempestivi sistemi di raccolta dei dati, si segnala infine la difficoltà ad utilizzare le tecniche di controfattuale indicate nel documento per le valutazioni intermedie e anche per l ex-post. Inoltre: Viene chiarito dall Helpdesk e dalla DG AGRI che le linee guida rappresentano un prodotto di supporto ai processi di valutazione degli Stati Membri e non sono obbligatorie. Diversi SM propongono di diffondere il documento attraverso la realizzazione di specifici workshop dedicati ai valutatori. Gli Stati Membri si riservano di presentare delle proposte di miglioramento del documento entro il gennaio Per ulteriori informazioni si veda la presentazione n 3 e al documento di approfondimento Draft Working Paper on: Approaches for assessing the impacts of the rural development programmes in the context of multiple intervening factors (dic 2009). 4. Proposta di istituzione di un subgroup del Comitato degli Esperti della valutazione dei PSR La CE propone l istituzione di un sub-group del Comitato degli esperti della valutazione, che dovrebbe funzionare da momento d incontro tra i valutatori dei diversi SM, in modo da facilitarne la discussione e il confronto e lo scambio di good practises in materia di valutazione. Nella proposta viene segnalata l opportunità che sulla base dell esperienza acquisita dai valutatori nell implementazione del CMEF e delle lessons learned dei risultati delle valutazioni intermedie (scadenti a dicembre 2010), il sub-group possa contribuire alla revisione e/o miglioramento degli indicatori comuni del CMEF per il prossimo periodo di programmazione. La composizione prevede la nomina di un valutatore che si occupi del MTE per ciascun SM. Gli Stati Membri argomentano la necessità che anche le Amministrazioni, in relazione agli specifici ambiti di attività del sub-group, possano essere coinvolte e che quest ultimo possa conti- 8

7 nuare ad esistere anche dopo il MTE. Viene pertanto stabilito che nel corso di uno specifico meeting programmato per marzo 2010, possano essere meglio definite le modalità di costituzione e operatività del sub-group. 5. Istituzione di un gruppo di lavoro sul tema della valutazione degli impatti di LEADER e delle misure tese al miglioramento della QdV nelle aree rurali L istituzione di tale gruppo, su proposta degli SM, era stata prevista nel Piano delle attività della Rete sin dal Committee degli esperti della valutazione svoltosi il 15 dicembre Al riguardo, alcuni Stati membri hanno sottolineato che il documento di indirizzo che dovrebbe essere prodotto dal gruppo di lavoro rischia di essere diffuso con ritardo rispetto all attuazione dei percorsi di valutazione in corso. In questo senso, l Italia evidenzia l opportunità di coinvolgere gli SM sin dall inizio nel processo di elaborazione del documento, al fine di garantirne una migliore rispondenza ai fabbisogni di rassegna delle metodologie in materia e di indirizzo della CE, oltre che una più tempestiva diffusione. La Germania ha segnalato invece il proprio scarso interesse alla definizione di un gruppo di lavoro che si occupi di LEADER, in quanto poco rilevante per la propria programmazione per lo sviluppo rurale; mentre ha necessità di focalizzare la propria attenzione sulla valutazione della qualità delle aree rurali. Tale posizione non ha comunque trovato consenso. La Danimarca sottolinea inoltre l opportunità la materia dell autovalutazione dei GAL sia oggetto delle attività di rassegna delle metodologie di analisi valutativa del Gruppo di lavoro in oggetto; ed evidenzia inoltre che lo SM sta già lavorando su un progetto di supporto all autovalutazione dei GAL che partirà a gennaio. Per quanto riguarda la composizione del Gruppo di lavoro, alcuni SM richiedono la partecipazione di propri rappresentanti. Al riguardo, l Helpdesk si riserva di valutare i curricula che gli verranno presentati sulla base della conoscenza e delle esperienze nelle materie oggetto di lavoro e della buona conoscenza dell inglese, in quanto lingua ufficiale di lavoro. La CE, su sollecito della Danimarca, chiarisce inoltre che è prevista l interazione sulle attività del gruppo di lavoro che verrà istituito sul tema della valutazione degli impatti di LEADER e delle misure tese al miglioramento della QdV nelle aree rurali, anche con la partecipazione di un membro della Rete Europea per lo Sviluppo Rurale al Committee degli esperti della valutazione garantisce. Per ulteriori informazioni si veda la presentazione n 4. 9

8 6. Presentazione della sintesi dei capitoli sullo stato di attuazione della valutazione on-going sottoscritti dagli SM nelle RAE 2008 Alcuni Stati membri chiedono chiarificazioni sulla obbligatorietà dell inclusione, nell ambito della RAE 2011 del capitolo sullo stato della valutazione on going, considerato che l annualità di riferimento di quest ultimo (2010) sarà già oggetto di Rapporto della valutazione intermedia. Al riguardo la DG AGRI si riserva di rispondere formalmente in un momento successivo. Chiarisce tuttavia che viene confermata l obbligatorietà di prevedere il capitolo relativo allo stato di attuazione della valutazione on-going per le annualità 2010 e 2015, pur se tali attività saranno oggetto delle specifiche valutazioni intermedia ed ex-post. Vengono presentati i risultati delle analisi delle Relazioni Annuali di Esecuzione (capitolo sullo stato di attuazione della valutazione on-going). Per ulteriori informazioni si veda la presentazione n Altre questioni emerse La DG AGRI conferma che non c è alternatività degli indicatori aggiuntivi con quelli già indicati dal CMEF, ma soltanto complementarietà. Su richiesta di alcuni Stati membri, la DG AGRI chiarirà formalmente le scadenze richieste dalla regolamentazione comunitaria per sottoscrivere il primo rapporto di monitoraggio strategico. La DG AGRI conferma l obbligatorietà di rispondere al questionario valutativo. Sugli indicatori, alcuni SM hanno segnalato alcune difficoltà relative ai tempi richiesti per la misurazione degli impatti degli investimenti e alla necessità di misurarne i benefici con cadenza annuale. viene anche segnalata la necessità di avere chiarimenti sulla definizione di valore aggiunto lordo modificata a seguito delle istanze degli Stati Membri. Viene chiarito che i dati raccolti negli anni precedenti alla revisione dell indicatore, per quanto possibile, devono essere aggiornati. La Svezia presenta il proprio modello di valutazione on-going. Per ulteriori informazioni si veda la presentazione n 6. DOCUMENTI ALLEGATI: Nella documentazione in allegato si trovano sia le presentazioni della giornata, numerate secondo l ordine stabilito nell agenda di lavoro della giornata, sia tutto il materiale di approfondimento inviato agli Stati Membri prima della giornata di lavoro. 10

9 Presentazioni della giornata Presentazione n. 1 Update of the Needs Assessment in the Member States Presentazione n. 2 Annual Work Programme nd Draft Presentazione n. 3 Draft working paper on approaches for assessing the impacts of RDPs in the context of multiple intervening factors Presentazione n. 4 Methodological approaches for capturing the impact of Leader and of measures to improve quality of life in rural areas Presentazione n. 5 Monitoring aspects of the Result indicators Presentazione n. 6 Simplified scheme of the organization of the evaluation work in Sweden Presentazione n. 7 Synthesis of the annual progress reports for 2008 concerning on-going evaluation Documenti di approfondimento: Draft Working Paper on: Approaches for assessing the impacts of the rural development programmes in the context of multiple intervening factors (dic 2009); Update of the needs assessment in the member States (nov 2009) Work programme nd Draft (nov 2009) Remaining question on result indicators - draft (Nov 2009) Proposed changes in selected indicator fiches of the Handbook on the CMEF 11