Dati e indicatori di interesse per la valutazione

Transcript

1 Sistema Nazionale di Valutazione per la Politica Regionale Gli effetti della politica regionale: gli strumenti per misurarli e valutarli ottobre 2009 Dati e indicatori di interesse per la valutazione Paola Stocco

2 Il monitoraggio Il monitoraggio può essere definito come l osservazione e la documentazione sistematica e continua di qualsiasi processo in un certo periodo di tempo Questo comporta diverse fasi: Impianto Implementazione Risultati Effetti

3 Monitoraggio e valutazione Il monitoraggio è una attività servente. Costituisce la base dati per quantificare indicatori significativi riguardo l evoluzione del programma in termini di realizzazioni. La valutazione si avvale del supporto dei dati monitoraggio per esprimere un giudizio di efficacia del programma che vada oltre gli output prodotti e consideri anche gli effetti attesi e inattesi (valutazione di processo e di realizzazione, valutazione di risultato e d impatto).

4 Indicatori come strumenti per la valutazione Gli indicatori sono lo strumento per aiutare a capire il contenuto degli interventi e le priorità Categorie di indicatori: Realizzazione o prodotto (output) Risultato (outcome) Impatto specifico (outreach) Impatto generale (impact) La logica valutativa favorisce la cultura della trasparenza e della responsabilità coinvolgendo gli attori decisori e attuatori nella condivisione degli strumenti.

5 Gli indicatori e la valutazione La valutazione definisce a priori gli elementi sottoposti a giudizio attraverso l individuazione del set di indicatori che devono essere quantificati. Un indicatore può essere definito come la misura delle realizzazioni, dei risultati e degli impatti collegati al programma. Un buon indicatore dovrebbe fornire informazioni semplici che sia i fornitori che gli utilizzatori possono facilmente comunicare e comprendere (C.E. Means, 1999).

6 Sistema di indicatori: fornitori e utilizzatori I potenziali utilizzatori delle informazioni (stakeholders) hanno specifiche aree di responsabilità e necessitano di specifiche informazioni. Autorità di gestone incaricata del sistema di indicatori Fornitori di informazione: Enti attuatori Utilizzatori dell informazione: Committenti del Monitoraggio Autorità di gestione Autorità di implementazione Commissione Europea Valutatori Esterni

7 Complessità delle informazioni letteratura studi di caso documentazione INDAGINI AD HOC DATI MONITORAGGIO Dati non coerenti ANALISI QUANTITATIVE ANALISI QUALITATIVE INDICATORI DI IMPATTO INDICATORI DI CONTESTO E TARGET (statistiche ufficiali e microdati di indagini) INDICATORI DI RISULTATO INDICATORI DI OUTPUT V A L U T A Z I O N E

8 Indicatori di realizzazione Il monitoraggio dei progetti afferenti al FSE richiede le informazioni necessarie e sufficienti per fornire ai vari decisori la quantificazione degli indicatori di realizzazione Destinatari (N.) (e loro caratteristiche) Durata (Ore) Imprese (N.) Giornate/uomo prestate (N.) necessari per restituire informazioni sullo stato di avanzamento del programma e sulle caratteristiche del target Documento di riferimento: Protocollo di colloquio per il monitoraggio unitario dei progetti 2007/2013

9 Indicatori di risultato Per ciascun obiettivo specifico è stata predisposta una scheda relativa all indicatore di risultato, in cui vengono specificate: Descrizione dell indicatore Unità di misura Fonte dei dati (distinta per numeratore e denominatore) Anno di riferimento del valore atteso Anno di riferimento del valore iniziale (base line) Declinazioni previste per la valorizzazione corrente dell indicatore Formula per il calcolo del valore iniziale (base line) Formula per il calcolo del valore atteso Formula per il calcolo del valore corrente Documento di riferimento: Schede tecniche per il calcolo degli indicatori comuni di risultato presenti nei PO di Fse 07-13

10 Indicatori di risultato Gruppo 1. Tassi di copertura ( n/n ) La popolazione di riferimento è costituita da individui o imprese. Gruppo 2. Rapporti di composizione ( n h /n ) In generale gli indicatori si calcolano rapportando il numero fisico dei progetti in alcuni casi si fa riferimento alla loro dimensione finanziaria (impegni). Gruppo 3. Tassi di inserimento occupazionale lordo La popolazione è costituita da individui. Documento di riferimento: Schede tecniche per il calcolo degli indicatori comuni di risultato presenti nei PO di Fse 07-13

11 Indicatori di impatto Aree tematiche di interesse della valutazione di efficacia: Adattabilità: effetto della partecipazione ad interventi di formazione continua sul binomio lavoratori & imprese Occupabilità: effetto della partecipazione ad interventi formativi sull occupabilità individuale Il presupposto per quantificare l impatto netto è la disponibilità di basi dati adeguate sui partecipanti (trattati) e sul gruppo di controllo (non trattati)

12 Altri indicatori per specifici temi di valutazione Indicatori e valori obiettivo (target) vincolanti nel QSN : Indicatori per gli obiettivi di servizio in area Mezzogiorno collegati a meccanismi di incentivazione al raggiungimento dei valori target Indicatori per ambiti di policy rilevanti sull intero territorio nazionale percentuale di adulti in età anni che partecipano alla formazione permanente L indicatore LLL, inserito nell ambito della Priorità 1 Miglioramento e valorizzazione delle risorse umane, costituisce uno degli indicatori chiave per misurare il grado di apprendimento permanente (life long learning) nell ambito della strategia di Lisbona Obiettivo SEO: entro il 2010 il 12,5% della popolazione adulta dovrebbe partecipare all apprendimento permanente

13 Indicatore LLL L indicatore è sensibile alla capacità della policy di orientare le opportunità formative verso i gruppi che ne sono tipicamente più distanti La sua quantificazione segnala in che misura un sistema è in grado di promuovere l aggiornamento e la manutenzione di importanti competenze di base dell individuo che apprende L esercizio di targeting può essere utilizzato per indirizzare meglio la programmazione e individuare modalità e tipologie di intervento più efficaci

14 Indicatore LLL A seguito del processo di condivisione della definizione e dei dati disponibili per la sua quantificazione è stato prodotto il documento Scheda tecnica per il calcolo del target dell indicatore LLL (ILLL) al 2013 che pone in evidenza l importanza della disponibilità di dati provenienti da diverse fonti informative all interno della stessa amministrazione. L esercizio di targeting è visto come espressione di un percorso che implica il pieno coinvolgimento delle responsabilità tecniche e di programmazione nel campo della formazione professionale e delle politiche attive del lavoro