12. Il Sistema di monitoraggio e valutazione del Piano di Zona

Transcript

1 12. Il Sistema di monitoraggio e valutazione del Piano di Zona 12.1 Introduzione metodologica; 12.2 Articolazione dell impianto di monitoraggio e di valutazione; 12.3 Un sistema unitario di indicatori individuato per il monitoraggio 12.1 Introduzione metodologica L obiettivo di questo capitolo è quello di illustrare il disegno di valutazione e di monitoraggio del Piano di Zona dell. Quanto qui definito è stato costruito per essere in sintonia con l impostazione regionale di valutazione dei diversi PdZ e quindi fa proprie le seguenti premesse: la sua valenza strategica; la valutazione è un azione strettamente connessa con le attività di progettazione ed implementazione del PDZ; la sua utilità per il processo decisionale; la valutazione deve risultare utile a chi deve prendere decisioni, deve cioè produrre informazioni e dati che servano effettivamente a formulare giudizi e su questa base riprogettare corsi d azione; la sua capacità euristica; la valutazione aiuta a capire meglio le scelte fatte e le loro implicazioni; aiuta a individuare che cosa funziona e cosa non funziona nella politica sociale; aiuta a scoprire aspetti nuovi, inaspettati. Sempre seguendo l impostazione regionale, il disegno di valutazione e monitoraggio del PDZ dell Ambito Socio Assistenziale Sud è da considerarsi parte di un più ampio quadro valutativo che prevede un coinvolgimento attivo di tre livelli istituzionali: la Regione Friuli Venezia Giulia, la Provincia di Pordenone e lo stesso Ambito Socio Assistenziale. Inoltre utilizzerà metodologie miste basate su più strumenti e più fonti informative. L approccio utilizzato sarà di tipo partecipato con i diversi soggetti che hanno concorso al processo programmatorio (partecipanti ai tavoli di area) e, ove possibile, con tutta la cittadinanza. La valutazione infatti è anche un momento di apprendimento collettivo dei soggetti che concorrono alla realizzazione delle politiche sociali pubbliche. Grazie al processo di valutazione si impara altresì a governare insieme un sistema integrato di servizi alla persona. Operativamente il sistema valutativo regionale si sviluppa su quattro dimensioni: 1. efficacia della pianificazione; 2. tendenze emergenti dai piani per un loro utilizzo nella predisposizione del Piano Sociale a livello regionale; 3. implementazione del sistema di servizi ed interventi progettuali; 4. governance del Piano. Le fasi temporali di valutazione sono state così individuate:

2 Piano di Zona Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona valutazione ex ante. I semestre 2006: fase che a partire dall analisi dei documenti prodotti da ogni Ambito intende fornire elementi sulle prime due dimensioni (efficacia della pianificazione e tendenze emergenti); valutazione in itinere, suddivisa a sua volta in due tappe. I fase - II semestre 2006: valutazione del processo di governance (affidato alla Provincia); II fase - I semestre 2007, valutazione del livello di implementazione del Piano (con un forte coinvolgimento degli stessi Ambiti); valutazione finale, da effettuarsi durante l anno 2008, sia per quanto riguarda il livello di implementazione del Piano che del sistema di governance ai fini della riprogettazione per il II triennio del Piano di Zona medesimo. Parallelamente, il disegno di valutazione e di monitoraggio del Piano di Zona dell esprime alcune peculiarità proprie date dalle caratteristiche qui assunte dal Piano di Zona, ed in particolare: la disomogeneità intrinseca delle schede progetto contenute nel presente Piano di Zona. Si precisa che solo alcune schede sono immediatamente operative e pertanto risulta possibile applicare il Piano di monitoraggio e valutazione qui delineato; altre, viceversa, sono ad un livello ancora embrionale, pertanto si riscontra la necessità di posticipare l implementazione del monitoraggio e valutazione; la necessità di giungere in un momento successivo ad una integrazione in ordine agli intendimenti, alle metodologie ed alle tempistiche del monitoraggio e della valutazione degli obiettivi contenuti nelle schede progetto ad alta integrazione in particolare quelle a prevalenza sanitaria, con il partner Distretto Sanitario; la necessità di giungere in un momento successivo ad una integrazione in ordine agli intendimenti, alle metodologie ed alle tempistiche del monitoraggio e della valutazione degli obiettivi di Area Vasta, con i partners costituenti il Gruppo di lavoro istituzionale Tecnico Provinciale misto sociale-sanitario (Scheda progetto, n. 02, Obiettivo 9, Azione 9.2). Infine il disegno qui predisposto offre i criteri per un monitoraggio continuo, omogeneo e sostenibile delle singole schede progettuali. Si precisa che i criteri qui delineati costituiscono la base di partenza per la declinazione degli specifici indicatori e strumenti di monitoraggio e valutazione propri di ogni scheda progettuale che verranno successivamente elaborati Articolazione dell impianto di monitoraggio e di valutazione L impianto di monitoraggio e valutazione, del Piano di Zona dell, è stato così strutturato: Livello di monitoraggio/valutazione. Sono stati individuati tre livelli di monitoraggio e valutazione: 1. del piano, inteso come sistema complessivo e territoriale di interventi e servizi; 2. delle schede progettuali (dei singoli interventi, progetti, servizi); 3. degli obiettivi operativi, specifici delle schede progettuali. 510

3 Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Piano di Zona Fasi di monitoraggio/valutazione. L attività di valutazione verrà attuata attraverso tre fasi specifiche: 1. ex ante: caratterizzata dalla focalizzazione delle condizioni di partenza, dei bisogni presenti e delle risposte già attivate, della congruenza degli obiettivi emersi dal processo pianificatorio ed integrato con la valutazione che effettuerà la Regione; 2. in itinere: che si svolge nel corso di attuazione delle azioni previste affinché si predispongano le azioni correttive, in modo integrato al sistema valutativo regionale; 3. finale: da realizzarsi a conclusione del I Piano di Zona che tiene conto della qualità degli interventi realizzati, della loro efficacia ed efficienza e del loro impatto sulle priorità dichiarate. Il sistema di monitoraggio si sviluppa durante tutto il percorso di implementazione del Piano di Zona, in modo continuativo (senza soluzione di continuità). Le raccolte dei dati e delle informazioni produrranno un agile report di monitoraggio quadrimestrale. Soggetti del monitoraggio e della valutazione All ufficio di piano compete il coordinamento operativo del sistema di monitoraggio e della stesura dei report quadrimestrali. Ai responsabili delle schede progettali compete, da un lato, la raccolta e l invio dei dati, dall altro il raccordo con il referente per l Ufficio di Piano. I restanti soggetti che partecipano alla valutazione sono individuati tra coloro che sono stati coinvolti nel processo programmatorio del Piano di Zona (tavolo tecnico e tavoli di area) e tra esperti esterni. Ai tavoli di area, quali luoghi principali dell integrazione tra i soggetti istituzionali e non istituzionali, è affidato in particolare il compito di una verifica - perlomeno semestrale - dell andamento degli interventi nell area di riferimento e più in generale, sull andamento del processo di governance del Piano. Le dimensioni della valutazione Le dimensioni che si intendono monitorare e quindi valutare sono state individuate a partire da alcune questioni di interesse conoscitivo che si intendono esplorare. Nella tabella successiva sono elencate le dimensioni e le relative questioni alle quali si intende dare risposta. Fabbisogno conoscitivo e relative dimensioni della valutazione Dimensione Risponde alla domanda DELLE RISORSE quante e quali risorse (economiche, umane, strumentali) vengono impiegate per realizzare un determinato progetto DI PROCESSO quanto, come e quando le risorse (economiche, umane e strumentali) vengono utilizzate, quanto e come un servizio qualifica 1 le proprie risorse per rendere servizi adeguati, DI PRODOTTO quanto un servizio ha prodotto in termini di volume di attività, di utenza servita, di strumenti realizzati DI RISULTATO quanto un servizio ha raggiunto gli obiettivi individuati (esiti) quale livello di soddisfazione generato dall erogazione dei servizi previsti quale trasformazione per gli utenti, i Servizi dell Ambito e dei singoli Comuni, tutti i restanti soggetti DI IMPATTO coinvolti nel PdZ; Quali ricadute per collettività e l ambiente 1 Per qualifica delle risorse si intende: interazione, incremento, diversificazione tra più soggetti. 511

4 Piano di Zona Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Ogni dimensione viene colta nelle tre aree sopra individuate secondo una matrice sotto riportata. Tale matrice è dunque la rappresentazione dello schema di rilevazione delle informazioni. Schema di rilevazione delle informazioni per dimensione e area d anali Dimensioni Aree d Analisi Piano Schede progetto Obiettivi operativi Risorse Risorse Risorse Risorse Processo Processo Processo Processo Prodotto Prodotto Prodotto Prodotto Risultato Risultato Risultato Impatto Impatto Per ogni obiettivo operativo si rilevano dati ed informazioni sulle dimensioni delle risorse, del processo e del prodotto. Per ogni scheda progettuale, oltre alla somma delle risorse, dei processi e dei risultati relativi ai singoli obiettivi, si aggiunge la rilevazione della dimensione dei risultati, ovvero il rapporto con i beneficiari delle stesse. Infine per il livello del Piano si intende produrre una valutazione di impatto Un sistema unitario di indicatori individuato per il monitoraggio In questo paragrafo si esplicita il sistema di indicatori che si intende applicare per il monitoraggio continuo del Piano e sul quale fondare una più vasta valutazione secondo l approccio sopra evidenziato. Si tratta di indicatori che non prevedono soglie di successo in quanto queste saranno definite successivamente tra i partecipanti al processo di monitoraggio e valutazione. Ogni singola dimensione è corredata da una serie di indicatori, o meglio da categorie di indicatori che dovranno successivamente essere declinate, secondo le varie specificità, nelle schede progettuali predisposte dalla Regione. Per ogni indicatore è definita anche l unità di (di tipo quantitativo e qualitativo o descrittivo), mentre sono elencati, in modo ancora non completo, i possibili indici estrapolabili dall elaborazione unitaria o composita degli stessi indicatori. Nessun riferimento è qui rivolto agli strumenti necessari per la raccolta dei dati e delle informazioni, i quali verranno successivamente definiti e riportati nelle singole schede progettuali predisposte dalla Regione. 512

5 Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Piano di Zona Area: Obiettivi operativi RISORSE Risorse economiche Risorse strumentali Risorse Umane (da rilevare) Costo totale (valore totale in euro); previste e effettivamente impiegate (impegnate/liquidato) Risorse per fonti di finanziamento; previste e effettivamente impiegate Ammontare risorse totali; previste e effettivamente impiegate Risorse per natura di fonte di provenienza; previste e effettivamente impiegate Ammontare delle risorse totali impegnate; previste e effettivamente impiegate Risorse per organismo di appartenenza; previste e effettivamente impiegate Ore/Giorni personale Qualifica Indici/valutazioni ottenibili (elaborazioni) Valore pro-capite (rispetto ai beneficiari) Dato per il calcolo dell efficienza N. di fonti di finanziamento Grado di omogeneizzazione/ diversificazione delle risorse Valorizzazione contabile a) Tipologia delle risorse; b) Scostamento; c) Motivazione dello scostamento; d) Dato per il calcolo dell efficienza Grado di omogeneizzazione/ diversificazione delle risorse; Valorizzazione contabile a) Tipologia professionale; b) Scostamento; c) Motivazione dello scostamento; d) Dato per il calcolo dell efficienza Grado di omogeneizzazione/ diversificazione delle risorse a) Capitale sociale; b) Scostamento; c) Motivazione dello scostamento Area: Obiettivi operativi PROCESSO Come Titolarità dell esecuzione Modalità di affidamento incarico ai soggetti esecutori esterni Modalità dell implementazione dell azione (modalità ) Indici/valutazioni ottenibili (elaborazioni) Grado di internalizzazione/ esternalizzazione Grado di innovazione giuridicoamministrativa del sistema di welfare Numerosità Tipologia delle azioni Indice turnover operatori 2 Grado di stabilità degli operatori Partecipazione nella realizzazione Numerosità 2 Valore dato da: (assunzioni + dimissioni / totale operatori inizio + totale operatori alla fine)*

6 Piano di Zona Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Interazione nella partecipazione Capitale sociale Grado di interdipendenza Grado di co-responsabilizzazione Capitale sociale Fattori imprevisti Capacità revisionale (di progettazione) Grado di flessibilità Area: Obiettivi operativi PRODOTTI Quanto Numerosità dei prodotti, servizi realizzati Costo totale dei prodotti Quali Tipologia totale dei prodotti Varietà Quando Tempistica di realizzazione Mesi Elemento per il calcolo dell efficienza (n prodotti / costo unitario) Durata Grado di consequenzialità Indice di coerenza logico-temporale Grado di adeguatezza rispetto ai risultati previsti Indice di adeguatezza Area: Schede progettuali RISORSE Risorse economiche Risorse strumentali (da raccogliere) Sommatorie risorse per obiettivo Sommatoria risorse per obiettivo Indici/valutazioni ottenibili (elaborazioni) Valore pro-capite (rispetto ai beneficiari) a) N. di fonti di finanziamento; b) Grado di omogeneizzazione/ diversificazione delle risorse; c) Scostamento; d) Motivazione dello scostamento; e) Dato per il calcolo dell efficienza - Incidenza % nei vari obiettivi Valorizzazione contabile a) Tipologia delle risorse; b) Grado di omogeneizzazione/diversificazione delle risorse; c) Scostamento; d) Motivazione dello scostamento e) Dato per il calcolo dell efficienza - Incidenza % nei vari obiettivi 514

7 Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Piano di Zona Risorse Umane Somma di quelli delle singole azioni Valorizzazione contabile a) Tipologia professionale; b) Grado di omogeneizzazione/diversificazione delle risorse; c) Capitale sociale; d) Scostamento; e) Motivazione dello scostamento - Incidenza % nei vari obiettivi Area: Schede progettuali PROCESSO Come Somma delle titolarità dei singoli obiettivi Somma delle modalità di affidamento incarico ai soggetti esecutori esterni Somma delle modalità dell implementazione delle azioni per obiettivo Grado di internalizzazione / esternalizzazione Grado di innovazione giuridicoamministrativa del sistema di welfare Numerosità Tipologia delle azioni Turnover operatori generale Grado di stabilità degli operatori Partecipazione nella realizzazione Interazione nella partecipazione Numerosità Capitale sociale Grado di interdipendenza Grado di co-responsabilizzazione Capitale sociale Quando Tempistica di realizzazione Mesi Durata temporale Quando Grado di consequenzialità Indice di coerenza logico-temporale Grado di adeguatezza rispetto ai risultati previsti Indice di adeguatezza Area: Schede progettuali PRODOTTI Quanto Numerosità dei prodotti, servizi realizzati Costo totale dei prodotti Quali Tipologia totale dei prodotti Varietà Quando Tempistica di realizzazione Mesi Elemento per il calcolo dell efficienza (n prodotti / costo unitario) Durata Motivazioni dello scostamento 515

8 Piano di Zona Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Grado di consequenzialità Indice di coerenza logico-temporale Grado di adeguatezza rispetto ai risultati previsti Indice di adeguatezza Area: Schede progettuali RISULTATO Numerosità dei beneficiari raggiunti Tipologia dei beneficiari Raggiungimento obiettivi (Eventuale) grado di soddisfazione dei beneficiari Elementi per la qualità percepita Grado di soddisfazione degli operatori coinvolti nella realizzazione Elementi per la qualità percepita Grado di soddisfazione dei responsabili Elementi per la qualità percepita Eventi inattesi di eventi non previsti dalla progettazione Elementi per ricavare le motivazione dello scostamento Area: Piano di Zona [ Sommatoria delle dimensioni precedenti con l integrazione di quella dell impatto] IMPATTO Cambiamenti nella popolazione Cambiamenti nel sistema integrato degli interventi e dei servizi sociali - Cambiamento quantitativo della domanda di servizi - Cambiamenti nella diversificazione della domanda - Cambiamenti nell indirizzamento della domanda - Cambiamenti nel grado di responsabilizzazione individuale, familiare e comunitario - Cambiamento della qualità della vita - Cambiamenti organizzativi all interno dei singoli Servizi - Cambiamenti dei rapporti tra i diversi servizi socio-sanitari Elementi di qualificazione dei servizi (qualità erogata) Livello di interdipendenza 516

9 Capitolo 12 Il Sistema di monitoraggio e valutazione del Piano di Zona Piano di Zona Cambiamenti dei rapporti tra i diversi soggetti istituzionali e non istituzionali Livello di interdipendenza Cambiamenti nell integrazione delle politiche - Cambiamenti nell integrazione delle politiche sociali con quelle sanitarie, educative, formative, del lavoro, ecc.. - Cambiamenti nell integrazione delle politiche comunali con quelle di Ambito Grado di integrazione delle politiche Grado di unitarietà di Ambito 517