LINEE GUIDA PER LA VALUTAZIONE DEI SERVIZI E DELLE ATTIVITA DEI CENTRI DI SERVIZIO PER IL VOLONTARIATO

Transcript

1 I s t i t u t o p e r l a r i c e r c a s o c i a l e LINEE GUIDA PER LA VALUTAZIONE DEI SERVIZI E DELLE ATTIVITA DEI CENTRI DI SERVIZIO PER IL VOLONTARIATO Fondamenti teorici e guida operativa

2 Il presente lavoro è stato realizzato da un gruppo integrato, coordinato da Daniela Mesini (Istituto per la Ricerca Sociale), sotto la direzione scientifica di Emanuele Ranci Ortigosa (IRS). In particolare, hanno partecipato al percorso: Luigino Vallet Responsabile Gruppo Rendicontazione e Valutazione CSV.net Roberto Museo Coordinatore CSV.net Vittorio Sfarra CSV.net Giovanni Stiz CSV.net Giovanni Bursi CSV.net Marco Cavedon CIESSEVI Milano Enzo Morricone CESV Lazio Andrea Bassetti ACSV Biella, Novara, Vercelli Martino Villani CSV Como Alessandro Fedeli CSV Marche Marco Sartoni ricercatore IRS Si ringraziano, per la disponibilità dimostrata e per gli interessanti spunti di riflessione offerti, gli operatori degli 8 Centri di Servizio sperimentanti che hanno partecipato ai focus group e gli interlocutori intervistati, sotto elencati CSV Bologna: Alberto Matis direttore Pier Luigi Stefani presidente Luca Masi responsabile area monitoraggio e valutazione CSV Catania: Sonia Longo - direttore Ignazio Di Fazio - presidente Valeria Toscano - responsabile area monitoraggio e valutazione CSV Mantova: Paola Rossi direttore Giacomo Zanni presidente Massimiliano Artioli responsabile area normativa, consulenza legale CSV Marche: Alessandro Fedeli direttore Enrico Marcolini presidente CSV Milano: Marco Pietripaoli - direttore Lino Lacagnina - presidente CSV Parma: Arnaldo Conforti - direttore Franco Pizzarotti - presidente CSV Rovigo: Luca Dall Ara direttore Vani Franceschi presidente CSV Trento: Giorgio Massignani - direttore Francesca Fiori responsabile area progettazione sociale Un doveroso ringraziamento va infine ad Ugo De Ambrogio (IRS) per il supporto metodologico offerto, in momenti diversi, nel corso del lavoro. 2

3 INDICE INTRODUZIONE OBIETTIVI DEL PERCORSO PARTE I - I FONDAMENTI TEORICI 1.1 VALUTAZIONE: ESPERIENZE IN CORSO 1.2 CHE COSA SIGNIFICA VALUTARE? 1.3 LE DIVERSE ESIGENZE VALUTATIVE 1.4 GLI OGGETTI, LE FASI E GLI APPROCCI VALUTATIVI 1.5 GLI INDICATORI IN VALUTAZIONE E LA LORO INTERPRETAZIONE PARTE II IL QUADRO LOGICO DELLA VALUTAZIONE DEI CSV 2.1 LA VALUTAZIONE DEI CENTRI DI SERVIZIO: PERCHÉ VALUTARE, CHE COSA, COME E PER CHI 2.2 IL PERCORSO PROPOSTO: DALLA MISSION AGLI INDICATORI DI RISULTATO L individuazione della mission: sostenere, qualificare, promuovere La declinazione della mission in finalità generali/strategie L articolazione delle finalità generali/strategie in dimensioni di analisi La traduzione delle dimensioni in indicatori di risultato La rilevazione dei bisogni e l integrazione tra servizi: un ulteriore livello di analisi PARTE III LA GUIDA OPERATIVA 3.1 DALLA SPERIMENTAZIONE AL MANUALE D USO 3.2 LA PROPOSTA DI UN MODELLO Il contesto di riferimento Sostenere e qualificare le organizzazioni di volontariato 1. Finalità n.1 - supporto alla crescita ed allo sviluppo delle odv 1.1 Le 5 dimensioni di analisi 1.2 Gli indicatori di risultato e la loro interpretazione 1.3 Un ulteriore livello di analisi: la rilevazione dei bisogni e l'integrazione tra servizi Le scale valutative e la loro interpretazione 2. Finalità n.2 - sostegno al radicamento territoriale 2.1 Le 2 dimensioni di analisi 2.2 Gli indicatori di risultato e la loro interpretazione 2.3 Un ulteriore livello di analisi: la rilevazione dei bisogni e l'integrazione tra servizi Le scale valutative e la loro interpretazione 3. Finalità n. 3 - supporto alla progettazione sociale 3

4 3.1 Le 2 dimensioni di analisi 3.2 Gli indicatori di risultato e la loro interpretazione 3.3 Un ulteriore livello di analisi: la rilevazione dei bisogni e l'integrazione tra servizi Le scale valutative e la loro interpretazione Promuovere il volontariato 1. Finalità n.1 - facilitazione dell'incontro tra odv e cittadini 1.1 Le 2 dimensioni di analisi 1.2 Gli indicatori di risultato e la loro interpretazione 1.3 Un ulteriore livello di analisi: la rilevazione dei bisogni e l'integrazione tra servizi Le scale valutative e la loro interpretazione 2. Finalità n.2 - sostegno alla crescita delle cultura della solidarietà 2.1 Le 4 dimensioni di analisi 2.2 Gli indicatori di risultato e la loro interpretazione 2.3 Un ulteriore livello di analisi: la rilevazione dei bisogni e l'integrazione tra servizi Le scale valutative e la loro interpretazione 4

5 INTRODUZIONE Obiettivi e percorso Nel corso degli ultimi anni i Centri di servizio per il Volontariato hanno visto una significativa crescita delle loro attività. Il ruolo che essi svolgono all interno dell attuale sistema di sostegno e promozione del volontariato a livello nazionale e locale è sempre più decisivo: la copertura territoriale si è estesa, diventando capillare, i servizi sono aumentati e si sono diversificati, e sono cresciute in maniera esponenziale le attenzioni e le aspettative che un ampio numero di soggetti nutre verso di essi. Si tratta indubbiamente di soggetti diversificati, pubblici e privati (le Fondazioni di origine bancaria e i Comitati di Gestione, le Organizzazioni di Volontariato beneficiarie dei servizi, ecc), che operano con ruoli ed obiettivi non sempre sovrapponibili e che investono risorse: come è facile osservare, una fitta rete di attori che necessita di ingranaggi ben oliati e regole chiare di funzionamento. Per questi e per altri motivi, i Centri di servizio si sono dotati in questi ultimi anni, grazie anche ad alcune importanti iniziative di coordinamento e di collegamento ad opera del CSV.net, di strumenti e tecniche di rendicontazione economica e sociale e di linee guida in materia di progettazione sociale, seguendo percorsi condivisi e valorizzando alcune prassi già esistenti. Il senso del presente lavoro, a partire da queste esperienze già avviate e parallelamente al percorso sulla rendicontazione sociale (in una logica di integrazione delle diverse attività più che di duplicazione e di sovrapposizione) è quello di proporre, ai Centri di servizio che la riterranno opportuna, l adozione di alcuni strumenti di valutazione (che alcuni Centri hanno già provato ad introdurre a livello locale), in grado di accompagnarli verso una maggiore e più chiara consapevolezza del proprio operato e verso un miglioramento delle proprie attività. Parliamo di strumenti di facile applicazione in grado di descrivere e valutare l attività dei Centri in rapporto alla loro mission, finalizzati alla formulazione di un giudizio sulle modalità di erogazione e realizzazione di queste attività e dei servizi erogati al Volontariato. Scopo del presente lavoro è quindi quello di proporre delle linee guida per la valutazione dei Centri di servizio in stretto raccordo con gli strumenti già utilizzati nell ambito della rendicontazione sociale: se vogliamo, una cornice per la possibile costruzione di un modello costruito su domande di valutazione chiare, privo di una eccessiva complessità, che possa essere utilizzato da strutture che operano in realtà organizzative difformi ed in contesti locali diversificati. Fatte salve le specificità territoriali queste prime riflessioni dovranno consentire un confronto fra dimensioni comuni ed uniformemente rappresentabili ed interpretabili. 5

6 L obiettivo, sarà quindi quello, a partire da alcuni fondamenti teorici, di giungere alla definizione di linee guida, opportunamente testate e validate attraverso una sperimentazione ad hoc, per la valutazione delle attività e dei servizi erogati dai Centri di servizio. Il documento qui presentato cercherà di essere il più possibile: 1 comprensibile (chiaro, facile, immediato sia agli occhi di chi dovrà applicarlo, che agli occhi di coloro che vorranno interpretarne i risultati); 2 attuabile (facilmente realizzabile ricorrendo a dati ed informazioni già raccolte o comunque facilmente monitorabili); 3 utilizzabile e fruibile da parte di chi farà lo sforzo di metterlo in pratica ed eventualmente anche da parte di altri interlocutori; 4 confrontabile (per favorire il confronto a livello spaziale e temporale). Come vedremo in seguito più dettagliatamente, la realizzazione delle linee guida contenute in questo rapporto è avvenuta attraverso un percorso di tipo partecipato e condiviso che ha visto il coinvolgimento di alcuni addetti ai lavori e alcuni momenti di verifica allargati (incontri con una cabina di regia costituita da alcuni esponenti del CSV.net e da esperti di valutazione e momenti pubblici di discussione e confronto a cui hanno partecipato anche i Comitati di Gestione). Dopo una prima fase di affinamento teorico, il modello è stato inoltre sperimentato in otto Centri di servizio 1 : da questa fase sono scaturite indicazioni concrete, avvertenze, obiezioni, finalizzate ad una opportuna messa a punto. Si è cercato di capire come leggere le diversità, come interpretare gli opportuni indicatori, come arrivare alla formulazione di un giudizio basato su criteri condivisi e su opportuni confronti, anche alla luce del fatto che molti Centri operano in realtà che possono essere disomogenee per forma organizzativa, contesto territoriale, attività realizzate, servizi erogati. Questi momenti di confronto hanno permesso di raccogliere aspettative, esigenze, sollecitazioni da parte di soggetti che conoscono la realtà dei Centri: direttori, coordinatori dei servizi, operatori che hanno così contribuito alla definizione di un sistema che potrà consentire, in primis, ai Centri di auto-valutarsi. La costruzione di queste linee guida è stata inoltre preceduta da una analisi approfondita delle prassi valutative già esistenti presso alcuni Centri: l obiettivo è stato quello di ricostruire il quadro delle attività di valutazione realizzate ed attualmente in corso e di sottolineare e valorizzare le esperienze più significative. Questa analisi preliminare, di cui si darà conto nella prima parte di questo rapporto, non ha avuto come finalità quella di premiare alcune esperienze e di bocciarne altre : 1 Si tratta dei CSV di Milano, Mantova, Rovigo, Trento, Bologna, Parma, Marche e Catania. 6

7 si è trattato piuttosto di non rendere vani gli sforzi che alcuni Centri hanno fatto cimentandosi in materia di monitoraggio e valutazione, di sistematizzare le diverse esperienze, di cogliere gli elementi di originalità e quindi di interesse. Il presente rapporto è articolato in tre parti: una prima parte di inquadramento teorico, una seconda parte di definizione del modello valutativo ed una terza parte di carattere più operativo testata e validata durante il percorso di sperimentazione del modello sul campo. La prima parte si apre con le esperienze di valutazione che si è avuto modo di individuare presso alcuni Centri di servizio. Contiene un primo quadro di sintesi derivante dalla mappatura realizzata ed un approfondimento di natura teorica sulla valutazione (le definizioni, i modelli di riferimento, le metodologie utilizzate, le accezioni e le denominazioni, le finalità): una breve ma utile rassegna, o se vogliamo, un opportunità per costruire un lessico comune; per conoscere la valutazione nel suo impianto teorico, per fare chiarezza su di una attività ancora poco conosciuta (ma molto praticata) con l intento di capire come applicare la valutazione ai Centri di servizio, attraverso quali forme e quali declinazioni; con quali intenti e con quali cautele. La seconda parte del rapporto fornisce alcune prime esemplificazioni pratiche: come è possibile ed opportuno misurare la performance a partire da una declinazione della mission dei Centri? Quali sono gli opportuni indicatori di risultato? Quale è la loro corretta interpretazione? Si tratterà quindi, come vedremo, di fornire degli esempi concreti da cui poter trarre alcune indicazioni ed avvertenze di carattere più generale. La proposta di valutazione trova in questa seconda parte una sua prima articolazione, con una descrizione dell impianto logico ed una definizione di alcune dimensioni di osservazione cruciali ai fini valutativi. La terza parte, anche alla luce dei risultati della sperimentazione, contiene una proposta operativa finalizzata all applicazione del modello: contiene indicazioni pratiche sulle modalità di raccolta delle informazioni, su come interpretarle, su come inserirle nel quadro logico di riferimento. Questa parte si caratterizza, per ciascuna dimensione di analisi, di un set di informazione ed indicatori esemplificativi più o meno elaborati, accompagnati da una serie di raccomandazioni, suggerimenti, brevi commenti su come costruirli, come interpretarli opportunamente, come utilizzarli a fini valutativi. Il processo di costruzione (prima parte), di affinamento (seconda parte) e di proposta (terza parte) del modello sarà inoltre costantemente e parallelamente accompagnato da schede, approfondimenti, riflessioni che potranno aiutare a fare chiarezza e a dissipare i dubbi e le perplessità di coloro che non hanno dimestichezza con la valutazione: per capire cosa è valutazione e cosa non lo è, per spiegare che ci sono numerosi strumenti di valutazione, ma che solo alcuni possono essere ragionevolmente utilizzati per valutare i Centri di servizio, conservando un rigore metodologico di 7

8 fondo ed una consapevolezza dei limiti conoscitivi ed interpretativi che qualsiasi modello di valutazione porta inevitabilmente con sé. Tale percorso, che richiederà un ulteriore sforzo comune affinché la decisione di realizzare un modello di valutazione dei Centri di servizio, culturalmente e politicamente coraggiosa e tecnicamente impegnativa, possa essere opportunamente implementata, nasce come abbiamo detto attorno all idea di auto-valutazione: i Centri potranno per primi utilizzare il modello per apprendere e per migliorare, ma non c è dubbio sul fatto che tale modello potrà prestarsi anche ad un utilizzo da parte di terzi quali, le organizzazioni di volontariato, le fondazioni bancarie, i Comitati di Gestione. La corretta interpretazione dei dati e l effettivo utilizzo dei risultati che scaturiranno dalla valutazione non potranno infine prescindere da una effettiva partecipazione alla valutazione: tale partecipazione non dovrà restare circoscritta a livello direzionale ma anzi coinvolgere i livelli più operativi. Agli operatori dovrà quindi essere data l opportunità di condividere il percorso sia per quanto riguarda la definizione del modello (questo è in parte già avvenuto) che per quanto riguarda la sua implementazione. Un ultimo elemento è senza dubbio legato alla disseminazione dei risultati della valutazione che deve essere rivolta sia all esterno, verso i soggetti che formulano o prendono parte a decisioni che riguardano i Centri di servizio, sia all interno, appunto verso coloro che, a vari livelli, operano all interno dei Centri ed hanno l opportunità di utilizzare la valutazione come apprendimento eventualmente per ri-orientare e migliorare la qualità dei servizi che erogano. 8

9 PARTE I I FONDAMENTI TEORICI 9

10 1.1 Valutazione: esperienze in corso Il percorso di costruzione di linee guida per la valutazione delle attività e dei servizi erogati dai Centri di Servizio è partito da una mappatura e da una successiva catalogazione di esperienze valutative più o meno formalizzate già in uso presso alcuni CSV e da una successiva analisi critica dei modelli più significativi realizzata attraverso l utilizzo di opportune variabili esplicative. Che cosa è emerso da questa prima analisi? Quali sono gli elementi di sintesi? La mappatura e la catalogazione dei materiali raccolti ha prodotto un primo quadro d insieme di un certo interesse. Come si osserva nella rassegna di esperienze valutative di seguito proposta, esistono esperienze di vario genere, più o meno riconducibili all universo della valutazione. Sono in particolare state riscontrate attività di valutazione di tipo molto diverso che potremmo collocare su tre distinti livelli. 1 Attività episodiche, circoscritte ai singoli Centri, di ambito locale; applicate solitamente a singoli servizi: l esempio più ricorrente è quello dei questionari di gradimento somministrati al termine dei corsi di formazione per volontari o ancora dei questionari distribuiti dai Centri alle Organizzazioni di volontariato allo scopo di raccogliere indicazioni, reclami, suggerimenti in merito a specifici servizi erogati; 2 attività più formalizzate, ricorrenti, articolate in diversi fasi operative, con scansioni temporali ben definite: spesso queste attività sono frutto della collaborazione di più Centri, e sono applicate ad una molteplicità di servizi. In alcuni casi, i servizi, pur nella loro molteplicità, sono visti singolarmente, in altri invece lo sforzo di costruire delle macro aree o delle chiavi di lettura più trasversali è maggiore; 3 riflessioni sulla valutazione e/o sulla rendicontazione sociale di più ampio respiro: si tratta di analisi svolte da istituti di ricerca, singoli studiosi, organismi di collegamento e coordinamento (CSV.net e Consulta dei Comitati di Gestione). In alcuni casi ci troviamo di fronte ad indagini approfondite realizzate su alcuni territori, in altri a tentativi di sintesi e di raccordo finalizzati alla diffusione di best practices a livello nazionale e all adozione di strategie e di strumenti condivisi. 10

11 Ci siamo chiesti, rispetto al tema della valutazione, a livello regionale, quali potevano essere i territori interessati da un maggior fermento e da una maggiore vivacità : è stato rilevato che, seppur a livelli diversi di approfondimento hanno sviluppato modelli, esperienze, riflessioni sul tema della valutazione nove Regioni su venti. Si segnalano in particolare le Regioni del Nord (il Piemonte, la Lombardia) e del Centro (la Toscana, le Marche, ed in particolare l Emilia-Romagna). Sono stati coinvolti in modelli, esperienze, riflessioni a livello regionale (parliamo cioè di attività di valutazione o modelli progettati e sperimentati da più Centri facenti parte di una stessa Regione ed applicati secondo le stesse modalità) circa 25 Centri di servizio su un totale di 77 (poco meno di 1/3). Come già anticipato, alcuni Centri hanno diversamente sviluppato autonomi strumenti di valutazione a livello locale, in particolare in tema di customer satisfaction e di graduatorie per la selezione dei progetti in riferimento alla pubblicazione di bandi. In alcuni casi le attività di valutazione sono state commissionate, indotte, incentivate, dai rispettivi Comitati di Gestione. Il quadro è risultato sin da subito essere molto variegato. Sono emersi differenti livelli di approfondimento e sofisticatezza: dal semplice questionario di gradimento, fino a complessi modelli di monitoraggio e verifica applicati ad un ampia serie di attività. Mentre in alcuni casi sono stati ravvisati solo documenti che racchiudono una serie di proposte per la costruzione di percorsi di valutazione rivolti ad esempio a singole iniziative di carattere formativo, o schede che tramite alcune domande guida e griglie hanno lo scopo di incentivare ed indurre i Centri a sviluppare alcune prime valutazioni su diverse dimensioni della propria attività, in altri troviamo veri e propri modelli costruiti su set di indicatori corredati da pesi e misure: se nel primo caso parlare di modelli sembra prematuro (la costruzione del modello infatti, anche se viene auspicata, rimane sullo sfondo e ci si limita a suggerire l adozione di alcuni strumenti di analisi di tipo qualitativo) nel secondo il riferimento alla costruzione del modello è più spiccato con il rischio, evidente, di ridurre l impianto valutativo ad un puro esercizio matematico di somme e sottrazioni di difficile e fastidiosa applicazione. Infine, in alcuni casi ci si trova di fronte a semplici strumenti di raccolta e di organizzazione di una ampia serie di informazioni (costruzione di banche dati sui volumi di attività), in altri a riflessioni che pur facendo riferimento all idea della valutazione, si esauriscono in una descrizione della realtà dei Centri di servizio ed in letture trasversali delle culture lavorative ed organizzative riscontrabili con maggiore frequenza. Di particolare interesse è risultato il modello proposto dal CSV.net per la rendicontazione sociale e la sezione del Manuale Operativo per i Comitati di Gestione dedicata alla valutazione delle attività dei Centri di servizio, dove si parla di strumenti di valutazione condivisi propedeutici all avvio di processi virtuosi di miglioramento dei servizi e di sempre maggiore aderenza degli stessi alle esigenze che emergono nel mondo del volontariato nel corso del tempo. 11

12 Alla luce dei materiali raccolti e da una prima analisi dei documenti si è potuto quindi osservare che esiste una certa sensibilità da parte dei Centri e da parte dei Comitati di Gestione rispetto al tema della valutazione. Tuttavia, come si è avuto modo di ravvisare nella rassegna proposta in precedenza, le definizioni, le accezioni, gli approcci metodologici utilizzati sono molto diversi, spesso perché gli oggetti valutativi sono differenti, ma anche perché è presente una notevole confusione sia terminologica che contenutistica su che cosa vuol dire realmente fare valutazione. Il rischio è pertanto quello di generare un forte senso di disorientamento in merito alle finalità ed agli usi della valutazione, di dare spazio all improvvisazione, di creare aspettative eccessive o di contro, di generare disillusione e scetticismo nei confronti della sua valenza. Come si è già sottolineato, gli addetti ai lavori (direttori, coordinatori dei servizi, operatori, rappresentanti dei Comitati di Gestione) sono stati più volte sollecitati sul tema della valutazione, in occasione di momenti pubblici di incontro e dibattito. L obiettivo è stato quello di raccogliere richieste, suggerimenti, istanze per costruire linee guida non calate dall alto, ma basate su esperienze già esistenti e su indicazioni pragmatiche. In occasione degli incontri realizzati, l urgenza è stata invocata da più parti (ma rispetto a questo, sarà opportuno non sconfinare nell ansietà, fare ordine e preservare un rigore metodologico di fondo) così come la necessità di arrivare alla definizione di strumenti di legittimazione verso il mondo esterno. Alcune sollecitazioni hanno chiamato in causa ed evocato approcci valutativi di grande interesse ma allo stesso tempo di difficile applicazione (l impatto/efficacia dell attività dei Centri sul volontariato o sul sistema di welfare), altre sono state comprensibilmente frutto di fraintendimenti Richieste, suggerimenti, istanze: quale valutazione chiedono i Centri di servizio?... chiediamo di poter costruire sistemi di valutazione semplici, in grado di integrarsi negli ambienti lavorativi dei Centri CSV.net disegniamo assieme un percorso di valutazione dei Centri di servizio per il Volontariato Consulta CoGe la valutazione ci serve in termini di progettualità come elemento di chiarezza verso i comitati e verso la Consulta CSV Bologna Siamo interessati a sistemi da sperimentare subito...cerchiamo di definire un sistema fattibile: qualcosa che sia semplice ed affidabile CSV Marche sulle possibili finalità della valutazione. Abbiamo cercato di cogliere queste diverse sensibilità e queste diverse specificità, di circoscrivere il focus dell analisi, di fugare dubbi e perplessità, allo scopo di delineare percorsi valutativi comprensibili, accettabili ed utilizzabili dai Centri. Riteniamo quindi utile nel successivo capitolo soffermarsi su di un breve quadro teorico di riferimento: per cominciare ad acquisire dimestichezza con la valutazione (i significati, le finalità, gli approcci), per coglierne limiti ed opportunità e per spiegare quale è l approccio valutativo che riteniamo sia più utile utilizzare per il perseguimento degli scopi che ci siamo preposti. 12

13 1.2 Che cosa significa valutare? Secondo una definizione che ci sentiamo di condividere e proporre, valutare significa utilizzare strumenti di analisi per descrivere e giudicare il funzionamento di organizzazioni/servizi e di politiche/interventi in modo da offrire un aiuto a chi prende decisioni in merito a tale funzionamento. Si tratta, in altre parole, di produrre informazioni per dare giudizi o farsi un opinione su organizzazioni o su politiche/interventi con l intento di migliorarli attraverso l utilizzo di una ampia serie di strumenti di indagine. Valutare per migliorare la capacità di progettare ed attuare politiche, programmi, interventi e per accrescere la capacità di apprendimento delle organizzazioni e degli attori in esse implicati sono le finalità più tradizionali della valutazione. E necessario guardare agli Stati Uniti per rintracciare le prime significative esperienze di valutazione legate all attuazione di programmi pubblici. La valutazione si è successivamente diffusa in altri paesi ed è arrivata in Italia nel momento in cui è stato recepito l obbligo di valutare politiche ed interventi finanziati con fondi europei. Allo stesso tempo sono nate numerose strutture organizzative dedite alla valutazione (ad esempio Una buona valutazione dovrebbe essere: 1 realistica nelle aspettative ovvero utilizzare un approccio improntato ad un sano realismo, senza peccare di eccessiva complessità 2 modesta negli intenti conoscitivi spesso c è troppa ambizione: è opportuno evitare elementi che travisano la realtà; porre le giuste domande e trovare le giuste risposte 3 rigorosa nei metodi che utilizza per valutare è necessario l impiego di metodi appropriati utilizzando strumenti di analisi derivati dalle scienze sociali molte Amministrazioni pubbliche hanno istituito dei nuclei di valutazione ) e si sono sviluppate nuove professionalità con sensibilità, orientamenti, competenze di diversa natura. L approccio alla valutazione è diventato multi-disciplinare, dai confini incerti: un aspetto che ha contribuito a creare una certa confusione attorno a questa disciplina (chiamata troppo spesso in causa) ed una certa approssimazione nella lettura e nell interpretazione dei risultati scaturiti dalla sua (non sempre corretta) applicazione. La pratica della valutazione non è quindi sempre stata accompagnata da una approfondita conoscenza dei suoi fondamenti teorici. Un elemento di arretratezza e di debolezza che ha alimentato una ampia serie di equivoci sui possibili utilizzi della valutazione (ad esempio valutare per stilare graduatorie di merito o a fini strumentali) e generato aspettative ingiustificate: un sovraccarico di responsabilità che in alcuni casi ha portato ad un approccio poco saggio alla valutazione, circondata sempre più spesso da una retorica diffusa e da una enfasi ingiustificata. Scrivono in proposito due studiosi (Pawson e Tilley): Il termine valutazione è carico di un tale fardello di significati che si ha l impressione di avere a che fare più con un incantesimo che con 13

14 una metodologia 2. Un invito, se vogliamo, ad interrogarsi in modo disincantato sui possibili utilizzi di questa disciplina. Esistono numerose definizioni su che cosa significa valutare, che pongono l accento su aspetti diversi della valutazione. Ci limitiamo di seguito a ricordarne alcune: [la valutazione è] una attività cognitiva rivolta a fornire un giudizio su di un azione intenzionalmente svolta o che si intende svolgere, destinata a produrre effetti esterni che si fonda su un attività di ricerca delle scienze sociali e che segue procedure rigorose e codificabili Mauro Palumbo, Il processo di valutazione, Franco Angeli, 2001 Valutare significa analizzare se un azione intrapresa per uno scopo corrispondente ad un interesse collettivo abbia ottenuto gli effetti desiderati o altri, ed esprimere un giudizio sullo scostamento che normalmente si verifica, per proporre eventuali modifiche che tengano conto delle potenzialità manifestatesi Nicoletta Stame, L esperienza della valutazione, SEAM, 1998 La valutazione è principalmente (ma non esclusivamente) un attività di ricerca sociale applicata, realizzata ( ) in maniera integrata con le fasi di programmazione, progettazione e intervento avente come scopo la riduzione della complessità decisionale, attraverso l analisi degli effetti, diretti e indiretti, attesi e non attesi, voluti e non voluti, dell azione, compresi quelli non riconducibili ad aspetti materiali Claudio Bezzi, Il disegno della ricerca valutativa, Franco Angeli, 2001 Come è possibile osservare, queste e altre definizioni messe a punto da esperti e studiosi di valutazione ruotano sovente attorno ad alcuni elementi identitari da cui non crediamo sia SCHEDA n. 1. il percorso di valutazione, passo dopo passo 1. Porsi le giuste domande Spesso le domande di valutazione sono sfocate e mal poste. Si tratta quindi, in primis, di riuscire a cogliere le dimensioni rilevanti del problema (criteri, indicatori, variabili, issues). 2. Raccogliere le informazioni appropriate Si tratta di trovare le informazioni necessarie per supportare il percorso valutativo. In alcuni casi le informazioni sono già disponibili, in altri è necessario rilevarle ex-novo 3. Trovare le giuste risposte Vale a dire, resistere alla tentazione di appiattirsi sul metodo più facile ed immediato, non fermarsi alla retorica degli indicatori, mettere in discussione i risultati che si ottengono 2 The term evaluation carries so much baggage that one is in danger of dealing not so much with methodology than with incantation, Ray Pawson and Nick Tilley, Realistic Evaluation,

15 possibile prescindere: 1 la formulazione di un giudizio, attraverso un analisi di tipo comparativo 3, rispetto ad una serie di azioni o di interventi, basato su criteri condivisi e l utilizzo di metodi d indagine rigorosi, codificabili, e riproducibili, mutuati dall esperienza delle scienze sociali; 2 la necessità di dare evidenza non solo di eventuali risultati positivi, ma anche degli aspetti inattesi e contradditori. Spesso sono infatti proprio gli aspetti inattesi e contraddittori a suscitare maggiore interesse; 3 l esigenza di legare l attività di valutazione alla fase di progettazione ed implementazione di interventi e politiche e lo sforzo di concentrarsi sugli effetti che queste producono (torneremo successivamente sulla nozione di effetto) oltre che sulla corretta attuazione del disegno normativo. Come avremo inoltre modo di vedere valutare è tanto più utile quanto più l attività di valutazione viene gestita come processo partecipato e condiviso a partire da un disegno iniziale fra i diversi stake-holders, cioè fra coloro che hanno un certo interesse o comunque una qualche posta in gioco nell area di intervento di una certa organizzazione/servizio o politica/intervento. Assicurare la partecipazione dei vari interlocutori interessati e farli partecipare alla ideazione ed alla costruzione del disegno valutativo può risultare infatti di grande utilità per chiarire le finalità e gli scopi della valutazione e per evitare che essa possa essere subita come una fastidiosa attività di routine o peggio come un inutile sovraccarico di lavoro. E importante quindi che il sistema di valutazione sia condiviso fin dalla fase della sua ideazione e definizione 4 : con una attenzione al processo e prevedendo momenti di discussione e comunicazione dei risultati che via via si ottengono. Quanti e quali tipi di valutazione esistono? In che cosa si differenziano l uno dall altro? Quali caratteristiche hanno? Possiamo certamente distinguere diversi tipi di valutazione a seconda delle finalità e degli scopi, dell oggetto dell analisi, della scansione temporale. Le metodologie di raccolta dei dati e delle informazioni e di analisi inoltre possono essere molteplici: di tipo qualitativo, di tipo quantitativo o basate su di un mix di metodi (quantitativi e qualitativi) che si completano a vicenda. Come dobbiamo comportarci di fronte a questo frastagliato panorama di possibili attività valutative? 3 Spesso la valutazione viene associata al monitoraggio, o alla rendicontazione: tuttavia è proprio la necessità di formulare un giudizio, attraverso dei confronti, che contraddistingue la valutazione dalla semplice raccolta di informazioni. 4 Consulta Nazionale dei Comitati di Gestione: Manuale operativo per i Comitati di Gestione. Appendice - sezione B. 15

16 E evidente che, di fronte a questa grande varietà di possibili declinazioni, occorre capire, prima di progettare e realizzare un attività di valutazione, quali sono i bisogni conoscitivi che la valutazione deve nello specifico caso soddisfare e quali sono le risorse che si hanno a disposizione: per sgombrare il campo da equivoci, per fare chiarezza al momento dell interpretazione dei dati, per un corretto e legittimo utilizzo dei risultati che si ottengono. Determinati obiettivi e bisogni conoscitivi dovranno condurre il valutatore a scegliere un tipo di valutazione ed a scartarne inevitabilmente altri; allo stesso modo, determinati vincoli (ad esempio il poco tempo a disposizione, o l assenza/scarsezza di dati per la costruzione di eventuali indicatori) dovranno portare alla scelta di opportune metodologie di analisi, forse meno ambiziose, ma certamente più appropriate alla situazione. 16

17 1.3 Le diverse esigenze valutative LINEE GUIDA PER LA VALUTAZIONE DEI SERVIZI E DELLE ATTIVITA DEI CSV: Così come abbiamo anticipato, le finalità della valutazione possono essere molteplici: alcune sono prioritarie mentre altre lo sono di meno. Perché si valuta? Che cosa ci si aspetta di ottenere? Attorno alla valutazione hanno sempre gravitato in passato, come oggi, aspettative spesso eccessive: il rischio è che a prevalere sia l idea che dalla valutazione possano scaturire verità inconfutabili e risultati incontrovertibili. A questa chiave di lettura ne preferiamo un altra, più prudente, che associa la valutazione alla possibilità di produrre argomentazioni credibili o più o meno plausibili a disposizione di coloro che all interno di una certa organizzazione, sono interessati a mettere in discussione prassi consolidate, o di decisori politici colti da un ragionevole dubbio che quanto realizzato non abbia provocato gli effetti desiderati, che vi siano margini di miglioramento, che i risultati di una certa politica o di un certo intervento siano stati inferiori a quanto ci si aspettava. E possibile che in alcune circostanze il dubbio si traduca in un pregiudizio di fondo: l utilizzo della valutazione (che viene talvolta riscontrato e da cui sarebbe opportuno prendere le distanze) rischia allora di diventare strumentale. La valutazione è infatti chiamata in causa (suo malgrado) nel tentativo di avallare un giudizio che si è già formulato e che necessita di alcune argomentazioni a sostegno o contro una scelta o una azione che è stata intrapresa o quantomeno già decisa. Finalità essenziale della valutazione dovrebbe essere quella del render conto, cioè del descrivere e misurare le attività svolte e i prodotti realizzati rispetto alle risorse impiegate da un organizzazione in un determinato momento. Si parla in questo caso di accountability, cioè del dovere morale e talvolta giuridico, di alcune organizzazioni, specie se pubbliche, di comunicare con trasparenza ai propri portatori di interesse il proprio operato. I contenitori di queste informazioni sono spesso i cosiddetti bilanci sociali o di mandato 5. L accountability può essere un efficace strumento di trasparenza e di legittimazione dell operato di una organizzazione. E opportuno tuttavia che gli strumenti utilizzati (ad esempio il bilancio sociale) non consistano in una sterile compilazione di grafici e tabelle, ma in una occasione di riflessione sulle strategie di intervento adottate, sulle motivazioni che stanno dietro a tali strategie, sull effettiva capacità di perseguire la propria missione. E in quest ottica che la rendicontazione può fungere da reale messa in discussione rispetto a quello che si sta facendo, occasione per analizzarsi, per prendere coscienza del proprio operato e della direzione che si sta seguendo, per rendersi conto, innescando processi di ri-orientamento, di apprendimento, magari di miglioramento. 5 Mesini D., Stiz G. (2006), Il bilancio sociale tra accountability, marketing e valutazione, in Rassegna Italiana di Valutazione (RIV), n. 34, Franco Angeli, Milano. 17

18 La possibilità che la valutazione possa innescare processi di apprendimento e miglioramento sono tutt altro che scontate: la condizione necessaria (ma non sufficiente) affinché un simile disegno valutativo possa trovare completa applicazione sono legate all effettiva diffusione della cultura della valutazione all interno delle prassi lavorative e alla disponibilità dei portatori di interesse a vario titolo coinvolti. Anche gli strumenti di comunicazione dei risultati della valutazione sono importanti Tuttavia, nonostante la priorità, almeno teorica, della finalità rendicontativa, accade spesso che la valutazione assuma valenze diverse da quella di accountability e sia realizzata prioritariamente con finalità di legittimazione, di controllo, verifica o per puro adempimento burocratico. Non è detto che queste esigenze siano di per sé stesse negative, ma la loro preponderanza rispetto ad una più generale esigenza di trasparenza rischia di portare ad una valutazione mediata e parziale, a servizio di alcuni stakeholders o dando risalto soltanto ad alcuni aspetti della vita dell organizzazione, rilevanti rispetto a specifici propositi, ma non alla finalità primaria del dare conto. L accountability e la prospettiva di utilizzare la valutazione come apprendimento rappresentano in questo senso le due anime virtuose della valutazione. Le parole chiave sono responsabilità, consapevolezza, crescita delle competenze, miglioramento della performance: tutte associano la valutazione al tentativo di cambiare in meglio qualcosa che si sta realizzando, ed alla possibilità di renderne conto, in maniera trasparente, a tutti i portatori di interesse. Nella pratica, tuttavia, queste finalità possono ovviamente non essere perseguite fino in fondo: perché alcune esigenze si manifestano in corso d opera, perché l accento si sposta, come dicevamo, su esigenze diverse da quelle che si era inizialmente delineato, perché vi possono essere diversi destinatari, ciascuno potenzialmente interessato a diverse finalità. Ecco allora che nella pratica gli scopi e le esigenze valutative possono non essere così chiaramente identificabili: le sovrapposizioni e le sfumature possono infatti essere molteplici. Nella successiva scheda ci limitiamo a riprenderne ed elencarne alcune 6. 6 De Ambrogio U. (2007), Domande e contratti di valutazione nel settore sociale, in Rassegna Italiana di Valutazione (RIV), n. 36, Franco Angeli, Milano. 18

19 LE POSSIBILI FINALITÀ DELLA VALUTAZIONE valutazione a fini selettivi l obiettivo della valutazione è selezionare (es: mi serve una valutazione per decidere quali progetti finanziare e quali invece non finanziare ulteriormente ) valutazione per controllo/verifica l obiettivo della valutazione è verificare il rispetto di determinati requisiti e la regolarità nel loro esercizio valutazione a fini sanzionatori l obiettivo della valutazione è punire (es: sono convinto che in una data situazione si sia inefficienti, voglio una valutazione per provarlo ed intervenire sanzionando ) valutazione a fini manipolatori l obiettivo della valutazione è ratificare/giustificare una scelta già presa prima della valutazione (es: sono convinto che qui si debba fare così, voglio una valutazione per certificarlo ed intervenire con maggiore autorevolezza ) valutazione come esercizio di retorica l obiettivo della valutazione è teso a sottolineare i successi di una certa politica/intervento o di una certa organizzazione per ottenere consensi ed approvazioni valutazione per adempimento (o per conto terzi) l obiettivo della valutazione è di rispondere ad una richiesta proveniente da un livello istituzionale/organizzativo superiore valutazione per legittimazione l obiettivo in questo caso è di invocare la valutazione come fonte di legittimazione e di riconoscimento del lavoro svolto valutazione come razionalizzazione l obiettivo della valutazione è rendere più efficiente l azione di un servizio/organizzazione valutazione a fini rendicontativi (accountability) l obiettivo è quello di valutare per l interesse o il dovere/obbligo di rendere conto a se stesso o a qualcun altro dei risultati di un programma, progetto, intervento valutazione come apprendimento (learning) l obiettivo della valutazione è di mettersi in discussione per imparare qualcosa eventualmente riutilizzabile poi a fini migliorativi valutazione orientata al cambiamento/miglioramento lo zen della pratica valutativa! 19

20 1.4 Gli oggetti, le fasi e gli approcci valutativi 7 Che cosa si valuta ed in quale fase del processo di attuazione di una certa politica o intervento? Quali possono essere gli oggetti della valutazione e l arco temporale in cui questo tipo di analisi può essere effettuata? Cominciamo dalle distinzione che si possono fare in base al primo criterio (l oggetto). Occorre, da questo primo punto di vista, distinguere fra valutare una politica/intervento e valutare una organizzazione/servizio (prima distinzione) e fra valutare il prodotto (output)/risultato e valutare il processo (seconda distinzione). Oggetto della valutazione prima distinzione Valutare organizzazioni/servizi: valutare organizzazioni che producono servizi significa verificare in modo sistematico come tali unità utilizzano le risorse loro assegnate, che risultati ottengono, con quali costi; di che livello qualitativo sono i servizi e con quale grado di soddisfazione dell utenza. Nell esempio qui a fianco, proponiamo il caso di voler valutare la formazione dal punto di vista del servizio fornito dall organizzazione che eroga i corsi. ESEMPIO 1 VALUTARE LA FORMAZIONE COME SERVIZIO FORNITO DA UNA ORGANIZZAZIONE Valutare il buon funzionamento di un organizzazione che eroga questo servizio significa: rilevare la quantità e la qualità della didattica offerta; giudicare se i costi sostenuti sono ragionevoli; misurare le conoscenze acquisite dagli allievi; osservare gli esiti occupazionali dei formati dopo il corso (outcome lordo) Valutare una politica/intervento: valutare una politica/intervento significa giudicare il successo dell intervento nel raggiungere gli obiettivi che la politica si prefiggeva in termini di effetti prodotti e di interazione con le politiche già in atto. Nell esempio qui a fianco, proponiamo il caso di voler valutare la formazione dal punto di vista più ampio della politica pubblica: delle scelte di fondo e delle motivazioni che ne hanno determinato la progettazione e la sua implementazione. ESEMPIO 2 VALUTARE LA FORMAZIONE COME POLITICA PUBBLICA/INTERVENTO Valutare il buon funzionamento di questa politica significa: descrivere in che modo il disegno astratto della politica è stato attuato (es. con quale offerta formativa); stimare se ed in che termini la politica ha prodotto gli effetti (outcome netto) che si prefiggeva (es. aumento della probabilità di occupazione dei formati grazie alla formazione); 7 Distinzioni ed esempi sono stati ripresi da Martini A. (slides e dispense di corsi e seminari vari organizzati da Progetto Valutazione). 20

21 Oggetto della valutazione seconda distinzione Valutare il prodotto/risultato: valutare il prodotto significa concentrarsi su quanto erogato da una organizzazione o quanto realizzato da una politica o da un intervento e quantificarlo. La domanda a cui si vuole rispondere è: - quante cose sono state fatte? Nel valutare il prodotto è fondamentale la distinzione fra output (prodotto) e outcome (risultato). A sua volta l outcome si distingue in gross outcome (risultato lordo) e nett outcome (risultato netto). Il nett outcome è l impatto, ovvero quella parte del cambiamento osservato direttamente imputabile all intervento. Valutare il processo: valutare il processo significa giudicare non cosa produce una organizzazione o una politica o intervento ma come lo si produce. La domanda a cui si vuole rispondere non è quante cose sono state fatte, ma: - come sono state fatte? L idea di fondo (il presupposto) di questo tipo di valutazione è che il processo di attuazione di una certa politica o intervento, possa non essere lineare; e che i nodi critici, i colli di bottiglia, le strozzature, possano contribuire a spiegare quello che succede dopo che le attività sono state portate a termine SCHEDA n. 2. OUTPUT e OUTCOME: due concetti diversi. Alcuni esempi applicati al caso di corsi di formazione rivolti ad aspiranti volontari OUTPUT Indica i volumi di attività: vale a dire, quanto è stato realizzato in un certo arco di tempo. Ad esempio: - numero di corsi di formazione attivati dal CSV e rivolti ad aspiranti volontari - n. di aspiranti volontari coinvolti - n. di ore di formazione erogate GROSS OUTCOME Indica il cambiamento che si osserva in concomitanza con l effettuazione dell intervento Ad esempio: - numero di aspiranti volontari inseriti in O.d.V dopo avere frequentato il corso di formazione erogato dal CSV NETT OUTCOME Indica la parte del cambiamento osservato direttamente imputabile all intervento realizzato Ad esempio: - numero di aspiranti volontari inseriti in O.d.V grazie al fatto di avere frequentato il corso di formazione erogato dal CSV 21

22 Arco temporale Come abbiamo potuto osservare, dal punto di vista dell oggetto si possono declinare diversi tipi di valutazione. E altrettanto immediato distinguere diversi tipi di valutazione dal punto di vista della scansione temporale a seconda che la scelta di avviare un percorso di valutazione sia precedente alla realizzazione di determinate attività (valutazione ex-ante), in corso d opera (valutazione in itinere), al termine delle attività (valutazione ex-post). E chiaro ad esempio che per valutare gli effetti di una politica o di un intervento è inevitabile collocarsi nell ambito della valutazione ex-post. Se invece l interesse è rivolto al processo l ambito sarà più ragionevolmente quello della valutazione initinere. Vediamo dunque nel dettaglio la classificazione in base all arco temporale di riferimento: Valutazione ex-ante: questo tipo di attività valutativa produce giudizi su attività che si stanno progettando. Le domande a cui si cerca di dare una risposta possono essere molteplici: - chi svolgerà meglio le attività? (metodi di selezione dei progetti) - quali effetti possiamo aspettarci ed a favore di chi? (Valutazione di Impatto Ambientale) - funzionerà quello che intendiamo fare? (analisi di fattibilità) Valutazione in-itinere: questo secondo tipo di attività valutativa produce dei giudizi inerenti ai risultati/funzionamento di attività in corso di svolgimento. Talvolta è associata al monitoraggio. Anche in questo caso le domande a cui si vuole dare una risposta possono variare: - si stanno rispettando i tempi e le risorse prestabilite? - quali sono i primi risultati raggiunti e quali i possibili scostamenti? - le attività sono coerenti con la programmazione? Valutazione ex-post: questo tipo di attività valutativa produce giudizi sui risultati/funzionamento di attività già svolte. Le domande a cui si cerca di dare una risposta possono essere molteplici: - quante e quali sono le attività realizzate? - quali sono gli effetti attribuibili alle politiche/interventi/attività? - quali indicazioni è possibile desumere dall esperienza realizzata? Approcci valutativi Come si può osservare, l elemento ricorrente è quello di pervenire alla formulazione di un giudizio: un aspetto che avevamo rilevato nel leggere le definizioni sulla valutazione presentate in apertura del capitolo, su cui avremo modo di tornare anche in seguito. 22

23 Se ci collochiamo nell ambito della prima classificazione fatta in base all oggetto della valutazione e proviamo ad incrociarne la prima e la seconda dimensione, otteniamo una combinazione costituita da quattro quadranti: si tratta di quattro differenti punti di vista, o approcci valutativi, che chiameremo in modo diverso e che pur non essendo nella pratica così facilmente distinguibili l uno dall altro (le sovrapposizioni e le sfumature possono infatti essere molteplici) soddisfano esigenze conoscitive diverse. Questi quattro differenti approcci possono essere rappresentati dalla seguente tabella a doppia entrata (fig. 1): in orizzontale in base alla prima distinzione, troviamo l ottica organizzazione/servizio e l ottica politica/intervento mentre in verticale troviamo l ottica di prodotto e l ottica di processo. fig. 1 : l approccio valutativo L APPROCCIO VALUTATIVO OTTICA ORGANIZZAZIONE / SERVIZIO OTTICA POLITICA / INTERVENTO OTTICA PRODOTTO Analisi di performance/efficienza Risponde alla domanda: Come giudichiamo il funzionamento di un organizzazione.? Che cosa produce? Quali prodotti, risultati (outcome lordi)? Con quali costi? Analisi di impatto/efficacia Risponde alla domanda: Quali effetti, impatti (outcome netti) ha avuto l intervento sul problema che si intendeva affrontare?e stato efficace? Analisi dei processi organizzativi Analisi di implementazione OTTICA PROCESSO Risponde alla domanda: In che modo l organizzazione risponde alle esigenze/aspettative dei diversi soggetti a vario titolo coinvolti nel suo funzionamento? utenti beneficiari? Risponde alla domanda: Il disegno astratto della politica, in che modo è tradotto in interventi concreti? L analisi di impatto: l analisi di impatto è data dall incrocio fra l ottica politica/intervento e l ottica prodotto. Nella sua purezza, è applicabile ad un numero limitato di situazioni concrete: l obiettivo è principalmente quello di capire se una certa politica/intervento ha ottenuto gli effetti desiderati. 23

24 L effetto 8 di una politica (o di un intervento) è quella parte del cambiamento che si osserva su coloro che hanno beneficiato della politica (o dell intervento) o sul problema che si intendeva risolvere o alleviare conseguente all attuazione della politica (o dell intervento). Deve sussistere un nesso causale fra quanto viene programmato e realizzato attraverso un azione ed il cambiamento che si osserva in seguito sui destinatari: solo in questo caso si parla di effetto e non di un cambiamento che potrebbe essersi verificato comunque, per cause non riconducibili all attuazione della politica, imputabili ad altri fattori. La difficoltà che incontra questo tipo di attività valutativa sta nel depurare l effetto provocato sul target dell azione che si vuole valutare dall effetto concomitante di altri fattori che influiscono, o che possono influire, in diversa misura: si tratta inoltre di evitare di cadere nell errore grossolano (ma frequente) di ritenere che l effetto sia semplicemente quello che accade dopo con il conseguente rischio di attribuire ad una certa politica o ad un certo intervento meriti o demeriti che potrebbero essere attribuiti ad Il controfattuale. L effetto di una politica/intervento può essere definito per differenza: l effetto è quello che si osserva dopo l intervento (situazione osservata) meno quello che si sarebbe osservato in assenza dell intervento (definita come situazione controfattuale). Si tratta quindi di calcolare la differenza fra due valori: mentre il primo è osservabile - si osservano, ad esempio, le caratteristiche di un certo numero di soggetti esposti ad una determinata politica dopo l esposizione (valore fattuale) - il secondo non lo è; è al contrario un valore ipotetico che si riferisce a ciò che si sarebbe osservato fra gli stessi soggetti, nello stesso momento, se costoro non fossero stati esposti alla politica/intervento. L analisi di impatto si sforza di aggirare il problema del valore non osservabile (il secondo termine della differenza) attraverso tecniche di analisi che tentano di ricostruire la situazione controfattuale attraverso stime plausibili basate sulle informazioni di cui si è in possesso (ad esempio attraverso gruppi di controllo). altri fattori. Come si osserva nella scheda sottostante, l effetto può anche essere calcolato per differenza: si tratta cioè di capire quali sono le differenze (di che segno, di quale entità) che si possono osservare fra i valori rilevati dopo l attuazione di una certa politica/intervento e quello che si sarebbe ipoteticamente osservato in assenza di quella politica/intervento (situazione controfattuale). Una valutazione di impatto richiede, quindi, l impiego di tecniche sofisticate, di tempi lunghi e di risorse ingenti per la sua realizzazione, e soprattutto mal si adatta ad una vista trasversale sul complesso dell agire di un organizzazione. 8 Martini A, Mo Costabella L, Sisti M. (2006), Valutare gli effetti delle politiche pubbliche. Metodi e applicazioni al caso italiano, ed. FORMEZ. 24