Approcci alla valutazione delle politiche sociali Giuseppe Moro Università degli studi di Bari A. Moro
Oggetti Il progetto può essere considerato l elemento base e non divisibile dell azione pubblica la cui responsabilità manageriale è identificata con una certa precisione; esso viene realizzato in un tempo e con delle risorse predeterminati, è costituito da un insieme definito di attività ed è finalizzato al conseguimento di uno o più obiettivi.
Oggetti Il programma è un insieme coordinato di differenti tipi di azione, con degli obiettivi operativi definiti, con delle risorse finanziarie e un tempo di realizzazione delimitati, con le fasi che lo compongono identificate in modo generale.
Oggetti La politica è un insieme di programmi e misure che condividono uno stesso scopo generale e hanno come destinatari settori o fasce di popolazione, ma che possono avere differenti obiettivi specifici e diverse modalità di management e livelli di responsabilità.
Oggetti I servizi sono strutture organizzative stabili nel tempo e spesso disegnate seguendo un modello burocratico; tali strutture si rivolgono a specifici gruppi di utenti, erogando prestazioni in modo continuo, per far fronte a bisogni di solito ben identificati.
Tre categorie di esiti di un programma Le realizzazioni (output): sono il prodotto immediato del programma. I risultati (outcome): sono le conseguenze provocate dall aver realizzato quel prodotto. Solitamente si tratta di vantaggi che sono usufruiti dai diretti destinatari di un programma. Impatti (impact): sono le conseguenze di secondo livello che si verificano nel contesto sociale più ampio in cui si è svolto un programma, non coinvolgendo solo i suoi diretti beneficiari
Gli approcci alla valutazione Quali sono le prospettive metodologiche più utili per indagare gli oggetti che si collocano ai vari livelli del sistema di welfare?
I modelli valutativi Definiamo modelli le elaborazioni concettuali che selezionano i caratteri essenziali della valutazione e ipotizzano le modalità con cui essi verranno fatti interagire nella pratica valutativa.
Il disegno della valutazione Il disegno della valutazione è costituito dalle fasi e dalle procedure che consentono di realizzare concretamente un processo valutativo. Disegnare una valutazione, a somiglianza di quanto accade per qualsiasi attività di ricerca sociale, significa organizzare a livello simbolico le attività che poi verranno svolte praticamente. Il disegno concreto della valutazione è il frutto sia delle interazioni con i diversi attori sia delle casualità che nascono nel corso della ricerca e che possono far scoprire aspetti nuovi del programma e della sua attuazione meritevoli della nostra attenzione.
La valutazione dei progetti Il carattere unitario e puntuale dei progetti può consentire l impiego di metodi sperimentali e quasi sperimentali
Il modello sperimentale Fondamento: la teoria della causalità Metodo: gruppi sperimentali e di controllo, selezionati a caso nello sperimentale puro Misurazione: prima e dopo l intervento, a a parità di altre condizioni
Il disegno sperimentale 1. Riclassificazione degli obiettivi 2. Scelta di misure valide e di strumenti attendibili 3. Isolamento degli effetti estranei al programma 4. Analisi dei dati.
La valutazione dei progetti Un approccio alternativo: LA VALUTAZIONE COSTRUTTIVISTA
L approccio costruttivista È finalizzato: Alla comprensione di ciò che accaduto tramite le interpretazione dei diversi attori sociali Alla verifica della capacità di un intervento di favorire l apprendimento di tutti i soggetti coinvolti
Elemento centrale della valutazione costruttivista Sviluppare costruzioni condivise sull oggetto della valutazione nel gruppo degli stakeholder (circolo dialettico ermeneutico).
Elemento centrale: le condizioni del circolo dialettico ermeneutico tutte le parti in causa devono impegnarsi a partecipare alla valutazione senza ricorrere alle menzogne, agli inganni, agli occultamenti e a qualsiasi altro atteggiamento che possa portare a delle costruzione false; tutte le parti devono possedere una seppur minima capacità di comunicare; ci deve essere, da parte di tutti, la volontà di condividere il potere posseduto; tutte le parti devono essere disponibili al cambiamento; la disponibilità al cambiamento deve anche includere la volontà di riconsiderare i propri valori; tutti devono essere disponibili a dedicare il tempo e le energie richiesti.
La valutazione delle politiche e dei programmi L approccio teorico e metodologico che sembra offrire soluzioni più utili ai problemi della valutazione di interventi vasti e complessi è la VALUTAZIONE REALISTICA
La valutazione realistica La formula base della valutazione realistica è: risultato = meccanismo + contesto; essa vuol dire che un programma, o una politica, funziona solo se trasmette delle idee e delle opportunità appropriate a dei gruppi sociali che vivono in determinate condizioni sociali e culturali.
La valutazione realistica Il lavoro del valutatore: individuare i meccanismi di un programma analizzare il contesto in cui si attua la sua azione stabilire come l interazione fra meccanismi e contesto produca dei risultati.
Il disegno della valutazione realistica 1. Teoria: proposizioni sulle configurazioni Contesti Meccanismi - Outcome 2. Ipotesi: sulle relazioni fra misure, beneficiari e risorse 3. Osservazioni: raccolta e analisi dei dati per testare le ipotesi 4. Generalizzazioni: definizione di quali meccanismi funzionino meglio in certi contesti
La valutazione dei servizi La valutazione di un servizio stabile può essere indirizzata a molteplici oggetti: la soddisfazione degli utenti/clienti la sua efficienza economico/finanziaria la sua rispondenza a degli standard definiti a livello nazionale o internazionale la sua capacità di portare a soluzione i casi trattati
La goal free evaluation Secondo tale modello, la valutazione non deve essere guidata dagli obiettivi del programma: non può essere cioè il programma a stabilire a priori la validità di un obiettivo, ma tale validità deve essere sottoposta al vaglio della ricerca valutativa.
La goal free evaluation Il giudizio di valore da dare su un servizio può essere scomposto in due dimensioni: Valore in sé dell attività (merit), che può essere attribuito sulla base dei criteri standard che misurano la sua qualità Valore estrinseco (worth) e si riferisce alla misura in cui un servizio viene incontro ai bisogni dei destinatari, i quali vivono all interno di uno specifico contesto di riferimento
Il disegno della goal free evaluation La fase cruciale del processo di valutazione è quella in cui si definiscono i criteri di qualità: stabiliti dalle associazioni professionali o dalle autorità pubbliche costruiti sulla base delle soglie di prestazione riconosciute come le più elevate giudizio degli esperti o del livello di soddisfazione degli stakeholder
La valutazione può migliorare le politiche sociali? No ad approcci deterministici Il legame fra valutazione e decisione può essere : magico, tragico, contraddittorio
Fattori condizionanti il rapporto tra valutazione e decisione Le competenze dei valutatori e la collaborazione con i diversi portatori di interessi La volontà e capacità dello staff del programma o del sevizio di comprendere e implementare i risultati della valutazione; la corrispondenza fra le proposte di modifica e la cultura pratica, le percezioni e le convinzioni dei professionisti impegnati nelle attività di assistenza La disponibilità di fondi per migliorare il programma e i cambiamenti che possono intervenire nel contesto organizzativo e politico di riferimento