ANNI 90 - ABBANDONO DEL PRIMATO DEL METODO A FAVORE DEL PRIMATO (?) DELLA TEORIA Problema: non ha senso constatare se si siano ottenuti i risultati voluti se non si sa perché o grazie a quali meccanismi >>> per questo serve la teoria La teoria del programma riguarda, in generale, le ragioni per le quali ci si aspetta che un intervento dovrebbe produrre certi risultati, ma la valutazione si arrestava difronte alla scatola nera dei programmi IL RUOLO DELLA TEORIA NELLA VALUTAZIONE a) valutazione guidata dalla teoria (theory-driven perspective: Huey Chen e Peter Rossi (1987) = in ambito neo-positivista Chen sposta le credenziali della valutazione dalla metodologia al livello della elaborazione di modelli di spiegazione causale basati sulle conoscenze sostantive proprie delle scienze sociali- allo scopo di fondare teoricamente la disciplina e conferirle un autonomia disciplinare>> fornire ai decisori buone teorie sociali N.B. Teoria del programma : la scatola nera è vuota, deve essere riempita da buone teorie sociali, utili a correggere i deficit della politica!!
b) valutazione basata sulla teoria (theory-based evaluation) Carol Weiss (1997) La teoria è una sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità) (Weiss) N.B. Teoria del programma: La scatola nera è piena di tante teorie: il legame tra input e output può essere ottenuto tramite varie e diverse strade >>> cercare le migliori e realizzare un consenso tra stakeholders c) la valutazione realistica (Pawson e Tilley 1997) N.B. Teoria del programma = teoria del risultato, del cambiamento che può aversi: la scatola nera è piena di meccanismi +contesti le teorie di riferimento sono teorie di medio raggio (cfr. Merton), che vanno continuamente testate e ridefinite LA VALUTAZIONE BASATA SULLA TEORIA (theory-based evaluation) Carol Weiss (1997) istanza: necessario aprire la scatola nera - black box - relativa al legami tra input e risultato/effetto/impatto perché tale legame può essere dovuto in circostanze diverse a fattori diversi - senza dare
per scontate le assunzioni del programma al riguardo, basate sulle teorie prevalenti e ufficiali contaminazione: contamina un approccio positivista centrato sull idea di causalità con un approccio costruttivista attento a come gli attori reagiscono al programma fondamento: l approccio basato sulla teoria è un modo di valutare che porta in superficie le assunzioni sottostanti sul perché un programma dovrebbe funzionare. Poi segue queste assunzioni attraverso la raccolta e l analisi dei dati in una serie di fasi verso gli sbocchi finali ; il valutatore formula diverse assunzioni, giudica la validità delle singole assunzioni, le confronta l una con l altra e può arrivare a proporre cambiamenti nei programmi pratica della valutazione: la valutazione segue ogni passo di realizzazione degli eventi; le valutazioni basate sulla teoria non si occupano solo di cosa fanno i programmi, ma anche di come rispondono i partecipanti. compito della valutazione: intervenire per modificare i programmi nel corso dell azione, esplicitando i diversi modi in cui una causa potrebbe essere collegata a un effetto: se ne potrebbero trarre conseguenze politiche e lavorare sui meccanismi che possono essere presenti in vari programmi vagliandone le teorie sottostanti: se non si preoccupano di vagliare le teorie sottostanti i programmi, le valutazioni non possono capire perché vadano male nel caso in cui non diano i risultati voluti >>> occorre sviluppare le teorie del programma che cerchino di analizzare gli aspetti che mediano tra input e output: processi intermedi, fattori psicologici, fattori organizzativi ed indagare i meccanismi che intervengono tra le attività previste dal programma e il verificarsi di risultati di interesse. Il valutatore può studiare varie teorie svariate catene logiche alternative di passaggio da input a outcome : attraverso la ricerca si dovranno cercare i dati giusti, eliminandone qualcuna N.B. necessità di progressi nella misurazione dei meccanismi di mediazione
Conclusione : una volta individuati i meccanismi per cui si ipotizza che il programma dovrebbe funzionare, si raccolgono i dati giusti Da cui: bisogna impostare i programmi con buone teorie e far seguire buone valutazioni >>> la validità della ricerca deve essere coniugata con la complessità del reale ( la valutazione è un attività razionale che si svolge in un ambiente politico ) LA VALUTAZIONE REALISTICA Realistic Evaluation (Pawson e Tilley 1997) Caratteristiche di base: - considera vero problema della valutazione aprire la scatola nera del programma, ma anche rispondere alla domanda cosa funziona meglio, dove, per chi, in quali circostanze, perché - prende le mosse dalla critica alla causalità sequenziale dell approccio positivista e gli oppone la causalità genetica/ generativa = spiegazione attraverso meccanismi generativi: invece di studiare se è un programma che funziona (che ha funzionato!!), bisogna cercare di capire cosa lo fa funzionare in certi contesti per certi soggetti>> conseguenze sul disegno di valutazione N.B. Pawson non dice che cosa è un meccanismo, ma dice che riguarda le scelte e le capacità che derivano ad un soggetto dalla propria appartenenza a un gruppo sociale : N.B. i meccanismi sono innumerevoli ma possono essere ricondotti alla triade carote (induzioni), bastone (repressioni), prediche (convincimenti/esempi): Il meccanismo è il processo tramite cui i soggetti interpretano lo stratagemma dell intervento : il programma offre delle opportunità.funzionerà se le condizioni di contesto in cui è inserito sono favorevoli al suo operare.. - contamina l approccio sperimentale con quello costruttivista per l attenzione rivolta al contesto ( condizione di opportunità
vincolata ) che si scopre con il lavoro a contatto con gli stakeholders: un programma è un sistema complesso introdotto in un ambiente sociale complesso : Pawson riconduce la teoria della complessità nella prospettiva della valutazione basata sulla teoria: la valutazione dei programmi può produrre spiegazioni circa il perché (un programma funziona meglio, dove, per chi, in quali circostanze) se le teorie su cui si basa legano teorie sulla dinamica dei sistemi complessi alle attività degli stakeholders - adotta una prospettiva realista: la realtà esiste al di fuori e indipendentemente dalla nostra interpretazione, che cambia (vs. prospettiva costruttivista: la realtà è costruita dalle nostre strutture cognitive) - si contrappone all uso strumentale della valutazione tipico dell approccio sperimentale puntando sulla sua utilizzazione: è un suggerimento che potrà essere accolto ; - si contrappone anche all dea di generalizzabilità sviluppando un idea di cumulatività che si realizza astraendo modelli di contesti, di meccanismi e di risultati (meta-analisi: fare ricerca su basi empiriche costituite da altre ricerche) >> sintesi realista (astrazione = cumulabilità = generalizzazione? - si richiama al programma mertoniano delle teorie di medio raggio CAUSALITA SEQUENZIALE (SPERIMENTATORI SOCIALI Campbell) Il risultato è l effetto dell input> la causa del cambiamento è esterna al soggetto (è il programma!!) CAUSALITA GENETICA/GENERATIVA (Pawson e Tilley) Il risultato (outcome =O) è dato da meccanismo (M) +contesto (C) = CMO /OCM >> la causa del cambiamento è interna (sono i soggetti che cambiano secondo certi meccanismi>> l attenzione
si sposta dal programma al soggetto: il programma crea le condizioni, il soggetto le coglie se vuole cambiare!!** Il contesto non conta, altrimenti non si può generalizzare= bisogna stabilire la condizione di ceteris paribus Un programma funziona se se ne può provare la generalizzabilità Un programma è una teoria di cambiamento>> il programma è una causa del cambiamento (la valutazione porterà i decisori ad agire di conseguenza) La molteplicità di meccanismi concerne ipotesi rivali, ma una sola è quella giusta>> ricerca della ebbe successo in assenza dell intervento Nella valutazione, la causalità può essere rilevata attraverso lo studio di numerosi casi in cui si manifesta l effetto netto (positivi e attesi) Il contesto conta, perché è l esistente che viene a combinarsi con le opportunità offerte dal programma La generalizzabilità non ha senso: ciò che può essere trasferito non sono blocchi di dati ma insiemi di idee Un programma è un suggerimento che può essere raccolto In ogni situazione sono possibili più meccanismi, che si adattano a più contesti = CMO (contesto + meccanismo = outcome. La ricerca della situazione controfattuale non ha senso perché non esiste una condizione di partenza Vuota o neutra Nella valutazione per rilevare la causalità occorre analizzare tanti contesti confrontabilii, nei quali sia possibile identificare diversi meccanismi e confrontare casi positivi e casi negativi per affinare la comprensione di
come un meccanismo può funzionare in contesti diversi Si concentra sul metodo Non è interessata al processo e alle persone Punta alla triangolazione di tecniche e strumenti Si concentra sulla teoria E interessata al processo e alle persone: diversi gruppi di persone creano il contesto E per il pluralismo di tecniche e strumenti ** Un programma funziona se: Gli attori scelgono di farlo funzionare (scelta vincolata) si trovano nelle condizioni di contesto appropriate (condizionalità) si trovano nel momento buono e gli interventi non si sono ancora routinizzati (contingenza) Il contesto È la condizione di opportunità vincolata (constrained opportunity) in cui operano i soggetti complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo? Il valutatore esperto di configurazioni CMO
Il disegno di valutazione Cosa vogliamo sapere, Chi potrebbe sapere, Come chiedere I meccanismi mostrano che i risultati derivano dalle scelte degli stakeholders rendono conto di come i processi costituiscono il programma