ANNI 90 - ABBANDONO DEL PRIMATO DEL METODO A FAVORE DEL PRIMATO (?) DELLA TEORIA

Transcript

1 ANNI 90 - ABBANDONO DEL PRIMATO DEL METODO A FAVORE DEL PRIMATO (?) DELLA TEORIA Problema: non ha senso constatare se si siano ottenuti i risultati voluti se non si sa perché o grazie a quali meccanismi >>> per questo serve la teoria La teoria del programma riguarda, in generale, le ragioni per le quali ci si aspetta che un intervento dovrebbe produrre certi risultati IL RUOLO DELLA TEORIA NELLA VALUTAZIONE a) valutazione guidata dalla teoria (theory-driven perspective: Huey Chen e Peter Rossi (1987) = in ambito neo-positivista Chen sposta le credenziali della valutazione dalla metodologia al livello della elaborazione di modelli di spiegazione causale basati sulle conoscenze sostantive proprie delle scienze sociali- allo scopo di fondare teoricamente la disciplina e conferirle un autonomia disciplinare>> fornire ai decisori buone teorie sociali N.B. Teoria del programma : la scatola nera è vuota, deve essere riempita da teorie sociali b) valutazione che costruisce la teoria Jacques Toulemonde (1995) = critica l idea sostenuta da Chen che la valutazione possa basarsi solo sui canoni della ricerca sociale, perché molti programmi non possono essere analizzati in questo modo e comunque si deve cercare una spiegazione causale usando anche modi

2 diversi da quelli tipici della ricerca sociale (per esempio chiedendo ai beneficiari opinioni sugli effetti del programma, utilizzando l analisi strategica..): la valutazione guidata dalla teoria funziona solo in felici occasioni, la valutazione che costruisce la teoria funziona in situazioni più frequenti; la prima si basa su una causalità lineare, l altra su una causalità circolare N.B. Teoria del programma: La scatola nera può essere riempita da teorie diverse c) valutazione basata sulla teoria (theory-based evaluation) Carol Weiss (1997) La teoria è una sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità) (Weiss) N.B. Teoria del programma: La scatola nera è piena di tante teorie quanti sono gli stakeholders >>> cercare le migliori e realizzare un consenso tra stakeholders d) la valutazione realistica (Pawson e Tilley 1997) N.B. Teoria del programma = teoria del risultato, del cambiamento che può aversi: la scatola nera è piena di meccanismi +contesti

3 le teorie di riferimento sono teorie di medio raggio (cfr. Merton), che vanno continuamente testate e ridefinite LA VALUTAZIONE BASATA SULLA TEORIA (theory-based evaluation) Carol Weiss (1997) istanza: necessario aprire la scatola nera - black box - relativa al legami tra input e risultato/effetto/impatto perché tale legame può essere dovuto in circostanze diverse a fattori diversi - senza dare per scontate le assunzioni del programma al riguardo, basate sulle teorie prevalenti e ufficiali contaminazione: contamina un approccio positivista centrato sull idea di causalità con un approccio costruttivista attento a come gli attori reagiscono al programma fondamento: l approccio basato sulla teoria è un modo di valutare che porta in superficie le assunzioni sottostanti sul perché un programma dovrebbe funzionare. Poi segue queste assunzioni attraverso la raccolta e l analisi dei dati in una serie di fasi verso gli sbocchi finali ; il valutatore formula diverse assunzioni, giudica la validità delle singole assunzioni, le confronta l una con l altra e può arrivare a proporre cambiamenti nei programmi pratica della valutazione: la valutazione segue ogni passo di realizzazione degli eventi; le valutazioni basate sulla teoria non si occupano solo di cosa fanno i programmi, ma anche di come rispondono i partecipanti. compito della valutazione: intervenire per modificare i programmi nel corso dell azione, esplicitando i diversi modi in cui una causa potrebbe essere collegata a un effetto: se ne potrebbero trarre conseguenze politiche e lavorare sui meccanismi che possono essere presenti in vari programmi vagliandone le teorie sottostanti: se non si preoccupano di vagliare le teorie sottostanti i

4 programmi, le valutazioni non possono capire perché vadano male nel caso in cui non diano i risultati voluti >>> occorre sviluppare le teorie del programma che cerchino di analizzare gli aspetti che mediano tra input e output: processi intermedi, fattori psicologici, fattori organizzativi ed indagare i meccanismi che intervengono tra le attività previste dal programma e il verificarsi di risultati di interesse. Il valutatore può studiare varie teorie svariate catene logiche alternative di passaggio da input a outcome : attraverso la ricerca si dovranno cercare i dati giusti, eliminandone qualcuna N.B. necessità di progressi nella misurazione dei meccanismi di mediazione Conclusione : una volta individuati i meccanismi per cui si ipotizza che il programma dovrebbe funzionare, si raccolgono i dati giusti Da cui: bisogna impostare i programmi con buone teorie e far seguire buone valutazioni >>> la validità della ricerca deve essere coniugata con la complessità del reale LA VALUTAZIONE REALISTICA Realistic Evaluation (Pawson e Tilley 1997) Caratteristiche di base: - considera vero problema della valutazione aprire la scatola nera del programma, ma anche rispondere alla domanda cosa funziona meglio, dove, per chi, in quali circostanze, perché - prende le mosse dalla critica alla causalità sequenziale dell approccio positivista e gli oppone la causalità genetica/ generativa = spiegazione attraverso meccanismi generativi N.B. Pawson non dice che cosa è un meccanismo, ma dice che riguarda le scelte e le capacità che derivano ad un soggetto dalla propria appartenenza a un gruppo sociale : N.B. i meccanismi sono innumerevoli ma possono essere ricondotti alla triade carote

5 (induzioni), bastone (repressioni), prediche (convincimenti): Il meccanismo è il processo tramite cui i soggetti interpretano lo stratagemma dell intervento - contamina l approccio sperimentale con quello costruttivista per l attenzione rivolta al contesto ( condizione di opportunità vincolata ) che si scopre con il lavoro a contatto con gli stakeholders - adotta una prospettiva realista: la realtà esiste al di fuori e indipendentemente dalla nostra interpretazione, che cambia (vs. prospettiva costruttivista: la realtà è costruita dalle nostre strutture cognitive) - si contrappone all uso strumentale della valutazione tipico dell approccio sperimentale puntando sulla sua utilizzazione: è un suggerimento che potrà essere accolto ; - si contrappone anche all dea di generalizzabilità sviluppando un idea di cumulatività che si realizza astraendo modelli di contesti, di meccanismi e di risultati (meta-analisi: fare ricerca su basi empiriche costituite da altre ricerche) >> sintesi realista (astrazione = cumulabilità = generalizzazione? - si richiama al programma mertoniano delle teorie di medio raggio CAUSALITA SEQUENZIALE (SPERIMENTATORI SOCIALI Campbell) Il risultato è l effetto dell input> la causa del cambiamento è esterna al soggetto (è il programma!!) CAUSALITA GENETICA/GENERATIVA (Pawson e Tilley; tradizione realista di Sayer) Il risultato (outcome =O) è dato da meccanismo (M) +contesto (C) = CMO /OCM >> la causa del cambiamento è interna (sono i soggetti che cambiano secondo

6 certi meccanismi>> l attenzione si sposta dal programma al soggetto: il programma crea le condizioni, il soggetto le coglie se vuole cambiare!!** Il contesto non conta, altrimenti non si può generalizzare Un programma funziona se se ne può provare la generalizzabilità Un programma è una teoria di cambiamento>> il programma è una causa del cambiamento (la valutazione porterà i decisori ad agire di conseguenza) La molteplicità di meccanismi concerne ipotesi rivali, ma una sola è quella giusta>> ricerca della situazione controfattuale = quello che sarebbe successo in assenza dell intervento Nella valutazione, la causalità può essere rilevata attraverso lo studio di tanti casi (di cui positivi e negativi) Si concentra sul metodo Il contesto conta La generalizzabilità non ha senso: ciò che può essere trasferito non sono blocchi di dati ma insiemi di idee Un programma è un suggerimento che può essere raccolto In ogni situazione sono possibili più meccanismi, che si adattano a più contesti = CMO (contesto + meccanismo = outcome) Nella valutazione per rilevare la causalità occorre analizzare tanti contesti confrontabilii, nei quali sia possibile identificare diversi meccanismi e confrontare casi positivi e casi negativi per affinare la comprensione di come un meccanismo può funzionare in contesti diversi Si concentra sulla teoria

7 Non è interessata al processo e alle persone Punta alla triangolazione dei metodi E interessata al processo e alle persone: diversi gruppi di persone creano il contesto E per il pluralismo dei metodi Fonte: N. Stame, 2001, Tre approcci principali alla valutazione: distinguere, e combinare, in M. Palumbo, Il processo di valutazione, Milano, FrancoAngeli, 2001, PP ** Un programma funziona se: Gli attori scelgono di farlo funzionare (scelta vincolata) si trovano nelle condizioni di contesto appropriate (condizionalità) si trovano nel momento buono e gli interventi non si sono ancora routinizzati (contingenza) Il contesto È la condizione di opportunità vincolata (constrained opportunity) in cui operano i soggetti complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo? Il valutatore esperto di configurazioni CMO

8 Il disegno di valutazione Cosa vogliamo sapere, Chi potrebbe sapere, Come chiedere I meccanismi mostrano che i risultati derivano dalle scelte degli stakeholders rendono conto di come i processi costituiscono il programma