Valutare le politiche pubbliche: metodi e casi Valentina Battiloro Le politiche regionali funzionano? 25 settembre 2018
2 Valutazione è un concetto suggestivo, che tende a caricarsi di retorica e di aspettative eccessive
3 Un primo approccio a questa dis-incantazione della valutazione: La valutazione è l espressione di giudizi empiricamente fondati sul successo ottenuto da una politica pubblica nell affrontare uno specifico problema collettivo
4 empiricamente fondati cioè basati su osservazioni della realtà (dati fattuali) e non su valori o idee precostituite il successo della politica pubblica coincide con la sua capacità di produrre gli effetti desiderati (o di non produrre effetti indesiderati)
5 Un secondo approccio a questa dis-incantazione della valutazione: Non partire dal presupposto che fare implichi fare del bene. Caso di Scared Straight
6 Scared Straight (e altri interventi simili) prevede visite organizzate in prigione da parte di giovani delinquenti o a rischio di comportamento criminale. L obiettivo è scoraggiare i partecipanti da futuri reati attraverso l'osservazione diretta della vita carceraria e l'interazione con detenuti adulti
7 La (meta)analisi è stata condotta su 9 interventi realizzati in otto stati diversi degli Stati Uniti tra il 1967 al 1992. Gli interventi hanno coinvolto quasi 1000 giovani di razze diverse, quasi tutti maschi tra i15 e i 17 anni We conclude that programs such as Scared Straight increase delinquency relative to doing nothing at all to similar youths. Given these results, we cannot recommend this program as a crime prevention strategy
8 Un terzo approccio a questa dis-incantazione della valutazione: Individuare quali sono le esigenze cognitive reali che stanno dietro alla retorica della valutazione diffusa (e per ciascuna mettere in evidenza i nodi da affrontare e le tentazioni da evitare)
Cinque logiche diverse tra loro (senza pretesa di essere esaustive): 9 1. allocazione delle risorse in base al merito 2. controllo della performance di organizzazioni 3. rendicontazione delle realizzazioni 4. analisi critica dell implementazione 5. stima degli effetti delle politiche
1. Allocazione delle risorse in base al merito 10 La valutazione in questo caso è il meccanismo grazie al quale si identifica chi è più meritevole di ricevere (più) risorse
11 Esempi di valutazione che si ispirano alla logica dell individuazione dei meritevoli selezione di progetti (bandi di gara) valutazione della dirigenza valutazione della ricerca scientifica assegnazione alloggi ERP
2. Controllo della performance di organizzazioni 12 La valutazione in questo caso è il meccanismo grazie al quale si rivela se un organizzazione (pubblica) funziona bene (come dovrebbe)
Tipologie di valutazione che si ispirano alla logica del controllo di conformità con valori ottimali 13 il controllo di gestione la certificazione di qualità l accreditamento di organizzazioni
3. Rendicontazione delle realizzazioni 14 La valutazione in questo caso è il meccanismo grazie al quale si rende conto di cosa si è realizzato
15 Data un (complesso) insieme di interventi che usano risorse pubbliche, del cui utilizzo cui si vuole (o deve) rendere conto la valutazione è quel processo di misurazione e comunicazione delle realizzazioni effettuate (e dei risultati ottenuti)
16 Tipologie di valutazione che si ispirano alla logica della rendicontazione delle realizzazioni il bilancio sociale il bilancio di mandato il monitoraggio dei Fondi Strutturali Europei
17 La peculiarità (e l utilità) di questi strumenti sta soprattutto nel raccontare in maniera sintetica (con tabelle, grafici o semplicemente a parole) ai finanziatori (oppure e ai propri contribuenti/utenti/elettori), cosa ne è stato delle risorse messe a disposizione
Facciamo alcuni esempi 18 Nel 2009 il Congresso degli Stati Uniti emana il pacchetto American Recovery and reinvestment act Circa 790 miliardi in misure di contrasto alla recessione: Sgravi fiscali Prestazioni di disoccupazione Assistenza sanitaria Istruzione Infrastrutture e spese per l energetico
19
20
21 4. Analisi critica dell implementazione La valutazione è in questo caso il meccanismo con il quale si fanno parlare gli attori di un azione pubblica per capire come sta andando la sua attuazione e come potrebbe migliorare
22 Data un attività pubblica realizzata o in via di realizzazione, rispetto a cui si vogliono apprendere lezioni utili al suo miglioramento la valutazione consiste nella descrizione degli aspetti salienti del suo processo di attuazione e nell individuazione delle sue criticità, mediante la sollecitazione di narrazioni (auto)critiche
23 Alla base c è il presupposto che il processo produttivo sia tutt altro che lineare nelle sue modalità di attuazione Il compito del valutatore non è giudicare cosa si produce, ma come lo si produce corrisponde a disegni/intenzioni? cosa ne pensano gli attori coinvolti?
5. Stima degli effetti di una politica 24 La valutazione è in questo caso il meccanismo grazie al quale si determina se un intervento pubblico produce gli effetti desiderati
25 Data una singola politica pubblica (intervento mirato ad un cambiamento) di cui si vuole valutare la capacità di produrre gli effetti desiderati sui destinatari la valutazione è quel processo di identificazione e stima degli effetti, intesi come differenze tra ciò che si osserva dopo l intervento (fattuale) e ciò che si sarebbe osservato in assenza (controfattuale) di intervento
Per stimare il controfattuale 26 Ho un gruppo di trattati, di cui osservo la situazione dopo il trattamento E un gruppo di non trattati, o controlli, la cui situazione potrebbe dirci come sarebbero stati i primi se non fossero stati trattati
Facciamo un esempio Il disegno sperimentale di un intervento per l inserimento lavorativo dei disabili psichici Tsunami A Traineeship as a Springboard Out of UNemployment for those Affected by Mental Illness Project awarded under the 2015 Call for Proposals on social policy innovations supporting reforms in social services
Da dove partiamo Inserimento al lavoro dei disabili psichici: una sfida «non semplice» Tassi di occupazione: EUROPA (2010 circa) Non disabili 67% 59% Disabili 47% 46% Disabili psichici? 18% ITALIA (2010 circa)
E i non occupati? In Italia uno su cinque cerca lavoro E spesso non lo trova Iscritti ai Centri per l Impiego del Piemonte coorti 2010-2013 Disagio fisico in tirocinio occupati con altri contratti Disagio psichico in tirocinio occupati con altri contratti un anno dopo l iscrizione 3% 29% 7% 12% due anni dopo l iscrizione 2% 34% 5% 15% tre anni dopo l iscrizione 1% 36% 4% 17% quattro anni dopo l iscrizione 2% 37% 4% 19% N 12.107 4.397
Le barriere all ingresso Individuali Problemi di apprendimento, concentrazione, gestione dello stress Ambientali Stigma Stigma interiore
Come intervenire? Lavoro protetto Orientato all assistenza Lungo periodo di formazione e preparazione Inserimento in contesti protetti (e forse poi ) vs Accompagnamento al lavoro Orientato al lavoro Lavoro subito Inserimento nel mercato competitivo Figura chiave del job coach
Cosa funziona? Le numerose valutazioni condotte negli USA sono nettamente a favore dell accompagnamento al lavoro (Kinoshita et al., 2013, e Marshall et al., 2014, Bond et al., 2012) Ma i risultati possono variare al variare dei contesti Della sua applicazione in Europa si sa ancora poco In Italia (quasi) niente
Lavoro&Psiche (Lombardia, 2008-13) Partner: Fondazione Cariplo Regione Lombardia ASVAPP ALA Sacco
Lavoro&Psiche (Lombardia, 2008-13) Obiettivo testare l efficacia di un modello di intervento basato sul Supported employment Struttura di massima Network ad hoc formato da rappresentanti di enti e servizi locali coinvolgibili (servizi sanitari e del lavoro, associazioni di famiglie e imprese, ) Formazione di job coach addetti a: - attingere ai servizi locali per creare percorsi personalizzati - preparare la persona all esperienza lavorativa - cercare opportunità di inserimento lavorativo (anche tirocinio, ma ) - supportare datore e lavoratore durante l esperienza lavorativa
La struttura di intervento I potenziali beneficiari: - sono 18-50enni - hanno una disabilità psichica - non intellettiva - sono motivati e hanno attitudine al lavoro Da dove vengono: -sono segnalati dai Centri di Salute Mentale Cosa fanno: - sono presi in carico da un job coach, che li accompagna per almeno 2 anni
L intervento funziona? Le chance lavorative dei partecipanti aumentano? «Cosa sarebbe successo loro se?»
Il disegno di valutazione Flusso dei potenziali beneficiari 311 SELEZIONE CASUALE Assegnati a L&P 157 Controlli 154
Effetto sull occupazione? Minimo 38 Effetto nel 2013: +5.3%
39 Effetto sui tirocini? Positivo, ma poco interpretabile Effetto nel 2011-12: +27.8%
E se il tirocinio fosse trattamento... 40 aumenterebbe la probabilità di occupazione dei trattati? Sembra di si (del 18% circa) Ma abbiamo dubbi sull interpatabilità dei dati...
Da L&P a TSUNAMI (Piemonte, 2016-19) 41 Regione Piemonte Agenzia Piemonte Lavoro Mestieri e ForCoop Fondazione Adecco per le Pari Opportunità CREARE ASVAPP Project awarded under the 2015 Call for Proposals on social policy innovations supporting reforms in social services
Da Lavoro & Psiche a TSUNAMI 42 Stesso obiettivo: aumentare la probabilità di occupazione dei beneficiari Alcune differenze: il tirocinio diventa parte rilevante del trattamento aumenta il numero di utenti coinvolti cambia il modo di identificare i beneficiari
Il trattamento 43 Il trattamento, concentrato e di durata limitata, può essere rappresentato in 4 fasi: 1- ANALISI DELLA DOMANDA Presa in carico e valutazione dell occupabilità 2- PIANO DI INTERVENTO Predisposizione e realizzazione del piano di azione individuale 3- TIROCINIO 4- RICERCA DI LAVORO
Durata del trattamento 44 FASE 1 + 2 FASE 3 FASE 4 MAX 2 MESI 3-6 MESI MAX 3 MESI I servizi vengono erogati da operatori (formati) ad hoc esperti nell accompagnamento al lavoro dei disabili
Il target 45 - Beneficiari della legge 68/99 iscritti ai CPI - Con disagio psichico - Senza disabilità intellettiva - Con meno di 56 anni Osservando il flusso negli anni precedenti stimiamo di avere tra i 1000 e i 1200 iscritti con queste caratteristiche in 18 mesi di reclutamento
DIFFERENZA= IMPATTO STIMATO Il disegno di valutazione 46 Dividiamo i potenziali beneficiari in due gruppi (estratti a caso) 1.000 TRATTATI CONTROLLI 500 500 FATTUALE Tasso di occupazione un anno dopo CONTROFATTUALE Tasso di occupazione un anno dopo
Quali sono le minacce alla validità dell esperimento? 47 Il passaparola all interno dei CPI/CSM potrebbe non garantire la casualità nell assegnazione ai due gruppi Rischio che alcuni soggetti selezionati come controlli diventino trattati (si chiamano cross over)
Una possibilità: randomizzare i CPI 48 Ci sono 30 CPI nella Regione Randomizziamo 15 Centri in modo che siano trattati Individuiamo delle coppie di Cpi con caratteristiche simili (per dimensione e tasso di occupazione stimato) Quindi estraiamo a sorte un Cpi per ogni coppia Torino?
TSUNAMI: randomizzazione
La mappa del trattamento 50 TORINO PIEMONTE
Come siamo messi? 51 La presa in carico degli utenti (inizialmente prevista fino ad aprile 2018) andrà avanti fino ad ottobre 2018 A giugno 2018: 663 assegnati 565 controlli % femmine 42% 42% età media 39 39 % italiani 93% 94% % diplomati 34% 37% grado invalidità medio 68 69 patologie multiple 51% 49% Take up rate (hanno aderito) 52%
http://www.tsunamiproject.info/