Il metodo differenza-nelle-differenze Abbiamo visto un esempio di metodo delle serie storiche (prima/dopo) un esempio di metodi sperimentali (con/senza) Consideriamo ora questo ulteriore metodo come punto di partenza per i metodi non sperimentali, quando occorre considerare differenze tra situazioni diverse (con/senza), ma con alcuni problemi ulteriori. IL PROGRAMMA URBAN affronta la problematica urbana in forma integrata, associando promozione dell'attività economica miglioramento dell'infrastruttura e dell'ambiente formazione personalizzata azioni a favore delle pari opportunità adeguamento dei servizi sociali 1
2
IL PROGRAMMA URBAN Effetto totale =» Realizzazioni fisiche» Risultati a breve» Impatto finale a medio e lungo termine Indicatori di impatto» Tasso di Disoccupazione giovanile» Tasso di crescita PMI assitite» Riduzione inquinamento ecologico IL PROGRAMMA URBAN IMMAGINARIO Immaginiamo che i programmi Urban abbiano un solo ed unico obiettivo: rendere più vivibili i quartieri riducendo gli atti di vandalismo contro edifici pubblici e privati La varibile risultato è quindi il numero di atti di vandalismo denunciati in un anno ogni 10.000 abitanti, in pratica il tasso di vandalismo per quartiere e per 10.000 abitanti Per semplificare, assumiamo che il programma Urban (la nostra variabile indipendente sperimentale Ti) modifichi unicamente la variabile-risultato (tasso di vandalismo) in modo indipendente dall azione di altre componenti (situazioni, circostanze, covariate ) che agiscono sia sul tasso di vandalismo sia su altre variabili risultato. 3
Assumiamo inoltre che un quartiere, in un certo anno, sarà completamente esposto o non esposto alla politica Quindi il programma Urban, per il quartiere i-esimo, è attivo nel tempo (entro un intervallo considerato) e nello spazio (tra vari quartieri) oppure non è assolutamente attivo. Nel nostro esempio non sono possibili situazioni intermedie: in questo modo la variabile-trattamento T i si presenta come esplicativa dicotoma (0/1) Periodo di realizzazione: 2001 2003 città ricevono i finanziamenti per rivitalizzare uno specifico quartiere altri 2 quartieri in altrettante città NON ricevono finanziamenti 4
L attuazione di Urban tra il 2001 e il 2003 ha ridotto l incidenza di atti di vandalismo nei quartieri interessati? rispetto a quanto si sarebbe osservato senza alcun intervento Y i,2004 = tasso di vandalismo nel quartiere i-esimo nel 2004, alla conclusione di Urban T i = 1 per i quartieri trattati nel 2001-03 T i = 0 per i 2 quartieri non-trattati Qual è l effetto di T i su Y i,2004? 5
Sui quartieri Urban (cioè sui quartieri trattati ) abbiamo i seguenti dati relativi al 2004: n. quartiere 1 2 3 4 5 6 7 8 9 46 47 48 49 Vandalismo 59,5 69,2 64,5,8 74,5 62,7 62,9 67,8,0,8 92,4,4 88,4 64,4 76,6 N Min Max Media Deviazione standard Atti di Vandalismo 39 98 10,49 nel 2004 la media del tasso di vandalismo nei quartieri trattati era di 66,4. ma questo dato ovviamente non ci consente di rispondere ad alcuna domanda 6
Infatti occorre individuare la situazione controfattuale: cosa sarebbe successo in assenza di Urban Tuttavia, per ricostruire tale situazione abbiamo bisogno di altri dati e non bastano quelli relativi al 2004 e ai quartieri trattati Ad esempio, un confronto tra PRIMA e DOPO Quartieri Urban trattati ANNO 2004 2000 N Differenza Errore standard della differenza Media del tasso di vandalismo + 3,47 ns Deviazione standard 10,49 10,39 2,088 se CCSSR indipendenti estratti da Pop con distr. Normale 7
Quartieri Urban trattati tasso di vandalismo 2000 2004 Urban La differenza è positiva, cioè il vandalismo in media è aumentato tra il 2000 e il 2004, durante la realizzazione del programma Urban nei quartieri Questa evidenza basta a sostenere che il programma Urban ha causato un aumento nel tasso di vandalismo, anche se la differenza è NON significativa? In tal caso il il programma Urban avrebbe fallito il suo obiettivo. 8
Concludere che il programma Urban ha causato un aumento nel vandalismo equivale a interpretare la semplice differenza pre-post come effetto della politica equivale a dire che la situazione controfattuale equivale alla situazione osservata nei quartieri Urban nel 2000 Significa ammettere una dinamica temporale nulla È plausibile affermare che il vandalismo nel 2000 equivale a quello osservato nel 2004 senza Urban? La dinamica del fenomeno, cioè l insime di fattori ignoti che hanno comunque una dinamica temporale è, come sappiamo, l obiezione principale rispetto al confronto di tipo temporale pre-post Il termine dinamica spontanea sottintende l eventualità che la variabile-risultato sia soggetta ad influenze esterne (esogene) indipendenti dalla politica pubblica in esame e dalle nostre informazioni, influenze in grado di modificarla sensibilmente nel periodo in esame 9
I cambiamenti dovuti alla dinamica spontanea possono andare: in una direzione favorevole alla politica, attribuendole scorrettamente dei meriti oppure in una direzione sfavorevole, attribuendole scorrettamente delle colpe Non è necessariamente colpa della politica pubblica se le cose peggiorano Vandalismo controfattuale = sarebbe andata molto peggio dinamica spontanea effetto positivo: implica un miglioramento livello osservato dopo livello osservato prima pre attuazione della politica post tempo 10
Non è necessariamente merito della politica pubblica se le cose migliorano Vandalismo livello osservato prima pre dinamica spontanea attuazione della politica post livello osservato dopo effetto negativo: implica un peggioramento controfattuale = sarebbe andata molto meglio tempo L esistenza di una dinamica spontanea nel nostro esempio è plausibile? è ragionevole immaginare che le cose cambino nei quartieri tra il 2000 e il 2004, oltre all attuazione di Urban? altre fattori possono avere un influenza sul vandalismo indipendentemente dall esistenza di Urban? 11
In realtà i dati sul vandalismo nei quartieri rilevati prima e dopo l attuazione della politica non sarebbero comunque sufficienti per stimare in modo plausibile l effetto della politica sulla variabile-risultato Abbiamo bisogno di un disegno diverso dell esperimento e anche di altri dati Ad esempio, informazioni sui quartieri non ammessi al programma Urban per verificare le affinità dei quartieri alla partenza Perché non hanno fatto domanda o perché non avevano i requisiti o perché non c erano fondi suffcienti 12
Possiamo usare il vandalismo osservato nei 2 quartieri che non hanno partecipato al programma Urban (quartieri NonUrban) per stimare ciò che sarebbe successo nei quartieri Urban in assenza di tale programma? Quartieri Urban 2004 NonUrban 2004 Differenza Errore standard della differenza N 2 Media del tasso di vandalismo 57, + 8,87 sig. almeno al 5% Deviazione standard 10,49 14,98 2,22 Differenza nel tasso di vandalismo tra quartieri Urban e NonUrban nel 2004 tasso di vandalismo 66,4 57,5 2004 Urban Non Urban 13
Nel 2004 il vandalismo è maggiore nei quartieri Urban di circa 9 punti percentuali (+ 8,87) rispetto ai quartieri NonUrban Ora possiamo sostenere che Urban fa aumentare il tasso di vandalismo e decretarne il totale fallimento rispetto questo obiettivo? Ma la differenza con-senza è una stima plausibile dell effetto di Urban? Questo avrebbe senso se e solo se le condizioni di partenza dei due gruppi di quartieri, livello di vandalismo e altre caratteristiche socio-economiche, fossero le stesse.. Ovvero se il Controfattuale coincidesse con la situazione osservata nei quartieri Non Urban nel 2004 È possibile? 14
È semmai probabile il contrario, che i quartieri Urban siano stati ammessi ai finanziamenti proprio perché si trovavano in condizioni peggiori Le differenze post-trattamento con-senza non rappresentano l effetto della politica, a meno che si possa dimostrare che le condizioni di partenza (pretrattamento) fossero identiche nei due gruppi (Studi Sperimentali) Le differenze nelle condizioni di partenza sono il principale errore logico nelle valutazioni di tipo non sperimentale 15
Entrambe le strategie di valutazione considerate finora 1. confronto pre-post per le unità trattate; 2. confronto con-senza nel periodo post-intervento sono ineffici per valutare gli effetti di una politica pubblica, ciascuna contiene il proprio errore logico: dinamica temporale e selezione campionaria Il confronto pre-post per le unità trattate il capofila di quello che nella letteratura viene definito come pre-post one group design o in psicologia come pretest-postest design La caratteristica principale di questo approccio è non usare alcuna informazione sulle unità non trattate, ma di riferirsi solo alle unità trattate 16
Il confronto post-intervento tra unità trattate e non trattate è il capofila di quello che solitamente viene definito come comparison-group design Questo disegno presenta diverse alternative, in funzione della strategia utilizzata per eliminare la distorsione causata dalle differenze di partenza Il modo migliore per eliminare la distorsione causata dalle differenze di partenza è quella di eliminare all origine le differenze tra trattati e non-trattati mediante la randomizzazione Ma questo è raramente fattibile. Restiamo quindi in un ambito non-sperimentale, e proviamo a combinare i confronti con-senza e i confronti pre-post L aggiunta di una quarta osservazione consente di utilizzare il metodo non-sperimentale differenzanelle-differenze 17
Finora i nostri tentativi hanno usato tre insiemi di osservazioni, riassunti ciascuno dalla rispettiva media: 1. La media dei tassi di vandalismo nei quartieri Urban 2004 2. La media dei tassi di vandalismo nei quartieri Urban 2000 3. La media dei tassi di vandalismo nei quartieri NonUrban 2004 4. La media dei tassi di vandalismo nei quartieri NonUrban nel 2000 Tipo di quartiere Numero di quartieri Media del tasso di vandalismo osservato 2000 2004 Urban NonUrban 2 57, tasso di vandalismo 2000 2004 Urban NonUrban 18
tasso di vandalismo pre-post 2000 2004 Urban NonUrban tasso di vandalismo con-senza 57, 2000 2004 Urban NonUrban 19
tasso di vandalismo 57, 2000 2004 Urban NonUrban due diverse strade per la stessa conclusione 20
A. La stima dell effetto è una differenza, in questo caso una differenza tra due differenze che a sua volta si può ottenere in due modi Tipo di quartiere Media del tasso di vandalismo nel 2000 2004 Differenze (2004-2000) Urban 3,47 NonUrban 57, 11,13 Differenze (U-NU) 16,53 8,87-7,66 tasso di vandalismo - = 3,47 3,47-11,13=-7,66 57, 57, - = 11,13 effetto =crescita trattati crescita non-trattati 2000 2004 Urban NonUrban 21
tasso di vandalismo = 16,53 8,87-16,53= -7,66 57, = 8,87 57, effetto =differenza finale differenza iniziale 2000 2004 Urban NonUrban B. L effetto è la differenza tra osservato e controfattuale (ma cosa è qui il controfattuale?) 22
tasso di vandalismo 80 75 57, 2000 2004 Urban NonUrban tasso di vandalismo 80 75 57, 2000 2004 Urban NonUrban controfattuale 23
tasso di vandalismo 80 75 controfattuale 74,03 57, 2000 2004 Urban NonUrban controfattuale tasso di vandalismo 80 75 controfattuale 74,03 57, 16,53 2000 2004 Urban NonUrban controfattuale 24
tasso di vandalismo 80 75 controfattuale 74,03 16,53 57, 2000 2004 Urban NonUrban controfattuale tasso di vandalismo 80 75 controfattuale 74,03 57, 2000 2004 effetto = -7,66 Urban NonUrban controfattuale 25
Tuttavia il controfattuale riposa su un assunto esplicito ma discutibile Se tale assunto non è plausibile, perde di plausibilità anche la stima dell effetto che abbiamo appena ottenuto La differenza di partenza è calcolta solo sui 2 livelli temporali prima e dopo e non sui trend precedenti L assunto è che non siano in atto differenze nei trend dei due gruppi di quartieri 26
E possibile il contrario, infatti i quartieri Urban potrebbero verosimilmente avere un trend di crescita del vandalismo più accentuato degli altri quartieri già prima dell intervento In questo caso l effetto di Urban sarebbe ancora maggiore di quanto stimato con il semplice DD, quindi sottostimato Se nei quartieri con livelli più alti di vandalismo nel 2000 prevalessero trend relativamente meno crescenti, l ipotesi di trend simili implicitamente adottata produrrebbe invece una sovrastima dell effetto di Urban 27
Come è possibile rendere la nostra strategia di valutazione più plausibile? Usando altri dati Aggiungiamo una colonna alla nostra tabella, con due ulteriori osservazioni: Tipo di quartiere Urban NonUrban Numero di quartieri 2 Media del tasso di vandalismo osservato nel 1996 2000 2004 54,96 39,96 57, 28
tasso di vandalismo 80 75 35 54,96 57, 39,96 1996 2000 2004 Urban NonUrban Con le 2 osservazioni aggiuntive possiamo calcolare le differenze pre-intervento nei trend; e possiamo sottrarle alla stima dell effetto ottenuta con quattro osservazioni Effetto = (U 2004 N 2004 ) differenza U/NU post (2004) (U 2000 N 2000 ) differenza U/NU pre (2000) [(U 2000 U 1996 ) (N 2000 N 1996 )] differenza U/NU pre nei trend 9,19 8,87 (+ 16,53) [+ 1,53] Differenza U-NU dopo l intervento meno il controfattuale, ovvero: la differenza che ci sarebbe dovuta essere se si fosse mantenuta la situazione del 2000 la differenza nei due trend U e NU calcolata anche considerando gli anni precedenti al 2000 29
Vediamo il controfattuale tasso di vandalismo 80 75 35 74,03 effetto = -7,66 57, 1996 2000 2004 Urban NonUrban controf. 4 oss. 30
tasso di vandalismo 80 75 35 74,03 54,96 +7,94 57, 39,96 +6,41 1996 2000 2004 Urban NonUrban controf. 4 oss. tasso di vandalismo 80 75 35 7,94 6,41 = + 1,53 54,96 +7,94 39,96 +6,41 75,56 74,03 57, 1996 2000 2004 Urban NonUrban c.f. 4 oss. c.f. 6 oss. 31
tasso di vandalismo 80 75 35 54,96 39,96 +7,94 +6,41 effetto = -75,56= -7,66-1,53= -9,19= 57, 1996 2000 2004 75,56 Urban NonUrban Controfattuale 6 oss. 32