Il metodo differenza-nelle-differenze

Transcript

1 Il metodo differenza-nelle-differenze Abbiamo visto un esempio di metodo delle serie storiche (prima/dopo) un esempio di metodi sperimentali (con/senza) Consideriamo ora questo ulteriore metodo come punto di partenza per i metodi non sperimentali, quando occorre considerare differenze tra situazioni diverse (con/senza), ma con alcuni problemi ulteriori. IL PROGRAMMA URBAN affronta la problematica urbana in forma integrata, associando promozione dell'attività economica miglioramento dell'infrastruttura e dell'ambiente formazione personalizzata azioni a favore delle pari opportunità adeguamento dei servizi sociali 1

2 2

3 IL PROGRAMMA URBAN Effetto totale =» Realizzazioni fisiche» Risultati a breve» Impatto finale a medio e lungo termine Indicatori di impatto» Tasso di Disoccupazione giovanile» Tasso di crescita PMI assitite» Riduzione inquinamento ecologico IL PROGRAMMA URBAN IMMAGINARIO Immaginiamo che i programmi Urban abbiano un solo ed unico obiettivo: rendere più vivibili i quartieri riducendo gli atti di vandalismo contro edifici pubblici e privati La varibile risultato è quindi il numero di atti di vandalismo denunciati in un anno ogni abitanti, in pratica il tasso di vandalismo per quartiere e per abitanti Per semplificare, assumiamo che il programma Urban (la nostra variabile indipendente sperimentale Ti) modifichi unicamente la variabile-risultato (tasso di vandalismo) in modo indipendente dall azione di altre componenti (situazioni, circostanze, covariate ) che agiscono sia sul tasso di vandalismo sia su altre variabili risultato. 3

4 Assumiamo inoltre che un quartiere, in un certo anno, sarà completamente esposto o non esposto alla politica Quindi il programma Urban, per il quartiere i-esimo, è attivo nel tempo (entro un intervallo considerato) e nello spazio (tra vari quartieri) oppure non è assolutamente attivo. Nel nostro esempio non sono possibili situazioni intermedie: in questo modo la variabile-trattamento T i si presenta come esplicativa dicotoma (0/1) Periodo di realizzazione: città ricevono i finanziamenti per rivitalizzare uno specifico quartiere altri 2 quartieri in altrettante città NON ricevono finanziamenti 4

5 L attuazione di Urban tra il 2001 e il 2003 ha ridotto l incidenza di atti di vandalismo nei quartieri interessati? rispetto a quanto si sarebbe osservato senza alcun intervento Y i,2004 = tasso di vandalismo nel quartiere i-esimo nel 2004, alla conclusione di Urban T i = 1 per i quartieri trattati nel T i = 0 per i 2 quartieri non-trattati Qual è l effetto di T i su Y i,2004? 5

6 Sui quartieri Urban (cioè sui quartieri trattati ) abbiamo i seguenti dati relativi al 2004: n. quartiere Vandalismo 59,5 69,2 64,5,8 74,5 62,7 62,9 67,8,0,8 92,4,4 88,4 64,4 76,6 N Min Max Media Deviazione standard Atti di Vandalismo ,49 nel 2004 la media del tasso di vandalismo nei quartieri trattati era di 66,4. ma questo dato ovviamente non ci consente di rispondere ad alcuna domanda 6

7 Infatti occorre individuare la situazione controfattuale: cosa sarebbe successo in assenza di Urban Tuttavia, per ricostruire tale situazione abbiamo bisogno di altri dati e non bastano quelli relativi al 2004 e ai quartieri trattati Ad esempio, un confronto tra PRIMA e DOPO Quartieri Urban trattati ANNO N Differenza Errore standard della differenza Media del tasso di vandalismo + 3,47 ns Deviazione standard 10,49 10,39 2,088 se CCSSR indipendenti estratti da Pop con distr. Normale 7

8 Quartieri Urban trattati tasso di vandalismo Urban La differenza è positiva, cioè il vandalismo in media è aumentato tra il 2000 e il 2004, durante la realizzazione del programma Urban nei quartieri Questa evidenza basta a sostenere che il programma Urban ha causato un aumento nel tasso di vandalismo, anche se la differenza è NON significativa? In tal caso il il programma Urban avrebbe fallito il suo obiettivo. 8

9 Concludere che il programma Urban ha causato un aumento nel vandalismo equivale a interpretare la semplice differenza pre-post come effetto della politica equivale a dire che la situazione controfattuale equivale alla situazione osservata nei quartieri Urban nel 2000 Significa ammettere una dinamica temporale nulla È plausibile affermare che il vandalismo nel 2000 equivale a quello osservato nel 2004 senza Urban? La dinamica del fenomeno, cioè l insime di fattori ignoti che hanno comunque una dinamica temporale è, come sappiamo, l obiezione principale rispetto al confronto di tipo temporale pre-post Il termine dinamica spontanea sottintende l eventualità che la variabile-risultato sia soggetta ad influenze esterne (esogene) indipendenti dalla politica pubblica in esame e dalle nostre informazioni, influenze in grado di modificarla sensibilmente nel periodo in esame 9

10 I cambiamenti dovuti alla dinamica spontanea possono andare: in una direzione favorevole alla politica, attribuendole scorrettamente dei meriti oppure in una direzione sfavorevole, attribuendole scorrettamente delle colpe Non è necessariamente colpa della politica pubblica se le cose peggiorano Vandalismo controfattuale = sarebbe andata molto peggio dinamica spontanea effetto positivo: implica un miglioramento livello osservato dopo livello osservato prima pre attuazione della politica post tempo 10

11 Non è necessariamente merito della politica pubblica se le cose migliorano Vandalismo livello osservato prima pre dinamica spontanea attuazione della politica post livello osservato dopo effetto negativo: implica un peggioramento controfattuale = sarebbe andata molto meglio tempo L esistenza di una dinamica spontanea nel nostro esempio è plausibile? è ragionevole immaginare che le cose cambino nei quartieri tra il 2000 e il 2004, oltre all attuazione di Urban? altre fattori possono avere un influenza sul vandalismo indipendentemente dall esistenza di Urban? 11

12 In realtà i dati sul vandalismo nei quartieri rilevati prima e dopo l attuazione della politica non sarebbero comunque sufficienti per stimare in modo plausibile l effetto della politica sulla variabile-risultato Abbiamo bisogno di un disegno diverso dell esperimento e anche di altri dati Ad esempio, informazioni sui quartieri non ammessi al programma Urban per verificare le affinità dei quartieri alla partenza Perché non hanno fatto domanda o perché non avevano i requisiti o perché non c erano fondi suffcienti 12

13 Possiamo usare il vandalismo osservato nei 2 quartieri che non hanno partecipato al programma Urban (quartieri NonUrban) per stimare ciò che sarebbe successo nei quartieri Urban in assenza di tale programma? Quartieri Urban 2004 NonUrban 2004 Differenza Errore standard della differenza N 2 Media del tasso di vandalismo 57, + 8,87 sig. almeno al 5% Deviazione standard 10,49 14,98 2,22 Differenza nel tasso di vandalismo tra quartieri Urban e NonUrban nel 2004 tasso di vandalismo 66,4 57, Urban Non Urban 13

14 Nel 2004 il vandalismo è maggiore nei quartieri Urban di circa 9 punti percentuali (+ 8,87) rispetto ai quartieri NonUrban Ora possiamo sostenere che Urban fa aumentare il tasso di vandalismo e decretarne il totale fallimento rispetto questo obiettivo? Ma la differenza con-senza è una stima plausibile dell effetto di Urban? Questo avrebbe senso se e solo se le condizioni di partenza dei due gruppi di quartieri, livello di vandalismo e altre caratteristiche socio-economiche, fossero le stesse.. Ovvero se il Controfattuale coincidesse con la situazione osservata nei quartieri Non Urban nel 2004 È possibile? 14

15 È semmai probabile il contrario, che i quartieri Urban siano stati ammessi ai finanziamenti proprio perché si trovavano in condizioni peggiori Le differenze post-trattamento con-senza non rappresentano l effetto della politica, a meno che si possa dimostrare che le condizioni di partenza (pretrattamento) fossero identiche nei due gruppi (Studi Sperimentali) Le differenze nelle condizioni di partenza sono il principale errore logico nelle valutazioni di tipo non sperimentale 15

16 Entrambe le strategie di valutazione considerate finora 1. confronto pre-post per le unità trattate; 2. confronto con-senza nel periodo post-intervento sono ineffici per valutare gli effetti di una politica pubblica, ciascuna contiene il proprio errore logico: dinamica temporale e selezione campionaria Il confronto pre-post per le unità trattate il capofila di quello che nella letteratura viene definito come pre-post one group design o in psicologia come pretest-postest design La caratteristica principale di questo approccio è non usare alcuna informazione sulle unità non trattate, ma di riferirsi solo alle unità trattate 16

17 Il confronto post-intervento tra unità trattate e non trattate è il capofila di quello che solitamente viene definito come comparison-group design Questo disegno presenta diverse alternative, in funzione della strategia utilizzata per eliminare la distorsione causata dalle differenze di partenza Il modo migliore per eliminare la distorsione causata dalle differenze di partenza è quella di eliminare all origine le differenze tra trattati e non-trattati mediante la randomizzazione Ma questo è raramente fattibile. Restiamo quindi in un ambito non-sperimentale, e proviamo a combinare i confronti con-senza e i confronti pre-post L aggiunta di una quarta osservazione consente di utilizzare il metodo non-sperimentale differenzanelle-differenze 17

18 Finora i nostri tentativi hanno usato tre insiemi di osservazioni, riassunti ciascuno dalla rispettiva media: 1. La media dei tassi di vandalismo nei quartieri Urban La media dei tassi di vandalismo nei quartieri Urban La media dei tassi di vandalismo nei quartieri NonUrban La media dei tassi di vandalismo nei quartieri NonUrban nel 2000 Tipo di quartiere Numero di quartieri Media del tasso di vandalismo osservato Urban NonUrban 2 57, tasso di vandalismo Urban NonUrban 18

19 tasso di vandalismo pre-post Urban NonUrban tasso di vandalismo con-senza 57, Urban NonUrban 19

20 tasso di vandalismo 57, Urban NonUrban due diverse strade per la stessa conclusione 20

21 A. La stima dell effetto è una differenza, in questo caso una differenza tra due differenze che a sua volta si può ottenere in due modi Tipo di quartiere Media del tasso di vandalismo nel Differenze ( ) Urban 3,47 NonUrban 57, 11,13 Differenze (U-NU) 16,53 8,87-7,66 tasso di vandalismo - = 3,47 3,47-11,13=-7,66 57, 57, - = 11,13 effetto =crescita trattati crescita non-trattati Urban NonUrban 21

22 tasso di vandalismo = 16,53 8,87-16,53= -7,66 57, = 8,87 57, effetto =differenza finale differenza iniziale Urban NonUrban B. L effetto è la differenza tra osservato e controfattuale (ma cosa è qui il controfattuale?) 22

23 tasso di vandalismo , Urban NonUrban tasso di vandalismo , Urban NonUrban controfattuale 23

24 tasso di vandalismo controfattuale 74,03 57, Urban NonUrban controfattuale tasso di vandalismo controfattuale 74,03 57, 16, Urban NonUrban controfattuale 24

25 tasso di vandalismo controfattuale 74,03 16,53 57, Urban NonUrban controfattuale tasso di vandalismo controfattuale 74,03 57, effetto = -7,66 Urban NonUrban controfattuale 25

26 Tuttavia il controfattuale riposa su un assunto esplicito ma discutibile Se tale assunto non è plausibile, perde di plausibilità anche la stima dell effetto che abbiamo appena ottenuto La differenza di partenza è calcolta solo sui 2 livelli temporali prima e dopo e non sui trend precedenti L assunto è che non siano in atto differenze nei trend dei due gruppi di quartieri 26

27 E possibile il contrario, infatti i quartieri Urban potrebbero verosimilmente avere un trend di crescita del vandalismo più accentuato degli altri quartieri già prima dell intervento In questo caso l effetto di Urban sarebbe ancora maggiore di quanto stimato con il semplice DD, quindi sottostimato Se nei quartieri con livelli più alti di vandalismo nel 2000 prevalessero trend relativamente meno crescenti, l ipotesi di trend simili implicitamente adottata produrrebbe invece una sovrastima dell effetto di Urban 27

28 Come è possibile rendere la nostra strategia di valutazione più plausibile? Usando altri dati Aggiungiamo una colonna alla nostra tabella, con due ulteriori osservazioni: Tipo di quartiere Urban NonUrban Numero di quartieri 2 Media del tasso di vandalismo osservato nel ,96 39,96 57, 28

29 tasso di vandalismo ,96 57, 39, Urban NonUrban Con le 2 osservazioni aggiuntive possiamo calcolare le differenze pre-intervento nei trend; e possiamo sottrarle alla stima dell effetto ottenuta con quattro osservazioni Effetto = (U 2004 N 2004 ) differenza U/NU post (2004) (U 2000 N 2000 ) differenza U/NU pre (2000) [(U 2000 U 1996 ) (N 2000 N 1996 )] differenza U/NU pre nei trend 9,19 8,87 (+ 16,53) [+ 1,53] Differenza U-NU dopo l intervento meno il controfattuale, ovvero: la differenza che ci sarebbe dovuta essere se si fosse mantenuta la situazione del 2000 la differenza nei due trend U e NU calcolata anche considerando gli anni precedenti al

30 Vediamo il controfattuale tasso di vandalismo ,03 effetto = -7,66 57, Urban NonUrban controf. 4 oss. 30

31 tasso di vandalismo ,03 54,96 +7,94 57, 39,96 +6, Urban NonUrban controf. 4 oss. tasso di vandalismo ,94 6,41 = + 1,53 54,96 +7,94 39,96 +6,41 75,56 74,03 57, Urban NonUrban c.f. 4 oss. c.f. 6 oss. 31

32 tasso di vandalismo ,96 39,96 +7,94 +6,41 effetto = -75,56= -7,66-1,53= -9,19= 57, ,56 Urban NonUrban Controfattuale 6 oss. 32