Seminario Valutazione PON Roma, 29 marzo 2012 La valutazione degli effetti dei Programmi: il progetto PQM e altre indagini sui dati acquisiti Elena Meroni - Università di Padova e INVALSI Daniele Vidoni - INVALSI
La domanda a cui rispondere: Qual è l efficacia degli interventi implementati? Ovvero Gli interventi sono in grado di produrre gli effetti desiderati ex ante? Rispondere a questa domanda richiede una accurata misurazione degli effetti dell intervento ex post (cioè dopo la messa in atto) e implica la volontà di associare l implementazione di un intervento pubblico alla valutazione dei suoi effetti.
Il problema sotteso: L ATTRIBUZIONE CAUSALE definizione controfattuale di effetto: l effetto di un intervento è la differenza tra quanto si osserva in presenza dell intervento e quanto si sarebbe osservato in sua assenza.
Trappole concettuali: Attribuire alla politica il merito del cambiamento osservato nel fenomeno tra prima e dopo la sua implementazione. Attenzione! Non tutto ciò che accade dopo qualcosa accade a causa di quel qualcosa, poiché il fenomeno di interesse può avere una sua dinamica spontanea. Attribuire alla politica differenze osservate nel fenomeno di interesse tra esposti e non esposti. Attenzione! Questo ci espone al problema di possibili differenze nella composizione dei due gruppi, che avrebbero potuto causare differenze nei risultati anche in assenza della politica.
Possibili strade da seguire: Esperimenti randomizzati Garantisce l equivalenza tra i due gruppi ma difficile da applicare per: problemi etici o resistenze culturali; concreta gestione degli esclusi (che devono rimanere tali: serve collaborazione da parte di chi eroga il trattamento); vincoli legali; prassi amministrative consolidate. Soluzioni non sperimentali Permettono di ricostruire ex post l equivalenza tra i due gruppi. Problemi: Effettiva disponibilità delle necessarie informazioni per matching in termini di apprendimenti, caratteristiche demografiche, altre caratteristiche.
Cosa fa INVALSI in questo senso: Esperimenti randomizzati Soluzioni non sperimentali Valutazione.M@t.abel+ GRUPPO DI LAVORO: Giovanni Abbiati, Gianluca Argentin, Andrea Caputo, Aline Pennisi. Valutazione PQM GRUPPO DI LAVORO: Giovanni Abbiati, Elena Meroni. Valutazione effetto fondi PON GRUPPO DI LAVORO: Patrizia Falzetti, Laura Palmerio, Barbara Romano.
Quindi la domanda è: Valutazione effetto fondi PON I finanziamenti PON fanno la differenza in termini di risultati degli studenti?
540 520 500 480 460 440 420 527 518 488 487 467 445 519 511 486 476 Vi sono evidenze di un parziale recupero Trend 2000-2009 Lettura - Italia 511 506 504 494 482 469 445 443 434 432 425 North West 488 486 North East Center 468 South 460 456 South-Islands Area convergenza Italy 400 PISA 2000 PISA 2003 PISA 2006 PISA 2009 8
Vi sono evidenze di un parziale recupero Trend 2000-2009 Matematica - Italia 520 500 511 510 505 507 507 480 460 440 420 472 466 428 423 487 467 462 440 426 417 483 483 465 457 451 North West North East Center South South-Islands Area convergenza Italy 400 PISA 2003 PISA 2006 PISA 2009 9
Accesso delle scuole ai finanziamenti PON in termini di attività prevalente e intensità di partecipazione IC Participation Non active Active non didactic Active didactics Intensity High Medium-high Medium Medium-low Low
Il disegno di valutazione Trattamento: aver accesso ai finanziamenti PON Popolazione di riferimento: le scuole delle macro-aree Sud e Sud e Isole che hanno partecipato a entrambe le indagini OCSE PISA 2006 e PISA 2009 (25 PON, 50 non-pon). I dati: 2760 studenti in 75 scuole. Risultati degli studenti nelle prove PISA, Questionari studente, Questionari scuola, Dati amministrativi sulle scuole. Selezione delle scuole: Scuole divise in 2 gruppi via PSM (Coarsen Exact Matching Algorithm, Stefano M. Iacus, Gary King, and Giuseppe Porro, Matching for Causal Inference Without Balance Checking, http://gking.harvard.edu/files/abs/cem-abs.shtml).
Il disegno di valutazione Misura -pre (previa all inizio di FP7): Risultati degli studenti in OECD PISA 2006 Misura post (dopo due anni di attività): Risultati degli studenti in OECD PISA 2009 SATT: Confronto tra I risultati medi delle scuole trattate e di controllo controllando per le caratteristiche degli studenti e delle scuole. Modello per le analisi: HLM 2 livelli con effetti fissi di scuola
Variabili utilizzate per il matching Variable Description mean min max ESCS Status socioeconomico medio degli studenti a livello di scuola -.12-1.28 1.01 COMMUNITY Dimensione della comunità in 3 1 5 cui si trova la scuola (small city) (village) (large city) SCHSIZE Dimensione della scuola 777.12 83 1917 TCSHORT Carenza di insegnanti -.06-1.06 1.93 SCMATEDU Risorse didattiche a disposizione della scuola -.06-1.93 2.14 RATCOMP % computer connessi a internet.13.02.72
Variable Description Variable Description ESCS - Individual level - - school level - Status socioeconomico dello studente PON LANG Lingua parlata in casa MATH or READ 2006 Se la scuola si trova o meno in una regione PON Risultato medio di scuola nel 2006 IMMIG Immingrato / nativo ESCS Status socioeconomico medio degli studenti SEX genere COMMUNITY Dimensione della comunità in cui si trova la scuola SCHSIZE STRATIO PCGIRLS PROPCERT TCSHORT SCMATEDU RATCOMP Variabili usate per la stima del SATT Dimensione della scuola Rapporto studenti insegnanti % femmine nella scuola % di insegnanti in possesso di abilitazione Carenza di insegnanti Risorse didattiche a disposizione della scuola % computer connessi a internet
Risultati (1) Average school results Math - matched schools 600 PISA 2009 student results 550 500 450 400 350 non PON PON 300 300 350 400 450 500 550 600 PISA 2006 student results
Risultati (2) PISA 2006 READ M0 M1 M2 M3 M4 Intercept 463,42*** 449,23*** 454,07*** 468,27*** 464,88*** SEX 32,53*** 32,65*** 31,66*** 32,62*** LANG 29,74*** 29,76*** 29,85*** 32,43*** IMMIG 18,73* 18,74* 18,34* ESCS 6,99*** 6,99*** 5,79** 6,02** PON 12,44 47,24*** 41,55*** STRATIO 11,57*** 14,11*** PROPCERT 47,41 SCHSIZE 0,06** 0,04** RATCOMP 29,17*** 29,95*** PCGIRLS 54,46 TCSHORT 4,03 SCMATEDU 10,89 READ2006 COMMUNITY PISA 2009 READ M0 M1 M2 M3 M4 Intercept 481,39*** 471,97*** 464,87*** 463,30*** 467,74*** SEX 21,43*** 21,34*** 20,50*** 19,97*** LANG 12,19** 12,09** 11,91** 11,59* IMMIG 25,58** 25,41** 27,22*** 27,06*** ESCS 8,17*** 8,13*** 7,42*** 7,26** PON 18,0523,14** 12,49 STRATIO 0,42 PROPCERT 87,54 SCHSIZE 0,02 RATCOMP 1,38 PCGIRLS 0,17 READ2006 0,71*** 0,60*** COMMUNITY 0,38
PISA 2006 MATH Risultati (3) M0 M1 M2 M3 M4 Intercept 443,29*** 459,36*** 461,17*** 471,36*** 472,27*** SEX 25,01*** 24,98*** 25,41*** 26,14*** LANG 7,60 7,60 7,55 IMMIG 19,15** 19,14** 19,04** 20,54*** ESCS 3,02 2,99 2,00 PON 4,64 29,99** 33,25*** STRATIO 13,66*** 14,95*** PROPCERT 101,72 SCHSIZE 0,05** 0,04** RATCOMP 26,41*** 29,79*** PCGIRLS 29,90 TCSHORT 1,71 SCMATEDU 7,85 PISA 2009 MATH M0 M1 M2 M3 M4 Intercept 468,95*** 486,89*** 480,19*** 477,76*** 482,31*** SEX 28,28*** 28,38*** 28,20*** 29,80*** LANG 5,04 4,94 4,38 4,02 IMMIG 33,82*** 33,63*** 33,12*** 34,06*** ESCS 8,85*** 8,81*** 8,18*** 7,81*** PON 17,04 22,57** 13,11 STRATIO 0,72 PROPCERT 17,57 SCHSIZE 0,01 RATCOMP 18,13 PCGIRLS 0,64** MATH2006 0,67*** 0,65*** COMMUNITY 6,88
Risposte preliminari I risultati preliminari indicano che i fondi PON fanno la differenza. In un ambito di 3 anni, i risultati delle scuole sono migliorati sia in matematica che in italiano recuperando il ritardo rispetto alle altre scuole indagate. Il recupero è di circa 40 punti che equivalgono a quasi un anno di lavoro. Parte del risultato può essere dovuto alla formazione specifica che le scuole hanno ricevuto nel 2008 nell ambito del Piano di Formazione Informazione OCSE PISA. 18
Limiti dello studio Limitato numero di scuole coinvolte il campione è stato selezionato all interno del ridotto numero di scuole disponibili e dunque le analisi soffrono necessariamente dei limiti dei dati. Non vi sono misure di efficienza della spesa. Possibile esistenza di non misurati effetti di confondimento e il lavoro atteso Ripetere le analisi su un campione più ampio. Seguire il campione nei risultati SNV 2010-11, 2011-12 e nel progetto PISA 2012 19
Seminario Valutazione PON Roma, 29 marzo 2012 PQM, obiettivi Il progetto PQM (seconda wave) è stato introdotto nell anno scolastico 2010-2011 con lo scopo di migliorare le performances in italiano e matematica degli studenti nelle scuole medie: Migliorare la qualità dell insegnamento: Formazione on the job, per gli insegnanti di matematica ed italiano. (60 ore di training) Migliorare la qualità dell apprendimento: Utilizzo delle nuove metodologie apprese durante la formazione. Offerta di ore addizionali di lezione con finalità di approfondimento/recupero. 20
Seminario Valutazione PON Roma, 29 marzo 2012 Principali attività e tempistiche 21
Seminario Valutazione PON Roma, 29 marzo 2012 Outcome di interesse: Risultati nel test SNV degli studenti di prima media alla fine del anno scolastico 2010-2011, dopo un anno di trattamento PQM. Trattamento PQM: essere in una classe seguita da un insegnate che partecipa alla formazione e dove si fanno le ore addizionali di lezione. (In una delle scuole selezionate) Strategia di identificazione: Propensity score matching + differences- in- differences: In pratica paragoniamo i punteggi SNV ottenuti alla fine della prima media da due coorti contigue di studenti, una prima dell introduzione del programma (A.S. 2009-2010) e una dopo dell introduzione del programma (A.S. 2010-2011), in scuole PQM e scuole scelte come controllo. 22
Seminario Valutazione PON Roma, 29 marzo 2012 Le scuole PQM non sono selezionate casualmente, ma vengono scelte le scuole peggiori. La selezione avviene a livello scuola. Propensity score matching: Tra tutte le scuole non PQM si scelgono le scuole più simili a quelle PQM, sulla base di caratteristiche osservabili a livello di scuola, misurate prima dell implementazione del programma: - Punteggio medio nei test snv di prima e terza media. - Composizione corpo docenti (percentuale di ruolo, student\teacher ratio). - Caratteristiche medie degli studenti (sesso, origine, regolarità, disabilità, stato socio economico). - Caratteristiche geografiche (popolazione della città, grandezza del comune). - Controllo per altri fondi PON ricevuti. 23
Seminario Valutazione PON Roma, 29 marzo 2012 Una volta tenute solo le scuole simili.. Differences-in-differences: Misura pre: Test SNV in italiano e matematica degli studenti in prima media alla fine dell anno scolastico 2009-2010. Misura post: Test SNV in italiano e matematica degli studenti in prima media alla fine dell anno scolastico 2010-2011. (PQM post PQM pre ) (Controlli post Controlli pre) Dove la variabile di interesse è essere in una classe che effettivamente è trattata, all interno della scuola PQM. 24
Seminario Valutazione PON Roma, 29 marzo 2012 Regressione OLS per il punteggio SNS in matematica ed Italiano, controllando per caratteristiche a livello studente ed a livello scuola Voto in matematica Voto in Italiano Scuola PQM -0.358(0.714) -0.581(0.591) Coorte post policy -5.204***(0.568) 1.087**(0.492) Scuola PQM*coortePost -0.153 (0.856) -0.095 (0.713) CLASSE PQM 1.721** (0.700) 1.194* (0.612) Femmina -2.133***(0.177) 1.867***(0.167) Anticipatario 4.397***(0.512) 4.390***(0.393) Posticipatario -10.514***(0.361) -13.347***(0.405) Straniero -0.952*(0.538) -3.754***(0.551) Percentuale Insegnanti di ruolo 13.538**(3.2978) 11.723**(2.878) Student/teacher ratio 0.026(0.255) 0.121(0.225) Percentuale studenti immigrati 26.564**(9.932) 16.975*(9.086) Percentuale studenti disabili 25.374(15.432) 20.319(13.122) Percentuale studenti ritardatari -51.682***(5.807) -45.891***(5.484) 25
Seminario Valutazione PON Roma, 29 marzo 2012 Conclusioni e ricerche future La valutazione degli effetti del programma PQM seconda annualità, dimostra che, nonostante non si trovi alcun effetto a livello scuola, l effetto di essere in una classe sulla quale direttamente vengono sperimentate le nuove metodologie didattiche e dove vengono offerte ore extra di lezione nel pomeriggio, è positivo. Infatti gli studenti conivolti riportano in media un punto percentuale in più di risposte corrette in italiano, e quasi due in matematica. I prossimi passi hanno l obiettivo di capire quali sono gli studenti che beneficiano di più da questo programma (Maschi? Femmine? Stranieri? Italiani?...), e quale parte del programma (training e nuove metodologie o ore extra di lezione) siano più importanti per il miglioramento delle performances. 26