Quali sono gli effetti del percorso di formazione PON

Transcript

1 Quali sono gli effetti del percorso di formazione PON Valutazione di una innovazione didattica mediante esperimento controllato Ottobre 2009 UNIONE EUROPEA MINISTERO DELL ISTRUZIONE, DELL UNIVERSITA E DELLA RICERCA INVALSI

2 Contenuti La struttura della presentazione Perché valutare le ricadute di PON sugli studenti? Che cos è e cosa misura PON M@tabel? Quali strumenti vengono utilizzati? Per ulteriori informazioni:

3 Perché valutare le ricadute di PON sugli studenti? 40,0 35,0 30,0 25,0 20,0 15,0 10,0 5,0 0,0 PA Bolzano I dati più recenti segnalano che sono troppo pochi gli studenti ricchi di competenze in matematica Campania Basilicata Emilia Romagna Friuli Venezia Giulia OCSE = 32,4% Italia = 19,6% Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto Percentuale degli studenti di 15 anni con competenze in matematica tali da risolvere problemi complessi (superiore al terzo livello) Fonte: OCSE-PISA 2006

4 Perché valutare le ricadute di PON sugli studenti? 0,0-5,0-10,0-15,0-20,0-25,0 PA Bolzano Campania Basilicata e troppi quelli poveri di competenze Emilia Romagna Friuli Venezia Giulia Sicilia Liguria Lombardia Piemonte PA Trento Sardegna Puglia Veneto Italia=13,5% Percentuale degli studenti di 15 anni con scarse competenze in matematica (inferiori al primo livello) Fonte: OCSE-PISA 2006 OCSE=7,7%

5 Perché valutare le ricadute di PON sugli studenti? Obiettivi di servizio nel Mezzogiorno per il periodo Il PON Istruzione è finanziato all interno del Quadro Strategico Nazionale Ratio: investimento sull istruzione in quanto fattore essenziale per contribuire allo sviluppo, alla crescita della produttività, reddito individuale e collettivo e alla mobilità sociale. Gli interventi finanziati nel periodo si pongono tre obiettivi principali: -Ridurre % di abbandoni prematuri (max 10%) - Ridurre % 15-enni con scarse competenze in lettura (max 20%) - Riducendo % 15-enni con scarse competenze in matematica (max 21%) è sempre più importante capire cosa funziona

6 percorso di formazione e innovazione didattica Matematica. Apprendimenti di Base con e-learning Le caratteristiche di PON M@tabel Formazione attualmente rivolta agli insegnanti delle Regioni PON Scarso rendimento in matematica (PISA) INVALSI Problema risolvibile con nuove modalità di insegnamento centrate sull applicazione delle nozioni a casi concreti Disegno progettuale Valuta l efficacia dell intervento Formazione degli insegnanti Miglior atteggiamento e rendimento degli studenti in matematica Nuova didattica in classe da parte degli insegnanti

7 Il contenuto del programma Le caratteristiche di PON Le unità didattiche l intensità del trattamento Almeno 18 ore complessive di trattamento in 6 settimane nell anno scolastico. Tutor con ruolo attivo di promozione e controllo. Invito ad usare la piattaforma anche dal secondo anno comunicazione assidua. in poi e La collaborazione a scuola l intensità del trattamento 2 Invito nel bando a far partecipare tutti gli insegnanti di matematica della scuola, concretamente applicato poi nella decisione di osservare solo scuole in cui i partecipanti saranno due o più. Il monitoraggio più mirato Rafforzamento del monitoraggio: non solo il diario di bordo e i dati di log della piattaforma, difficilmente utilizzabili, ma anche questionari rivolti agli insegnanti e ai tutor nei quali si raccolgono informazioni utili su cosa viene fatto davvero.

8 Le domande e il significato del termine valutazione La metodologia adottata Cosa ne pensano gli insegnanti? Cambiano le loro modalità di insegnamento e alcuni atteggiamenti? In che misura incide sulle competenze in matematica e sugli atteggiamenti degli studenti?

9 La metodologia adottata: uno studio randomizzato Siamo nella situazione ideale, in cui la valutazione viene pensata ex ante. Questo si è tradotto in una razionalizzazione della logica dell intervento e di orientamento alla raccolta dei dati necessari per la valutazione. La metodologia adottata Gli studi randomizzati vengono utilizzati in campo educativo in tutto il mondo per capire come funzionano programmi, progetti, interventi, politiche. Il modello analitico di uno studio randomizzato si basa su due pilastri: 1. suddivisione dei candidati al trattamento in due gruppi: trattati e controlli; 2. assegnazione casuale dei candidati ai due gruppi. Le differenze post trattamento tra i due gruppi sono considerabili come effetto del trattamento.

10 La metodologia adottata: uno studio randomizzato Lo studio randomizzato riguarda le scuole / i docenti della secondaria di primo grado (nodo critico nel percorso scolastico) La metodologia adottata Le scuole coinvolte sono state divise mediante sorteggio in due gruppi: scuole che partecipano da subito (A.S. 2009/10) scuole che partecipano a partire dall anno prossimo (A.S. 2010/11). L estrazione mediante sorteggio è necessaria per creare due gruppi di scuole e insegnanti statisticamente equivalenti: non essendovi differenze di partenza tra i due gruppi, l eventuale differenza negli apprendimenti osservata dopo un anno può essere plausibilmente attribuita alla sperimentazione del piano PON M@t.abel+

11 Come si confrontano i due gruppi per stimare gli effetti di PON M@tabel? La metodologia adottata Esposizione immediata a m@t.abel+ Esposizione dilazionata a m@t.abel+ 2009/ / / / / /12 1 coorte 3 media 3 media 2 coorte 2 media 3 media 2 media 3 media 3 coorte 1 media 2 media 3 media 1 media 2 media 3 media 4 coorte 1 media 2 media 1 media 2 media 5 coorte 1 media 1 media Legenda Esposto a m@t.abel+ Non ancora esposto a m@t.abel+ stima degli effetti di un anno di coinvolgimento in M@tabel punteggi medi nei test degli studenti delle scuole sorteggiate per implementare M@t.abel+ il primo anno Confronto tra: e punteggi medi ottenuti dagli studenti delle scuole sorteggiate per implementare M@t.abel+ l anno successivo

12 Le principali minacce alla solidità dell esperimento - mancata partecipazione ai corsi di un gran numero di insegnanti; La metodologia adottata - abbandono dei corsi da parte di un gran numero di insegnanti; - rifiuto a partecipare alle rilevazioni da parte degli insegnanti; - mancata applicazione dei principi della formazione (ad esempio la sperimentazione in classe) da parte degli insegnanti nella classe indicata come parte del campione o applicazione solo parziale (occorre almeno sapere cosa è stato fatto, a quel punto).

13 Perché raccogliere tanti dati oltre ai risultati delle prove di apprendimento sugli studenti? Raccolta di informazioni su contesto, scuola, insegnanti e studenti La metodologia adottata con tre obiettivi: 1.testare la fortuna avuta con la randomizzazione; 2.aumentare la precisione delle stime; 3.Ipotizzare e testare (parzialmente) meccanismi esplicativi degli effetti.

14 14 Per ulteriori informazioni

15 15

16 Calendario delle attività Calendario di massima dei prossimi appuntamenti con la valutazione Autunno 2009 breve raccolta di dati presso le scuole sul contesto e per individuare in quali classi insegnano i docenti PON M@t.abel 2009/2010 e 2010/2011 prima rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare prima dell avvio delle sperimentazioni in classe) Maggio 2010 rilevazioni sugli studenti delle classi del campione sopraindividuato tramite prove del SNV / INVALSI (prima, seconda e terza media) completamento del percorso PON M@t.abel 2009/2010 con diario di bordo e questionario finale (rivolto a docenti e a tutor) seconda rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare) eventuali interviste in profondità a tutor e insegnanti

17 Le domande e il significato del termine valutazione La metodologia adottata Cosa ne pensano gli insegnanti? Cambiano le loro modalità di insegnamento e alcuni atteggiamenti? In che misura incide sulle competenze in matematica e sugli atteggiamenti degli studenti?.. NON si valutano le scuole, NON si valutano gli insegnanti, NON si valutano i tutor, NON valutano gli studenti. Si valuta la proposta formativa Mat@bel+ (e con diversi se )

18 Le domande e il significato del termine valutazione Cosa ne pensano gli insegnanti? Cambiano le loro modalità di insegnamento e alcuni atteggiamenti? La metodologia adottata In che misura incide sulle competenze in matematica e sugli atteggiamenti degli studenti? L apprendimento/competenza in matematica Prove INVALSI rilevate su un campione di classi: per la prima media, prove del SNV, per la seconda e terza media, prove collegate (sempre mediante scale di Rash) L atteggiamento verso la matematica (e la scuola) Il numero di assenze (rilevate presso le segreterie scolastiche) Il rendimento scolastico complessivo (rilevate presso le segreterie scolastiche e/o MIUR) Il gradimento della matematica (questionari specifici) Etc.

19 Come funziona Le caratteristiche di PON La formazione è blended e strutturata in quattro fasi: 1. incontri introduttivi in presenza con il tutor; 2. incontri on line e scelta delle unità didattiche; 3. sperimentazione in classe di 4 attività didattiche, con assistenza on-line del tutor e compilazione di un diario di bordo; 4. incontro finale, consegna del diario di bordo e del questionario finale da parte degli insegnanti.

20 Le caratteristiche di PON Alcune caratteristiche di rafforzate dal PON Istruzione Le unità didattiche 28 unità rivolte alla scuola secondaria di primo grado costituite da una parte introduttiva rivolta al docente, una sorta di sceneggiatura che dettaglia le attività da fare in classe, i relativi documenti di supporto scaricabili, indicazioni metodologiche e spunti di approfondimento disciplinare, suggerimenti su attività addizionali, elementi di prova di verifica per valutare l effettiva comprensione da parte degli studenti, una biblio/sitografia. L approccio alla base delle unità enfatizza la componente applicativa degli insegnamenti di matematica (come OCSE-PISA). Gli insegnanti sono chiamati a testare le unità e a redigere un diario di bordo indicando difficoltà e punti di forza del lavoro svolto. La collaborazione on line e a scuola La discussione on line, con la classe virtuale e con il tutor è centrale e verte proprio su difficoltà incontrate e modi con cui si sono superate.

21 Calendario delle attività Calendario di massima dei prossimi appuntamenti con la valutazione Autunno 2009 breve raccolta di dati presso le scuole sul contesto e per individuare in quali classi insegnano i docenti PON M@t.abel 2009/2010 e 2010/2011 comunicazione ai tutor delle classi in cui suggerire che venga effettuata la sperimentazione in classe delle 4 attività (solo per i docenti di PON M@t.abel 2009/2010 ) prima rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare prima dell avvio delle sperimentazioni in classe) Maggio 2010 rilevazioni sugli studenti delle classi del campione sopraindividuato tramite prove del SNV / INVALSI (prima, seconda e terza media) completamento del percorso PON M@t.abel 2009/2010 con diario di bordo e questionario finale (rivolto a docenti e a tutor) seconda rilevazione sui docenti PON M@t.abel 2009/2010 e 2010/2011 (questionario da compilare) eventuali interviste in profondità a tutor e insegnanti

22 I confronti per ottenere la stima dell effetto di due anni: effetto esperienza La metodologia adottata Esposizione immediata a m@t.abel+ Esposizione dilazionata a m@t.abel+ 2009/ / / / / /12 1 coorte 3 media 2 coorte 2 media 3 media 2 media 3 coorte 1 media 2 media Assunto: poter utilizzare una coorte precedente come sostituto del gruppo di controllo mancante. L eventuale effetto coorte può essere corretto osservando il seguente: Esposizione immediata a m@t.abel+ Esposizione dilazionata a m@t.abel+ 2009/ / / / / /12 1 coorte 3 media 2 coorte 2 media 3 media 3 coorte 2 media. Può essere eventualmente esteso al terzo anno

23 Dimensione del campione e potenza del disegno (minimum detectable effect) Dimensione campionaria e potenza del disegno Il moltiplicatore è pari a 2,5 per i parametri standard nei disegni sperimentali multilivello (livello di confidenza al 95% per potenza 80%). Nel caso in cui si riescono a seguire 100 scuole (K): 50% trattate e 50% controlli (P) tenendo conto di eventuali cadute tra gli insegnanti originariamente iscritti; dato che vi sono tra le scuole iscritte una media di 4 docenti (J), con una classe per docenti e una media di 19 studenti per classe (stima prudenziale - N) Proporzione della varianza dell abilità: scuole=0,090; classi=0,125; studenti=0,785. (fonte: Prova nazionale INVALSI 2008 sugli studenti di terza media) Varianza spiegata dai predittori raccolti (R 2 ): -> stima pessimistica (10%) MDES 0,208 -> stima ottimistica (40%) MDES 0,2 La soglia standard per questo tipo di esperimenti è 0,20. Si tratta di un effetto grosso dal punto di vista dei processi scolastici: M@tabel può davvero arrivare a questa soglia? Un effetto positivo e non significativo non vorrebbe dire che non funziona

24 Un primo effetto della valutazione di Un primo effetto della valutazione di Siamo nella situazione ideale, in cui la valutazione viene pensata ex ante. Questo si è tradotto in una razionalizzazione della logica dell intervento e di orientamento alla raccolta dei dati necessari per la valutazione. Le unità didattiche l intensità del trattamento Almeno 18 ore complessive di trattamento in 6 settimane nell anno scolastico. Tutor con ruolo attivo di promozione e controllo. Invito ad usare la piattaforma anche dal secondo anno in poi e comunicazione assidua. La collaborazione a scuola l intensità del trattamento 2 Invito nel bando a far partecipare tutti gli insegnanti di matematica della scuola, concretamente applicato poi nella decisione di osservare solo scuole in cui i partecipanti saranno due o più. Il monitoraggio più mirato Rafforzamento del monitoraggio: non solo il diario di bordo e i dati di log della piattaforma, difficilmente utilizzabili, ma anche questionari rivolti agli insegnanti e ai tutor nei quali si raccolgono informazioni utili su cosa viene fatto davvero.