WORKSHOP LA MISURAZIONE DELL IMPATTO SUGLI APPRENDIMENTI COME CALCOLARE L EFFECT SIZE MILENA ZANET E GIULIANO VIVANET

WORKSHOP LA MISURAZIONE DELL IMPATTO SUGLI APPRENDIMENTI COME CALCOLARE L EFFECT SIZE MILENA ZANET E GIULIANO VIVANET CONTATTI: giuliano.vivanet@unica.it

CONOSCI IL TUO IMPATTO «quello che davvero conta è che gli insegnanti abbiano una forma mentis con la quale considerano proprio compito valutare l effetto che hanno sugli apprendimenti.*+ Gli insegnanti che studiano il proprio impatto sono quelli più efficaci nell aumentare il rendimento dei loro studenti» [Hattie, 2016]

PARTIAMO DA UN ESEMPIO http://www.fupress.net/index.php/formare/article/view/13256

PARTIAMO DA UN ESEMPIO https://educationendowmentfoundation.org.uk/resources/teaching-learning-toolkit

L EFFECT SIZE Effect size (ES; in italiano: dimensione o ampiezza dell effetto) una misura standard statistica che consente di esprimere l efficacia di un intervento; Più alto è il suo valore, più l intervento didattico è risultato efficace

COME LO UTILIZZEREMO? 1. Quantificare il miglioramento degli apprendimenti di una classe 2. Quantificare il miglioramento degli apprendimenti di un singolo studente 3. Quantificare se abbiamo avuto un maggiore impatto sugli studenti a rendimento più elevato o più basso (riduzione del gap)

SITUAZIONE 1. La classe 1 A (composta da 20 studenti) inizia un ciclo di attività (per un totale di 20 incontri di 2 ore) per migliorare le competenze di comprensione del testo 2. Prima di iniziare le attività didattiche, svolge un pre-test delle competenze iniziali di comprensione del testo (Prove MT Comprensione del testo, costituite da 10 item) 3. Al termine delle attività, svolge un post-test per la rilevazione delle competenze in uscita di comprensione del testo (Prove MT Comprensione del testo, costituite da 10 item)

ES= media post test media pre test media deviazione standard 1. Calcolo la media del pre e del post test 2. Calcolo la deviazione standard del pre e del post test 3. Calcolo la media della deviazione standard (pre e post test)

Pre Post Mario 5 6 Jessica 8 8 Roberta 3 5 Francesca 4 4 Silvia 7 6 Michele 6 7 Giovanni 6 8 Gabriele 5 7 Paolo 4 6 Anna 5 6 Barbara 6 8 Fanny 5 6 Eleonora 6 6 Giuseppe 7 7 Antonio 6 8 Roberto 4 8 Susanna 5 7 Claudia 2 5 Serena 4 7 Francesca 6 6 1. Calcolo la media del pre e del post test Media pre-test a) (5 + 8 + 3 + 4 + 7 + 6 + 6 + 5 + 4 + 5 + 6 + 5 + 6 + 7 + 6 + 4 + 5 + 2 + 4 + 6) / 20 b) 104 / 20 = 5,20 a) ( + + + ) / b) / = Media post-test

Pre Post Mario 5 6 Jessica 8 8 Roberta 3 5 Francesca 4 4 Silvia 7 6 Michele 6 7 Giovanni 6 8 Gabriele 5 7 Paolo 4 6 Anna 5 6 Barbara 6 8 Fanny 5 6 Eleonora 6 6 Giuseppe 7 7 Antonio 6 8 Roberto 4 8 Susanna 5 7 Claudia 2 5 Serena 4 7 Francesca 6 6 1. Calcolo la media del pre e del post test Media pre-test a) (5 + 8 + 3 + 4 + 7 + 6 + 6 + 5 + 4 + 5 + 6 + 5 + 6 + 7 + 6 + 4 + 5 + 2 + 4 + 6) / 20 b) 104 / 20 = 5,20 Media post-test a) (6 + 8 + 5 + 4 + 6 + 7 + 8 + 7 + 6 + 6 + 8 + 6 + 6 + 7 + 8 + 8 + 7 + 5 + 7 + 6 ) / 20 b) 131 / 20 = 6,55

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 Roberta 3 Francesca 4 Silvia 7 Michele 6 Giovanni 6 Gabriele 5 Paolo 4 Anna 5 Barbara 6 Fanny 5 Eleonora 6 Giuseppe 7 Antonio 6 Roberto 4 Susanna 5 Claudia 2 Serena 4 Francesca 6 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media (5,20) e poi le elevo al quadrato (5 5,20) = (-0,20) 2 = 0,04

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3 Francesca 4 Silvia 7 Michele 6 Giovanni 6 Gabriele 5 Paolo 4 Anna 5 Barbara 6 Fanny 5 Eleonora 6 Giuseppe 7 Antonio 6 Roberto 4 Susanna 5 Claudia 2 Serena 4 Francesca 6 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media (5,20) e poi le elevo al quadrato (5 5,20) = (-0,20) 2 = 0,04 (8 5,20) = (2,80) 2 = 7,84

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4 Silvia 7 Michele 6 Giovanni 6 Gabriele 5 Paolo 4 Anna 5 Barbara 6 Fanny 5 Eleonora 6 Giuseppe 7 Antonio 6 Roberto 4 Susanna 5 Claudia 2 Serena 4 Francesca 6 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media (5,20) e poi le elevo al quadrato (5 5,20) = (-0,20) 2 = 0,04 (8 5,20) = (2,80) 2 = 7,84 (3 5,20) = (-2,20) 2 = 4,84

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4-1,20 1,44 Silvia 7 Michele 6 Giovanni 6 Gabriele 5 Paolo 4 Anna 5 Barbara 6 Fanny 5 Eleonora 6 Giuseppe 7 Antonio 6 Roberto 4 Susanna 5 Claudia 2 Serena 4 Francesca 6 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media (5,20) e poi le elevo al quadrato (5 5,20) = (-0,20) 2 = 0,04 (8 5,20) = (2,80) 2 = 7,84 (3 5,20) = (-2,20) 2 = 4,84 (4 5,20) = (-1,20) 2 = 1,44

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4-1,20 1,44 Silvia 7 1,80 3,24 Michele 6 Giovanni 6 Gabriele 5 Paolo 4 Anna 5 Barbara 6 Fanny 5 Eleonora 6 Giuseppe 7 Antonio 6 Roberto 4 Susanna 5 Claudia 2 Serena 4 Francesca 6 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media (5,20) e poi le elevo al quadrato (5 5,20) = (-0,20) 2 = 0,04 (8 5,20) = (2,80) 2 = 7,84 (3 5,20) = (-2,20) 2 = 4,84 (4 5,20) = (-1,20) 2 = 1,44 (7 5,20) = (1,80) 2 = 3,24

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4-1,20 1,44 Silvia 7 1,80 3,24 Michele 6 0,80 0,64 Giovanni 6 0,80 0,64 Gabriele 5-0,20 0,04 Paolo 4-1,20 1,44 Anna 5-0,20 0,04 Barbara 6 0,80 0,64 Fanny 5-0,20 0,04 Eleonora 6 0,80 0,64 Giuseppe 7 1,80 3,24 Antonio 6 0,80 0,64 Roberto 4-1,20 1,44 Susanna 5-0,20 0,04 Claudia 2-3,20 10,24 Serena 4-1,20 1,44 Francesca 6 0,80 0,64

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4-1,20 1,44 Silvia 7 1,80 3,24 Michele 6 0,80 0,64 Giovanni 6 0,80 0,64 Gabriele 5-0,20 0,04 Paolo 4-1,20 1,44 Anna 5-0,20 0,04 Barbara 6 0,80 0,64 Fanny 5-0,20 0,04 Eleonora 6 0,80 0,64 Giuseppe 7 1,80 3,24 Antonio 6 0,80 0,64 Roberto 4-1,20 1,44 Susanna 5-0,20 0,04 Claudia 2-3,20 10,24 Serena 4-1,20 1,44 Francesca 6 0,80 0,64 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media e poi le elevo al quadrato 2.2 Sommo tutte le differenze di ogni voto dalla media, elevate al quadrato 0,04 + 7,84 + 4,84 + 1,44 + 3,24 +

Pre-test x -media (x-media) 2 Mario 5-0,20 0,04 Jessica 8 2,80 7,84 Roberta 3-2,20 4,84 Francesca 4-1,20 1,44 Silvia 7 1,80 3,24 Michele 6 0,80 0,64 Giovanni 6 0,80 0,64 Gabriele 5-0,20 0,04 Paolo 4-1,20 1,44 Anna 5-0,20 0,04 Barbara 6 0,80 0,64 Fanny 5-0,20 0,04 Eleonora 6 0,80 0,64 Giuseppe 7 1,80 3,24 Antonio 6 0,80 0,64 Roberto 4-1,20 1,44 Susanna 5-0,20 0,04 Claudia 2-3,20 10,24 Serena 4-1,20 1,44 Francesca 6 0,80 0,64 2. Calcolo la deviazione standard del pre-test 2.1 Calcolo le differenze di ogni voto dalla media e poi le elevo al quadrato 2.2 Sommo tutte le differenze di ogni voto dalla media, elevate al quadrato 0,04 + 7,84 + 4,84 + 1,44 + 3,24 + 0,64 + 0,64 + 0,04 + 1,44 + 0,04 + 0,64 + 0,04 + 0,64 + 3,24 + 0,64 + 1,44 + 0,04 + 10,24 + 1,44 + 0,64 = 39,20 (devianza) 2.3 Divido il risultato per il totale degli studenti: / 39,20/20 = 1,96 (varianza) 2.4 Faccio la radice quadrata:.. = 1, 96 = 1,40 1,40 È LA DEV. STANDARD DEL PRE TEST

Pre-test x -media (x-media) 2 Mario 6 Jessica 8 Roberta 5 Francesca 4 Silvia 6 Michele 7 Giovanni 8 Gabriele 7 Paolo 6 Anna 6 Barbara 8 Fanny 6 Eleonora 6 Giuseppe 7 Antonio 8 Roberto 8 Susanna 7 Claudia 5 Serena 7 Francesca 6 3. Ora devo calcolare la dev. st. del post-test 3.1 Calcolo le differenze di ogni voto dalla media e poi le elevo al quadrato 3.2 Sommo tutte le differenze di ogni voto dalla media, elevate al quadrato 3.3 Divido il risultato per il totale degli studenti 3.4 Faccio la radice quadrata

Pre-test x -media (x-media) 2 Mario 6-0,55 0,30 Jessica 8 1,45 2,10 Roberta 5-1,55 2,40 Francesca 4-2,55 6,50 Silvia 6-0,55 0,30 Michele 7 0,45 0,20 Giovanni 8 1,45 2,10 Gabriele 7 0,45 0,20 Paolo 6-0,55 0,30 Anna 6-0,55 0,30 Barbara 8 1,45 2,10 Fanny 6-0,55 0,30 Eleonora 6-0,55 0,30 Giuseppe 7 0,45 0,20 Antonio 8 1,45 2,10 Roberto 8 1,45 2,10 Susanna 7 0,45 0,20 Claudia 5-1,55 2,40 Serena 7 0,45 0,20 Francesca 6-0,55 0,30 3. Ora devo calcolare la dev. st. del post-test 3.1 Calcolo le differenze di ogni voto dalla media e poi le elevo al quadrato 3.2 Sommo tutte le differenze di ogni voto dalla media, elevate al quadrato = 24,95 3.3 Divido il risultato per il totale degli studenti 24,95/20 = 1,25 3.4 Faccio la radice quadrata 1, 25 = 1,12 1,12 È LA DEV. STANDARD DEL POST TEST

3. Ora devo calcolare la media della deviazione standard media deviazione standard = 1, 40 + 1, 12 2 media deviazione standard = 1, 26

ES= 6.55 5,20 1,26 ES= media post test media pre test media deviazione standard ES= 1, 07

ES= 1, 07 Come interpretarlo? Alcune cautele 1,07 quanto è grande questo effetto? Più il campione è piccolo, più è necessario fare una convalida incrociata dei risultati (campioni sotto i 30 studenti sono piccoli); È utile identificare gli studenti con valori limite (molto alti o molto bassi). In un campione piccolo, questi possono distorcere profondamente gli ES e richiedere un attenzione specifica (chiedendosi ad esempio «Perché hanno fatto progressi tanto maggiori rispetto agli altri studenti?» o «Perché non hanno fatto progressi come gli altri studenti?»). [Adattato da Hattie, 2016]

COME INTERPRETARLO

QUANTIFICARE IL MIGLIORAMENTO DEGLI APPRENDIMENTI DI UN SINGOLO STUDENTE Pre Post Mario 5 6 Jessica 8 8 Roberta 3 5 Francesca 4 4 Silvia 7 6 Michele 6 7 Giovanni 6 8 Gabriele 5 7 Paolo 4 6 Anna 5 6 Barbara 6 8 Fanny 5 6 Eleonora 6 6 Giuseppe 7 7 Antonio 6 8 Roberto 4 8 Susanna 5 7 Claudia 2 5 Serena 4 7 Francesca 6 6 ES= risultato post test risultato pre test media deviazione standard ES di Mario = ES di Jessica = 6 5 1,26 8 8 1,26 = 0,79 = 0,00

QUANTIFICARE IL MIGLIORAMENTO DEGLI APPRENDIMENTI DI UN SINGOLO STUDENTE Pre Post Mario 5 6 Jessica 8 8 Roberta 3 5 Francesca 4 4 Silvia 7 6 Michele 6 7 Giovanni 6 8 Gabriele 5 7 Paolo 4 6 Anna 5 6 Barbara 6 8 Fanny 5 6 Eleonora 6 6 Giuseppe 7 7 Antonio 6 8 Roberto 4 8 Susanna 5 7 Claudia 2 5 Serena 4 7 Francesca 6 6 ES= risultato post test risultato pre test ES di Roberta = ES di Silvia = ES di Roberto = media deviazione standard ES di Gabriele = ES di Antonio= ES di Serena =

QUANTIFICARE IL MIGLIORAMENTO DEGLI APPRENDIMENTI DI UN SINGOLO STUDENTE Pre-test Post-test ES individuale Mario 5 6 0,79 Jessica 8 8 0,00 Roberta 3 5 1,59 Francesca 4 4 0,00 Silvia 7 6-0,79 Michele 6 7 0,79 Giovanni 6 8 1,59 Gabriele 5 7 1,59 Paolo 4 6 1,59 Anna 5 6 0,79 Barbara 6 8 1,59 Fanny 5 6 0,79 Eleonora 6 6 0,00 Giuseppe 7 7 0,00 Antonio 6 8 1,59 Roberto 4 8 3,17 Susanna 5 7 1,59 Claudia 2 5 2,38 Serena 4 7 2,38 Francesca 6 6 0,00

QUANTIFICARE LA RIDUZIONE DEL GAP TRA RISULTATI PIÙ ALTI E PIÙ BASSI Pre-test Post-test Jessica 8 8 Silvia 7 6 Giuseppe 7 7 Michele 6 7 Giovanni 6 8 Barbara 6 8 Eleonora 6 6 Antonio 6 8 Francesca 6 6 Mario 5 6 Gabriele 5 7 Anna 5 6 Fanny 5 6 Susanna 5 7 Francesca 4 4 Paolo 4 6 Roberto 4 8 Serena 4 7 Roberta 3 5 Claudia 2 5 Mediana pre test

QUANTIFICARE LA RIDUZIONE DEL GAP TRA RISULTATI PIÙ ALTI E PIÙ BASSI Pre-test Post-test Jessica 8 8 Silvia 7 6 Giuseppe 7 7 Michele 6 7 Giovanni 6 8 Barbara 6 8 Eleonora 6 6 Antonio 6 8 Francesca 6 6 Mario 5 6 Gabriele 5 7 Anna 5 6 Fanny 5 6 Susanna 5 7 Francesca 4 4 Paolo 4 6 Roberto 4 8 Serena 4 7 Roberta 3 5 Claudia 2 5 Mediana pre test

QUANTIFICARE LA RIDUZIONE DEL GAP TRA RISULTATI PIÙ ALTI E PIÙ BASSI Pre-test Post-test Jessica 8 8 Silvia 7 6 Giuseppe 7 7 Michele 6 7 Giovanni 6 8 Barbara 6 8 Eleonora 6 6 Antonio 6 8 Francesca 6 6 Mario 5 6 Gabriele 5 7 Anna 5 6 Fanny 5 6 Susanna 5 7 Francesca 4 4 Paolo 4 6 Roberto 4 8 Serena 4 7 Roberta 3 5 Claudia 2 5 Q1 pre test Mediana pre test Q 3 pre test

QUANTIFICARE LA RIDUZIONE DEL GAP TRA RISULTATI PIÙ ALTI E PIÙ BASSI Pre-test Post-test Jessica 8 8 Silvia 7 6 Giuseppe 7 7 Michele 6 7 Giovanni 6 8 Barbara 6 8 Eleonora 6 6 Antonio 6 8 Francesca 6 6 Mario 5 6 Gabriele 5 7 Anna 5 6 Fanny 5 6 Susanna 5 7 Francesca 4 4 Paolo 4 6 Roberto 4 8 Serena 4 7 Roberta 3 5 Claudia 2 5 ES= Q1 pre test Mediana pre test Q 3 pre test ES= media post test media pre test media deviazione standard media post test media pre test media deviazione standard