L interpretazione e l uso dei risultati INVALSI da parte delle scuole. Bolzano, 25 novembre2013 Rossella Garuti

Transcript

1 Landes-Evaluationsstelle für das italienischsprachige Bildungssystem Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana L interpretazione e l uso dei risultati INVALSI da parte delle scuole Bolzano, 25 novembre2013 Rossella Garuti rossella.garuti@provincia.bz.it

2 Schema della presentazione 1. L accountability: il render conto 2. La valutazione nazionale: le prove INVALSI 3. I dati di scuola: cosa viene restituito, come leggerli e come utilizzarli 4. Utilizzare i dati per migliorare la didattica: strumenti

3 1. Il bisogno di render conto Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi?. La risposta: Disponibilità di dati confrontabili a livello nazionale ed internazionale

4 1. Il bisogno di render conto Un video interessante Andreas Scleicher (direttore della ricerca OCSE- PISA) s_schleicher_use_data_to_build_ better_schools.html remember: Without data, you are just another person with an opinion

5 1. Il bisogno di render conto E necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi: piccolo è bello più tempo-scuola= migliori risultati più danaro = migliori risultati

6 Come servirsi della valutazione nelle scuole? E necessario ribaltare le tentazioni che provengono da un uso perverso della valutazione nelle scuole. Andy Hargreaves è uno degli autori del intitolato Data-Driven Improvement and Accountability. Boston College

7 Data-Driven Improvement and Accountability Si tratta di un testo meritevole di essere preso in considerazione perché analizza in modo critico le tendenze dominanti nel settore della valutazione del servizio scolastico. Le conclusioni del documento hanno un significato rilevante perché il miglioramento delle statistiche scolastiche e della rendicontazione è una strategia ormai ampiamente diffusa a livello internazionale. Quando il DDIA è utilizzato in modo appropriato fornisce senz altro agli insegnanti informazione di qualità sui progressi dei loro studenti e segnala loro quali devono essere i punti più utili sui quali dovrebbero intervenire. Inoltre, il DDIA può dare agli genitori ed alle famiglie nonché all opinione pubblica informazioni accurate e eloquenti su quanto gli studenti apprendono a scuola nonché sulle attività scolastiche.

8 2. La valutazione nazionale: le prove INVALSI il piano delle rilevazioni II primaria 6-7- maggio V primaria 6-7 maggio I secondaria di primo grado III sec. di I grado Prova Nazionale 19 giugno II secondaria di secondo grado 13 maggio

9 2. La valutazione nazionale: le prove INVALSI Quadro di riferimento per la valutazione Quadro di riferimento per i curricoli Quadri di riferimento per le valutazioni internazionali Prassi scolastica Esiti delle rilevazioni precedenti

10 2. La valutazione nazionale: le prove INVALSI La composizione di una prova standardizzata rivolta all accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.

11 2. La valutazione nazionale: le prove INVALSI Selezione e classificazione Produzione delle domande da parte degli autori Prova sul campo Costruzione dei fascicoli per il pre-test Analisi statistica Analisi didattica Fascicolo definitivo

12 VERSIONE PRE-TEST D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta? A. 40 B. 60 C. 80 D. 120

13 Versione finale

14 2. La valutazione nazionale: le prove INVALSI Aspetti significativi del QDR Fascicolo definitivo Aspetti misuratori Ultima revisione del testo per eliminare al massimo le ambiguità SOMMINISTRAZIONE

15 3. La lettura dei risultati INVALSI 1. A livello di sistema scolastico 1. Decisori politici (MIUR, Intendenza, CSP,..) 2. A livello di Istituto Scolastico 2. Dirigente Scolastico, referente, commissione, 3. A livello didattico 3. Docenti e Dipartimenti

16 3. La lettura dei risultati di scuola DATI INVALSI Percorso di autovalutazione Potenziamento e miglioramento dell azione didattica istituto e singola classe

17 3. La lettura dei risultati di scuola Perché la valutazione riguarda tutte le classi e non è a campione, come avviene in tanti altri paesi? Chi può vedere/utilizzare i risultati delle prove? Perché il presidente del consiglio di istituto potrà vedere alcuni risultati? Le prove si estenderanno anche alle classi terminali? Quali aree disciplinari? Quali informazioni sulla formazione delle classi? Come sono collegati i risultati delle prove con i voti degli scrutini? Come utilizzare i risultati nel consiglio di classe?.

18 3. La lettura dei risultati di scuola L INVALSI restituisce ad ogni singola scuola dati sull andamento: complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell Italia, dell area geografica e della regione di appartenenza (nel caso di Bolzano della provincia); delle singoli classi nelle prove di italiano e di matematica nel loro complesso; della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.

19 I risultati della provincia di Bolzano (l.it.) livello ITA MATE Media TRENTO Media NORD-EST II primaria V primaria Ita 211 Mat Ita 207 Mat 211 I sec. I gr Ita 202 Mat 210 III sec. I gr. II sec. II gr Ita 212 Mat Ita 218 Mat 226 Ita 203 Mat 202 Ita 204 Mat 205 Ita 204 Mat 207 Ita 209 Mat 210 Ita 207 Mat = = = + ++

20 ITA II primaria

21 MAT II primaria

22 ITA V primaria

23 MAT V primaria

24 ITA I secondaria di primo grado

25 MAT I secondaria di primo grado

26 ITA III secondaria di primo grado

27 MAT III secondaria di primo grado

28 ITA II secondaria di secondo grado

29 MAT II secondaria di secondo grado

30 ITA II secondaria di secondo grado

31 MAT II secondaria di secondo grado

32 3. La lettura dei risultati di scuola: uno sguardo d insieme Schermata iniziale

33 Italiano Punteggio medio - Cheating = Punteggio medio della classe 2 Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è mediamente da attribuire alle predette anomalie. 3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche. La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata. 4 I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto. 5 La frecce rivolte verso l'alto e verso il AUTONOME basso indicano PROVINZ una BOZEN differenza - SÜDTIROL rispettivamente positiva PROVINCIA e negativa AUTONOMA statisticamente DI BOLZANO significativa, - ALTO ossia ADIGE con una probabilità superiore al 95% di verificarsi anche nella popolazione e non solo nel campione. Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

34 Una diversa visualizzazione dei risultati complessivi -1,8 +11, SNV 2011/2012 Grafico 1b: Risultato complessivo della prova di Matematica - Classe I secondaria di I grado 40 AUTONOME PROVINZ BOZEN - SÜDTIROL PROVINCIA AUTONOMA DI BOLZANO - ALTO ADIGE Lazio Italia

35 3. La lettura dei risultati di scuola: uno sguardo d insieme Ci sono andamenti diversi fra le classi? Perché? Ci sono differenze fra MAT e IT? Le differenze fanno riferimento a tipologie diverse (tempo pieno, )? A vissuti diversi? L indice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se sì, perché?

36 3. La lettura dei risultati di scuola: la variabilità ESCS: il questionario studenti

37 3. La lettura dei risultati di scuola: la variabilità I risultati delle classi (punteggio) sono omogenei all interno della scuola? Le classi sembrano ben formate? Lo status socio-economico-culturale è omogeneo tra le classi? E in linea con il dato nazionale?.

38 Valori percentuali Valori percentuali 3. La lettura dei risultati di scuola: la variabilità 100,0 80,0 60,0 40,0 20,0 SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe V primaria 21,6 24,3 11,2 12,5 Situazione di relativo equilibrio: confronto LIV.05 e Liv.06 0,0 TRA/TOT (punteggio) TRA/TOT (ESCS) 100,0 SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio della prova di Italiano e nell'indice di background familiare (ESCS) Classe I secondaria di I grado 80,0 60,0 40,0 20,0 0,0 7,4 11,1 8,9 9,3 TRA/TOT (punteggio) TRA/TOT (ESCS)

39 3. La lettura dei risultati di scuola: la variabilità ITA- Liv. 10 Ist. Tecnico Situazione di relativo «squilibrio» nei punteggi MATE- Liv. 10 Ist.Tecnico

40 3. La lettura dei risultati di scuola: la variabilità ITA- Liv. 10 Liceo Situazione di relativo «squilibrio» nell ESCS MATE- Liv. 10 Liceo

41 Valori percentuali 3. La lettura dei risultati di scuola: la variabilità Classe II primaria, come per la PN (LIV.08) non c è ESC perché non c è il questionario studenti 100,0 SNV 2011/2012 Grafico 2a: Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Italiano Classe II primaria 95,2 90,0 80,0 70,0 60,0 50,0 40,0 85,1 Alta variabilità dentro le classi, bassa variabilità tra le classi. Si può dire che le classi sono omogenee fra loro. 30,0 20,0 14,9 10,0 4,8 0,0 DENTRO/TOT TRA/TOT MOIC80500Q PROVINCIA ItaliaAUTONOMA DI BOLZANO - ALTO ADIGE

42 3. La lettura dei risultati di scuola: i livelli Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale Dal + BASSO al + ALTO

43 3. La lettura dei risultati di scuola: i livelli Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?

44 Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità Discrepanza fra ITA e MATE

45 Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità Sostanziale equilibrio fra ITA e MATE

46 3. La lettura dei risultati di scuola: i livelli La distribuzione per livelli nelle singole classi è equilibrata? Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Quali ipotesi si possono fare?

47 3. La lettura dei risultati di scuola: correlazioni Voti di scuola e punteggi INVALSI: nelle classi e tra le classi

48 3. La lettura dei risultati di scuola: correlazioni Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? Ci sono differenze nei metri di valutazione degli insegnanti della scuola? Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?.

49 3. La lettura dei risultati di scuola: correlazioni Correlazione tra voto 1 della Correlazione tra voto 1 della scuola e scuola e punteggio di Matematica alla Prova punteggio di Italiano alla Prova INVALSI INVALSI scarsamente significativa scarsamente significativa scarsamente significativa medio-bassa medio-bassa scarsamente significativa medio-bassa scarsamente significativa scarsamente significativa medio-bassa scarsamente significativa scarsamente significativa scarsamente significativa scarsamente significativa medio-bassa scarsamente significativa scarsamente significativa medio-bassa medio-bassa medio-bassa 1 Voto di italiano/matematica (media scritto e orale) assegnato dal docente nell'ultimo scrutinio intermedio.

50 Punteggio medio alla prova INVALSI 3. La lettura dei risultati di scuola: correlazioni 84 SNV 2011/2012 Grafico 4a: Confronto tra voto di classe e punteggio nella prova di Italiano Classe II secondaria di II grado (Scuola XXXXXXXX) Liceo - Bologna Il range del voto medio di scuola è tra il 6 e il 7! ,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 Voto medio di classe (media dei voti scritto e orale)

51 3. La lettura dei risultati di scuola: un grafico utile XXXXXXX XX Media Nazionale Media Nazionale dei soli studenti italiani Media di una scuola con ESCS simile 51 Media nazionale

52 Risultati della prova di Italiano (o Matematica) rispetto a 90,0 85,0 80,0 PN 2011/2012 Risultato della prova di Italiano rispetto alla cittadinanza Cittadinanza 75,0 70,0 65,0 60,0 55,0 50,0 Studenti italiani 75,0 Regolarità PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarità del percorso di studi Studenti stranieri I generazione Studenti stranieri II generazione 70,0 65,0 60,0 55,0 80,0 PN 2011/2012 Risultato della prova di Matematica rispetto al genere 50,0 45,0 40,0 Studenti regolari Studenti anticipatari 75,0 70,0 Studenti posticipatari 65,0 60,0 55,0 MASCHI Genere 50,0 FEMMINE RMMM208009_M SCUOLA Lazio_M Centro_M Italia_M RMMM208009_F SCUOLA Lazio_F Centro_F Italia_F

53 3. La lettura dei risultati di scuola: cittadinanza, regolarità, genere I dati possono servire per sfatare alcuni pregiudizi 55,0 I: italiani SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado 50,0 45,0 40,0 35,0 30,0 25,0 20,0

54 3. La lettura dei risultati di scuola: cittadinanza, regolarità, genere I dati possono servire per sfatare alcuni pregiudizi 55,0 50,0 45,0 40,0 35,0 30,0 25,0 20,0 I: italiani SNV 2011/2012 Grafico 3d: Risultato della prova di Matematica rispetto alla cittadinanza Classe I secondaria di I grado 80,0 75,0 70,0 65,0 60,0 55,0 50,0 PN 2010/2011 Risultato della prova di Italiano rispetto alla regolarità del percorso di studi

55 3. La lettura dei risultati di scuola: cittadinanza, regolarità, genere Quanti stranieri S1 e S2 ci sono? Sono un numero significativo? La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 e S2? Ci sono differenze fra matematica e italiano? Se sì, perché? I dati possono farci riflettere sulle «bocciature»?

56 4.Usare i dati per migliorare la didattica: strumenti % scelta distrattori % risposte corrette

57 4.Usare i dati per migliorare la didattica: strumenti

58 4.Usare i dati per migliorare la didattica: strumenti

59 Conclusioni First we have data It is a capital mistake to theorize before one has data. ( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)

60