L interpretazione e l uso dei risultati INVALSI da parte delle scuole. Merano 12 dicembre 2013 Rossella Garuti

Transcript

1 Landes-Evaluationsstelle für das italienischsprachige Bildungssystem Servizio provinciale di valutazione per l'istruzione e la formazione in lingua italiana L interpretazione e l uso dei risultati INVALSI da parte delle scuole Merano 12 dicembre 2013 Rossella Garuti rossella.garuti@provincia.bz.it

2 Schema della presentazione 1. L accountability: L il render conto 2. La valutazione nazionale: le prove INVALSI 3. I dati di scuola: cosa viene restituito, come leggerli e come utilizzarli 4. Utilizzare i dati per migliorare la didattica: strumenti

3 1. Il bisogno di render conto Le domande: Come valorizzare i risultati della scuola? Come verificare che gli investimenti fatti stiano andando nella giusta direzione? Come sapere se gli incrementi di conoscenze dei nostri studenti sono in linea con gli altri paesi?. La risposta: Disponibilità di dati confrontabili a livello nazionale ed internazionale

4 1. Il bisogno di render conto Un video interessante Andreas Scleicher (direttore della ricerca OCSE- PISA) s_schleicher_use_data_to_build_ better_schools.html remember: Without data, you are just another person with an opinion

5 1. Il bisogno di render conto E necessario confrontarsi per poter ragionare in modo laico su una serie di pre-giudizi: piccolo è bello più tempo-scuola= migliori risultati più danaro = migliori risultati

6 2. La valutazione nazionale: le prove INVALSI il piano delle rilevazioni II primaria 6-7- maggio V primaria 6-7 maggio I secondaria di primo grado III sec. di I grado Prova Nazionale 19 giugno II secondaria di secondo grado 13 maggio

7 2. La valutazione nazionale: le prove INVALSI Quadro di riferimento per la valutazione Quadro di riferimento per i curricoli Quadri di riferimento per le valutazioni internazionali Prassi scolastica Esiti delle rilevazioni precedenti

8 2. La valutazione nazionale: le prove INVALSI La composizione di una prova standardizzata rivolta all accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza.

9 2. La costruzione dei fascicoli INVALSI Selezione e classificazione Produzione delle domande da parte degli autori Prova sul campo Costruzione dei fascicoli per il pre-test Analisi statistica Analisi didattica Fascicolo definitivo

10 VERSIONE PRE-TEST: un esempio D24. Il nonno Andrea e sua nipote Marta stanno camminando vicini lungo un sentiero. Ogni due passi che fa il nonno Marta ne deve fare 3 per restare affiancata al nonno. Dopo che il nonno Andrea ha fatto 40 passi quanti passi ha fatto Marta? A. 40 B. 60 C. 80 D. 120

11 Versione finale

12 2. La valutazione nazionale: le prove INVALSI Aspetti significativi del QDR Fascicolo definitivo Aspetti misuratori Ultima revisione del testo per eliminare al massimo le ambiguità di tipo linguistico SOMMINISTRAZIONE

13 3. La lettura dei risultati INVALSI 1. A livello di sistema scolastico 1. Decisori politici (MIUR, Intendenza, CSP,..) 2. A livello di Istituto Scolastico 2. Dirigente Scolastico, referente,commissione 3. A livello didattico 3. Docenti e Dipartimenti

14 3. La lettura dei risultati di scuola DATI INVALSI Percorso di autovalutazione Potenziamento e miglioramento dell azione didattica istituto e singola classe

15 3. La lettura dei risultati di scuola Perché la valutazione riguarda tutte le classi e non è a campione, come avviene in tanti altri paesi? Chi può vedere/utilizzare i risultati delle prove? Perché il presidente del consiglio di istituto potrà vedere alcuni risultati? Le prove si estenderanno anche alle classi terminali? Quali aree disciplinari? Quali informazioni sulla formazione delle classi? Come sono collegati i risultati delle prove con i voti degli scrutini? Come utilizzare i risultati nel consiglio di classe?.

16 3. La lettura dei risultati di scuola L INVALSI restituisce ad ogni singola scuola dati sull andamento: complessivo dei livelli di apprendimento degli studenti della scuola rispetto alla media dell Italia, dell area geografica e della regione di appartenenza (nel caso di Bolzano della provincia); delle singoli classi nelle prove di italiano e di matematica nel loro complesso; della singola classe e (su richiesta) del singolo studente analizzato nel dettaglio di ogni singola prova.

17 I risultati della provincia di Bolzano (l.it.) livello ITA MAT Media TRENTO Media NORD-EST II primaria V primaria Ita 211 Mat Ita 207 Mat 211 I sec. I gr Ita 202 Mat 210 III sec. I gr. II sec. II gr Ita 212 Mat Ita 218 Mat 226 Ita 203 Mat 202 Ita 204 Mat 205 Ita 204 Mat 207 Ita 209 Mat 210 Ita 207 Mat = = = + ++

18 ITA I secondaria di primo grado

19 MAT I secondaria di primo grado

20 ITA III secondaria di primo grado

21 MAT III secondaria di primo grado

22 3. La lettura dei risultati di scuola: uno sguardo d insieme Schermata iniziale

23 Italiano Punteggio medio - Cheating = Punteggio medio della classe 2 Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è mediamente da attribuire alle predette anomalie. 3 L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche. La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economico-culturale (ESCS) più simile a quello della classe/scuola considerata. 4 I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto. 5 La frecce rivolte verso l'alto e verso AUTONOME il basso indicano PROVINZ una BOZEN differenza - SÜDTIROL rispettivamente positiva PROVINCIA e negativa AUTONOMA statisticamente DI BOLZANO significativa, - ALTO ossia ADIGE con una probabilità superiore al 95% di verificarsi anche nella popolazione e non solo nel campione. Le frecce orizzontali indicano, invece, una differenza positiva o negativa statisticamente non significativa.

24 Una diversa visualizzazione dei risultati complessivi -1,8 +11,5

25 3. La lettura dei risultati di scuola: uno sguardo d insieme d Ci sono andamenti diversi fra le classi? Perché? Ci sono differenze fra MAT e IT? Le differenze fanno riferimento a tipologie diverse (tempo pieno, )? A vissuti diversi? L indice di status socio-economico-culturale ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono diverse tra loro? Se sì, perché?

26 3. La lettura dei risultati di scuola: la variabilità ESCS: il questionario studenti

27 3. La lettura dei risultati di scuola: la variabilità I risultati delle classi (punteggio) sono omogenei all interno della scuola? Le classi sembrano ben formate? Lo status socio-economico-culturale è omogeneo tra le classi? E in linea con il dato nazionale?.

28 3. La lettura dei risultati di scuola: la variabilità Situazione di relativo equilibrio: confronto LIV.05 e Liv.06

29 3. La lettura dei risultati di scuola: la variabilità ITA- Liv. 10 Ist. Tecnico Situazione di relativo «squilibrio» nei punteggi MATE- Liv. 10 Ist.Tecnico

30 3. La lettura dei risultati di scuola: la variabilità ITA- Liv. 10 Liceo Situazione di relativo «squilibrio» nell ESCS MATE- Liv. 10 Liceo

31 3. La lettura dei risultati di scuola: la variabilità Classe II primaria, come per la PN (LIV.08) non c è ESC perché non c è il questionario studenti

32 3. La lettura dei risultati di scuola: i livelli Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale Dal + BASSO al + ALTO

33 3. La lettura dei risultati di scuola: i livelli Come sono distribuiti nei 5 livelli di apprendimento gli studenti di ciascuna classe per Italiano e per Matematica?

34 Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità Discrepanza fra ITA e MATE

35 Confronto della distribuzione dei livelli di apprendimento nelle due prove: la numerosità Sostanziale equilibrio fra ITA e MATE

36 3. La lettura dei risultati di scuola: i livelli La distribuzione per livelli nelle singole classi è equilibrata? Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Quali ipotesi si possono fare?

37 3. La lettura dei risultati di scuola: correlazioni Voti di scuola e punteggi INVALSI: nelle classi e tra le classi

38 3. La lettura dei risultati di scuola: correlazioni Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? Ci sono differenze nei metri di valutazione degli insegnanti della scuola? Ci sono differenze fra primaria e secondaria? Fra primo ciclo e secondo ciclo?.

39 3. La lettura dei risultati di scuola: correlazioni Liceo - Bologna Il range del voto medio di scuola è tra il 6 e il 7!

40 3. La lettura dei risultati di scuola: un grafico utile XXXXXXX XX Media Nazionale Media Nazionale dei soli studenti italiani Media di una scuola con ESCS simile 40 Media nazionale

41 Risultati della prova di Italiano (o Matematica) rispetto a 90,0 85,0 PN 2011/2012 Risultato della prova di Italiano rispetto alla cittadinanza Cittadinanza 80,0 75,0 70,0 65,0 60,0 55,0 50,0 Studenti italiani SCUOLA Studenti stranieri I generazione SCUOLA SCUOLA Studenti stranieri II generazione 75,0 70,0 65,0 60,0 Regolarità PN 2011/2012 Risultato della prova di Matematica rispetto alla regolarità del percorso di studi 55,0 80,0 75,0 PN 2011/2012 Risultato della prova di Matematica rispetto al genere 50,0 45,0 40,0 Studenti regolari SCUOLA Studenti anticipatari SCUOLA SCUOLA 70,0 Studenti posticipatari 65,0 60,0 55,0 50,0 MASCHI FEMMINE RMMM208009_M SCUOLA Lazio_M Centro_M Italia_M RMMM208009_F SCUOLA Lazio_F Centro_F Italia_F Genere

42 3. La lettura dei risultati di scuola: cittadinanza, regolarità,, genere I dati possono servire per sfatare alcuni pregiudizi

43 3. La lettura dei risultati di scuola: cittadinanza, regolarità,, genere I dati possono servire per sfatare alcuni pregiudizi

44 3. La lettura dei risultati di scuola: cittadinanza, regolarità,, genere Quanti stranieri S1 e S2 ci sono? Sono un numero significativo? La presenza (consistente) di stranieri come ha inciso sui risultati degli studenti italiani? E rispetto agli studenti S1 e S2? Ci sono differenze fra matematica e italiano? Se sì, perché? I dati possono farci riflettere sulle «bocciature»?

45 4.Usare i dati per migliorare la didattica: strumenti

46

47 4.Usare i dati per migliorare la didattica: strumenti % scelta distrattori % risposte corrette

48 PN 2013

49 Classificazione item

50 Commento dalla Guida:

51 4.Usare i dati per migliorare la didattica: strumenti

52 4.Usare i dati per migliorare la didattica: strumenti

53 Conclusioni First we have data It is a capital mistake to theorize before one has data. ( Sherloch Holmes, A Study in Scarlett, Arthur Conan Doyle)