II INCONTRO. Prof.ssa Filomena Velleca

Transcript

1 II INCONTRO Prof.ssa Filomena Velleca

2 Leggere i dati INVALSI... A quale scopo? Per poter ottenere risposte utili per pianificare e monitorare il processo di miglioramento...

3 A quali domande possono rispondere i dati INVALSI? Qual è il livello di apprendimento medio della mia scuola, in comparazione con quello nazionale/locale e con quello di scuole simili? Che grado di omogeneità/eterogeneità degli apprendimenti si riscontra nella mia scuola? Esso è riferibile a differenze tra classi? Su quali componenti della prova la mia scuola ha ottenuto risultati migliori/peggiori? Quanta parte degli studenti della mia scuola è classificata nei livelli di apprendimento bassi/medi/alti (rispetto alla media nazionale)?

4 Agenda In questa sezione, si riportano le informazioni che riguardano i dati restituiti da INVALSI per una scuola reale resa anonima Scopo dell analisi: Vedere un quadro dei dati a disposizione Commentarne i possibili principali utilizzi Chiarire alcuni aspetti metodologico/statistici Raccogliere domande/osservazioni...

5 Importante nota metodologica I dati sono riferiti agli allievi che non hanno bisogni educativi speciali. Non viene riportato il dato relativo alle classi con un elevato indice di propensione al cheating, ossia per quelle classi per le quali mediante la metodologia statistica utilizzata più del 50% del punteggio osservato è da attribuire a comportamenti anomali. Inoltre non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%. Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi.

6 I dati disponibili Punteggio medio di apprendimento (confronto con area e scuole simili benchmarking) Disaggregazione punteggio di apprendimento per classi Scomposizione punteggio di apprendimento per diversi ambiti della prova INVALSI Distribuzione studenti per livelli di apprendimento Relazioni tra voti medi di classe (interni) e apprendimenti INVALSI Scomposizione varianza punteggi di apprendimento (tra classi e interna alle classi)

7 Quadro complessivo - Italiano Risultato complessivo della prova di Italiano Classe III secondaria di I grado Il punto rosso ( ) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata RMIC Lazio Centro Italia

8 Quadro complessivo - matematica 65 Risultato complessivo della prova di Matematica Classe III secondaria di I grado Il punto rosso ( ) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata RMIC Lazio Centro Italia

9 Alcune definizioni Cheating ESCS Insieme di anomalie che alterano gli esiti della prova. L'effetto del cheating è misurato mediante un indicatore percentuale che esprime quale parte del punteggio osservato è mediamente da attribuire alle predette anomalie. L'ESCS è l'indice di status socio-economico-culturale. Esso misura il livello del background dello studente, considerando principalmente il titolo di studio dei genitori, la loro condizione occupazionale e la disponibilità di risorse economiche.

10 Alcune definizioni Differenza classe con ESCS simile La differenza è calcolata rispetto al risultato medio delle 200 classi/scuole con background socio-economicoculturale (ESCS) più simile a quello della classe/scuola considerata. Background mediano degli studenti I livelli del background sono definiti rispetto alla distribuzione nazionale dell'indicatore ESCS. Primo quartile (fino al 25%): livello basso; secondo quartile (dal 25% al 50%); terzo quartile (dal 50% al 75%): livello medio-alto; quarto quartile (dal 75% al 100%): livello alto.

11

12

13 Alcune osservazioni Perché alcune classi vengono riportate per Italiano ma non per Matematica? Cheating? Assenze? (spunto di riflessione per il DS) Le frecce per le comparazioni (verso l alto, verso il basso, orizzontali) I calcoli delle differenze punteggi in termini assoluti, si possono calcolare in percentuale Es. la classe in Italiano ha performance di 67,7 (-4,8 rispetto ad una classe con background simile, ossia il 7% in meno) Cheating Più basso in italiano che in matematica

14 Punteggi delle diverse classi (MATEMATICA) Classi/Istituto Media del punteggio al netto del cheating (1) Differenza nei risultati rispetto a classi/scuole con background familiare simile (2) Cheating in percentuale Osservare come le diverse classi contribuiscono al risultato di scuola ,6-5,0 0,1% ,1 +6,6 0,0% RMIC ,2 +0,4 0,0% Attenzione per LA PROVA NAZIONALE c è solo background di scuola (non di classe) Media (di scuola) Inferiore alla media (di scuola) Superiore alla media (di scuola)

15 85 Risultato complessivo della prova di Italiano Classe III secondaria di I grado Attenzione per PROVA NAZIONALE c è solo background di scuola (non di classe) 80 Classi con prestazioni relative peggiori Classi con prestazioni relative migliori Il punto rosso ( ) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata.

16 Attenzione! ESCS, apprendimenti e differenze tra classi Varianza di punteggi medi (a livello di classi) molto significativa! La classe con punteggio (medio) inferiore: circa 67 La classe con punteggio (medio) superiore: circa 79 (+ 18%)

17 70 Risultato complessivo della prova di Matematica Classe III secondaria di I grado Attenzione per PN c è solo background di scuola (non di classe) E E E E+11 RMIC Lazio Centro Italia Il punto rosso ( ) rappresenta il punteggio medio nel gruppo di 200 classi/scuole con background socioeconomico-culturale dei propri studenti più simile a quello della scuola considerata.

18 Attenzione! ESCS, apprendimenti e differenze tra classi Nel caso di Matematica: tutte le classi hanno performance superiori (o non inferiori) a classi simili sotto il profilo dell ESCS (medio di classe) Ma anche in questo caso, differenze significative: Classe con punteggio inferiore: circa 52 Classe con punteggio superiore: circa 66 (+25%)

19 Confronto classi con 200 classi simili (Un esempio riferito ad una scuola differente, classi I) 65 Grafico 1b: Risultato complessivo della prova di Matematica - Classe I secondaria di I grado Classe 8 migliore o peggiore di 4? Punteggio assoluto versus comparazione con classi simili

20 Attenzione!!! Analisi per classi... concentrazione?! Classi/Istituto Media del punteggio al netto del cheating Italiano Differenza nei risultati rispetto a classi/scuole con background familiare simile Media del punteggio al netto del cheating Matematica Differenza nei risultati rispetto a classi/scuole con background familiare simile ,4 +4,7 62,4 +8, ,2 +4,7 66,2 +12, ,0-3,7 55,7 +1, ,6-5,0 52,0-2,1 RMIC ,2 +0,4 59,8 +5,8 Classe debole Classe forte

21 Punteggi per le diverse parti delle prove

22 Quali considerazioni? Confronto tra classi Omogeneità tra apprendimenti delle diverse classi, sulle diverse parti della prova? Confronto su diverse aree (es. grammatica vs testo narrativo) L uso dei dati a livello di classe può essere funzionale alla discussione tra DS e docenti delle classi interessate Anche utile stimolo interno come rendere pubblicadentro-la-scuola una discussione su confronto tra classi?

23 Diverse parti delle prove: analisi a livello di classe Testo narrativo Grammatica Punteggi Punteggi Punteggi o Medio o Italia o Medio , , , , , , , , ,2 68, , , , , , , ,8 RMIC ,8 RMIC ,3 Punteggi o Italia 66,7 Criticità a livello di classe Punto di forza a livello di classe È opportuno confrontare i risultati con la media nazionale... Un punteggio basso/alto può derivare da specificità della classe o da difficoltà relativa della sezione della prova! Scuola relativamente forte in grammatica rispetto a testo narrativo

24 Confronto con studenti solo nativi Testo narrativo Testo narrativo Solo nativi Punteggio Medio Punteggio Italia Punteggio Medio Punteggio Italia , , , , , , , , ,2 68, ,2 68, ,2 Il DS può valutare questa differenza 68, ,7 anche insieme a docenti (e 66, ,5 considerando % non nativi) 76,4 RMIC ,8 RMIC ,3 Solo nativi : studenti nati in Italia da genitori anch'essi nati in Italia; Interpretazione: Qual è effetto di considerare solo nativi? Eterogeneità tra classi? E rispetto alla media nazionale?

25 Analisi per livello di apprendimento Cosa sono i livelli di apprendimento? Livello 1 punteggio minore o uguale al 75% della media nazionale Livello 2 punteggio maggiore del 75% e minore o uguale del 95% della media nazionale Livello 3 punteggio maggiore del 95% e minore o uguale del 110% della media nazionale Livello 4 punteggio maggiore del 110% e minore o uguale del 125% della media nazionale Livello 5 punteggio maggiore del 125% della media nazionale

26

27 Analisi livelli di apprendimento (es. matematica) Numero studenti livello 1 Numero studenti livello 2 Numero studenti livello 3 Numero studenti livello 4 Numero studenti livello Percentuale studenti livello 1 Percentuale studenti livello 2 Percentuale studenti livello 3 Percentuale studenti livello 4 Percentuale studenti livello 5 RMIC % 6% 23% 34% 35% Lazio 17% 19% 19% 16% 30% Centro 24% 19% 17% 15% 25% Italia 25% 19% 18% 14% 25% Differente distribuzione... I livelli 1 e 4 Come interpretare questa distribuzione tra classi?

28 Analisi livelli di apprendimento (confronto matematica vs italiano) Numero studenti livello 4 Matematica Numero studenti livello 5 Numero studenti livello 4 Italiano Numero studenti livello Percentuale studenti livello 4 Percentuale studenti livello 5 Percentuale studenti livello 4 Percentuale studenti livello 5 RMIC % 35% 29% 17% Lazio 16% 30% 30% 18% Centro 15% 25% 28% 15% Italia 14% 25% 26% 15% Differenza Ita vs mate (dentro la classe) Prestazione relativa della scuola (ita versus mate)

29 Analisi livelli di apprendimento (confronto matematica vs italiano)

30 Valutazione esterna vs interna Valutazione interna disallineata... Per eccesso o per difetto? Mantenendo (in forma anonima) l identità del singolo studente, è possibile verificare coerenza tra punteggio ottenuto nella prova Invalsi e giudizio di ammissione all esame di Stato [dati aggregati a livello di classe]

31 Punteggio medio alla prova INVALSI Confronto tra voto di scuola e punteggio nella prova di Italiano Classe III secondaria di I grado (Scuola RMIC000000) 80,00 78, , ,00 72,00 70,00 Queste due classi hanno valutazioni medie simili dalla scuola, ma rilevante differenza nelle prove Invalsi 68, ,00 5,50 6,00 6,50 7,00 7,50 8,00 Voto medio di classe

32 Punteggio medio alla prova INVALSI Confronto tra voto di scuola e punteggio nella prova di Matematica Classe III secondaria di I grado (Scuola RMIC000000) 70,00 60, , ,00 30,00 20,00 Queste due classi hanno valutazioni medie simili da Invalsi, ma rilevante differenza nella valutazione della scuola 10,00 0,00 5,50 6,00 6,50 7,00 7,50 8,00 Voto medio di classe

33 Limiti Per le classi III della Secondaria I grado, il voto a livello di classe è la media del punteggio di ammissione all esame di Stato Il confronto diretto con prove INVALSI, in senso stretto, è inibito! Questo non vale per gli altri gradi Es classi I: il voto a livello di classe è la media nella specifica materia oggetto di analisi (Italiano, Matematica)

34 Punteggio medio alla prova INVALSI voto di classe e punteggio INVALSI (un esempio su una scuola differente, classi I) 80 Grafico 4a: Confronto tra voto di classe e punteggio nella prova di Italiano Classe I secondaria di I grado (Scuola RMMM000000) Sulla base dei punteggi INVALSI la classe 4 è risultata CLASSE FORTE, mentre la classe 9 CLASSE DEBOLE ,5 5,7 5,9 6,1 6,3 6,5 6,7 6,9 Voto medio di classe (media dei voti scritto e orale)

35 Dettaglio risposte per item La possibilità di analizzare le prove anche attraverso le singole risposte, appare di particolare utilità per i docenti Si può analizzare la singola classe

36 Dettaglio risposte per item Confronto tra classi? Si possono effettuare confronti più di dettaglio tra le classi, osservando il n di risposte corrette Possibilità di confronto e dialogo tra docenti

37 Dettaglio risposte per item Sezione E Domanda A B C D Mancate risposte Parte prima - testo narrativo A1 11,8 76,5 0,0 11,8 0,0 Parte prima - testo narrativo A3 0,0 88,2 11,8 0,0 0,0 Parte prima - testo narrativo A4 41,2 29,4 0,0 29,4 0,0 Parte prima - testo narrativo A5 0,0 11,8 82,4 5,9 0,0 Parte prima - testo narrativo A6 0,0 0,0 94,1 0,0 5,9 Parte prima - testo narrativo A7 100,0 0,0 0,0 0,0 0,0 Sezione G Domanda A B C D Mancate risposte Parte prima - testo narrativo A1 40,0 50,0 0,0 10,0 0,0 Parte prima - testo narrativo A3 0,0 90,0 10,0 0,0 0,0 Parte prima - testo narrativo A4 25,0 25,0 5,0 45,0 0,0 Parte prima - testo narrativo A5 0,0 5,0 95,0 0,0 0,0 Parte prima - testo narrativo A6 5,0 0,0 95,0 0,0 0,0 Parte prima - testo narrativo A7 95,0 0,0 0,0 5,0 0,0

38 Ulteriore dettaglio per classe È possibile anche analizzare, per ciascuna classe, le differenze nelle risposte (per ciascuna singola domanda) rispetto alla media nazionale In ogni singolo item, la classe ha risposto in linea con la media nazionale, oppure ha evidenziato una percentuale di risposte corrette/sbagliate superiore/inferiore rispetto alla media nazionale? Confronto tra risposta sul singolo item e media (di classe) Grafico seguente Si può estendere questo confronto anche tra classi grazie al dialogo con/tra docenti

39 A1 A2 A3 A4 A5 A6 A7 A8 A9 A10 A11_a A11_b A11_c A11_d A11_e A11_f A11_g A12 A13 A14_a A14_b A14_c A14_d A14_e A14_f A15 A16 A17 A18 A19 A20 A21 A22 B1 B2_a B2_b B2_c B2_d B2_e B2_f B2_g B3 B4_1 B4_2 B5 B6 B7 B8 C1_a C1_b C1_c C1_d C1_e C1_f C2 C3 C4 C5 C6 C7 C8 D1_a D1_b D2 D3 D4_a D4_b D4_c D4_d D5_a D5_b D6_a D6_b D6_c D6_d D7_a D7_b D8 D9 D10 D11_a D11_b D11_c D11_d D11_e Differenza in punti percentuali 50,0 Confronto tra risultato di classe e risultato nazionale (item per item) nella prova di Italiano Diff classe-italia Classe III secondaria di I grado (Classe ) Italia 40,0 30,0 20,0 10,0 0,0-10,0 Differenza Classe-Italia (media) -20,0-30,0 Testo Narrativo Testo Espositivo Testo non continuo Grammatica

40 I grafici creati da Invalsi Il Grafico Mostra quanta parte della variabilità dei punteggi all'interno della scuola è dovuta a differenze tra le classi, confrontando tali risultati con quanto avviene nella media delle scuole italiane Perché è importante? Misura indiretta di varianza tra classi misura indiretta di segmentazione?

41 Valori percentuali Classe III secondaria di I grado Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Italiano Punteggi di Italiano TRA/TOT DENTRO/TOT RMIC Italia Il grafico mostra quanta parte della variabilità dei punteggi all'interno della scuola è dovuta a differenze tra le classi, confrontando tali risultati con quanto avviene nella media delle scuole italiane

42 Valori percentuali Punteggi di Matematica 100 Classe III secondaria di I grado Incidenza della variabilità TRA le classi e DENTRO le classi nella prova di Matematica Il 75% della varianza nei punteggi è tra classi... ENORME segmentazione! Focus su punteggi... Per altri gradi disponibili anche varianze ESCS TRA/TOT DENTRO/TOT RMIC Italia

43 Mettere in relazione varianza punteggi e ESCS... (Un esempio su una scuola differente) Valori percentuali 100,0 Incidenza della variabilità TRA le classi rispetto alla variabilità totale, nel punteggio della prova di Matematica e nell'indice di background familiare (ESCS) Classe I secondaria di I grado 90,0 80,0 70,0 60,0 50,0 40,0 Minore varianza nei punteggi, nonostante elevata varianza nella composizione delle classi 40,3 30,0 20,0 19,1 PUNTEGGIO 13,9 ESCS 12,5 10,0 0,0 TRA/TOT (punteggio) RMMM ItaliaTRA/TOT (ESCS)

44 Differenze per cittadinanza: quale interpretazione? Risultato della prova di Matematica rispetto alla cittadinanza Classe III secondaria di I grado Mostra le differenze dei punteggi medi tra studenti della scuola rispetto al genere, alla cittadinanza e alla regolarità nel percorso di studi, poste a confronto con le stesse differenze nella regione, nell'area geografica e nell'italia intera. E importante per capire se alcune variabili individuali (es. cittadinanza) esercitano un ruolo maggiore o minore, nel determinare la prestazione scolastica, rispetto ad altre scuole/ambiti.

45 65 Risultato della prova di Matematica rispetto alla cittadinanza Classe III secondaria di I grado Scuola Diff. nella scuola Italia Scuola Italia Studenti Italiani Studenti Stranieri 1a gen. Differenza scuola- Italia = 10 punti Differenza scuola- Italia = 17 punti

46 Differenze di genere: quale interpretazione? 74 PN 2011/2012 Risultato della prova di Italiano rispetto al genere Classe III secondaria di I grado RMIC000000_M Lazio_M Centro_M Italia_M RMIC000000_F Lazio_F Centro_F Italia_F

47 74 Risultato della prova di Italiano rispetto al genere Classe III secondaria di I grado Differenza nella scuola tra maschi e femmine RMIC000000_M Lazio_M Centro_M Italia_M RMIC000000_F Lazio_F Centro_F Italia_F MASCHI: Scuola Italia: 6 punti FEMMINE: Scuola Italia: 4 punti

48 Regolari vs anticipatari/posticipatari: quale interpretazione? Risultato della prova di Matematica rispetto alla regolarità del percorso di studi Classe III secondaria di I grado

49 80 Risultato della prova di Matematica rispetto alla regolarità del percorso di studi Classe III secondaria di I grado Differenza REG ANT = -15p. Differenza ANT - POST = +15p Differenza REG - POST = +0p In Italia: REG (51), ANT (48), POST (41) Studenti regolari (REG) Studenti posticipatari (POST) Studenti anticipatari (ANT)

50 Un quadro di sintesi La crescita dell azione di INVALSI, e il contestuale miglioramento dell azione dell Ufficio Statistico del MIUR, consente oggi al DS di avere molte più informazioni sulla propria scuola Ma NON più soluzioni! La responsabilità manageriale del DS Leggere i dati, e definirne grado di condivisione interno Riflessione personale e collegiale Diagnosi Ipotesi di azioni, implementazione di piani Verifica miglioramento Non esiste un cocktail di dati adatto per tutti! I dati vanno letti nel contesto della propria scuola il potenziale ruolo di Scuola in Chiaro: ad esempio, analisi del profilo della classe docente della scuola per una lettura congiunta dei due diversi set di informazioni

51 Il potenziale di Scuola in Chiaro Strumento informativo del MIUR

52 Le sezioni di Scuola in Chiaro Il fascicolo Scuola in Chiaro che ciascun istituto riceverà sarà articolato nelle seguenti sezioni: Dati anagrafici Studenti Docenti INPUTS PROCESSI Esiti formativi OUTPUTS Questionario Scuola (DS)

53 Esiti Il database di Scuola in Chiaro consente di avere alcune informazioni sugli esiti che possono essere usati in modo complementare ai dati derivanti dalle prove INVALSI Esiti degli scrutini finali per anno di corso Anno di corso Ammessi all'anno successivo Scuola Provincia Regione Nazione Punto di attenzione per anno successivo (effetto dei non ammessi sulle classi di riferimento) Confronto con Provincia, Regione, Italia

54 Esiti (segue) Alunni licenziati per votazione conseguita: candidati interni Fascia di voto Scuola Provincia Regione Nazione sei sette otto nove dieci dieci e lode Totale I voti finali sembrano giustificati Prova di italiano Numero studenti livello 1-2 Numero studenti livello 3 Numero studenti livello 4-5 Numero studenti livello Prova di matematica Numero studenti livello Numero studenti livello I dati si riferiscono ai soli studenti con dati validi per le due prove (italiano e matematica) Sapevamo, dai dati INVALSI, che in questa scuola vi è concentrazione di alunni molto bravi (rispetto a media nazionale)

55 Cosa NON ci dicono i dati sugli apprendimenti È importante riconoscere, in fase di utilizzo dei dati sugli apprendimenti, che questi NON ci dicono tutto quello che sarebbe utile conoscere Skills non cognitivi Descrizione del processo educativo Qualità delle attività sottostanti ai processi di apprendimento Un buon DS dovrebbe utilizzare i dati di apprendimento? Si, come una delle fonti di conoscenza della propria scuola Il principale limite metodologico I dati sul singolo anno, relativi al LIVELLO degli apprendimenti, riflettono variabili esterne che non possono essere modificate dalle scuole (Background degli studenti, caratteristiche di contesto, ecc).

56 RIFERIMENTO BIBLIOGRAFICO «Cosa ci dicono (e non dicono) i dati sugli apprendimenti» Tommaso Agasisti Politecnico di Milano Dipartimento di Ingegneria Gestionale e. tommaso.agasisti@polimi.it

57 "Misurate ciò che è misurabile e rendete misurabile ciò che non lo è" Galileo Galilei (fisico, filosofo, astronomo e matematico) Grazie per l attenzione mena.velleca@gmail.com