Giornata di formazione. II Parte Le prove INVALSI e la lettura dei risultati delle rilevazioni per il miglioramento

Transcript

1 Giornata di formazione II Parte Le prove INVALSI e la lettura dei risultati delle rilevazioni per il miglioramento Angela Martini Udine, 2 dicembre 2013 Alla base delle prove: i Quadri di Riferimento Quadri di riferimento per la valutazione Indicazioni nazionali per i curricoli Quadri di riferimento delle valutazioni internazionali Prassi scolastica Esiti delle rilevazioni precedenti

2 Che cosa intende valutare la prova di Italiano Oggetto della prova di Italiano sono: La competenza di lettura, articolata nelle tre dimensioni della competenza pragmatico-testuale, della competenza lessicale e della competenza grammaticale Le conoscenze e competenze grammaticali in senso proprio Gli aspetti di comprensione della lettura misurati nella prova INVALSI di Italiano

3 I processi di comprensione in PIRLS 2011 Focalizzare e ritrovare informazioni date esplicitamente Fare inferenze dirette Interpretare e integrare concetti e informazioni Analizzare e valutare il contenuto, il linguaggio e gli elementi testuali La comprensione della lettura nel framework PISA 2009 ACCEDERE E RITROVARE INTEGRARE E INTERPRETARE RIFLETTERE E VALUTARE Ritrovare informazioni Ricostruire il significato del testo Sviluppare un interpretazione Riflettere sul contenuto del testo e valutarlo Riflettere sulla forma del testo e valutarla

4 Alcuni esempi dalla Guida alla lettura della prova di Italiano di I media 2013 Le competenze grammaticali valutate nella prova INVALSI di Italiano Capacità di riflessione sulla lingua: esser consapevole delle regole grafiche e interpuntive e delle strutture morfo-sintattiche e testuali della lingua italiana Capacità di uso corretto della lingua: saper applicare fattualmente le regole grammaticali della lingua italiana in contesti frasali vincolati

5 Ambiti grammaticali misurati nelle prove INVALSI (V primaria e classi successive) Due esempi dalla Guida alla lettura della prova di Italiano di III media 2013

6 Struttura della prova INVALSI di Italiano Livello scolare II Primaria V Primaria I Secondaria inferiore III Secondaria inferiore II Secondaria superiore 1 Parte Comprensione della lettura Testo narrativo Testo narrativo Testo narrativo Testo narrativo 2 Parte Grammatica - Esercizi di lessico, ricostruzione frasi, ecc. Testo espositivo Testo espositivo Testo espositivo Grammatica (10 quesiti circa) Grammatica (10 quesiti circa) Grammatica (10 quesiti circa) Più testi Più testi Grammatica (10 quesiti circa) Che cosa intende valutare la prova INVALSI di Matematica Oggetto della prova di Matematica sono: La padronanza dei contenuti fondamentali previsti dai curricoli I processi cognitivi implicati nella soluzione di "problemi"

7 I quattro ambiti di contenuto misurati nelle prove INVALSI di matematica e nelle indagini internazionali INVALSI (Indicazioni per il curricolo) OCSE-PISA (idee chiave) TIMSS (domini di contenuto) Numeri Quantità Numero Spazio e figure Spazio e forma Geometria Relazioni e funzioni Misure, dati e previsioni Cambiamenti e relazioni Incertezza Algebra Dati e caso I processi misurati nelle prove INVALSI di Matematica 1. Conoscere e padroneggiare contenuti specifici della matematica (oggetti matematici, proprietà, strutture...) 2. Conoscere e padroneggiare algoritmi e procedure (in ambito aritmetico, geometrico...) 3. Saper risolvere problemi utilizzando gli strumenti della matematica (individuare e collegare informazioni utili, confrontare strategie di risoluzione, individuare schemi, esporre il procedimento risolutivo,...) 4. Conoscere e utilizzare diverse forme di rappresentazione e saper passare da una all'altra (verbale, scritta, simbolica, grafica, tabellare,...) 5. Riconoscere in contesto il carattere misurabile di oggetti e fenomeni e saper utilizzare strumenti (stimare una misura, individuare l unità di misura appropriata, ) 6. Utilizzare la matematica appresa per il trattamento quantitativo dell'informazione in ambito scientifico, tecnologico, economico e sociale (descrivere un fenomeno in termini quantitativi, interpretare una descrizione di un fenomeno con strumenti statistici o funzioni, costruire un modello...) 7. Acquisire progressivamente forme tipiche del pensiero matematico (congetturare, verificare, giustificare, definire, generalizzare, )

8 Due esempi dalla Guida alla lettura della prova di Matematica di II Superiore 2013 Struttura della prova INVALSI di Matematica Livello scolare 1 componente 2 componente 3 componente 4 componente II Primaria* Numeri Spazio e figure V Primaria Numeri Spazio e figure I Secondaria inferiore III Secondaria inferiore II Secondaria superiore Numeri Numeri Numeri Spazio e figure Spazio e figure Spazio e figure - Misure, dati e previsioni Relazioni e funzioni Relazioni e funzioni Relazioni e funzioni Relazioni e funzioni Misure, dati e previsioni Misure, dati e previsioni Misure, dati e previsioni Misure, dati e previsioni

9 La lettura dei dati: tre punti di osservazione È opportuno distinguere, rispetto ai dati forniti dall INVALSI, tre punti di osservazione possibili, tra loro complementari, ma distinti: Il punto di vista di coloro che hanno la responsabilità del governo del sistema educativo (decisori politici, amministratori e autorità scolastiche ai vari livelli) Il punto di vista dei dirigenti scolastici e degli organismi d indirizzo e di controllo della singola scuola Il punto di vista degli insegnanti nella loro attività in classe A ciascuna di queste tre categorie interessano maggiormente alcuni dati rispetto ad altri. La restituzione dei risultati alle scuole: le novità introdotte nel 2012 o Accesso ai dati allargato e differenziato per profilo: dirigente scolastico, referente della valutazione, presidente del Consiglio d Istituto, docenti. o Informazione sul cheating delle classi e della scuola (percentuale di correzione). o Informazione sulla composizione sociale della popolazione scolastica delle classi e della scuola (4 categorie in base all Escs). o Possibilità di confrontare, oltre al risultato medio di classe e di scuola, la distribuzione degli studenti in 5 livelli di apprendimento (alto, medio-alto, medio, medio-basso, basso). o Possibilità di confrontare il risultato di ogni classe e della scuola anche con quello di classi e di scuole di pari livello socio-economico (approssimazione al risultato di valore aggiunto). o Informazione sulla correlazione tra punteggio nelle prove e voto del 1 quadrimestre

10 Elenco delle tabelle e dei grafici restituiti per ogni scuola TAVOLE: Tavole 1a/1b: Risultato complessivo Tavole 2a/3a: Risultato per sezioni della prova di Italiano o per ambito della prova di Matematica Tavole 2b/3b: Risultati per macro-categoria di aspetti/processi Tavole 2c/3c: Risultati per sezione/ambito della prova solo nativi Tavole 2d/3d: Risultati per macro-categorie solo nativi Tavola 2e/3e: Risultati per sezione/ambito della prova solo regolari Tavole 2f/3f: Risultati per macro-categorie solo regolari Tavole 4a/4b: Distribuzione degli alunni nei livelli di apprendimento Tavola 5: Incrocio tra Italiano e Matematica dei livelli di apprendimento Tavola 6: Correlazioni risultato prove INVALSI e voti Tavola 7: Dettaglio risposte per item delle due prove in ciascuna classe GRAFICI: Grafico 1: Risultato complessivo delle prove rispetto a classi/scuole con composizione sociale analoga (2 g.) Grafico 2: Variabilità dei punteggi "tra" e "dentro" (2 g.) Grafico 3: Risultati per genere, cittadinanza, regolarità (6 g.) Grafico 4: Confronto tra voto di scuola e punteggio nelle prove (2 g.) Redigere un rapporto di scuola: il confronto con l esterno INDICE Prima parte 1. La posizione della scuola per livello scolare rispetto alla media nazionale, dell area geografica e della regione di appartenenza 2. La distribuzione degli alunni della scuola nei livelli di prestazione definiti sulla base del campione nazionale 3. Significatività delle differenze e composizione della popolazione scolastica della scuola 4. Prime ipotesi di interpretazione

11 Redigere un rapporto di scuola: il confronto all interno INDICE Seconda parte 1. I risultati delle classi: varianza "tra" e varianza "entro" le classi 2. I risultati delle prove INVALSI per sottogruppi della popolazione scolastica 3. I risultati delle prove di Italiano e Matematica per sezione e/o ambito di contenuto 4. Confronto tra valutazione esterna (prove INVALSI) e valutazione interna in Italiano e in Matematica 5. Punti di debolezza e punti di forza I risultati complessivi della scuola e delle classi

12 Il problema del cheating : "When the cat is near, the mice won t play" (IZA DP 6629/2012) Lo studio (di Bertone, Brunello e Rocco) è stato condotto sulle classi campione e non campione di II e V Primaria sottoposte a rilevazione nel Esso ha riscontrato che: nelle classi con osservatore esterno rispetto a quelle senza osservatore si assiste a una riduzione del punteggio delle prove INVALSI, che va, in media, dal 5,5% all 8,5% a seconda del livello e della materia; accanto all effetto diretto della presenza dell osservatore, responsabile di circa l 80% dell effetto complessivo, vi è un effetto indiretto, che fa sì che anche nelle classi non campionate di scuole campionate si abbia una riduzione del punteggio. Le conclusioni dello studio sul cheating 1. L effetto dell osservatore nelle classi dove questi è presente non è dovuto né alla distrazione provocata dalla presenza di un estraneo né a un maggior livello di ansia sperimentato dagli alunni. 2. Si è anche analizzato se la dimensione dell effetto vari a causa dell interazione con una serie di variabili: la dimensione della classe, il carattere pubblico o privato della scuola, la percentuale di insegnanti di ruolo nella scuola, l Escs medio di scuola, alcune misure di capitale sociale della provincia in cui la scuola è localizzata. 3. L effetto dell osservatore è più piccolo nelle classi più numerose, non cambia se la scuola è pubblica o privata, né varia con l Escs medio di scuola è maggiore nelle scuole dove è più alta la percentuale di insegnanti di ruolo è fortemente associato con il livello di capitale sociale della provincia in cui la scuola è localizzata, e ciò anche controllando per il PIL pro-capite e il tasso di disoccupazione.

13 La distribuzione nei livelli di apprendimento Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale La distribuzione per livelli incrocio tra Italiano e Matematica

14 Il risultato complessivo nelle prove a confronto con lo standard nazionale, di area e regionale La variabilità tra classi ed entro le classi dei punteggi nelle prove e dell Escs

15 I risultati complessivi e all interno della prova degli alunni italiani e degli alunni regolari I risultati delle prove per cittadinanza degli alunni

16 I risultati delle prove per regolarità del percorso scolastico I risultati della prova di Italiano per genere

17 I risultati della prova di Matematica per genere I risultati per sezione della prova di Italiano e per ambito della prova di Matematica Tavola 3a: Risultati per ambito di contenuto della prova di matematica

18 I risultati per macro-categoria di aspetti / processi Il dettaglio delle risposte per item

19 Il risultato delle classi domanda per domanda - Italiano Punteggio medio testo narrativo Differenza dall Italia del risultato della classe nella prova complessiva Media dell Italia nella prova complessiva Punteggio medio riordino frasi Il risultato delle classi domanda per domanda - Matematica

20 Correlazione tra voti e risultati delle prove INVALSI Voto I quadrimestre Risultato test INVALSI Voto dell insegnante e punteggio nelle prove INVALSI

21 Qualche suggerimento agli insegnanti per aiutare gli alunni ad affrontare le prove INVALSI: il 1 obiettivo Il primo e più importante obiettivo che un insegnante deve porsi è quello di cercare di favorire lo sviluppo, attraverso l attività didattica quotidiana, di quelle operazioni mentali e di quei processi di riflessione e di pensiero che sottostanno alla comprensione di un testo o alla soluzione di un quesito matematico e che sono il vero oggetto che le prove INVALSI mirano a verificare attraverso l indicatore rappresentato dalle risposte ai test. Per perseguire questo primo obiettivo non è affatto necessario anzi può essere controproducente addestrare gli alunni a rispondere a prove oggettive recuperate qua e là e di cui non si conoscono le proprietà misuratorie. Qualche suggerimento agli insegnanti per aiutare gli alunni ad affrontare le prove INVALSI: il 2 obiettivo Il secondo obiettivo, assai meno rilevante del primo, è di preparare gli alunni ad affrontare prove con specifiche caratteristiche come quelle che le prove INVALSI condividono con altri test: qui è utile che l insegnante organizzi, un paio di volte l anno, una simulazione proponendo in classe una delle prove rilasciate e facendola svolgere agli alunni nei modi e tempi previsti dalle istruzioni preliminari all inizio del fascicolo. È anche utile dare agli alunni alcuni suggerimenti pratici, come ad esempio: leggere con attenzione le consegne; rispondere comunque sempre anche se non si è sicuri della risposta; evitare di omettere le domande aperte; gestire bene il tempo, non rimanendo troppo su quesito a cui non si riesce a trovare la soluzione per tornarci sopra in un secondo momento quando si è completato il fascicolo.

22 Imparare a usare le conoscenze in contesti nuovi: un esempio dalla prova di Italiano di III media 2010 Leggi la frase seguente: Un autostoppista sorridente mi chiese un passaggio. L autostoppista è A. un uomo B. una donna C. non è possibile dirlo perché autostoppista è un nome invariabile per genere D. non è possibile dirlo perché sorridente è un aggettivo invariabile per genere Risultati dell Italia A 4,6% B 36,7% C 46,5% D 6,2% Omessa 6,0% Livello di difficoltà: 0,60 Discriminazione: 0,36 Imparare a usare le conoscenze in contesti nuovi: un esempio dalla prova di Matematica di II Superiore 2013 Risultati dell Italia Corretta Errata Omessa a 44,3% 45,9 9,8 b 13,2 45,2 41,7 a. Livello di difficoltà: 0,26 Discriminazione: 0,50 b. Livello di difficoltà: 2,23 Discriminazione: 0,51

23 Analizzare gli errori La cosa più utile da un punto di vista didattico è, dopo aver corretto la prova, dedicare un po di tempo a discutere in classe con gli alunni le risposte che hanno dato, in particolare quelle errate. Da questa semplice attività possono derivare indicazioni preziose, all insegnante in primo luogo ma anche agli studenti, sulle operazioni e i processi messi in atto per rispondere ai quesiti, sugli equivoci e i fraintendimenti in cui si è incorsi nella lettura delle consegne o nella lettura di un testo, facendo così emergere le ragioni degli errori commessi e porre le premesse per evitarli in futuro.