LA VALUTAZIONE DEGLI APPRENDIMENTI : I DATI DI SCUOLA

LA VALUTAZIONE DEGLI APPRENDIMENTI : I DATI DI SCUOLA Aurelia Orlandoni 11/04/2017 AURELIA ORLANDONI 1

Partecipazione alle prove Invalsi 2015 e 2016 classi quinte primaria 11/04/2017 AURELIA ORLANDONI 2

Distribuzione dei punteggi nelle prove Invalsi 2015 ITALIANO 11/04/2017 AURELIA ORLANDONI 3

Distribuzione dei punteggi nelle prove Invalsi 2015 MATEMATICA 11/04/2017 AURELIA ORLANDONI 4

I DATI DI SCUOLA Cosa ci dicono i dati generali sulla scuola? Come leggere i dati di «disciplina» e «di classe»? Cosa ci possono dire? Le novità nella restituzione del 2016 Cosa c è dietro ai fascicoli di prove? Chi le prepara? In base a cosa? Quali riflessioni sulle prassi didattiche? 11/04/2017 AURELIA ORLANDONI 5

I DATI DI SCUOLA I dati restituiti alle scuole I dati sono riferiti agli allievi che hanno svolto la prova standard. Non si riporta il dato relativo alle classi con un numero di studenti assenti superiore al 50%. Non viene riportata l'informazione a livello di scuola per quelle istituzioni per le quali i dati validi si riferiscono a meno del 50% delle classi. 11/04/2017 AURELIA ORLANDONI 6

IL CHEATING Elevata percentuale di risposte corrette Le scuole, anche quest anno, hanno ricevuto i dati sia al lordo che al netto del Bassa variabilità della percentuale di risposte corrette all interno della cheating classe Bassa PROCEDURA variabilità DI CORREZIONE nelle modalità 2013: di risposta a ciascun item 1. analisi dei dati grezzi sulla base di 4 indicatori che danno una prima Basso misura tasso di mancate risposte 2. Stima di valori plausibili di media e variabilità dei risultati per quella classe 3. Si applica una procedura che stima un punteggio medio della classe corretto 4. I passi precedenti sono effettuati separatamente per prova (IT e MAT) e livello Funziona su L02 e L05, qualche falso positivo su L10 Problemi in alcune aree per la Prova Nazionale (L08) 11/04/2017 AURELIA ORLANDONI 7

LA RESTITUZIONE DEI DATI DI I dati restituiti SCUOLA alle scuole 11/04/2017 AURELIA ORLANDONI 8

DATI DI SCUOLA: VARIABILITA L02 11/04/2017 AURELIA ORLANDONI 9

DATI DI SCUOLA: VARIABILITA L05 11/04/2017 AURELIA ORLANDONI 10

VARIABILITÀ DENTRO E TRA PUNTEGGI/ESCS I risultati delle classi sono omogenei all interno della scuola? Le classi sembrano ben formate? Lo status socio-economico è omogeneo tra le classi? Quali ipotesi si possono fare in caso di variabilità diversa nei punteggi conseguiti nelle due prove? Quali ipotesi si possono fare se ci sono discrepanze fra gli andamenti della variabilità rispetto ai risultati e rispetto all ESCS?. 11/04/2017 AURELIA ORLANDONI 11

PROVA PRELIMINARE DI LETTURA L02 2016 11/04/2017 AURELIA ORLANDONI 12

Italiano L02 Matematica L02 Punteggio grezzo media del punteggio al netto del cheating 100 100 cheating in percentuale 11/04/2017 AURELIA ORLANDONI 13

L02 Italiano Matematica 11/04/2017 AURELIA ORLANDONI 14

Italiano L05 Matematica L05 Punteggio grezzo media del punteggio al netto del cheating 100 cheating in percentuale 100 11/04/2017 AURELIA ORLANDONI 15

Italiano L08 Matematica L08 11/04/2017 AURELIA ORLANDONI 17

CONFRONTO FRAI I DATI DI CLASSE Perché ci sono andamenti diversi fra le classi? Perché la differenza fra MAT e IT? I risultati della prova preliminare di lettura sono coerenti con quelli in ITA e MAT? Fanno riferimento a tipologie diverse (tempo pieno, )? A storie diverse? Lo status socio-economico ha un peso sui risultati delle classi? Le medie del gruppo di riferimento (200 classi) sono molto diverse tra loro? Se sì perché? 11/04/2017 AURELIA ORLANDONI 19

ITALIANO L02 L05 11/04/2017 AURELIA ORLANDONI 20

MATEMATICA L02 L05 11/04/2017 AURELIA ORLANDONI 21

L08 ITALIANO MATEMATICA 11/04/2017 AURELIA ORLANDONI 22

CONFRONTO VOTI/PUNTEGGI Come si correlano i voti assegnati dai docenti agli studenti con i loro risultati nelle prove INVALSI? Classi considerate deboli dai loro professori ottengono buoni risultati nelle prove INVALSI o viceversa? ci sono differenze nei metri di valutazione degli insegnanti della scuola?. 11/04/2017 AURELIA ORLANDONI 23

ITALIANO CITTADINANZA L02 L05 L08 11/04/2017 AURELIA ORLANDONI 24

MATEMATICA CITTADINANZA L02 L05 L08 11/04/2017 AURELIA ORLANDONI 25

CONFRONTI PER NAZONALITA Ci sono differenze significative fra i risultati ottenuti dagli studenti italiani e quelli degli studenti stranieri? Ci sono differenze significative fra i risultati ottenuti dagli studenti stranieri di prima generazione e quelli degli studenti stranieri di seconda generazione? la presenza di studenti stranieri nella scuola è in linea con quella regionale? Se è più alta come influisce sui risultati?. 11/04/2017 AURELIA ORLANDONI 26

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE L02 ITA Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale MATE 11/04/2017 AURELIA ORLANDONI 27

Restituzione dei dati per distribuzione nei cinque livelli ITA E MATE L05 ITA Risultati < 75% media nazionale <75%Risultati < 95% media nazionale <95%Risultati < 110% media nazionale <110%Risultati < 125% media nazionale Risultati > 125% media nazionale MATE 11/04/2017 AURELIA ORLANDONI 28

Restituzione dei dati per distribuzione nei cinque livelliita E MAT L08 11/04/2017 AURELIA ORLANDONI 29

L02 NUMEROSITÀ NEI LIVELLI MATEMATICA E ITALIANO L05 L08 11/04/2017 AURELIA ORLANDONI 30

Restituzione dei dati per distribuzione nei cinque livelli Gli studenti della scuola hanno conseguito risultati omogenei nelle due prove? Quanti sono gli studenti i cui risultati sono molto diversi? Ci sono differenze significative fra le due discipline? Se sì quali sono le cause? Quali ipotesi si possono fare sugli andamenti? Questi andamenti corrispondono alle aspettative degli insegnanti di classe o no? Si osservano polarizzazioni?. 11/04/2017 AURELIA ORLANDONI 31

I DATI DI PRIMA SECONDARI DI PRIMO GRADO: ITA 11/04/2017 AURELIA ORLANDONI 32

I DATI DI PRIMA SECONDARI DI PRIMO GRADO: MATE 11/04/2017 AURELIA ORLANDONI 33

Restituzione dei dati per distribuzione nei cinque livelli 11/04/2017 AURELIA ORLANDONI 34

NOVITA 11/04/2017 AURELIA ORLANDONI 35

Alcune novità dal 2015: 1. accesso unificato alle prove nazionali e internazionali 2. i risultati del questionario studente (V primaria e II secondaria di II grado); 3. nuova classificazione degli esiti delle prove di Matematica 2015 (Dimensoni). 4. gli esiti degli ultimi tre anni scolastici (dal 2012-13 con i relativi confronti territoriali; 5. un file excel con le risposte dei singoli alunni e..(microdati); 6. Punteggi in ingresso per la I secondaria di I grado e la I secondaria di II grado 7. un file.pdf con la selezione delle principali tavole e dei grafici più importanti d ausilio alla predisposizione del RAV. Novità dal 2016 1. Acesso unificato ai dati degli ultimi tre anni 2. Tavole dei punteggi a distanza 3. Valore aggiunto 4. Percentuali partecipazione e copertura background 5. Tutorial aggiornato 11/04/2017 AURELIA ORLANDONI 36

MICRODATI Microdati_5_cnt contesto Microdati_5_ita risposte Microdat_5_mat risposte Microdati_5_pnt punteggi Microdati_5_qst questionario Punteggio Microdati_5_tracciato Punteggio grezzo legenda % Punteggio normalizzato (200) Codice studente 11/04/2017 AURELIA ORLANDONI 37

A che cosa possono servire i microdati? Seguire nel tempo i risultati di ogni studente (Liv.02-05-08) Matematica: individuare gli studenti in difficoltà e correlare con alcuni item «pivot» (item sulla linea dei numeri) Italiano: collegare la decodifica delle parole (prova preliminare di lettura liv.02 con dati interni alla scuola) Contesto: individuare per alcune categorie di allievi le parti di Italiano o Matematica dove ci sono difficoltà o eccellenze Questionario studente: collegarlo al Contesto.. 11/04/2017 AURELIA ORLANDONI 38

Andamento negli ultimi tre anni: ITALIANO L02 L05 L08 11/04/2017 AURELIA ORLANDONI 39

Andamento negli ultimi tre anni: MATEMATICA L02 L05 L08 11/04/2017 AURELIA ORLANDONI 40

ANDAMENTO DELLA SCUOLA NEGLI ULTIMI TRE ANNI Ci sono stati cambiamenti? Si notano miglioramenti rispetto ai risultati nelle prove? Dove? Perché? Si rilevano aree di criticità? In entrambe le discipline o in una sola?. 11/04/2017 AURELIA ORLANDONI 41

LE NOVITA EFFETTO SCUOLA. Una parentesi PUNTEGGI A DISTANZA 11/04/2017 AURELIA ORLANDONI 42

L05 ITALIANO EFFETTO SCUOLA 11/04/2017 AURELIA ORLANDONI 43

L05 MATEMATICA EFFETTO SCUOLA 11/04/2017 AURELIA ORLANDONI 44

L05 EFFETTO SCUOLA 11/04/2017 AURELIA ORLANDONI 45

L08 ITALIANO EFFETTO SCUOLA 11/04/2017 AURELIA ORLANDONI 47

L08 MATEMATICA EFFETTO SCUOLA 11/04/2017 AURELIA ORLANDONI 48

PUNTEGGI A DISTANZA 11/04/2017 AURELIA ORLANDONI 51

Perché misurare Scopo delle misurazioni: NON Valutare!!! Le prove INVALSI hanno lo scopo principale di misurare i livelli di apprendimento raggiunti dagli studenti italiani relativamente ad alcuni aspetti di base di due ambiti fondamentali: la comprensione della lettura e la matematica. La letteratura dimostra che la conoscenza in alcune discipline fondamentali (lettura, matematica) ha un ruolo di primo piano nell avanzamento individuale e dell intera società gli ambiti oggetto di misurazione delle prove INVALSI non esauriscono di certo i saperi e le competenze prodotte dalla scuola. 11/04/2017 AURELIA ORLANDONI 54

Prove standardizzate La composizione di una prova standardizzata rivolta all accertamento su scala nazionale dei livelli di apprendimento NON risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza. 11/04/2017 AURELIA ORLANDONI 55

Alla base delle rilevazioni Quadro teorico di riferimento: definisce gli ambiti, i processi cognitivi e i compiti oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove. permette di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata e i limiti. Costituisce il documento fondamentale per: gli autori delle prove gli esperti che ne curano la revisione i docenti che sono chiamati a interpretare i risultati dei loro allievi gli stakeholder che utilizzano i risultati delle rilevazioni standardizzate nazionali per valutare i livelli di apprendimento garantiti dal sistema educativo nel suo complesso. 11/04/2017 AURELIA ORLANDONI 56

La struttura del Quadro di Riferimento Quadro di riferimento per la valutazione Quadro di riferimento per i curricoli Quadri di riferimento per le valutazioni internazionali Prassi scolastica Esiti delle rilevazioni precedenti 11/04/2017 AURELIA ORLANDONI 57

STRUTTURA del Quadro di Riferimento (Matematica) INDICAZIONI NAZIONALI E LINEE GUIDA AMBITI Numeri Spazio e figure Relazioni e funzioni Dati e previsioni DIMENSIONI Conoscere Risolvere problemi Argomentare 11/04/2017 AURELIA ORLANDONI 58

GLI AMBITI QdR INVALSI Indicazioni per il curricolo OCSE PISA (idee chiave) TIMSS (domini di contenuto) Numeri Numeri Quantità Numero Spazio e figure Spazio e figure Spazio e forma Geometria Relazioni e funzioni Relazioni e funzioni Cambiamenti e relazioni Algebra Dati e previsioni Misure, dati e previsioni Incertezza Dati e caso 11/04/2017 AURELIA ORLANDONI 59

DETTAGLI MATEMATICA: DIMENSIONI Per comprendere la scelta fatta da INVALSI la nozione di competenza è fondamentale Tali considerazioni su cosa significa e come si realizza la padronanza degli oggetti matematici si sono sviluppate in parallelo, e spesso in interazione, con le ricerche nelle scienze dell'educazione che hanno progressivamente sottolineato le competenze come "unità" di conoscenze, e capacità e intenzione di farne uso per affrontare compiti (a partire dall'analisi delle competenze necessarie per affrontare compiti professionali specifici, negli anni '70, fino ad investire in seguito anche i sistemi di formazione, inclusa la scuola, del compito di sviluppare e accertare competenze e non solo conoscenze). Arzarello & Boero, 2015 (documento interno) 11/04/2017 AURELIA ORLANDONI 60

DETTAGLI MATEMATICA: DIMENSIONI Conoscere (CON), Risolvere problemi (PS), Argomentare (ARG) CON PS&ARG Si delinea una struttura complessa, le cui componenti sono fortemente intrecciate. E una struttura dinamica di base, nella quale esiste un intreccio fra conoscenze strumentali e il PS intrecciato con l ARG. Il messaggio forte che si vuole mandare riguarda il significato del «fare matematica» in classe: le attività matematiche di PS&ARG si sviluppano intrecciandosi grazie a reciprochi feedback con le competenze strumentali (CON) generando la struttura dinamica di base CON PS&ARG 11/04/2017 AURELIA ORLANDONI 61

DETTAGLI MATEMATICA: DIMENSIONI Un esempio: CONOSCERE CONOSCERE (CON) scuola primaria 01. L alunno si muove con sicurezza nel calcolo scritto e mentale con i numeri naturali e sa valutare l opportunità di ricorrere a una calcolatrice 02. Riconosce e rappresenta forme del piano e dello spazio, relazioni e strutture che si trovano in natura o che sono state create dall uomo. 03. Descrive, denomina e classifica figure in base a caratteristiche geometriche, ne determina misure, progetta e costruisce modelli concreti di vario tipo 04. Utilizza strumenti per il disegno geometrico (riga, compasso, squadra) e i più comuni strumenti di misura (metro, goniometro...). 10. Riconosce e utilizza rappresentazioni diverse di oggetti matematici (numeri decimali, frazioni, percentuali, scale di riduzione,...). CONOSCERE (CON) scuola secondaria di I grado 01. L alunno si muove con sicurezza nel calcolo anche con i numeri razionali, ne padroneggia le diverse rappresentazioni e stima la grandezza di un numero e il risultato di operazioni. 02. Riconosce e denomina le forme del piano e dello spazio, le loro rappresentazioni e ne coglie le relazioni tra gli elementi.. 09. Utilizza e interpreta il linguaggio matematico (piano cartesiano, formule, equazioni,...) e ne coglie il rapporto col linguaggio naturale. 11/04/2017 AURELIA ORLANDONI 62

Tabella scuola primaria https://invalsi-areaprove.cineca.it/docs/file/integrazione_qdr_matematica.pdf 11/04/2017 AURELIA ORLANDONI 63

DETTAGLI MATEMATICA: DIMENSIONI Un esempio: Argomentare (scuola secondaria di I grado) ARGOMENTARE (ARG) 07. Produce argomentazioni in base alle conoscenze teoriche acquisite (ad esempio sa utilizzare i concetti di proprietà caratterizzante e di definizione). 08. Sostiene le proprie convinzioni, portando esempi e controesempi adeguati e utilizzando concatenazioni di affermazioni; accetta di cambiare opinione riconoscendo le conseguenze logiche di una argomentazione corretta. 11/04/2017 AURELIA ORLANDONI 64

Tabella scuola secondaria di I grado https://invalsi-areaprove.cineca.it/docs/file/integrazione_qdr_matematica.pdf 11/04/2017 AURELIA ORLANDONI 65

La costruzione delle prove La costruzione di un fascicolo di Matematica Produzione delle domande Selezione e classificazione Costruzione dei fascicoli per il pretest Prova sul campo Analisi statistica Analisi didattica Fascicolo definitivo 11/04/2017 AURELIA ORLANDONI 66

STRUTTURA del Quadro di Riferimento (Italiano) Competenze di padronanza linguistica Ambiti Testi Grammatica Processi cognitivi aspetti della lettura Oggetti linguistici specifici 67

Le competenze di lettura nel Quadro di riferimento INVALSI Per competenza si intende nel Quadro la capacità di selezionare, far interagire ed elaborare conoscenze per la comprensione e la valutazione di un testo: continuo, non continuo, misto. Le competenze di lettura verificate nella prima sezione della prova sono quelle: Testuali Grammaticali Lessicali

Definizione dell ambito Competenza pragmatico-testuale: capacità di ricostruire, a partire dalla lettura del testo e da conoscenze enciclopediche, l insieme di significati che il testo veicola, assieme al modo in cui essi sono veicolati Competenza lessicale relativa alla lettura: capacità di individuare il significato, pertinente a un determinato contesto, di un vocabolo (anche non conosciuto) e le relazioni di significato tra vocaboli in vari punti del testo. Competenza grammaticale relativa alla lettura: capacità di individuare le strutture morfosintattiche della frase e le strutture interpuntive in funzione della loro pertinenza testuale, cioè dal punto di vista del loro apporto alla costruzione dei significati del testo.

Classificazione quesiti QdR INVALSI: aspetti della lettura

Luglio settembre 2013 Luglio: scuola autori 2013 95 docenti di matematica 11/04/2017 AURELIA ORLANDONI 71

ottobre dicembre 2013 I gruppi di livello selezionano le domande, le rivedono e compongono due fascicoli per il pretest. Preparano una prima griglia di correzione 11/04/2017 AURELIA ORLANDONI 72

ottobre dicembre 2013 11/04/2017 AURELIA ORLANDONI 73

settembre dicembre 2014 FIT alto(1,09): l andamento osservato della domanda non si adatta completamente al modello teorico ipotizzato (accettabile 0,9-1,1) Domanda difficile (1,3) e poco discriminante (0,11) buono se > 0,25- Problemi di significatività dei distrattori (il terzo) 11/04/2017 AURELIA ORLANDONI 74

settembre dicembre 2014 Probabilità di rispondere correttamente in funzione dell abilità. Critico!! 11/04/2017 AURELIA ORLANDONI 75

settembre gennaio 2015 Il contenuto matematico del quesito è rilevante. Quindi viene cambiata in modo da ridurre le criticità rilevate. si cambiano i contenitori si cambiano i distrattori NUOVA 11/04/2017 AURELIA ORLANDONI 76

11/04/2017 AURELIA ORLANDONI 77

9 luglio 2015 Fit migliorato (da 1,09 a 1,03) Discriminatività (Item Rest Cor) da 0,11 a 0,25 Difficoltà sulla scala di Rasch da 1,3 a 1,66 (più difficile) ma da 9,77% a 19,58% 11/04/2017 AURELIA ORLANDONI 78

DETTAGLI DELLE PROVE: MATEMATICA 11/04/2017 AURELIA ORLANDONI 79

DETTAGLI MATEMATICA L05 11/04/2017 AURELIA ORLANDONI 80

DETTAGLI MATEMATICA L08 11/04/2017 AURELIA ORLANDONI 81

LE GUIDE ALLA LETTURA : L02 11/04/2017 AURELIA ORLANDONI 82

E ora un esempio di lettura dei dati item per item ovvero...l elettrocardiogramma! 11/04/2017 AURELIA ORLANDONI 86

DETTAGLI MATEMATICA L05 419031570501 11/04/2017 AURELIA ORLANDONI 87

ANDATA BENE 11/04/2017 AURELIA ORLANDONI 92

ANDATA MALE!!! 11/04/2017 AURELIA ORLANDONI 93

LE DOMANDE ANDATE PEGGIO 11/04/2017 AURELIA ORLANDONI 94

PEGGIORE L02 11/04/2017 AURELIA ORLANDONI 95

PEGGIORE L05 11/04/2017 AURELIA ORLANDONI 96

Peggiori L08 11/04/2017 AURELIA ORLANDONI 97

RIFLETTIAMO SUI PROTOCOLLI!! 11/04/2017 AURELIA ORLANDONI 99

La risposta è corretta: siamo soddisfatti? D3 - L06 2013 D22 L06 2013 11/04/2017 AURELIA ORLANDONI 100

Punti critici della didattica 11/04/2017 AURELIA ORLANDONI 101

Analisi delle risposte aperte degli studenti 11/04/2017 AURELIA ORLANDONI 102

Alcune risposte degli studenti Giulio ha ragione perché già si capisce dalla parola, ma anche perché l unità di misura è di 1 cm Giulio ha ragione perché se un lato dell ottagono è di 1 cm, l ottagono ha 8 lati, quindi è di 8 cm Giulio ha ragione perché i lati sono 8 e sono tutti uguali Giulio ha ragione perché il lato di ogni quadrato è di 1 cm e dato che le diagonali misurano come il lato il perimetro di 8 cm Giulio ha ragione perché ha 8 lati e ogni lato misura 1 cm (anche i lati che tagliano il quadratino come una diagonale, perché essendo un quadrato misura uguale) Giulio ha ragione perché visto che il quadrato è uguale di diagonale basta vedere i suoi bordi quanti quadretti sono Giulio ha ragione perché anche i pezzetti tagliati a metà sono 1 cm 11/04/2017 AURELIA ORLANDONI 103

http://www.invalsi.it/invalsi/statapp.php?page=progetto 11/04/2017 AURELIA ORLANDONI 104

gestinv: uno strumento per la didattica http://www.gestinv.it/

Tutte le domande che fanno riferimento alla dimensione 3 ARG per il livello 08

Per ogni domanda: testo, risultati e curve caratteristiche

E il decreto sugli esami di Stato cosa cambia TERZA MEDIA: Prove fuori dall esame ma requisito per l ammissione Descrizione del livello raggiunto in Italiano, Matematica e Inglese Inglese: livello A2: ascolto, lettura e Use of English Prova CBT QUINTA SUPERIORE: Prove fuori dall esame ma requisito per l ammissione Descrizione del livello raggiunto in Italiano, Matematica e Inglese Inglese: livello B2: ascolto, lettura e Use of English Prova CBT Inglese anche in quinta primaria: livello A1 e prova cartacea 11/04/2017 AURELIA ORLANDONI 108