INVALSI Aspetti generali
Perché la valutazione esterna degli apprendimenti (1) Grande espansione dei sistemi d istruzione nel secondo dopoguerra, con conseguente esplosione della spesa pubblica Crisi dell istruzione e messa in discussione dell esistenza di una relazione semplice e diretta fra risorse investite nell istruzione (input) e risultati ottenuti (output) e conseguentemente delle politiche scolastiche basate sul semplice aumento della spesa Tendenza al passaggio da modelli burocratici di governo della scuola a modelli post-burocratici, in un quadro di decentralizzazione dei poteri e delle competenze
Perché la valutazione esterna degli apprendimenti (2) La massificazione dell istruzione ha fatto venir meno le condizioni che un tempo assicuravano, entro certi limiti, la confrontabilità dei voti scolastici e dei titoli di studio all interno di un paese Esigenza di trasparenza sul valore dei titoli e delle certificazioni, considerato che le valutazioni degli insegnanti non sono comparabili Questa esigenza è resa più forte dall apertura dei confini e dalla conseguente necessità di favorire la modalità della forza lavoro e il riconoscimento delle qualificazioni nel mercato comune europeo
Le rilevazioni INVALSI Le rilevazioni INVALSI hanno inizio in modo sistematico nel 2008 (prova nazionale) e dall anno successivo si sono estese progressivamente dalla scuola primaria (II e V classe) alla secondaria di 1 grado (I e III classe) e infine alla secondaria di 2 grado (II classe e, in prospettiva, V) Esse hanno natura censuaria e misurano mediante prove standardizzate i livelli di apprendimento degli alunni nelle due discipline chiave dell italiano e della matematica con l obiettivo di: Fornire informazioni alle scuole, alle classi e agli insegnanti a scopo di autovalutazione e di miglioramento Contribuire al costruendo sistema di valutazione delle scuole Contribuire (solo nel caso della prova nazionale) alla valutazione finale degli alunni al temine della scuola media Monitorare i risultati cui il sistema d istruzione mette capo e dare così ai responsabili del suo governo elementi utili per impostare e verificare le politiche scolastiche
Differenze tra indagini internazionali sugli apprendimenti e rilevazioni INVALSI Oltre a una evidente differenza per quanto riguarda l estensione dell ambito di osservazione, vi sono, accanto ad alcune analogie (ad es. il ricorso a prove standardizzate), anche svariate differenze tra le rilevazioni dell INVALSI e le indagini internazionali cui l Italia partecipa (PIRLS: valutazione comparativa delle competenze di lettura dei bambini dai 9 ai 10 anni, TIMSS: rendimento degli studenti in matematica e scienze e PISA: programma per la valutazione studentesca internazionale) per quanto riguarda: la metodologia di raccolta dei dati: census / campione le materie oggetto di indagine: italiano e matematica / comprensione della lettura, matematica e scienze gli strumenti di misurazione: fascicoli di prova identici nei contenuti / booklet diversificati le finalità: accountability / ricerca dei fattori di qualità dell istruzione
Il Regolamento sul sistema nazionale di valutazione: struttura del sistema SNV INVALSI INDIRE Contingente ispettivo
Che cos è un sistema di Accountability delle scuole In un sistema di Accountability le scuole sono tenute a render conto dei risultati di apprendimento dei propri studenti, di cui esse sono reputate responsabili. Perché si possa parlare propriamente di sistema di Accountability non è sufficiente la misurazione dei livelli di apprendimento raggiunti dagli alunni delle varie scuole per valutarne l efficacia, ma è necessaria la presenza di due elementi: 1. La pubblicità data ai risultati delle singole scuole; 2. L esistenza di sanzioni e ricompense, in forma diretta o indiretta, che modificano la struttura degli incentivi cui esse sono esposte. Le ricompense e le sanzioni possono essere tangibili (ad esempio, premi in denaro elargiti alle scuole che si distinguono particolarmente o il rischio di chiusura delle scuole inadeguate) ma anche simboliche, come la minaccia alla propria immagine che deriva dall esser pubblicamente additata come scuola al di sotto degli standard.
Un nodo cruciale nella valutazione dei risultati di una scuola Il problema fondamentale che un sistema di Accountability deve affrontare è quello di separare l effetto della scuola da tutte le altre influenze, pregresse e attuali, che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il contributo specifico dato da ciascun istituto scolastico al progresso cognitivo dei propri alunni. I risultati assoluti non riflettono la reale efficacia educativa di una scuola, ciò che conta è il suo valore aggiunto.
Che cos è il valore aggiunto? Il valore aggiunto di una scuola consiste in una differenza misurabile fra il risultato che gli alunni di un dato istituto hanno conseguito (risultato osservato) e il risultato che teoricamente avrebbero dovuto ottenere (risultato atteso), se essi avessero appreso tanto quanto mediamente hanno imparato, in un dato periodo di tempo, alunni comparabili che abbiano frequentato altre scuole.
La definizione dell OCSE (organizzazione per la cooperazione e lo sviluppo economico, 2008) Il valore aggiunto di una scuola è il contributo della scuola al progresso degli studenti verso gli obiettivi stabiliti di apprendimento, al netto di altri fattori (come il livello di preparazione al ingresso, l ambiente famigliare, ecc.). I modelli di valore aggiunto sono una classe di modelli statistici che stimano il contributo delle scuole al livello di apprendimento raggiunto dagli alunni, misurato in almeno due punti del tempo.
L effetto di composizione Dalle ricerche sull efficacia della scuola è emersa la presenza di un effetto di composizione del gruppo (school mix) classe e/o scuola di cui un alunno fa parte. Ciò significa che l apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalle caratteristiche medie e dal grado di eterogeneità/omogeneità degli alunni della classe e/o della scuola che egli frequenta.
Gli strumenti usati nelle rilevazioni INVALSI Prova preliminare di lettura Prova di Italiano Prova di Matematica Questionario studente II Primaria X X X V Primaria X X X I Secondaria di 1 grado III Secondaria di 1 grado II Secondaria di 2 grado X X X X X X X X
Non bisogna dimenticare che Le prove INVALSI sono test psicometrici Possiamo in generale definire un test psicometrico come: <<uno strumento di misura, consistente in uno o più compiti o prove in base a cui si richiede a un soggetto una o una serie di prestazioni con lo scopo di ottenere una misura o delle indicazioni su un particolare attributo o una serie di attributi del soggetto stesso>> (Flores D Arcais, Introduzione alla teoria dei tests, 1971) Nel caso delle prove INVALSI gli attributi (o costrutti latenti) su cui cerca di ottenere indicazioni sono le competenze di comprensione della lettura, grammaticali e matematiche degli studenti italiani di vari livelli scolastici.
Quali sono le proprietà di un buon test Standardizzazione: Uniformità della prova e dei criteri di somministrazione, correzione e attribuzione del punteggio Oggettività: Indipendenza degli esiti dal particolare correttore/valutatore Fedeltà (attendibilità): Capacità di un test di produrre misure stabili e coerenti Validità: Capacità di un test di misurare ciò che intende misurare La qualità di un test è direttamente collegata alle procedure di costruzione del test stesso.
Vantaggi, limiti e rischi dell uso di test per valutare gli apprendimenti Le prove standardizzate hanno notevoli limiti ( ad es. sono poco adatte a valutare processi complessi di pensiero) e vi sono numerosi rischi connessi al loro impiego per la valutazione degli apprendimenti (restringimento del curricolo, teaching to the test, ecc.). Tuttavia, quando si vogliano avere informazioni comparabili sul rendimento degli studenti, esse sono l unico strumento utilizzabile, giacché le valutazioni degli insegnanti, non essendo oggettive, non sono confrontabili tra loro.
In cosa consiste l oggettività di una valutazione Una valutazione si definisce oggettiva quando il suo esito (comunque espresso) è indipendente da chi la attua. L obiettivo dell oggettività può esser raggiunto in maniera più o meno affidabile attraverso una serie di accorgimenti e di tecniche docimologiche, che consentono di uniformare: La prova Le condizioni di somministrazione I criteri e le modalità di correzione e di valutazione
Le prove oggettive di apprendimento Ferma restando l uniformità della prova e delle modalità di somministrazione, l oggettività può esser conseguita attraverso due strade principali: 1. Ricorrendo a prove con quesiti a risposta chiusa 2. Uniformando i criteri di correzione e valutazione Prima strada Vantaggi Correzione e valutazione non pongono nessun problema e si possono eseguire automaticamente Svantaggi E difficile formulare buoni quesiti a risposta chiusa, in particolare in alcune materia Seconda strada La formulazione della prova è più semplice e immediata E difficile uniformare i criteri di correzione e valutazione
Le fasi di costruzione dei test INVALSI Proposta di prove (sezioni o domande) da parte di una rete di insegnanti collaboratori su indicazioni fornite dall INVALSI Revisione delle proposte da parte di un comitato di esperti e costruzione di fascicoli di prova per il pre-test ( prova sul campo ) Pre-test dei fascicoli di prova su campioni di studenti italiani rappresentativi degli alunni per cui il test è costruito Elaborazione dei risultati dei fascicoli di prova sottoposti a pre-test Revisione dei fascicoli delle prove alla luce dei risultati del pre-test e redazione definitiva
Criteri per l analisi qualitativa delle domande Coerenza con i Quadri di Riferimento Coerenza con i curricoli ufficiali e le prassi didattiche più diffuse Adeguata copertura dei contenuti e dei processi che si intendono valutare come stabiliti nei QdR Chiarezza della formulazione e indipendenza delle domande l una dall altra
Alla base delle prove: i Quadri di riferimento Quadri di riferimento per la valutazione Indicazioni nazionali per i curricoli Quadri di riferimento delle valutazioni internazionali Prassi scolastica Esiti delle rilevazioni precedenti
Che cosa si intende valutare la prova di Italiano Oggetto della prova sono : La competenza di lettura, articolata nelle tre dimensioni della competenza pragmatico-testuale, della competenza lessicale e della competenza grammaticale Le conoscenze e competenze grammaticali in senso proprio
Gli aspetti di comprensione della lettura misurati nella prova INVALSI di Italiano Codice 1 Aspetti Riconoscere e comprendere il significato letterale e figurato di parole ed espressioni; riconoscere le relazioni tra parole 2 Individuare informazioni date esplicitamente nel testo 3 4 5a 5b 6 7 Fare un inferenza diretta, ricavando un informazione implicita da una o più informazioni date nel testo e/o tratte dall enciclopedia personale del lettore Cogliere le relazioni di coesione (organizzazione logica entro e oltre la frase) e coerenza testuale Ricostruire il significato di una parte più o meno estesa del testo, integrando più informazioni e concetti, anche formulando inferenze complesse Ricostruire il significato globale del testo, integrando più informazioni e concetti, anche formulando inferenze complesse Sviluppare un interpretazione del testo, a partire dal suo contenuto e/o dalla sua forma, andando al di là di una comprensione letterale Valutare il contenuto e/o la forma del testo alla luce delle conoscenze ed esperienze personali (riflettendo sulla plausibilità delle informazioni, sulla validità delle argomentazioni, sulla efficacia comunicativa del testo, ecc.)
I processi di comprensione in PIRLS 2011 Focalizzare e ritrovare informazioni date esplicitamente Fare inferenze dirette Interpretare e integrare concetti e informazioni Analizzare e valutare il contenuto, il linguaggio e gli elementi testuali
Alcuni esempi dalla Guida alla lettura della prova di Italiano di I media 2013 Domanda A6 Nel testo la frase Mi ero impegnato, ormai (riga 15) è separata dalla frase precedente da un punto fermo. Se tu volessi collegare le due frasi togliendo il punto, quali tra le seguenti parole useresti A. Perciò B. Ma C. Infatti D. Quando Caratteristiche Tipo di testo: narrativo Tipo di item: domanda a scelta multipla Aspetto 4: cogliere le relazioni di coesione e di coerenza testuale (organizzazione logica entro e oltre la frese) Risposta corretta: B Descrizione del compito e commento Per rispondere lo studente deve cogliere relazioni di coesione e coerenza testuale. In particolare deve capire che fra quanto detto nella frase precedente e quanto detto in quella citata nella domanda c è un rapporto di contrapposizione che può essere espresso solo dalla coniugazione ma. Per cogliere questo rapporto di contrapposizione lo studente deve però inferire dalla prima frase una informazione che resta implicita e cioè che la difficoltà dell impresa potrebbe indurre il protagonista alla rinuncia. Continua
segue Domanda A17 Quanti anni ha il protagonista del racconto? A. Più di dieci B. Dieci C. Nove D. Meno di nove Caratteristiche Tipo di testo: narrativo Tipo di item: domanda a scelta multipla Aspetto 3: fare un inferenza diretta, ricavando un informazione implicita da una o più informazioni date nel testo e/o tratte dall enciclopedia personale del lettore Risposta corretta: D Descrizione del compito e commento Per rispondere lo studente deve fare un inferenza diretta ricavando un informazione implicita da un informazione data dal testo. Si deduce che il bambino ha meno di nove dalla frase di riga 45, 46 i più grandi che avevano nove e anche dieci anni. Continua
segue Domanda B2 Molti clienti degli alberghi sono superstiziosi. Quali sono i due comportamenti con cui lo manifestano? 1. 2. Caratteristiche Tipo di testo: espositivo Tipo di item: domanda a risposta aperta univoca Aspetto 2: individuare informazioni date esplicitamente nel testo Risposta corretta: 1. Rifiutano di dormire nella stanza n. 13 2. Rifiutano di dormire al 13 piano Descrizione del compito e commento Per rispondere lo studente deve individuare due informazioni date esplicitamente nelle prime righe del testo. Un informazione concorrente potrebbe essere rappresentata dal rifiuto di viaggiare in treno o in aereo il giorno 13 del mese. Per non prendere in considerazione questa informazione come possibile risposta corretta lo studente deve tener presente che la domanda è centrata sul comportamento delle persone in quanto clienti di alberghi.
Le competenze grammaticali valutate nella prova INVALSI di Italiano Capacità di riflessione sulla lingua: essere consapevole delle regole grafiche e interpuntive e delle strutture morfo-sintattiche e testuali della lingua italiana Capacità di uso corretto della lingua: saper applicare fattualmente le regole grammaticali della lingua italiana in contesti frasali vincolati
Codice Ambiti grammaticali misurati nella prova INVALSI (V primaria e classi successive) Ambito 1 Ortografico 2 Morfologico 3 4 Formazione delle parole Lessico e semantica 5 Sintassi 6 Testualità Uso di accenti e apostrofi, minuscole e maiuscole, segmentazione delle parole (gliel ho detto), uso delle doppie, casi di non corrispondenza tra fonemi e grafemi (uso dell h, della q, dei diagrammi, ecc. Flessione (tratti grammaticali: genere, numero, grado, modo, tempo, persona, aspetto, diatesi); categorie lessicali (nome, aggettivo, verbo, ecc) e sottocategorie (aggettivo possessivo, nome proprio, ecc.). Parole derivate; parole alterate; parole composte; polirematiche (ferro da stiro, asilo nido) Relazioni di significato tra parole; polisemia; campi semantici; famiglie lessicali; usi figurati e principali figure retoriche; espressioni idiomatiche; struttura e uso del dizionario. Accordo (tra articolo e nome, tra nome e aggettivo, tra soggetto e predicato, ecc.); sintagma (nominale, verbale, preposizionale); frase: minima, semplice (o proposizione), complessa (o periodo); frase dichiarativa, interrogativa, ecc.; elementi della frase semplice: soggetto (esplicito o sottinteso, in posizione preverbale o post-verbale), predicato, complementi predicativi e altri complementi; gerarchia della frase complessa: frase principale, coordinate, subordinate (diverse tipologie), uso di tempi e modi nella frase. Segnali di organizzazione del testo e fenomeni di coesione: anafora connettivi, punteggiatura, ecc.; aspetti pragmatici del linguaggio (fenomeni del parlato, funzioni dell enunciato, ecc.).
Un esempio dalla Guida alla lettura della prova di Italiano di III media 2013 Domanda C5 Osserva lo schema che segue Proposizione principale Subordinata di 1 grado Proposizione coordinata alla principale Quale fra i periodi che seguono corrisponde a questo schema di analisi? A. Il mio cane abbaia e mostra i denti agli estranei, ma alla fine non fa male a nessuno. B. Sono soddisfatto di non aver sbagliato l esercizio che mi sembrava tanto difficile C. Per vincere la gara mi allenerò molto e metterò in pratica i consigli dell allenatore. D. Prendi la prima strada a destra e gira subito dopo la piazza che alla tua sinistra. Caratteristiche Tipo di item: domanda a scelta multipla Ambito 5: sintassi Risposta corretta: C Descrizione del compito e commento Per rispondere correttamente lo studente deve Saper riconoscere i rapporti di coordinazione e subordinazione fra le frasi e conoscere gli indicatori Individuare, in un contesto dato, i rapporti gerarchici tra le frasi semplici, indipendentemente dall ordine con cui esse si succedono nella frase complessa
Struttura della prova INVALSI di Italiano Livello scolare II Primaria V Primaria III Secondaria inferiore II Secondaria superiore 1 Parte Comprensione della lettura Testo narrativo Testo narrativo Testo narrativo Più testi - Testo espositivo Testo espositivo Più testi 2 Parte Grammatica Esercizi di lessico, ricostruzione frasi, ecc. Grammatica (10 quesiti circa) Grammatica (10 quesiti circa) Grammatica (10 quesiti circa)
Che cosa intende valutare la prova INVALSI di Matematica Oggetto della prova di Matematica sono: La padronanza dei contenuti fondamentali previsti dai curricoli I processi cognitivi implicati nella soluzione di problemi
I quattro ambiti di contenuto misurati nelle prove INVALSI di matematica e nelle indagini internazionali INVALSI (Indicazioni per il curricolo) OCSE-PISA (idee chiave) Numeri Quantità Numero Spazio e figure Spazio e forma Geometria Relazioni e funzioni Cambiamenti e relazioni Algebra Misure, dati e previsioni Incertezza Dati e caso TIMSS (domini di contenuto)
I processi misurati nelle prove INVALSI di Matematica 1. Conoscere e padroneggiare contenuti specifici della matematica (oggetti matematici, proprietà, strutture, ) 2. Conoscere e padroneggiare algoritmi e procedure (in ambito aritmetico, geometrico, ) 3. Saper risolvere problemi utilizzando gli strumenti della matematica (individuare e collegare informazioni utili, confrontare strategie di risoluzione, individuare schemi, esporre il procedimento risolutivo, ) 4. Conoscere e utilizzare diverse forme di rappresentazione e saper passare da una all altra (verbale, scritta, simbolica, tabellare, ) 5. Riconoscere in contesto il carattere misurabile di oggetti e fenomeni e saper utilizzare strumenti (stimare una misura, individuare l unità di misura appropriata, ) 6. Utilizzare la matematica appresa per il trattamento quantitativo dell informazione in ambito scientifico, tecnologico, economico e sociale (descrivere un fenomeno con strumenti statistici o funzioni, costruire un modello, )
Un esempio dalla Guida alla lettura della prova di Matematica di III Media 2013 Caratteristiche Tipo di item: domanda a scelta multipla e domanda a risposta univoca Ambito: spazio e figure Risposta corretta: Quesito a.: B Quesito b.: la base del triangolo AEP è di 2 quadretti Descrizione del compito e commento Per rispondere correttamente lo studente deve conoscere come si calcola l area di tutti i triangoli e deve saper cogliere le relazioni che legano tra loro i vari tipi di triangolo
Struttura della prova INVALSI di Matematica Livello scolare 1 componente 2 componente 3 componente II Primaria Numeri Spazio e figure - V Primaria Numeri Spazio e figure III Secondaria inferiore II Secondaria superiore Numeri Numeri Spazio e figure Spazio e figure Relazioni e funzioni Relazioni e funzioni Relazioni e funzioni 4 componente Misure, dati e previsioni Misure, dati e previsioni Misure, dati e previsioni Misure, dati e previsioni
La lettura dei dati: tre punti di osservazione E opportuno distinguere, rispetto ai dati forniti dall INVALSI, tre punti di osservazione possibili, tra loro complementari, ma distinti: Il punto di vista di coloro che hanno la responsabilità del governo del sistema educativo (decisori politici, amministratori e autorità scolastiche ai vari livelli) Il punto di vista dei dirigenti scolastici e degli organismi d indirizzo e di controllo della singola scuola Il punto di vista degli insegnanti nella loro attività in classe A ciascuna di queste tre categoria interessano maggiormente alcuni dati rispetto ad altri.
La restituzione dei risultati alle scuole: le novità introdotte nel 2012 o o o o o Accesso ai dati allargato e differenziato per profilo: dirigente scolastico, referente della valutazione, presidente del Consiglio d Istituto, docenti. Informazioni sul cheating delle classi e della scuola (percentuale di correzione). Informazione sulla composizione sociale della popolazione scolastica delle classi e della scuola (4 categorie in base all Escs). Possibilità di confrontare, oltre al risultato medio di classe e di scuola, la distribuzione degli studenti in 5 livelli di apprendimento (alto, medio-alto, medio, medio-basso, basso). Possibilità di confrontare il risultato di ogni classe e della scuola anche con quello di classi e di scuole di pari livello socio-economico (approssimazione al risultato di valore aggiunto). o Informazione sulla correlazione tra punteggio nelle prove e voto del 1 quadrimestre.