I Parte La valutazione esterna degli apprendimenti e il sistema nazionale di valutazione

Transcript

1 Giornata di formazione I Parte La valutazione esterna degli apprendimenti e il sistema nazionale di valutazione Angela Martini Udine, 15 Aprile 2014

2 Perché la valutazione esterna degli apprendimenti (1) Grande espansione dei sistemi d istruzione nel secondo dopoguerra, con conseguente esplosione della spesa pubblica Crisi dell istruzione e messa in discussione dell esistenza di una relazione semplice e diretta fra risorse investite nell istruzione (input) e risultati ottenuti (output) e conseguentemente delle politiche scolastiche basate sul semplice aumento della spesa Tendenza al passaggio da modelli burocratici di governo della scuola a modelli post-burocratici, in un quadro di decentralizzazione dei poteri e delle competenze

3 Perché la valutazione esterna degli apprendimenti (2) La massificazione dell istruzione ha fatto venir meno le condizioni che un tempo assicuravano, entro certi limiti, la confrontabilità dei voti scolastici e dei titoli di studio all interno di un paese Esigenza di trasparenza sul valore dei titoli e delle certificazioni, considerato che le valutazioni degli insegnanti non sono comparabili Questa esigenza è resa più forte dalla apertura dei confini e dalla conseguente necessità di favorire la mobilità della forza lavoro e il riconoscimento delle qualificazioni nel mercato comune europeo

4 Le rilevazioni INVALSI Le rilevazioni dell INVALSI hanno avuto inizio in modo sistematico nel 2008 (prova nazionale) e dall anno successivo si sono estese progressivamente dalla scuola primaria (II e V classe) alla secondaria di 1 grado (I e III classe) e infine alla secondaria di 2 grado (II classe e, in prospettiva, V). Esse hanno natura censuaria e misurano mediante prove standardizzate i livelli di apprendimento degli alunni nelle due discipline chiave dell Italiano e della Matematica con l obiettivo di: fornire informazioni alle scuole, alle classi e agli insegnanti a scopo di autovalutazione e di miglioramento contribuire al costruendo sistema di valutazione delle scuole contribuire (solo nel caso della prova nazionale) alla valutazione finale degli alunni al termine della scuola media monitorare i risultati cui il sistema d istruzione mette capo e dare così ai responsabili del suo governo elementi utili per impostare e verificare le politiche scolastiche

5 Differenze tra indagini internazionali sugli apprendimenti e rilevazioni INVALSI Oltre a una evidente differenza per quanto riguarda l estensione dell ambito di osservazione, vi sono, accanto ad alcune analogie (ad es., il ricorso a prove standardizzate), anche svariate differenze tra le rilevazioni dell INVALSI e le indagini internazionali cui l Italia partecipa (PIRLS, TIMSS e PISA) per quanto riguarda: la metodologia di raccolta dei dati: census / campione le materie oggetto di indagine: italiano e matematica / comprensione della lettura, matematica e scienze gli strumenti di misurazione: fascicoli di prova identici nei contenuti / booklet diversificati le finalità: accountability (?) / ricerca dei fattori di qualità dell istruzione

6 Il Regolamento sul sistema nazionale di valutazione: la struttura del sistema SNV IINVALSI INDIRE Contingente ispettivo

7 Il Regolamento sul sistema nazionale di valutazione: la procedura di valutazione delle scuole Le fasi: Autovalutazione da parte della scuola, che si conclude con l elaborazione di un piano di miglioramento Valutazione esterna (ad opera di un team composto da un ispettore e due esperti) Azioni di miglioramento Rendicontazione sociale

8 Che cos è un sistema di Accountability delle scuole In un sistema di Accountability le scuole sono tenute a "render conto" dei risultati di apprendimento dei propri studenti, di cui esse sono reputate responsabili. Perché si possa parlare propriamente di sistema di Accountability non è sufficiente l esistenza di un sistema di misurazione dei livelli di apprendimento raggiunti dagli alunni delle varie scuole ma è necessaria la presenza di due elementi: 1) la pubblicità data ai risultati delle singole scuole; 2) l esistenza di sanzioni e ricompense, in forma diretta o indiretta, che modificano la struttura degli incentivi cui esse sono esposte. Le ricompense e le sanzioni possono essere tangibili (ad esempio, premi in denaro elargiti alle scuole che si distinguono particolarmente o il rischio di chiusura delle scuole inadeguate) ma anche simboliche, come la minaccia alla propria immagine che deriva dall esser pubblicamente additata come scuola al di sotto degli standard.

9 Un nodo cruciale nella valutazione dei risultati di una scuola Il problema fondamentale quando si comparano i risultati delle scuole tra loro è quello di separare l'effetto della scuola da tutte le altre influenze, pregresse e attuali, che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il contributo specifico dato da ciascun istituto scolastico al progresso cognitivo dei propri alunni. I risultati assoluti non riflettono la reale efficacia educativa di una scuola, ciò che conta è il suo "valore aggiunto ".

10 Che cos è il valore aggiunto? Il valore aggiunto d una scuola consiste in una differenza misurabile fra il risultato che gli alunni di un dato istituto hanno conseguito (risultato osservato) e il risultato che teoricamente avrebbero dovuto ottenere (risultato atteso), se essi avessero appreso tanto quanto mediamente hanno imparato, in un dato periodo di tempo, alunni comparabili che abbiano frequentato altre scuole.

11 La definizione dell OCSE (OECD, 2008) Il valore aggiunto di una scuola è il contributo della scuola al progresso degli studenti verso gli obiettivi stabiliti di apprendimento, al netto di altri fattori (come il livello di preparazione all ingresso, l ambiente famigliare, ecc.). I modelli di valore aggiunto sono una classe di modelli statistici che stimano il contributo delle scuole al livello di apprendimento raggiunto dagli alunni, misurato in almeno due punti del tempo.

12 Graduatoria in scienze dei 45 istituti superiori del campione veneto PISA 2006 (Martini e Ricci, 2010)

13 Graduatoria in scienze in base al valore aggiunto (Martini e Ricci, 2010)

14 Le conclusioni dello studio (Martini e Ricci, 2010) 1) In tutti e tre gli ambiti solo una minoranza di scuole presentano indicatori di valore aggiunto che si differenziano significativamente da 0 in senso positivo o negativo 2) Le scuole con indicatori di valore aggiunto positivi e negativi sono egualmente ripartite fra tutte le tipologie d indirizzo 3) Le scuole con indicatori di valore aggiunto positivi non sono le stesse in tutti i tre gli ambiti.

15 Gli strumenti usati nelle rilevazioni INVALSI Prova preliminare di lettura Prova di Italiano Prova di matematica Questionario studente II Primaria X X X V Primaria X X X I Secondaria di 1 grado X X X III Secondaria di 1 grado X X II Secondaria di 2 grado X X X

16 Non bisogna dimenticare che Le prove INVALSI sono test psicometrici. Possiamo in generale definire un test psicometrico come: «uno strumento di misura, consistente in uno o più compiti o prove in base a cui si richiede a un soggetto una o una serie di prestazioni con lo scopo di ottenere una misura o delle indicazioni su un particolare attributo o una serie di attributi del soggetto stesso» (Flores D Arcais, Introduzione alla teoria dei tests, 1971). Nel caso delle prove INVALSI gli attributi (o costrutti latenti) su cui si cerca di ottenere indicazioni sono le competenze di comprensione della lettura, grammaticali e matematiche degli studenti italiani di vari livelli scolastici

17 Quali sono le proprietà di un buon test Standardizzazione: uniformità della prova e dei criteri di somministrazione, correzione e attribuzione del punteggio Oggettività: indipendenza degli esiti dal particolare correttore/valutatore Fedeltà (attendibilità): capacità di un test di produrre misure stabili e coerenti Validità: capacità di un test di misurare ciò che intende misurare La qualità di un test è direttamente collegata alle procedure di costruzione del test stesso.

18 Vantaggi, limiti e rischi dell uso di test per valutare gli apprendimenti Le prove standardizzate hanno notevoli limiti (ad esempio, sono poco adatte a valutare processi complessi di pensiero) e vi sono numerosi rischi connessi al loro impiego per la valutazione degli apprendimenti (restringimento del curricolo, teaching to the test, ecc.). Tuttavia, quando si vogliano avere informazioni comparabili sul rendimento degli studenti, esse sono l unico strumento utilizzabile, giacché le valutazioni degli insegnanti, non essendo "oggettive", non sono confrontabili tra loro.

19 Distribuzione dei voti in Italiano PISA 2009

20 Voti scolastici e risultati nel test PISA 2009 di comprensione della lettura per macro-area geografica

21 In cosa consiste l oggettività di una valutazione Una valutazione si definisce oggettiva quando il suo esito (comunque espresso) è indipendente da chi la attua. L obiettivo dell oggettività può esser raggiunto in maniera più o meno affidabile attraverso una serie di accorgimenti e di tecniche docimologiche, che consentono di uniformare: -la prova -le condizioni di somministrazione -i criteri e le modalità di correzione e di valutazione.

22 Le fasi di costruzione dei test INVALSI Proposta di prove (sezioni o domande) da parte di una rete di insegnanti collaboratori su indicazioni fornite dall INVALSI Revisione delle proposte da parte di un comitato di esperti e costruzione di fascicoli di prova per il pre-test ("prova sul campo") Pre-test dei fascicoli di prova su campioni di studenti italiani rappresentativi degli alunni per cui il test è costruito Elaborazione dei risultati dei fascicoli di prova sottoposti a pre-test Revisione dei fascicoli delle prove alla luce dei risultati del pretest e redazione definitiva

23 L analisi qualitativa del test Coerenza con i Quadri di Riferimento Coerenza con i curricoli ufficiali e le prassi didattiche più diffuse Adeguata copertura dei contenuti e dei processi che si intendono valutare come stabiliti nei QdR Chiarezza della formulazione e indipendenza delle domande l una dall altra

24 L analisi quantitativa del test Per assicurarne la qualità misuratoria, tutte le prove INVALSI vengono pre-testate su campioni rappresentativi di studenti dei livelli scolari interessati alle rilevazioni di almeno alunni per ogni livello (nel caso della scuola superiore il pre-test è effettuato su un numero maggiore di alunni per tener conto dei vari indirizzi di studio). I risultati della "prova sul campo" (field-trial) vengono elaborati statisticamente per stabilire le proprietà misuratorie dell intera prova e di ciascun singolo item e poter procedere, su tale base, alla selezione e correzione degli item. Le analisi sono ripetute sulla versione definitiva delle prove, somministrate nelle rilevazioni SNV e nell esame di stato conclusivo del 1 ciclo.

25 Un esempio di analisi di un item di Italiano in sede di pre-test (V Primaria Item 9) La versione originaria dell item