SERVIZIO NAZIONALE DI VALUTAZIONE RILEVAZIONE DEGLI APPRENDIMENTI INVALSI A.S

Transcript

1 SERVIZIO NAZIONALE DI VALUTAZIONE RILEVAZIONE DEGLI APPRENDIMENTI INVALSI A.S II e V Primaria I secondaria di primo grado II secondaria di secondo grado a cura di Franca Da Re, referente regionale USR Veneto e di Mariarita Ventura

2 OBIETTIVI ET 2020 Conclusioni del Consiglio del 12 maggio 2009 su un quadro strategico per la cooperazione europea nel settore dell'istruzione e della formazione («ET 2020») Entro il 2020, la percentuale dei quindicenni con risultati insufficienti in lettura, matematica e scienze ( 3 ) dovrebbe essere inferiore al 15 %. Entro il 2020, la percentuale di giovani che abbandonano prematuramente l'istruzione e la formazione ( 5 ) dovrebbe essere inferiore al 10 % Il primo indicatore è rilevato tramite l indagine che l OCSE effettua su un campione di studenti di quindici anni per misurare ciò che sa fare un ragazzo o una ragazza prossimo all uscita della fase di istruzione obbligatoria, in termini di competenze considerate essenziali per svolgere un ruolo consapevole e attivo nella società e per continuare ad apprendere.

3 DIRETTIVA n. 88/2011 L obiettivo di sistema della valutazione esterna degli apprendimenti è quello di promuovere un generale e diffuso miglioramento della qualità degli apprendimenti nel nostro Paese, avendo riguardo, in particolare, agli apprendimenti di base. In particolare, la valutazione esterna ha l obiettivo di fornire dati attendibili per orientare le politiche scolastiche Un altro obiettivo è quello di consentire a ciascuna scuola di disporre della necessaria base conoscitiva per: - individuare aspetti di qualità da mantenere e rafforzare e elementi di criticità, in relazione ai quali realizzare piani di miglioramento dell efficacia dell azione educativa - apprezzare il valore aggiunto realizzato in relazione al contesto socioeconomico-culturale, al fine di promuovere i processi di autovalutazione d istituto. Inoltre è sottolineato come gli esiti delle rilevazioni, unitamente a tutti gli elementi di conoscenza acquisiti dalla scuola mediante le fonti e gli strumenti previsti dalla programmazione d istituto, potranno concorrere a costituire la base informativa per la descrizione e la certificazione delle competenze

4 Come può essere misurato l effetto scuola 1) con la differenza tra il punteggio medio grezzo di tale scuola e quello medio generale di un certo territorio, 2) mediante la misurazione dei progressi medi che gli allievi realizzano in un determinato arco di tempo (guadagni cognitivi), 3) per mezzo della differenza media tra i punteggi osservati ed i punteggi attesi in relazione alle caratteristiche degli allievi (condizione socio-economico-culturale, attitudini, ecc.), 4) mediante il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola.

5 La critica alla pubblicazione dei risultati delle scuole Le burocrazie scolastiche ed altre entità governative in vari paesi hanno l'infelice abitudine di pubblicare i risultati grezzi di esami e test a livello di scuole, consentendo così ingiuste comparazioni tra istituti con alunni provenienti da ambienti socio-culturali assai diversi. Sebbene nessun ricercatore che abbia il rispetto di se stesso considererebbe tali risultati grezzi come indicativi della reale efficacia di una scuola, i profani (come i genitori), funzionari governativi disinformati e critici del sistema scolastico spesso li utilizzano a questo scopo (dall International Handbook of School Effectiveness Research, Teddlie & Reynolds, 2000, pag. 66)

6 Gli effetti "perversi" dei sistemi di Accountability La valutazione esterna, quando assume la forma dell Accountability, può produrre effetti inintenzionali ed effetti indesiderabili. I sistemi di Accountability influenzano le scuole in due modi principali: Focalizzano aree di contenuto cui viene prestata una particolare attenzione da parte delle scuole e sono quindi esposti a rischi tipo teaching to the test e curriculum narrowing (cioè di insegnamento in funzione dei test e di restrizione del curricolo insegnato alle materie e, all'interno di queste, alle aree di contenuto testate dalle prove) Modificano gli incentivi cui le scuole sono sottoposte per spingerle a migliorarsi: queste tuttavia possono decidere di non stare al gioco e cercare di barare in maniera diretta (cheating) o indiretta mettendo in scacco il sistema attraverso il ricorso ad espedienti

7 Le reazioni delle scuole all Accountability Le scuole possono rispondere in due modi, uno corretto : a)cercando di migliorare la qualità del proprio insegnamento; e uno scorretto : b)cercando di selezionare gli alunni all'ingresso o in corso d'anno (creamskimming), oppure di escludere il peso sui risultati degli alunni deboli (assegnandoli a programmi di educazione speciale o consigliando di rimanere assenti il giorno del test). Quando solo determinati livelli di classe sono oggetto di valutazione, le scuole possono reagire assegnando ad esse i migliori insegnanti, oppure, se la prestazione è valutata in termini di percentuale di alunni che raggiungono o superano un certo livello, concentrandosi sugli alunni vicini alla soglia e trascurando gli altri.

8 Il nodo principale nei sistemi di Accountability Il problema fondamentale che un sistema di Accountability deve affrontare è quello di separare l'effetto della scuola da tutte le altre influenze, pregresse e attuali, che agiscono sui livelli di apprendimento degli alunni, per arrivare a stabilire il valore aggiunto dell istruzione impartita da ciascun istituto scolastico. I diversi sistemi di Accountability si distinguono per il modo più o meno adeguato con cui si misurano con questo problema.

9 L effetto di contesto Angela Martini - Frascati 19 marzo 2009 Dalle ricerche sugli effetti del raggruppamento degli alunni e sull effetto della scuola è emersa la presenza di un effetto di contesto o effetto di composizione del gruppo classe e/o scuola - di cui un alunno fa parte. Ciò significa che l apprendimento di uno studente è influenzato non solo dalle sue caratteristiche personali ma anche dalle caratteristiche medie e dal grado di eterogeneità/omogeneità degli alunni della classe e/o della scuola che egli frequenta. Di tale effetto andrebbe tenuto conto nel valutare l efficacia di una scuola sul progresso dei suoi alunni. Questo implica che la misurazione del valore aggiunto dovrebbe fondarsi sulla comparazione non solo di alunni simili dal punto di vista delle caratteristiche individuali rilevanti, ma che anche frequentano scuole simili sotto il profilo della composizione della popolazione scolastica.

10 Esempio punteggi grezzi (Martini e Ricci )

11 Esempio punteggi con calcolo valore aggiunto (Martini e Ricci-2008)

12 Il valore aggiunto una misura del miglioramento degli apprendimenti Il livello degli apprendimenti degli studenti dipende, oltre che dal contributo delle scuole, dalle caratteristiche degli allievi e dal contesto nel quale si svolge l azione educativa valore aggiunto: è una misura di quanto ciascuna scuola aggiunge al livello degli apprendimenti conseguito dai propri allievi, tenendo conto della preparazione pregressa degli studenti in entrata e delle loro caratteristiche (es. backgroundsocio-economico-culturale). Il valore aggiunto è inoltre calcolato tenendo conto degli effetti (positivi o negativi) del contesto in cui la scuola opera i modelli di valore aggiunto consentono di confrontare le scuole a parità di condizioni. Infatti, gli esiti delle scuole sono comparati evitando che queste si avvantaggino -o siano penalizzate -da quanto non è sotto il loro diretto controllo

13 Quali sono le scuole premiate dal progetto VSQ? Quelle che Valore aggiunto fanno maggiormente crescere la qualità degli apprendimenti: in italiano in matematica favoriscono l inclusione degli studenti con disabilità Visite di osservazione favoriscono l inclusione degli studenti stranieri non lasciano indietro gli studenti con maggiori difficoltà costruiscono percorsi pensati per gli studenti con ottimi risultati orientano gli studenti a scegliere i percorsi di studio più adatti alle loro inclinazioni utilizzano criteri e strumenti condivisi di programmazione e di valutazione degli studenti sono capaci di riflettere su se stesse e di autovalutarsi per migliorare

14 VSQ - Il valore aggiunto in Italiano e Matematica Definizione e variabili utilizzate VALORE AGGIUNTO Apprendimenti Livello di preparazione in entrata Fattori strutturali Caratteristiche individuali Contesto territoriale SNV (Esiti individuali prove di I sec. di I grado) SNV (Esiti individuali prove di V primaria) Fonte INVALSI Fonte MIUR, INVALSI Fonte INVALSI Caratteristiche individuali: genere, origine immigrata, background socio-economicoculturale, posticipatario(dalla primaria) Fattori strutturali: Contesto territoriale: numero di plessi, Scuola Media o Ist. Comp., turnover docenti, età media docenti, % allievi disabili % stranieri, backgroundsocio-economico-culturale medio, scuola nel capoluogo o in provincia, altre specificità provinciali (effetto fisso) Tra le variabili esplicative non sono state inserite quelle che afferiscono alle scelte autonome delle scuole.

15 Perché il VALORE AGGIUNTO? Per concentrarsi sul chi (quali scuole/gruppi di Roberto Ricci - 29 febbraio 2012 insegnanti) e sul come (quali prassi didattico- educative) favoriscono di più i progressi di crescita degli apprendimenti, al netto delle differenze (sociali e individuali) nelle condizioni di partenza guida per il governo del sistema educativo.

16 I dati longitudinali La disponibilità di buoni dati longitudinali non elimina i problemi interpretativi: Roberto Ricci - 29 febbraio 2012 La variazione ( ) in un dato anno è spesso affetta da errore di misura e comunque tende a segnalare guadagni temporanei, non quei guadagni permanenti e quelle prospettive di lungo termine (anche extra scolastiche) a cui si sarebbe interessati [Rothstein (2010) e Chetty, Friedman e Rockoff (2011)] Il può avere una sua dinamica complessa e non essere ascrivibile semplicisticamente all efficacia della scuola e delle prassi educative correnti (mean reversion, effetti life cycle, effetti ritardati, effetti incrociati tra ambiti disciplinari, ecc.) Nel leggere il occorre depurare da possibili fenomeni di dynamic sorting (l eterogeneità tra studenti può essere nei oltre che nei livelli di partenza e la scuola con elevati può semplicemente essere una scuola ove si sono concentrati gli studenti con più potenziale di crescita, non la scuola più efficace)

17 Le criticità e i rischi da evitare (1/2) Le misure (di livello e non solo di ) degli apprendimenti sono strumenti potenti e quindi da utilizzare con cautela: Rischi di cheating (i dati qui utilizzati sono al netto Roberto Ricci - 29 febbraio 2012 di una correzione statistica del fenomeno, ma servirebbe anche intervenire sul fenomeno e prevenirlo) Rischi di eccessivo indirizzamento culturale e teaching to the test (coaching)

18 Le criticità e i rischi da evitare (2/2) Cosa sta dietro i recenti miglioramenti nelle prove INVALSI e, in misura minore, PISA? Orientamento alle competenze (+) o mero addestramento al frame (-) delle prove? Basare incentivi sulle prove (in livello o ) rischia di accentuare le distorsioni Roberto Ricci - 29 febbraio 2012 Pluralità di prove, low e high stakes: prevedibili le prime (per poter descrivere trend, consentire scale comuni ), poco prevedibili (per prevenire coaching) le seconde Focus sul ranking nell identificazione di migliori/peggiori e connessi premi/penalità Contenuto culturale condiviso delle prove, loro non esclusività

19 sic stantibus rebus È però già possibile provare a ragionare di Roberto Ricci - 29 febbraio 2012 Valore Aggiunto di scuola a partire dai dati oggi esistenti?

20 La finalità della rilevazione L INVALSI ritiene che la finalità ultima della misurazione degli apprendimenti risieda nel fornire alle singole scuole uno strumento di diagnosi per migliorare il proprio lavoro. L INVALSI si pone dunque come Istituto al servizio della singola scuola. Da ciò derivano alcune indicazioni molto precise circa la natura e la finalità del processo di rilevazione.

21 I implicazione: i dati I dati appartengono alla singola scuola alla quale verranno restituiti nel modo più disaggregato possibile, cioè secondo la distribuzione delle risposte domanda per domanda. Questo modello permetterà a ciascuna scuola di individuare all interno di ogni disciplina le aree di eccellenza e quelle problematiche che necessitano di una particolare cura. L INVALSI predispone un Rapporto nazionale basato sui dati delle classi campione con le prime analisi dei risultati degli studenti italiani. La pubblicazione di ulteriori approfondimenti è effettuata da parte dell INVALSI solo ed esclusivamente su dati aggregati in modo tale che sia pienamente garantito l anonimato degli allievi e delle singole scuole.

22 II implicazione: la comparabilità dei risultati Affinché le scuole possano utilizzarli a fini diagnostici, l INVALSI provvede a restituire i risultati della misurazione degli apprendimenti sia in forma grezza, sia dopo averli opportunamente depurati dai dati di contesto e da tutti quegli elementi estranei all attività della scuola, che possono influenzare il profitto degli alunni. L INVALSI sta provvedendo a raccogliere gran parte delle informazioni su questi fattori esterni dalle fonti amministrative esistenti, nel tentativo di ridurre il lavoro a carico delle scuole. Solo in assenza di fonti alternative verrà richiesta la collaborazione delle scuole stesse. Tale supporto sarà fondamentale per i dati riguardanti le condizioni socioeconomiche e culturali delle famiglie di origine degli studenti e i processi attivati nella scuola.

23 III implicazione: l attendibilità dei risultati L utilità per la singola scuola si fonda sulla possibilità di avere un confronto con quanto accade negli altri istituti, al netto delle differenze di contesto e di altri fattori esterni all attività della scuola stessa. È perciò fondamentale che ciascun Istituto ritenga credibili e affidabili i dati complessivi con cui confrontare i propri. Come in tutte le indagini internazionali è previsto un controllo di qualità sulle procedure di somministrazione mediante l invio di osservatori in un campione casuale di scuole.

24 La costruzione delle prove

25 Rilevazione 2012

26 Rilevazione 2012

27 Rilevazione 2012

28 Le prove oggettive Nelle rilevazioni su larga scala, come quelle del SNV, per PROVE OGGETTIVE STANDARDIZZATE si intendono prove costruite in modo che la loro correzione possa avvenire secondo modalità riproducibili e non dipendenti dal soggetto che effettua la correzione stessa La costruzione di prove oggettive standardizzate è il frutto di un lungo e delicato processo interdisciplinare che richiede un tempo di circa mesi La formulazione di una prova standardizzata rivolta potenzialmente a centinaia di migliaia di studenti è l esito di un lavoro profondamente e realmente interdisciplinare che coinvolge esperti con formazione ed esperienze specifiche e molto differenti tra di loro

29 I quadri di riferimento per la valutazione (1) L INVALSI è partito dalla definizione dei quadri di riferimento per la valutazione (QdR). Essi rivestono un ruolo fondamentale, spesso sottovalutato, quando non addirittura ignorato, per la costruzione delle prove standardizzate da somministrare agli allievi. Mediante il QdR vengono definiti gli ambiti, i processi cognitivi e i compiti oggetto di rilevazione, delimitando quindi il campo rispetto al quale sono costruite le prove. Il QdR permette inoltre di definire e circoscrivere il valore informativo delle prove che in base ad esso vengono costruite, chiarendone la portata ed i limiti

30 I quadri di riferimento per la valutazione (2) Il QdR è il frutto di uno studio articolato su più anni in cui sono stati valutati, anche in chiave comparativa, sia la normativa attualmente vigente in Italia circa i contenuti dell insegnamento primario e secondario sia i quadri di riferimento prodotti negli ultimi anni dalla IEA e dall OCSE e, non da ultimo, la prassi didattica. Il QdR costituisce il documento fondamentale per gli autori delle prove, per gli esperti che ne curano la revisione sia sotto il profilo dei contenuti che sotto quello misuratorio, per i docenti che sono chiamati a interpretare i risultati dei loro allievi e per i cosiddetti stakeholder che utilizzano i risultati delle rilevazioni standardizzate nazionali per valutare i livelli di apprendimento garantiti dal sistema educativo nel suo complesso.

31 Gli autori delle prove La costruzione delle prove oggettive standardizzate richiede un grosso sforzo per individuare le domande più adeguate sia in termini di rispondenza al QdR sia rispetto alla formulazione e alla capacità misuratoria dal punto di vista tecnico-statistico. Per realizzare il difficile compito di reperire un grosso numero di domande di elevata qualità, l INVALSI si avvale della fondamentale collaborazione di oltre 200 docenti ed esperti provenienti dal mondo della scuola e dell università. La decisione dell INVALSI di rivolgersi ad una così ampia platea di docenti ed esperti si è rivelata strategica poiché si è dimostrato che solo chi opera direttamente nel mondo delle scuola e dell università è in grado di formulare domande adeguate e significative.

32 La costruzione delle prove Dopo che gli autori hanno inviato all INVALSI le loro proposte di quesiti, comincia il processo di costruzione vera e propria delle prove. Essa si articola in diverse fasi, ognuna delle quali caratterizzata da aspetti differenti.

33 Fase I: l analisi qualitativa ex ante Un gruppo di esperti effettua una prima valutazione qualitativa in funzione della rispondenza delle domande al QdR, al livello scolastico per il quale devono essere proposte le prove e alla composizione del fascicolo (booklet) che dovrà essere inviato al pre-test. L analisi qualitativa ex ante è molto importante perché permette di escludere le domande non coerenti con le finalità del SNV e di effettuare un primo adattamento di quelle ritenute idonee per essere inviate al pre-test, cercando di eliminare tutte le fonti di possibili ambiguità. Un altro controllo molto importante che viene effettuato in questa fase è una prima verifica dell indipendenza delle domande. Questa analisi permette di verificare se vi siano quesiti le cui risposte suggeriscano la risposta di altri.

34 Fase II: il pre-test L adeguatezza delle prove costruite nella fase I viene valutata mediante il pre-test somministrato ad allievi con caratteristiche analoghe a quelle di coloro che dovranno svolgere le prove SNV. Poiché non è possibile che gli allievi coinvolti nel pre-test (field trial) siano gli stessi che parteciperanno alla rilevazione cosiddetta principale, è necessario che il field trail venga realizzato durante l anno scolastico precedente a quello dello studio principale. La realizzazione del pre-test si basa sull estrazione di un campione casuale di classi con rappresentatività nazionale.

35 Fase III: l analisi quanti-qualitativa ex post - la calibrazione delle domande I dati raccolti mediante il pre-test vengono analizzati mediante l applicazione di appropriati modelli statisticopsicometrici sostanzialmente ascrivibili alla cosiddetta teoria classica dei test e alla teoria della risposta (Item Response Theory). La capacità misuratoria di ogni domanda viene analizzata mediante modelli statistici in grado di stabilire la coerenza di ciascuna opzione di risposta rispetto al costrutto oggetto di valutazione, rispetto al livello di abilità/competenza del rispondente e rispetto alla difficoltà specifica della domanda stessa. Sulla base delle informazioni tratte dalle analisi quantitative dei dati del pre-test viene condotta un ulteriore analisi qualitativa delle domande testate. Durante questa fase vengono selezionate in via definitiva le domande che saranno inserite nelle prove somministrate a tutti gli studenti.

36 Fase IV: la composizione dei fascicoli definitivi (1) Dopo che ciascuna domanda è stata analizzata sotto il profilo quali-quantitativo, vengono composti i fascicoli che saranno somministrati durante la rilevazione principale. I fascicoli devono essere strutturati in funzione dei tempi di I fascicoli devono essere strutturati in funzione dei tempi di compilazione, stimati sulla base dei risultati del pre-test, e del livello complessivo di difficoltà, dati i vincoli di composizione definiti dai quadri di riferimento per la valutazione.

37 Fase IV: la composizione dei fascicoli definitivi (2) La composizione di una prova standardizzata rivolta all accertamento su scala nazionale dei livelli di apprendimento non risponde agli stessi criteri che guidano la costruzione delle verifiche di classe. Una prova standardizzata nazionale deve essere in grado di misurare i risultati degli studenti all interno di una scala di abilità/competenza molto lunga, dai livelli più bassi a quelli di eccellenza. E quindi normale che all interno di una prova di questo genere vi siano anche dei quesiti molto difficili ai quali solo una piccola percentuale di allievi è in grado di rispondere.

38 L elaborazione dei dati del pre-test e del test per il controllo della qualità psicometrica delle prove Per ognuna delle prove di valutazione utilizzate si calcolano in fase di pretest e di test: L alfa di Cronbach Il coefficiente di correlazione punto-biseriale di ognuno degli item Lancenigo, 14 febbraio 2011 Angela Martini L indice di discriminazione degli item I parametri di difficoltà degli item con l analisi di Rash Il posizionamento relativo (placement) degli item rispetto al punteggio Rash dei rispondenti

39 La qualità delle prove (coerenza)

40 Analisi di una domanda di Italiano Lancenigo, 14 febbraio 2011 Angela Martini

41 SERVIZIO NAZIONALE DI VALUTAZIONE RILEVAZIONE DEGLI APPRENDIMENTI INVALSI A.S RESTITUZIONE ALLE SCUOLE DEI DATI DELLA RILEVAZIONE

42 SNV 2012 RISULTATI ITALIANO II primaria V primaria I sec I gr III sec I gr II superiore Veneto Nord-Est Nord-Ovest Centro Sud Sud e Isole Italia

43 SNV 2012 RISULTATI MATEMATICA II primaria V primaria I sec I gr III sec I gr II superiore Veneto Nord-Est Nord-Ovest Centro Sud Sud e Isole Italia

44 SNV 2012 italiano superiori 250,00 200,00 150,00 100,00 50,00 0,00 228,48 216,42 210,45 193,33 180,98 167,41 Licei Tecnici Professionali Veneto Italia

45 SNV 2012 matematica superiori 250,00 200,00 150,00 100,00 50,00 0,00 226,49 212,59 215,15 198,04 180,12 169,92 Licei Tecnici Professionali Veneto Italia

46 PROVA ITALIANO

47 PROVA MATEMATICA

48 SCARTI TRA VENETO E ITALIA PUNTEGGI MEDI ITALIANO MATEMATICA Veneto Italia Scarto Venet o Italia II primaria * * V Primaria * * Scarto I Secondaria di I grado III Secondaria di I grado II Secondaria di II grado * differenza statisticamente non significativa

49 Punteg gio medio e percent ili Punteggi percentili II primaria V primaria I sec. di I grado III sec. di I grado II sec. di II grado Veneto Italia Veneto Italia Veneto Italia Veneto Italia Veneto Italia ITALIANO 5% 139,82 139,82 141,53 132,11 136,31 130,93 132,91 96,3 152,13 132,01 25% 174,25 174,25 178,1 173,45 182,29 173,66 174,66 158,48 192,31 176,77 Media 201, , , ,93 183,03 212,8 200 s.e. 1,86 0,4 2,92 0,57 0,23 0,3 0,54 0,8 1,32 0,69 75% 231,48 222,74 226,57 226,57 232,76 227,61 222,83 213,53 236,97 228,12 95% 267,98 267,98 258,19 258,19 263,24 263,24 258,04 250,29 264,96 258,4 MATEMATICA 5% 147,02 140,62 140,32 140,32 150,91 138,96 142,08 102,15 157,22 137,37 25% 174,75 174,75 173,47 173,47 180,58 171,41 174,4 159,95 188,47 173,8 Media 198, , , ,56 182,96 213, s.e. 1,26 0,67 3,4 0,79 0,38 0,45 0,14 1,25 1,65 0,81 75% 221,14 221,14 223,96 223,96 234,4 226,15 217,95 210,59 235,93 223,27 95% 257,18 267,84 264,54 264,54 271,3 266,11 260,15 251,28 278,45 267,75

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71 Prova Nazionale 2012: distribuzione dei voti 31 31,7 27,2 27,4 % a l u n n i 21 21,8 14,8 14,3 distribuzione % Italia distribuzione % Veneto 4,3 3,5 1,7 1,3 <=

72

73 Voti finali esame di Stato % a l u n n i 33,4 32,5 28,5 31,7 26,3 27,1 27,4 27,4 20,7 19,3 21,8 21,8 13,9 12,8 15,2 14,3 7,7 4,2 5,5 3,5 1,71,3 1,1 % esiti Veneto 2009 % esiti Veneto 2010 %esiti Veneto 2011 %esiti Veneto e lode voto finale esame

74 I materiali Quadri di riferimento La guida alla lettura delle prove INVALSI Rapporto Nazionale Approfondimenti tecnici e per approfondire Le prove INVALSI somministrate nei passati a.s. e le griglie di correzione Il compendio prove dell indagine OCSE-PISA La raccolta delle prove rilasciate delle indagini IEA-TIMSS Documenti e rapporti dell indagine IEA-PIRLS Documenti e rapporti dell indagine OCSE-PISA Documenti e rapporti dell indagine IEA-TIMSS Documenti e rapporti delle indagini INVALSI

75 Proposta di lavoro del gruppo regionale Analisi dei risultati di scuola rispetto a quelli del Veneto Differenze tra le classi Item critici e eccellenti Differenze tra valutazioni interne e esterne

76 Il punto di partenza L insegnante conosce la sua classe; sa individuare problemi e difficoltà; vi opera con dedizione ed impegno; utilizza strumenti molteplici per ottenere informazioni in ordine agli apprendimenti e alla relazione educativa. 76

77 Il punto di partenza L insegnante lavora insieme ai colleghi della stessa classe per interventi sempre più coerenti al piano dell offerta formativa e con colleghi della scuola e della stessa disciplina per valorizzare al meglio l offerta disciplinare. 77

78 La valutazione interna L insegnante attiva delle procedure valutative complesse che attraverso un voto esprimeranno una molteplicità di aspetti: apprendimenti acquisiti, capacità di esprimerli, Impegno Tale valutazione, anche se alla fine del quadrimestre e alla fine dell anno passa al vaglio della collegialità del consiglio di classe, resta comunque una operazione meramente interna senza confronto con la realtà esterna. 78

79 Relazione tra voti scolastici in Matematica e risultati in matematica PISA 2003 Fonte: Elaborazione sul dataset PISA 2003 dell Italia

80 Risultati in Matematica PISA 2003 e voti: Fonte: Rapporto Regionale del Veneto PISA 2003 Angela Martini

81 Le domande 1 Come leggere le informazioni standardizzate prodotte da INVALSI? Come operare a scuola affinché gli esiti restituiti costituiscano la base per un piano di intervento migliorativo? Cosa possono aggiungere gli esiti SNV alla programmazione? 81

82 ma è necessario scendere più nel dettaglio della situazione della scuola e guardare Le Singole Classi Le analisi in questa fase riguardano pochi studenti che si distribuiscono in modo molto diverso nelle singole classi Per esempio Stessa media, Stessa variabilità totale dei risultati MA FORME (e quindi PROBLEMATICHE) MOLTO DIVERSE

83 Lettura quesito per quesito dei possibili Ambiti e/o Processi Cognitivi di intervento SPUNTI DI RIFLESSIONE: Nell analisi quesito per quesito è innanzitutto necessario concentrarsi sulle risposte corrette della classe e sulla modalità di risposta degli allievi. E importante valutare le risposte degli studenti (quali domande sono state più facili o difficili, come hanno affrontato i distrattori) in modo contestuale, sia alla luce della programmazione svolta in classe, sia sulla base delle proprie valutazioni in itinere. Alla base di una bassa % di risposte corrette della classe/scuola, vi possono essere diverse motivazioni. L argomento in questione non è stato capito? Non è stato trattato in classe? I quesiti avevano un livello di difficoltà molto alto? Il testo della domanda era di difficile comprensione? Le domande devono sgranare la classe e quindi è normale che alcune possano essere risposte correttamente solo da un numero non elevato di studenti.

84 Confrontarsi all esterno La posizione della scuola per livello scolare rispetto alla media nazionale, dell area geografica e della regione di appartenenza Significatività delle differenze e composizione della popolazione scolastica della scuola Prime ipotesi di interpretazione

85 Confrontarsi all interno 1. I risultati delle classi. Nel caso di disomogeneità di risultati, formulare ipotesi sulle possibili cause (differenze originarie nel livello di abilità degli alunni delle varie classi, differenze nel curricolo insegnato ) 2. Confronto tra valutazione esterna (prove INVALSI) e valutazioni medie degli insegnanti di classe 3. I risultati delle prove INVALSI per sottogruppi della popolazione scolastica 4. I risultati delle prove di Italiano e Matematica per sezione e/o ambito di contenuto 5. Punti di debolezza e punti di forza. Le difficoltà sono localizzate in alcuni ambiti o su alcuni tipi di processo?

86 Riflessioni sui risultati: idee e piste di lavoro Imparare a leggere analiticamente i dati della propria classe e a confrontarli, in gruppi disciplinari, con i dati di altre classi (non per uno sterile fine classificatorio, ma per capire se alcune tendenze sono specifiche della classe, e forse dovute a determinate scelte didattiche, o piuttosto legate a condizioni di partenza e scelte curricolari dell intera scuola Mettere in comune le buone pratiche e modificare quelle meno efficaci. Analizzare le domande per comprendere bene i processi sottesi (anche aiutandosi con la griglia e la guida alla lettura proposta dall INVALSI). Analizzare la scelta di determinati distrattori, soprattutto quando questa scelta sia stata fatta da numerosi allievi, per capire come abbiano ragionato.

87 Riflessioni sui risultati: strumenti Quadri di riferimento Guida alla lettura delle prove Livelli di difficoltà

88 Limiti e rischi nell uso di prove standardizzate di valutazione esterna (1) 1. Non rispetto degli standard di qualità nella costruzione e validazione delle prove 2. Somministrazione scorretta 3. Non allineamento dei test di profitto al curricolo ufficialmente stabilito 4. Inadeguatezza dei test di profitto nel misurare accuratamente ciò che viene insegnato e appreso (non corrispondenza tra ciò che è insegnato e ciò che è testato) Angela Martini

89 Limiti e rischi nell uso di prove standardizzate di valutazione esterna (2) 5. Restringimento del curricolo 6. Insegnamento "in funzione" del test 7. Stimolazione di atteggiamenti di ansia, confusione, timore, rabbia o sfiducia nelle scuole (specie se i risultati sono resi pubblici) 9. Riduzione del tempo dedicato all'insegnamento per la preparazione ai test e per la loro applicazione 10. Induzione al conformismo didattico e alla rinuncia all'uso di metodi innovativi Angela Martini

90 RILEVAZIONE 2013 LE MODALITA ORGANIZZATIVE

91 Disegno della rilevazione Censuaria: tutte le classi dei livelli interessati delle scuole, statali e paritarie Classi-campione: rappresentatività regionale e per macro-indirizzo (solo sec. II gr.) una o due classi per scuola campionata, osservatore esterno per ogni classe campionata,

92 I formati delle prove Prove ordinarie: fascicoli in formato cartaceo Formati speciali: formato elettronico (prove su file), formato Braille, formato audio (.mp3)

93 Sfide per il futuro Ampliamento della «scala» di misura, soprattutto per le prove di Italiano Ancoraggio delle prove Prospettiva diacronica Ancoraggio con i dati di contesto (valore aggiunto) Ampliamento del quadro di riferimento e rafforzamento del legame con le Indicazioni

94 I vantaggi del nuovo sistema di rilevazione (1) La correzione della prova da parte degli insegnanti permette: di introdurre anche domande aperte (miglioramento della qualità della prova), alla scuola di fruire in modo più diretto della ricaduta didattica delle prove.

95 Lo scadenzario Sul sito dell INVALSI è pubblicato lo SCADENZARIO in cui ogni scuola può ritrovare le tappe principali della rilevazione SNV con tutte le relative date

96 dal l INVALSI renderà disponibile il materiale di supporto (protocollo di somministrazione, manuale del somministratore, manuale per la correzione e per la compilazione delle schede-risposta) dal al sarà disponibile l elenco delle scuole in cui si trovano le classi campione attraverso un modulo on line dell area riservata scuole entro il le scuole riceveranno le prove da somministrare ed entro il , dovranno segnalare l eventuale mancanza di materiale per consentire all Istituto di effettuare le necessarie integrazioni.

97 SNV 2013: date Prova preliminare di lettura e prova di Italiano per le classi II scuola primaria Prova di Italiano per le classi V (scuola primaria) Prova di matematica per le classi II (scuola primaria) Prova di matematica per le classi V (scuola primaria) Prova di Italiano, di Matematica e Questionario studente per le classi I della scuola secondaria di primo grado Prova di Italiano, di Matematica e Questionario studente per le classi II della scuola secondaria di secondo grado

98 PROCEDURE DI SOMMINISRAZIONE =materialeinformativo Si raccomanda di scaricare tutte le istruzioni per le procedure di somministrazione che vanno scrupolosamente osservate Nota sugli alunni di origine immigrata Indicazioni per l'organizzazione delle giornate di somministrazione delle prove SNV 2013 Date, tempi e successione di svolgimento delle prove INVALSI 2013 Manuale per il somministratore Manuale per il controllo del materiale SNV 2013

99 grazie e buon lavoro