A TU PER TU con le prove INVALSI al di là dei pre-giudizi Scenari di riferimento, aspetti di positività, prospettive possibili, limiti e rischi 24 gennaio 2012 LCS Gioberti Torino P. C. Mattioda
La finalità della rilevazione fornire alle singole scuole v uno strumento di diagnosi per migliorare il proprio lavoro v una misurazione solida e significativa dei livelli di apprendimento relativamente ad ambiti specifici ritenuti condizione per un accesso consapevole alla cittadinanza attiva questi ambiti non esauriscono saperi e competenze prodotte dalla scuola
La valutazione interna v L insegnante attiva delle procedure valutative complesse e delicate che attraverso un voto esprimono una molteplicità di aspetti apprendimenti capacità atteggiamenti v Tale valutazione passa al vaglio della collegialità del consiglio di classe ma resta comunque una operazione interna senza confronto con la realtà esterna
La valutazione (misurazione) esterna v costituisce uno strumento per combattere l autoreferenzialità v fornisce agli insegnanti informazioni, utili non solo sull esito del proprio lavoro v fornisce elementi oggettivi per interventi migliorativi nella propria classe e nella scuola
E dunque v come operare a scuola affinché i dati restituiti dall INVALSI costituiscano la base per un piano di intervento migliorativo? v quale figura può supportare gli insegnanti per utilizzare al meglio questi dati? v cosa possono aggiungere gli esiti SNV alla progettazione didattica?
Gli esiti intanto v confermano o meno le impressioni soggettive dei docenti riguardo la loro classe v indicano la posizione della classe/scuola rispetto al territorio (regione-macroarea regionale) e alla nazione, anche se solo in relazione alle prove v possono essere usati per approfondire alcuni nodi relativi all apprendimento
Le Prove II primaria: prova preliminare di lettura, prova di Italiano, prova di Matematica V primaria: prova di Italiano, prova di Matematica, questionario studente I sec. I gr.: prova di Italiano, prova di Matematica, questionario studente III sec. I gr. (Prova nazionale): prova di Italiano, prova di Matematica II sec. II gr.: prova di Italiano, prova di Matematica, questionario studente
I Quadri pubblici di riferimento teorico Illustrano i punti di riferimento concettuali e i criteri operativi utilizzati nella costruzione delle prove Contenuti Ambiti di valutazione Processi Caratteristiche generali delle prove Criteri di formulazione dei quesiti Esempi di compiti e quesiti
I Quadri pubblici di riferimento teorico per condurre a una riflessione autonoma v sull efficacia dell offerta formativa progettata v sull ampiezza, profondità e coerenza del curriculum effettivamente svolto e appreso
Sarebbe un danno per l insegnamento se la prospettiva di queste prove standardizzate dovesse tradursi nella preoccupazione di addestrare gli allievi senza invece curare l effettiva crescita di quel retroterra cognitivo e culturale di cui le prove dovrebbero rilevare e valutare l esistenza
Si potrebbe partire da
Anche se le considerazioni più interessanti le ricaviamo dagli esiti delle prove in rapporto ai QdR
Classificazione quesiti : aspetti lettura
Classificazione quesiti : aspetti grammatica
I contenuti delle prove: secondaria di II grado (2010-11) Italiano: Matematica: v Testi narrativi: 19 domande v Testi espositivo-argomentativi misti: 19 domande v Grammatica: 12 domande v Numero quesiti: 30 domande v Ambiti: NUMERI, SPAZIO E FIGURE, RELAZIONI E FUNZIONI, DATI E PREVISIONI Questionario studente: 21 domande
I formati delle prove Prove ordinarie: fascicoli in formato cartaceo Formati speciali: v formato elettronico (prove su file) v formato ingrandito (24pt, 48pt) v formato Braille v formato audio (.mp3)
Disegno della rilevazione Censuaria v tutte le classi dei livelli interessati delle scuole, statali e paritarie Classi-campione v rappresentatività regionale e per macro-indirizzo (solo sec. II gr.) v una o due classi per scuola campionata v osservatore esterno per ogni classe campionata v trasmissione elettronica dei risultati
L iter di preparazione delle prove v Raccolta e classificazione delle domande v Valutazione da parte di esperti e selezione-adattamento delle domande più coerenti con le finalità dell impianto v Composizione dei fascicoli v Somministrazione di un pre-test durante a.s. precedente v Acquisizione dei dati v Analisi tecniche con appropriati modelli statistico-psicometrici v Valutazione della capacità misuratoria delle domande v Composizione dei fascicoli definitivi
LA PROVA DEVE ESSERE IN GRADO DI MISURARE I RISULTATI DEGLI STUDENTI ALL INTERNO DI UNA SCALA MOLTO AMPIA DI DI ABILITA / COMPETENZE Presenti anche domande alle quali solo una piccola percentuale di studenti è in grado di rispondere, finalizzate alla misurazione di livelli di apprendimento molto elevati
LA PROVA DEVE AVERE SUFFICIENTI CARATTERISTICHE DI AFFIDABILITA PER POTER FORNIRE MISURAZIONI ROBUSTE E COERENTI, REALMENTE INFORMATIVE
La qualità delle prove Livello Fascicolo Valori di α II primaria V primaria I sec. di primo grado III sec. di primo grado II sec. di secondo grado Italiano 0,88 Matematica 0,81 Italiano 0,87 Matematica 0,88 Italiano 0,93 Matematica 0,88 Italiano 0,86 Matematica 0,83 Italiano 0,91 Matematica 0,89
Come è andata nel 2011
I risultati (a.s. 2010-2011) Percentuali di risposte corrette nelle prove SNV e PN CLASSE ITALIANO MATEMATICA II primaria V primaria I sec. di I gr. III sec. di I gr. II sec. di II gr. 69,2 (0,31) 73,1 (0,20) 62,4 (0,20) 66,4 (0,46) 69,8 (0,26) 60,3 (0,31) 68,4 (0,15) 46,6 (0,31) 56,1 (0,31) 47,9 (0,32)
Un paese a diverse velocità
Seconda secondaria di II grado: ITALIANO
Seconda secondaria di II grado: MATEMATICA
Alcuni spunti di riflessione Risultati positivi ottimi tassi di risposta (crescenti) maggiore «adesione» alle domande aperte Aspetti da migliorare la comprensione dei testi argomentativo-espositivi la geometria
II sec. di II grado: differenze negli indirizzi - Italiano
II sec. di II grado: differenze negli indirizzi - Matematica
Fotografare non equivale a valutare l operato di una scuola
I rischi della pubblicazione dei risultati delle scuole Le burocrazie scolastiche ed altre entità governative in vari paesi hanno l'infelice abitudine di pubblicare i risultati grezzi di esami e test a livello di scuole, consentendo così ingiuste comparazioni tra istituti con alunni provenienti da ambienti socio-culturali assai diversi. Sebbene nessun ricercatore che abbia il rispetto di se stesso considererebbe tali risultati grezzi come indicativi della reale efficacia di una scuola, i profani (come i genitori), funzionari governativi disinformati e critici del sistema scolastico spesso li utilizzano a questo scopo (dall International Handbook of School Effectiveness Research, Teddlie & Reynolds, 2000, pag. 66)
Effetto scuola / valore aggiunto v la differenza tra il punteggio medio grezzo di una scuola e quello medio generale di un certo territorio v il guadagno cognitivo medio netto rispetto a tutti i fattori di contesto che non sono controllati dalla scuola
Risultati medi di scuola nel test di matematica per la scuola primaria, somministrato in alcune scuole inglesi nel 1998 da La misurazione del valore aggiunto nella scuola, Roberto Ricci, Fondazione Giovanni Agnelli; 2008
Le prospettive possibili e auspicabili v Formazione /informazione v Rafforzamento della valenza per (e non su) la scuola v Ampliamento - approfondimento dei QdR v Ancoraggio con i dati di contesto (valore aggiunto) v Prospettiva diacronica
UNO SGUARDO ALL OCSE- PISA!
Punteggi medi in Lettura
Punteggi medi in Lettura - media OCSE 493 540 Lombardia, 522 520 Friuli Venezia Giulia, 513 Marche, 499 Emilia Romagna, 502 Liguria, 491 Piemonte, 496 Valle d'aosta, 514 Trento, 508 Veneto, 505 500 Bolzano, 490 Puglia, 489 Toscana, 493 Umbria, 490 Abruzzo, 480 Lazio, 481 Italia, 486 480 Basilicata, 473 Molise, 471 Sardegna, 469 Campania, 451 Sicilia, 453 460 Calabria, 448 440 420
Punteggi medi in Matematica
Punteggi medi in Matematica - media OCSE 496
Punteggi medi in Scienze
Punteggi medi in Scienze - media OCSE 501
GRAZIE
Un esempio con un grafico v Il modello A rappresenta il posizionamento di alcune scuole rispetto al punteggio medio grezzo ottenuto in una prova v Il modello B rappresenta il posizionamento delle stesse mediante l aggiustamento in base ad alcune variabili di contesto di carattere socio-economico v Nel modello C i risultati sono stati aggiustati non solo in base ad aspetti di natura socio-economica, ma anche introducendo una misura del livello di apprendimento al termine della classe precedente
RITAGLI
La comparabilità dei risultati l INVALSI provvederà a restituire i risultati della misurazione degli apprendimenti sia in forma grezza, sia depurati dai dati di contesto e da tutti quegli elementi estranei all attività della scuola, che possono influenzare il profitto degli alunni. L INVALSI sta provvedendo a raccogliere gran parte delle informazioni su questi fattori esterni dalle fonti amministrative esistenti, nel tentativo di ridurre il lavoro a carico delle scuole. Solo in assenza di fonti alternative verrà richiesta la collaborazione delle scuole stesse. Tale supporto sarà fondamentale per i dati riguardanti le condizioni socio-economiche e culturali delle famiglie di origine degli studenti e i processi attivati nella scuola.
Effetto scuola / valore aggiunto v La posizione della scuola contrassegnata con il cerchietto secondo il modello C è sensibilmente migliorata v Tale scuola non differisce in termini di risultati medi in modo significativo dalla maggior parte delle scuole esaminate v Secondo il modello A essa consegue risultati significativamente peggiori della media
I dati I dati appartengono alla singola scuola alla quale sono restituiti nel modo più disaggregato possibile, cioè secondo la distribuzione delle risposte domanda per domanda. Questo modello permette a ciascuna scuola di individuare all interno di ogni disciplina le aree di eccellenza e quelle problematiche che necessitano di una particolare cura. La pubblicazione di ulteriori analisi è effettuata da parte dell INVALSI solo ed esclusivamente su dati aggregati in modo tale che sia pienamente garantito l anonimato degli allievi e delle singole scuole.
L indagine OCSE-PISA Il programma per la valutazione internazionale degli studenti (PISA) è un indagine dell Organizzazione per la cooperazione e lo sviluppo economico (OCSE) sulle competenze degli allievi di 15 anni. Si tratta di un indagine condotta ad intervalli di tre anni che mira a valutare l acquisizione e l utilizzo delle conoscenze apprese durante il periodo di scolarità obbligatoria per affrontare la vita quotidiana. L indagine ha come obiettivo di fornire ai diversi attori (politici, autorità scolastiche, docenti, genitori, allievi) dati di carattere comparativo che permettono di valutare in che misura gli allievi dispongono delle conoscenze e delle capacità richieste dall odierna società
La lettura dei dati PISA Un primo modo per leggere i risultati di PISA è quello di osservare il punteggio medio ottenuto dai singoli paesi o da sottounità interne ai paesi (es. macroaree geografiche, regioni, tipi di scuola). Il punteggio medio rappresenta il risultato del raggruppamento considerato, ma ha il limite di non cogliere le caratteristiche della distribuzione. Allo stesso punteggio medio possono corrispondere differenti distribuzioni.
La lettura dei dati PISA Un altro modo per leggere i risultati di PISA è quello di osservare le caratteristiche della distribuzione dei punteggi. PISA fornisce una classificazione per livelli di competenza. A ciascun livello corrisponde una determinata difficoltà degli item e una corrispondente competenza degli studenti.
Risultati in Lettura: Paesi OCSE 400 450 500 550 600 Korea Finland Canada New Zealand Japan Australia Netherlands Belgium Norway Estonia Switzerland Poland Iceland United States Sweden Germany Ireland France Denmark United Kingdom Hungary Portugal Italy Slovenia Greece Spain Czech Republic Slovak Republic Israel Luxembourg Austria Turkey Chile Mexico 53