INVALSI English Language Test

INVALSI English Language Test Rapporto scuola Scuola secondaria di primo grado Settembrini - Roma Pretest 2012

APPENDICE 1. Risultati dei singoli studenti Introduzione Questo rapporto presenta i risultati del progetto pilota per la lingua inglese condotto nelle classi terze della scuola secondaria di primo grado, tra la fine di maggio e gli inizi di giugno 2012, su un campione di scuole distribuite sul territorio nazionale. Il progetto è stato realizzato dall INVALSI con il supporto e la collaborazione di Cambridge ESOL. Gli obiettivi di seguito indicati definiscono la base del progetto: definizione del livello di conoscenza della lingua inglese della popolazione campione (ultimo anno della scuola secondaria inferiore) in relazione al Quadro comune Europeo di riferimento per le Lingue (CEFR); adeguatezza della tipologia di test proposto, in termini di contenuto, livello, struttura degli item, durata e somministrazione; produzione di un test finale da proporre per una somministrazione più ampia. Il test si focalizza sulla comprensione della lettura e l uso della lingua inglese (vocabolario, grammatica e funzioni della lingua). Il test, nel suo complesso, misura la capacità di comprensione della lettura del testo scritto, a livello di parola, frase, periodo e testo intero. Il test è composto da 45 item che coprono dal livello A1 al livello B1 del Quadro comune europeo, con una particolare attenzione al livello A1. Il tempo massimo per completare il test è stato stabilito in 45 minuti. Per limitare l ansia da esame gli item sono predisposti, dove possibile, in ordine crescente di difficoltà. 2

Guida alla lettura Alfa di Cronbach. L Alfa di Cronbach è un indice statistico utilizzato per misurare la precisione (affidabilità o reliability) di uno strumento di misura (test, questionario). In particolare l Alfa rileva la consistenza interna di uno strumento. L idea sottostante è che se gli item (domande, prove) di un test misurano lo stesso costrutto, allora questi dovranno essere coerenti fra loro, cioè dovranno esprimere un certo grado di covariazione o intercorrelazione. Maggiore è l intercorrelazione tra gli item, maggiore sarà il valore di Alfa. Oltre all intecorrelazione, Alfa è sensibile al numero di item: pochi item, anche se particolarmente correlati tra loro, daranno valori di Alfa non particolarmente elevati. I valori di Alfa variano da zero (nessuna coerenza interna) a 1 (coerenza perfetta). Nella pratica applicativa si usano i seguenti valori di riferimento per giudicare il grado di affidabilità di uno strumento: Alfa α 0,90 Consistenza interna Eccellente 0,80 α < 0,90 Buona 0,70 α < 0,80 Accettabile 0,60 α < 0,70 Discutibile 0,50 α < 0,60 Scarsa α < 0,50 Non accettabile Per poter esprimere un giudizio sulla coerenza interna di uno strumento, comunque, si deve tenere conto degli obiettivi, della struttura (unica scala o batteria) e del numero di item. Deviazione standard. La deviazione standard è un indice statistico della variabilità di una distribuzione. È una misura di dispersione e indica quanto i valori della distribuzione si discostano dalla media. Maggiore è la variabilità dei dati, maggiore è il valore della deviazione standard. Viene calcolata facendo la radice quadrata del rapporto tra il quadrato degli scarti dei valori dalla media e il numero di casi 3

Errore standard di misura. Corrisponde alla quota di errore presente nel punteggio in un test. Secondo la Teoria Classica dei Test non è possibile determinare il punteggio vero di un individuo in un test. Formalmente, il punteggio osservato (X o ) in un test è dato dalla somma del punteggio vero (X v ) con una quota di errore (X e ). Il concetto sottostante è che gli strumenti di misura contengono in sé una quota di imprecisione dovuta al fatto che gli item in un test costituiscono un campione possibile di tutti gli item che si potrebbero prendere, e che di solito la misurazione di un determinato comportamento (atteggiamento, processo cognitivo, ecc.) avviene su un campione di individui in un unica occasione. In sostanza, l errore standard di misura indica quanto è precisa la stima del punteggio del singolo individuo in un test. L errore standard di misura è ricavabile conoscendo la variabilità (deviazione standard) dei punteggi nel test e la sua affidabilità (cfr. Alfa di Cronbach). Una volta noto l errore standard è possibile ricavare un intervallo entro il quale si stima potrebbe cadere il punteggio vero del rispondente. Media aritmetica. È un indice statistico di tendenza centrale di una distribuzione. Riassume numericamente il baricentro della distribuzione dei valori. Per calcolarla si sommano tutti i valori e si divide il risultato per il loro numero. 4

Metodologia L INVALSI English Language test è una prova che dura 45 minuti, composta da 45 quesiti suddivisi in sette parti. Ogni quesito vale un punto. Gli studenti hanno utilizzato il foglio di risposta, consegnato a parte, dove hanno selezionato le risposte scelte. Tabella 1. Struttura dell INVALSI English Language Test. Descrizione dei compiti, livelli CEFR e numero di item Parte Tipo di compito e formato di risposta Obiettivo del compito Nr. di Items Livello CEFR del compito 1 Domanda a scelta multipla con Comprendere brevi annunci e segnali, originali o 5 Al di sotto di A1/ tre alternative di risposta su brevi adattati. Leggere per una comprensione generale. A1 messaggi. Mostrare conoscenza di un lessico di base. 2 Trovare la corrispondenza di Comprendere brevi definizioni che si trovano nel 5 A1 cinque definizioni tra otto dizionario di base. Mostrare la conoscenza di possibili termini dello stesso termini lessicali al fine di trovare la corrispondenza ambito lessicale. tra definizioni e lessico appropriato. 3 Completamento di brevi Linguaggio funzionale misurazione delle abilità 5 A1/A2 conversazioni scegliendo lo dello studente di comprendere espressioni familiari Schema verbale adatto. di uso quotidiano. Leggere e individuare la risposta adeguata. 4 Quesiti di cloze a scelta Utilizzo della grammatica nell ambito della 8 A2 multipla. lettura di un breve brano adattato. Forme verbali, pronomi, preposizioni e congiunzioni. Comprensione di relazioni strutturali a livello di frase, periodo e paragrafo. 5 Lettura di un brano con domande Lettura e comprensione di un testo e individuazione 7 A2 a scelta multipla. Brano di delle idee principali. I testi sono adattati per renderli 200-250 parole. accessibili agli studenti. I testi possono includere un vocabolario non familiare a studenti al di sotto del livello CEFR B1. Questo testo richiede abilità di lettura avanzate, ma non interferisce con la capacità di risposta degli studenti. 6 Lettura di un brano con domande Lettura e comprensione di un testo che, oltre a fornire 5 A2/B1 a scelta multipla. Brano di informazioni fattuali, richiede di capire in maniera 230 275 parole approfondita i contenuti e le riflessioni dell autore. 7 Quesiti di cloze a scelta multipla Comprensione del vocabolario e della grammatica 10 B1 con quattro opzioni di risposta. di un testo adattato. Valutazione delle competenze grammaticali e lessicali. Il testo può essere informativo o narrativo. Il testo include pronomi, verbi modali, connettivi e preposizioni. 5

Il Campione Gli studenti coinvolti nel pretest sono stati 1814, distribuiti su 87 classi. Le scuole (23) sono state estratte secondo un campione di giudizio con una copertura delle principali aree geografiche (Nord est, Nord ovest, Centro, Sud, Sud e Isole). La tabella 2 mostra i numeri e le percentuali di studenti partecipanti nella scuola; la tabella 3 mostra una sintesi delle informazioni demografiche che hanno fornito gli studenti rispetto ad alcune variabili; la tabella 4 mostra i numeri e le percentuali degli studenti partecipanti per genere, area geografica e totale; la tabella 5 mostra i numeri e le percentuali di studenti partecipanti per classe, area geografica e totale. Tabella 2. Numero e percentuale di studenti partecipanti Scuola N % Settembrini, Roma 115 6.3 Area N % Centro 682 37.6 Totale 1814 100.0 Tabella 3. Informazioni demografiche degli studenti partecipanti (sul campione totale di studenti coinvolti) N % Candidati che non sono nati in Italia 134 7 Candidati che hanno studiato fuori dall Italia 114 6 Candidati che hanno la madre nata all estero 260 14 Candidati che hanno il padre nato all estero 238 13 Tabella 4. Numero e percentuale di studenti partecipanti per genere 1 Scuola Genere Maschi Femmine Settembrini, Roma 52 45% 63 55% Area Centro 328 48% 351 52% Totale 902 50% 907 50% 1 I totali potrebbero non coincidere con il totale dei rispondenti a causa delle risposte mancanti alla domanda relativa al genere. 6

Tabella 5. Numero e percentuale di studenti partecipanti per classe Scuola Classe Totale 01 02 03 04 05 N % Settembrini, Roma 27 27 24 24 13 115 6.3 Area Centro 185 180 138 166 13 682 37.6 Totale 493 486 438 384 13 1814 100.0 Somministrazione del test La prova è stata somministrata alla fine dell anno scolastico 2012, tra il 21 maggio e l 8 giugno. Le 23 scuole del campione hanno partecipato anche al pretest 2012 per le prove di Italiano e Matematica. Il test è stato somministrato dai docenti della scuola che hanno assicurato il rispetto delle procedure di svolgimento della prova. In alcune scuole (4) la prova si è svolta alla presenza di un osservatore esterno, della Cambridge Esol o dell INVALSI. Tabella 6. Statistiche riassuntive generali del test INVALSI English Language Test Numero di partecipanti 1814 Numero di items 45 Punteggio medio 27.89 Deviazione standard 8.55 Alfa di Cronbach 0.89 Errore standard di misura 2.82 Tabella 7. Statistiche riassuntive del test per parte 2 Parte Punteggio medio Dev. Std. Parte 1 (5 items) 4.19 1.02 Parte 2 (5 items) 3.45 1.36 Parte 3 (5 items) 3.22 1.42 Parte 4 (8 items) 5.26 2.01 Parte 5 (7 items) 4.36 1.70 Parte 6 (5 items) 2.79 1.56 Parte 7 (10 items) 4.62 2.43 2 Il valore del punteggio medio corrisponde alla media aritmetica, calcolata sul numero dei rispondenti. Il predetto punteggio medio è calcolato rispetto al numero delle domande di ciascuna parte della prova alla quale le domande stesse si riferiscono. 7

Tabella 8. Punteggi medi e deviazioni standard per classe Classe Scuola 01 02 03 04 05 N Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Settembrini 36.11 6.92 31.44 6.52 35.00 5.05 36.08 5.28 25.62 8.49 33.59 7.11 Area Centro 28.47 8.61 Totale 27.89 8.55 8

Tabella 9. Punteggio medio e deviazione standard per genere Scuola Genere Maschi Femmine Media Dev. Std. Media Dev. Std. Settembrini, Roma 31.67 6.92 35.17 6.92 Area Centro 27.12 8.49 29.72 8.58 Totale 27.17 8.41 28.61 8.63 La tabella 10 riporta la distribuzione degli studenti di tutte le scuole campione secondo i livelli CEFR. La maggior parte degli studenti (58%) hanno una preparazione uguale o superiore al livello A2 e il 42% uguale o inferiore al livello A1. La distribuzione è rappresentata a livello geografico Tabella 10. Distribuzione percentuale dei livelli CEFR 3 Sotto A1 A1 A2 B1 Nord 5% 30% 36% 29% Centro 7% 32% 32% 29% Sud 11% 45% 26% 18% Totale 7% 34% 32% 26% La tabella 11 fornisce la distribuzione degli studenti per scuola, classe e livello CEFR. In generale, gli studenti si distribuiscono sui quattro livelli CEFR testati. La maggior parte delle classi ha al suo interno studenti che raggiungono almeno tre livelli CEFR. Tabella 11. Distribuzione percentuale dei livelli CEFR per scuola e classe Scuola/Classe Sotto A1 A1 A2 B1 Settembrini, 1% 13% 34% 52% Roma Classe 01 0% 11% 22% 67% Classe 02 0% 22% 41% 37% Classe 03 0% 4% 29% 67% Classe 04 8% 0% 42% 58% Classe 05 8% 38% 38% 15% 3 I totali potrebbero non sommare a 100 a causa dell arrotondamento. 9

Conclusioni Nel complesso il test, in ogni sua parte, è risultato affidabile e attendibile. I quesiti relativi alla parte 7, tutti relativi a un grado di difficoltà di livello B1, hanno permesso di discriminare tra gli studenti che hanno raggiunto il livello A2 e quelli che sono invece arrivati al livello B1, rilevando che il 26% degli studenti raggiunge questo livello. Il restante 58% si distribuisce tra i seguenti livelli: 32% Livello A2 e 26% Livello B1. La distribuzione degli studenti sui livelli CEFR indica che il test dovrebbe mantenere questo livello di difficoltà. Ringraziamento alle scuole Il gruppo di lavoro dell INVALSI desidera esprimere il proprio ringraziamento ai dirigenti scolastici e ai docenti delle scuole partecipanti che, con grande senso di responsabilità e devozione per il proprio lavoro e, dunque, per i propri studenti, hanno permesso la realizzazione di questo progetto pilota per la lingua inglese. Il nostro auspicio è che, anche grazie a queste collaborazioni costruttive, possano emergere ulteriori future esperienze che avvicinino l INVALSI alle scuole in un ottica di reciproco supporto. 10

APPENDICE 1. Risultati dei singoli studenti Settembrini, Roma (21-01) Class 01 Class 02 Candidate CEFR level Candidate CEFR level Candidate CEFR level 21010101 B1 21010301 B1 21010501 A1 21010102 B1 21010302 B1 21010502 A2 21010103 B1 21010303 B1 21010503 A2 21010104 B1 21010304 A2 21010504 A2 21010105 B1 21010305 A2 21010505 A1 21010106 A1 21010306 A2 21010507 A2 21010107 B1 21010307 B1 21010508 A1 21010108 B1 21010308 B1 21010509 Sotto A1 21010109 B1 21010309 B1 21010510 A1 21010110 B1 21010310 A1 21010511 B1 21010111 B1 21010311 B1 21010514 A1 21010112 B1 21010312 A2 21010515 A2 21010113 A2 21010313 B1 21010516 B1 21010114 A2 21010314 B1 21010115 B1 21010315 B1 21010116 A1 21010316 A2 21010117 B1 21010317 B1 21010118 A2 21010318 B1 21010119 B1 21010319 A2 21010120 B1 21010320 B1 21010121 A2 21010321 B1 21010122 B1 21010322 B1 21010123 B1 21010324 A2 21010124 A2 21010325 B1 21010125 A1 21010401 B1 21010126 B1 21010402 B1 21010127 A2 21010403 B1 21010201 A2 21010404 A2 21010202 A2 21010405 B1 21010203 A1 21010406 B1 21010204 A2 21010407 B1 21010205 B1 21010408 A2 21010206 B1 21010409 A2 21010207 A2 21010410 A2 21010208 A2 21010411 A2 21010209 A1 21010412 B1 21010210 A1 21010413 B1 21010212 A2 21010414 A2 21010213 B1 21010415 B1 21010214 A2 21010416 A2 21010215 B1 21010417 B1 21010216 A1 21010418 B1 21010217 B1 21010419 B1 21010218 B1 21010420 A2 21010219 B1 21010421 A2 21010220 A2 21010422 B1 21010221 A2 21010423 A2 21010222 A1 21010424 B1 21010223 B1 21010224 A2 21010225 A2 21010226 A1 21010227 B1 21010228 B1 Class 03 Class 04 Class 05 11