INVALSI English Language Test

Transcript

1 INVALSI English Language Test Rapporto scuola Scuola secondaria di primo grado Settembrini - Roma Pretest 2012

2 APPENDICE 1. Risultati dei singoli studenti Introduzione Questo rapporto presenta i risultati del progetto pilota per la lingua inglese condotto nelle classi terze della scuola secondaria di primo grado, tra la fine di maggio e gli inizi di giugno 2012, su un campione di scuole distribuite sul territorio nazionale. Il progetto è stato realizzato dall INVALSI con il supporto e la collaborazione di Cambridge ESOL. Gli obiettivi di seguito indicati definiscono la base del progetto: definizione del livello di conoscenza della lingua inglese della popolazione campione (ultimo anno della scuola secondaria inferiore) in relazione al Quadro comune Europeo di riferimento per le Lingue (CEFR); adeguatezza della tipologia di test proposto, in termini di contenuto, livello, struttura degli item, durata e somministrazione; produzione di un test finale da proporre per una somministrazione più ampia. Il test si focalizza sulla comprensione della lettura e l uso della lingua inglese (vocabolario, grammatica e funzioni della lingua). Il test, nel suo complesso, misura la capacità di comprensione della lettura del testo scritto, a livello di parola, frase, periodo e testo intero. Il test è composto da 45 item che coprono dal livello A1 al livello B1 del Quadro comune europeo, con una particolare attenzione al livello A1. Il tempo massimo per completare il test è stato stabilito in 45 minuti. Per limitare l ansia da esame gli item sono predisposti, dove possibile, in ordine crescente di difficoltà. 2

3 Guida alla lettura Alfa di Cronbach. L Alfa di Cronbach è un indice statistico utilizzato per misurare la precisione (affidabilità o reliability) di uno strumento di misura (test, questionario). In particolare l Alfa rileva la consistenza interna di uno strumento. L idea sottostante è che se gli item (domande, prove) di un test misurano lo stesso costrutto, allora questi dovranno essere coerenti fra loro, cioè dovranno esprimere un certo grado di covariazione o intercorrelazione. Maggiore è l intercorrelazione tra gli item, maggiore sarà il valore di Alfa. Oltre all intecorrelazione, Alfa è sensibile al numero di item: pochi item, anche se particolarmente correlati tra loro, daranno valori di Alfa non particolarmente elevati. I valori di Alfa variano da zero (nessuna coerenza interna) a 1 (coerenza perfetta). Nella pratica applicativa si usano i seguenti valori di riferimento per giudicare il grado di affidabilità di uno strumento: Alfa α 0,90 Consistenza interna Eccellente 0,80 α < 0,90 Buona 0,70 α < 0,80 Accettabile 0,60 α < 0,70 Discutibile 0,50 α < 0,60 Scarsa α < 0,50 Non accettabile Per poter esprimere un giudizio sulla coerenza interna di uno strumento, comunque, si deve tenere conto degli obiettivi, della struttura (unica scala o batteria) e del numero di item. Deviazione standard. La deviazione standard è un indice statistico della variabilità di una distribuzione. È una misura di dispersione e indica quanto i valori della distribuzione si discostano dalla media. Maggiore è la variabilità dei dati, maggiore è il valore della deviazione standard. Viene calcolata facendo la radice quadrata del rapporto tra il quadrato degli scarti dei valori dalla media e il numero di casi 3

4 Errore standard di misura. Corrisponde alla quota di errore presente nel punteggio in un test. Secondo la Teoria Classica dei Test non è possibile determinare il punteggio vero di un individuo in un test. Formalmente, il punteggio osservato (X o ) in un test è dato dalla somma del punteggio vero (X v ) con una quota di errore (X e ). Il concetto sottostante è che gli strumenti di misura contengono in sé una quota di imprecisione dovuta al fatto che gli item in un test costituiscono un campione possibile di tutti gli item che si potrebbero prendere, e che di solito la misurazione di un determinato comportamento (atteggiamento, processo cognitivo, ecc.) avviene su un campione di individui in un unica occasione. In sostanza, l errore standard di misura indica quanto è precisa la stima del punteggio del singolo individuo in un test. L errore standard di misura è ricavabile conoscendo la variabilità (deviazione standard) dei punteggi nel test e la sua affidabilità (cfr. Alfa di Cronbach). Una volta noto l errore standard è possibile ricavare un intervallo entro il quale si stima potrebbe cadere il punteggio vero del rispondente. Media aritmetica. È un indice statistico di tendenza centrale di una distribuzione. Riassume numericamente il baricentro della distribuzione dei valori. Per calcolarla si sommano tutti i valori e si divide il risultato per il loro numero. 4

5 Metodologia L INVALSI English Language test è una prova che dura 45 minuti, composta da 45 quesiti suddivisi in sette parti. Ogni quesito vale un punto. Gli studenti hanno utilizzato il foglio di risposta, consegnato a parte, dove hanno selezionato le risposte scelte. Tabella 1. Struttura dell INVALSI English Language Test. Descrizione dei compiti, livelli CEFR e numero di item Parte Tipo di compito e formato di risposta Obiettivo del compito Nr. di Items Livello CEFR del compito 1 Domanda a scelta multipla con Comprendere brevi annunci e segnali, originali o 5 Al di sotto di A1/ tre alternative di risposta su brevi adattati. Leggere per una comprensione generale. A1 messaggi. Mostrare conoscenza di un lessico di base. 2 Trovare la corrispondenza di Comprendere brevi definizioni che si trovano nel 5 A1 cinque definizioni tra otto dizionario di base. Mostrare la conoscenza di possibili termini dello stesso termini lessicali al fine di trovare la corrispondenza ambito lessicale. tra definizioni e lessico appropriato. 3 Completamento di brevi Linguaggio funzionale misurazione delle abilità 5 A1/A2 conversazioni scegliendo lo dello studente di comprendere espressioni familiari Schema verbale adatto. di uso quotidiano. Leggere e individuare la risposta adeguata. 4 Quesiti di cloze a scelta Utilizzo della grammatica nell ambito della 8 A2 multipla. lettura di un breve brano adattato. Forme verbali, pronomi, preposizioni e congiunzioni. Comprensione di relazioni strutturali a livello di frase, periodo e paragrafo. 5 Lettura di un brano con domande Lettura e comprensione di un testo e individuazione 7 A2 a scelta multipla. Brano di delle idee principali. I testi sono adattati per renderli parole. accessibili agli studenti. I testi possono includere un vocabolario non familiare a studenti al di sotto del livello CEFR B1. Questo testo richiede abilità di lettura avanzate, ma non interferisce con la capacità di risposta degli studenti. 6 Lettura di un brano con domande Lettura e comprensione di un testo che, oltre a fornire 5 A2/B1 a scelta multipla. Brano di informazioni fattuali, richiede di capire in maniera parole approfondita i contenuti e le riflessioni dell autore. 7 Quesiti di cloze a scelta multipla Comprensione del vocabolario e della grammatica 10 B1 con quattro opzioni di risposta. di un testo adattato. Valutazione delle competenze grammaticali e lessicali. Il testo può essere informativo o narrativo. Il testo include pronomi, verbi modali, connettivi e preposizioni. 5

6 Il Campione Gli studenti coinvolti nel pretest sono stati 1814, distribuiti su 87 classi. Le scuole (23) sono state estratte secondo un campione di giudizio con una copertura delle principali aree geografiche (Nord est, Nord ovest, Centro, Sud, Sud e Isole). La tabella 2 mostra i numeri e le percentuali di studenti partecipanti nella scuola; la tabella 3 mostra una sintesi delle informazioni demografiche che hanno fornito gli studenti rispetto ad alcune variabili; la tabella 4 mostra i numeri e le percentuali degli studenti partecipanti per genere, area geografica e totale; la tabella 5 mostra i numeri e le percentuali di studenti partecipanti per classe, area geografica e totale. Tabella 2. Numero e percentuale di studenti partecipanti Scuola N % Settembrini, Roma Area N % Centro Totale Tabella 3. Informazioni demografiche degli studenti partecipanti (sul campione totale di studenti coinvolti) N % Candidati che non sono nati in Italia Candidati che hanno studiato fuori dall Italia Candidati che hanno la madre nata all estero Candidati che hanno il padre nato all estero Tabella 4. Numero e percentuale di studenti partecipanti per genere 1 Scuola Genere Maschi Femmine Settembrini, Roma 52 45% 63 55% Area Centro % % Totale % % 1 I totali potrebbero non coincidere con il totale dei rispondenti a causa delle risposte mancanti alla domanda relativa al genere. 6

7 Tabella 5. Numero e percentuale di studenti partecipanti per classe Scuola Classe Totale N % Settembrini, Roma Area Centro Totale Somministrazione del test La prova è stata somministrata alla fine dell anno scolastico 2012, tra il 21 maggio e l 8 giugno. Le 23 scuole del campione hanno partecipato anche al pretest 2012 per le prove di Italiano e Matematica. Il test è stato somministrato dai docenti della scuola che hanno assicurato il rispetto delle procedure di svolgimento della prova. In alcune scuole (4) la prova si è svolta alla presenza di un osservatore esterno, della Cambridge Esol o dell INVALSI. Tabella 6. Statistiche riassuntive generali del test INVALSI English Language Test Numero di partecipanti 1814 Numero di items 45 Punteggio medio Deviazione standard 8.55 Alfa di Cronbach 0.89 Errore standard di misura 2.82 Tabella 7. Statistiche riassuntive del test per parte 2 Parte Punteggio medio Dev. Std. Parte 1 (5 items) Parte 2 (5 items) Parte 3 (5 items) Parte 4 (8 items) Parte 5 (7 items) Parte 6 (5 items) Parte 7 (10 items) Il valore del punteggio medio corrisponde alla media aritmetica, calcolata sul numero dei rispondenti. Il predetto punteggio medio è calcolato rispetto al numero delle domande di ciascuna parte della prova alla quale le domande stesse si riferiscono. 7

8 Tabella 8. Punteggi medi e deviazioni standard per classe Classe Scuola N Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Std Media Dev. Settembrini Area Centro Totale

9 Tabella 9. Punteggio medio e deviazione standard per genere Scuola Genere Maschi Femmine Media Dev. Std. Media Dev. Std. Settembrini, Roma Area Centro Totale La tabella 10 riporta la distribuzione degli studenti di tutte le scuole campione secondo i livelli CEFR. La maggior parte degli studenti (58%) hanno una preparazione uguale o superiore al livello A2 e il 42% uguale o inferiore al livello A1. La distribuzione è rappresentata a livello geografico Tabella 10. Distribuzione percentuale dei livelli CEFR 3 Sotto A1 A1 A2 B1 Nord 5% 30% 36% 29% Centro 7% 32% 32% 29% Sud 11% 45% 26% 18% Totale 7% 34% 32% 26% La tabella 11 fornisce la distribuzione degli studenti per scuola, classe e livello CEFR. In generale, gli studenti si distribuiscono sui quattro livelli CEFR testati. La maggior parte delle classi ha al suo interno studenti che raggiungono almeno tre livelli CEFR. Tabella 11. Distribuzione percentuale dei livelli CEFR per scuola e classe Scuola/Classe Sotto A1 A1 A2 B1 Settembrini, 1% 13% 34% 52% Roma Classe 01 0% 11% 22% 67% Classe 02 0% 22% 41% 37% Classe 03 0% 4% 29% 67% Classe 04 8% 0% 42% 58% Classe 05 8% 38% 38% 15% 3 I totali potrebbero non sommare a 100 a causa dell arrotondamento. 9

10 Conclusioni Nel complesso il test, in ogni sua parte, è risultato affidabile e attendibile. I quesiti relativi alla parte 7, tutti relativi a un grado di difficoltà di livello B1, hanno permesso di discriminare tra gli studenti che hanno raggiunto il livello A2 e quelli che sono invece arrivati al livello B1, rilevando che il 26% degli studenti raggiunge questo livello. Il restante 58% si distribuisce tra i seguenti livelli: 32% Livello A2 e 26% Livello B1. La distribuzione degli studenti sui livelli CEFR indica che il test dovrebbe mantenere questo livello di difficoltà. Ringraziamento alle scuole Il gruppo di lavoro dell INVALSI desidera esprimere il proprio ringraziamento ai dirigenti scolastici e ai docenti delle scuole partecipanti che, con grande senso di responsabilità e devozione per il proprio lavoro e, dunque, per i propri studenti, hanno permesso la realizzazione di questo progetto pilota per la lingua inglese. Il nostro auspicio è che, anche grazie a queste collaborazioni costruttive, possano emergere ulteriori future esperienze che avvicinino l INVALSI alle scuole in un ottica di reciproco supporto. 10

11 APPENDICE 1. Risultati dei singoli studenti Settembrini, Roma (21-01) Class 01 Class 02 Candidate CEFR level Candidate CEFR level Candidate CEFR level B B A B B A B B A B A A B A A A A A B B A B B Sotto A B B A B A B B B A B A A A B B A B B B A A B B A B B A B B A B B B B A A B A B B B A B A A A B A B A B B A B A A A A A A B A B A A B B A A B B A B B B B A B A A B A A A B B A A A B B1 Class 03 Class 04 Class 05 11