Un esperienza di collaborazione di testing informatizzato

Transcript

1 Un esperienza di collaborazione di testing informatizzato tra il CentroC Linguistico di Ateneo e il CentroC di Calcolo di Ateneo Marina Canapero Centro Linguistico di Ateneo con la collaborazione di Erik Castello (CLA) Mitja Svab & Marco Gui (Centro di Calcolo)

2 VANTAGGI DEL FORMATO CBT ( (Computer Based Testing): Il computer ha molto da offrire al testing linguistico: non solo per la somministrazione dei test, ma anche per la costruzione e compilazione di test, la ricezione delle risposte, l assegnazione di punteggi, il calcolo dei risultati, l invio degli stessi e l analisi dei test. Può essere ovviamente usato anche per conservare test i dettagli di candidati. Alderson C., Banerjee J. (2001, Language Teaching Journal)

3 USO DI QUESTION MARK PERCEPTION per costruire le domande e gli assessment; per identificare, amministrare e organizzare i gruppi di candidati che devono sostenere i test; per somministrare i test; per ricevere i dati dei test eseguiti dai candidati; per conservare i dati delle prove e i test stessi; per ottenere i report organizzati e l item analysis.

4 A CHI E STATO SOMMINISTRATO L ACCERTAMENTO ONLINE D INGLESE ALLA FACOLTA DI SCIENZE MM.FF.NN.? Durante l anno accademico , il test online è stato sostenuto da ca. 850 studenti del N.O. (e V.O.) che seguono i seguenti corsi di laurea: Fisica & Astronomia Matematica & Informatica Chimica Pura & Chimica Industriale Scienze dei Materiali Biotecnologie Biologia & Biologia Molecolare Scienze della terra & Scienze e tecnologie per la natura Scienze e tecnologie per i beni culturali Scienze e tecnologie per l ambiente

5 L iscrizione agli appelli online e l amministrazione delle liste L iscrizione viene eseguita esclusivamente tramite i vari SIS (Sistema Informativo per lo Studente): SIS del Dipartimento Interchimico SIS del Dipartimento di Fisica Galileo Galilei SIS del Dipartimento di Matematica Inserimento degli appelli da parte del docente Iscrizione online da parte dello studente

6 LA PROCEDURA... CREAZIONE DEL TEST Il test online viene sviluppato con il software QuestionMark-Perception seguendo certi criteri pre-stabiliti CREAZIONE DEL Q-PACK DI DOMANDE Prima di inviare il test al Centro di Calcolo, viene salvato nel formatto Q-pack ACCERTARE IL TIPO DI SISTEMA UTILIZZATO Bisogna rispettare certi criteri a secondo del tipo di sistema WINDOWS W o LINUX nella creazione del test. Si fanno delle prove sul luogo DUE GIORNI PRIMA DEL TEST, RICAVARE DAL SIS LE LISTE DEI CANDIDATI Dai vari SIS si accertano i numeri di studenti iscritti agli appelli. Le liste vengono spediti al Centro di Calcolo via e in formato Excel (cognome - nome - N.Matricola) AL CENTRO DI CALCOLO STABILITI I TEMPI DI DICORRENZA DEL TEST Si stabiliscono i tempi (giorno, la fascia d orario, la durata del d test). Si tiene conto della necessità di creare dei turni per gruppi sostanziosi. L ASSEGNAZIONE DEI PASSWORD PER MOTIVI DI SICUREZZA Per motivi di sicurezza, a ogni gruppo viene assegnato una lista di password trasmessi via dal Centro di Calcolo che il docente assegna personalmente agli studenti al momento del controllo dei libretti.

7 L importanza della COLLABORAZIC LLABORAZIONE Per un corretto svolgimento dei test online si lavora insieme... alle segreterie amministrative e didattiche al Centro di Calcolo ai tecnici di laboratorio ai docenti CCL

8 DOVE VIENE SOMMINISTRATO L ACCERTAMENTO ONLINE D INGLESE ALLA FACOLTA DI SCIENZE MM.FF.NN.? Nel corso dell a.a, ci sono 6 appelli d inglese per ogni corso di laurea. A seguito dell iscrizione agli appelli, i gruppi vengono distribuiti ti nei vari laboratori informatizzati messi a disposizione (totale=180 posti PC) I test centre della Facoltà di Scienze MM.FF.NN. sono: Per Fisica & Astronomia - Laboratorio di informatica, dip di Fisica G.Galilei Galilei (25 posti) Per Matematica & Informatica - Aule A & B informatizzate, dip di Matematica (70 posti) Per Chimica Pura & Chimica Industriale e Scienze dei Materiali Laboratorio di informatica, Centro Interchimico (15( posti) Per le Biotecnologie, Biologia & Biologia Molecolare, Scienze della terra & Scienze e tecnologie per la natura, Scienze e tecnologie per i beni b culturali, Scienze e tecnologie per l ambiente - Laboratorio di Bioinformatica CRIBI, dip di biologia Vallisneri (70 posti)

9 Perché ricorrere al CBT? Una conseguenza delle nuove riforme (laurea breve 3+2) La necessità di accertare la competenza linguistica B1 già al 1 anno1 Il grande numero di studenti abbinato ai tempi ristretti Problemi gestionali e organizzativi degli appelli La mancanza di docenti di lingua nelle facoltà scientifiche

10 I Vantaggi del CBT Permette la correzione obbiettiva e istantanea dei test Fa risparmiare tempo al docente (e carta!) Si possono eseguire delle analisi sulle singole prestazioni Si possono creare dei database dei risultati da utilizzare per analisi statistica Il docente può tracciare e analizzare il progresso Gli esiti possono fornire una panoramica sulla qualità e l efficacia dell insegnamento Per motivi di ricerca, si possono ottenere dei dati statistici sui livelli di competenza e sulle problematiche

11 Alcune problematiche del testing online Le tipologie di domande limitate (scelta multipla) I risultati degli assessment non sempre affidabili Creare una database di domande richiede tempo, energia e knowhow Non può accertare le capacità orali o creative Problemi tecnici : riavvio del sistema spesso necessario quando si blocca collegamento a CINECA talvolte lento e non sempre consistente Problematiche di visualizzazione dei contenuti con il sistema LINUX Richiede un grande investimento in hardware

12 Le tipologie di test somministrati alla Facoltà di Scienze MM.FF.NN..NN. Accertamento online durata di 70 minuti Accerta il livello B1 (Threshold Level secondo i criteri del Common European Framework CEF) Punteggio soglia=60 per cent Organizzazione funzionale della database di domande per i test a MM.FF.NN (Question Manager)

13 ACCERTAMENTO D INGLESE ALLA FACOLTÀ DI SCIENZE MM.FF.NN. cronometro Primo esempio

14 Il Test di Piazzamento QPT : in via sperimentale Il QPT online durata di minuti Test somministrato all inizio dell anno accademico a tutti gli studenti della Facoltà Accerta il livello B1 Punteggio soglia=50 per cent Organizzazione funzionale della database di domande per il QPT (Question Manager)

15 Accesso ai report individuali in Enterprise Manager Si visualizzano gli esisti in per cent per ogni parte del test

16 A seguito delle nuove norme legate al passaporto europeo l accertamento linguistico a livello B1 diventerà obbligatorio Bisogna fare ricerca sulle diverse tipologie di test e sui risultati, nonché sugli effetti psicologici sull utente L itemizzazione e il pilot testing delle domande per verificare la loro efficacia l analisi dei risultati tramite dei report,, sondaggi, e grafici Le prospettive del CBT in futuro L integrazione effettiva di CBT nel curriculum didattico La continua formazione dei docenti che devono acquisire più domestichezza con il CBT Integrazione delle nuove tecnologie (audio, video, registrazione vocale) per ottimizzare la qualità dei contenuti dei test online Una effettiva collaborazione tra i docenti di lingua e gli esperti della materia

17 Grazie della Vostra gradita attenzione!! Marina Canapero - CEL, Centro Linguistico di Ateneo : Marina_Canapero [email protected]