DIPARTIMENTO DI INGEGNERIA INFORMATICA AUTOMATICA E GESTIONALE ANTONIO RUBERTI. OpenAnswer

Transcript

1 DIPARTIMENTO DI INGEGNERIA INFORMATICA AUTOMATICA E GESTIONALE ANTONIO RUBERTI OpenAnswer 1

2 Valutazione e Apprendimento Importanza delle domande a RISPOSTA APERTA Rappresentazione migliore del livello di APPRENDIMENTO raggiunto dallo studente Possibilita migliore di AUTOVERIFICA Importanza della PEER-EVALUATION fatta sulle domande a RISPOSTA APERTA Lo studente giudica le risposte di altri «pari» E impara nello stesso tempo (MIGLIORA la sua CONOSCENZA e ALLENA la sua capacita di GIUDIZIO) 2

3 Valutazione e Apprendimento PROBLEMA DEI QUESTIONARI A RISPOSTA APERTA Il docente deve lavorare molto di piu del normale CONSEGUENZA DEL PROBLEMA Non si usano i questionari a riposta aperta 3

4 OpenAnswer Applicazione web che permette l uso delle domande a risposta aperta, con - peer-evaluation (valutazione da parte degli studenti) - Correzione del docente solo di una parte delle risposte - Resto della correzione: automatica Modello Studente = <Ks, Js> K = conoscenza J = capacita di giudizio S e lo studente K1 = J1 = K2 = J2 = K3 = J3 = K4 = J4 = K5 = CB A A B DC B D BC BA A B F CD FE DC AB C S9 S1 A16 S16 A9 A1 S11 A4 S4 A11 A1 e risposta di S1 S4 giudica A1 4

5 VALUTAZIONE SISTEMA Il sistema produce (Una parte di risposte corrette dal docente) Una parte di risposte corrette automaticamente Performance attuale: 50-80% delle risposte date dal sistema corrisponde al voto che avrebbe dato il docente (e corretto!). Uso Attivita di apprendimento Early intervention (ci si accorge che il modello mostra valori bassi e si interviene prima che sia l esame a dire che qualcosa non va ) Miglioramenti? Algoritmi e condizioni di terminazione Tabelle di corrispondenza tra K, J, peer-eval Supporto software e altro 5

6 Come migliorare? --- Esperimento Durante l anno sessioni in cui Studenti rispondono Studenti valutano alla pari Docente corregge tutto lui (tutte le risposte) Successivamente c e un lungo lavoro di analisi e simulazione Si simula ciascuna sessione fornendo le risposte peer e solo un sottoinsieme delle risposte docente, quando richieste dal sistema; Usando vari algoritmi e varie condizioni di terminazione E poi si fanno i conti: quali algoritmi sono meglio? Come? Perché? 6

7 Esperimento in TdP Sessione OpenAnswer: Un gruppo di studenti entra nel laboratorio Compila un questionario informativo online Accede alla SESSIONE stabilita (nome comunicato all inizio) Risponde alla domanda (yes, una sola domanda perché non abbiamo tempo per farne di più durante una sessione) Successivamente valuta tre risposte date da altri E poi aspetta che il docente abbia corretto TUTTO E accede al sistema per vedere i risultati Faremo due o tre sessioni durante Dicembre ALTRE SESSIONI nel secondo semestre (2,3,4 secondo quanto possibile) Altre sessioni potrebbero essere svolte da casa (l unico problema e quando ) 7

8 Che cosa ci guadagna chi? Docente Ottiene dataset per fare simulazioni e operare miglioramenti Studente (partecipazione non obbligatoria) i propri K e J, calcolata in base alle sessioni svolte Migliora la propria preparazione per l esame, per effetto stesso dell impegno nella partecipazione Non perde voti ne prende voti negativi (da questa attivita ) in base al proprio <K,J> puo guadagnare un bonus sul voto finale In [0, 1.5] per K In [0, 1.5] per J 8

9 Organizzazione Abbiamo problemi di spazio nel laboratorio (se molti vogliono partecipare all esperimento), vedremo come e se sara possibile risolverli. Facendo sessioni cui si partecipi da casa, tutti possono partecipare. - In laboratorio: due turni (circa 9-11, 11-13) - Login - 50 min per rispondere alla domanda, - 40 min per valutare le tre risposte - Uscita ordinata - Istruzioni sulla pagina delle lezioni e poi sulla pagina dedicata a questa attivita 9