Knowlab Un Sistema Computerizzato per la Valutazione Adattiva della Conoscenza e dell'apprendimento

Transcript

1 Knowlab Un Sistema Computerizzato per la Valutazione Adattiva della Conoscenza e dell'apprendimento Debora de Chiusole PhD Candidate deboratn@libero.it Università degli Studi di Padova Dipartimento FISPPA 7 Maggio 2014, Cagliari

2 Scenario Uno studente risponde ad una serie di domande che vengono visualizzate sullo schermo di un computer; le domande servono per valutare le competenze dello studente in un particolare dominio di conoscenza, come ad es. l'aritmetica, l'algebra o la sica; sulla base di questa valutazione, il computer propone allo studente del materiale didattico, utile per procedere nell'apprendimento. Knowlab è un sistema di intelligenza articiale che si basa sulla Knowledge Space Theory.

3 Scenario Uno studente risponde ad una serie di domande che vengono visualizzate sullo schermo di un computer; le domande servono per valutare le competenze dello studente in un particolare dominio di conoscenza, come ad es. l'aritmetica, l'algebra o la sica; sulla base di questa valutazione, il computer propone allo studente del materiale didattico, utile per procedere nell'apprendimento. Knowlab è un sistema di intelligenza articiale che si basa sulla Knowledge Space Theory.

4 Overview 1 La Knowledge Space Theory 2 L'Assessment Adattivo nella KST 3 Knowlab 4 Prospettive Future

5 Overview 1 La Knowledge Space Theory 2 L'Assessment Adattivo nella KST 3 Knowlab 4 Prospettive Future

6 Knowledge Space Theory (KST) Le origini è una teoria matematica nata negli anni '80 per opera di Jean-Claude Falmagne e Jean-Paul Doignon; la prima pubblicazione: Doignon, J.-P., Falmagne, J.-C.(1985). Spaces for the assessment of knowledge. International Journal of Man-Machine studies, 23, ; obiettivo iniziale: costruire 'an ecient machine for the assessment of knowledge'.

7 Knowledge Space Theory Le Applicazioni: Aleks Aleks (Assessment and Learning in Knowledge Spaces) è la più importante applicazione della KST ( è un programma wab-based ('ecient machine') che ha come obiettivo la valutazione eciente della conoscenza e dell'apprendimento degli individui; include attualmente corsi in matematica, chimica, sica, economia; è utilizzato da milioni di studenti negli USA; è stato acquistato dalla McGraw-Hill Education nel 2013; materiale interessante all'indirizzo

8 Peculiarità della Knowledge Space Theory Somiglianze e dierenze con il testing psicometrico Le teorie psicometriche (es. teoria classica del test e l'item response theory) sono state sviluppate molto prima della KST, con l'obiettivo di valutare la conoscenza degli individui. Cosa c'è di nuovo? se i test psicometrici calcolano un punteggio numerico per rappresentare il livello ragiunto da uno studente in un certo dominio di conoscenza, l'obiettivo della valutazione con la KST è quello di fornire una descrizione di ciò che lo studente sa e non sa, in un certo momento.

9 La Knowledge Space Theory Rappresentazione della conoscenza e dell'apprendimento Supponiamo che Q sia l'insieme di tutti i possibili problemi che si possano formulare in un determinato dominio di conoscenza (es. aritmetica, algebra o sica); Lo stato di conoscenza K è l'insieme di problemi che uno studente è capace di risolvere in Q; Domain of knowledge A possible knowledge state

10 La Knowledge Space Theory Rappresentazione della conoscenza e dell'apprendimento Supponiamo che Q sia l'insieme di tutti i possibili problemi che si possano formulare in un determinato dominio di conoscenza (es. aritmetica, algebra o sica); La struttura di conoscenza K è la collezione degli stati di conoscenza osservabili in una popolazione di studenti;

11 La Knowledge Space Theory Approccio Non-Numerico alla Valutazione Proficiency Levels Knowledge States

12 Struttura di Conoscenza Un Esempio Consideriamo 10 item formulabili in qualsiasi dominio di conoscenza: Q = {a, b,..., j}; da un analisi delle abilità coinvolte nella loro soluzione si ipotizza una struttura di conoscenza;

13 Struttura di Conoscenza Un Esempio 34 stati di conoscenza, rappresentati dai cerchi; l'apprendimento procede, seguento le frecce, dall'insieme vuoto all'insieme totale; svariati percorsi di apprendimento dierenti;

14 Le Frange di una Stato di Conoscenza Un Esempio ipotizziamo che lo stato di conoscenza di uno studente sia K = {a, b, g, h, i}; frangia interna: insieme degli item appresi per ultimi I = {b, a}; frangia esterna: insieme degli item che lo studente è pronto ad apprendere E = {c}.

15 Le Frange di una Stato di Conoscenza Un Esempio ipotizziamo che lo stato di conoscenza di uno studente sia K = {a, b, g, h, i}; frangia interna: insieme degli item appresi per ultimi I = {b, a}; frangia esterna: insieme degli item che lo studente è pronto ad apprendere E = {c}.

16 Le Frange di una Stato di Conoscenza Un Esempio ipotizziamo che lo stato di conoscenza di uno studente sia K = {a, b, g, h, i}; frangia interna: insieme degli item appresi per ultimi I = {b, a}; frangia esterna: insieme degli item che lo studente è pronto ad apprendere E = {c}.

17 Come si Costruisce una Struttura di Conoscenza? Principio generale Tra gli item in Q si possono trovare delle relazioni di prerequisito, che determinano i vincoli per stabilire quali sono stati di conoscenza. 1 interrogazione ad esperti (QUERY; Koppen, M., 1993; Koppen, M. & Doignon, J.-P., 1990; Schrepp, M. & Held, T., 1995); 2 analisi del compito cognitivo (task analysis; Albert, D., Lukas, J., 1999); 3 metodi statistici di derivazione delle strutture dai dati (item tree analysis; Schrepp, M., 2003).

18 Come si Costruisce una Struttura di Conoscenza? La Task Analysis Un esempio: l'analisi del compito cognitivo: scegliere il dominio di conoscenza; individuare una serie di esercizi tipici di quel dominio; scomporre l'esercizio nelle abilità procedurali, ad un livello microscopico, necessarie per risolverlo; costruire un insieme di item sulla base di diverse combinazioni delle abilità individuate; Dalla relazione tra l'insieme di abilità e l'insieme di item, è possibile, attraverso algoritmi matematici, individuare quelli che saranno gli stati della struttura di conoscenza.

19 Come si Costruisce una Struttura di Conoscenza? Un esempio: il t di Student Le 13 abilità coinvolte nella verica di ipotesi con il t di Student. Decisione Statistica 1 campione 2 camp. Indipend. 2 camp. appaiati Bidirez. Mono dx Mono sx Calcolo della statistica t Individuazione del valore critico dx sx 1 campione 2 camp. Indipend. 2 camp. appaiati Bidirez. Monodirez. Individuazione della stat. appropriata Individuazione del sistema di ipotesi Testo del problema Il test si compone di 15 item e 312 stati di conoscenza.

20 Validazione Empirica di una Struttura di Conoscenza K è un modello teorico che richiede una validazione empirica; modelli probabilistici che tengono conto anche di errori di distrazioni e di risposte indovinate: si confrontano i dati osservati con le attese del modello denito precedentemente (test di Chi-quadro); si stima la distribuzione di probabilità sugli stati di conoscenza; Se il modello tta i dati, si avrà a disposizione uno strumento di valutazione composto da: un insieme di abilità, un iniseme di item e una struttura di conoscenza.

21 Overview 1 La Knowledge Space Theory 2 L'Assessment Adattivo nella KST 3 Knowlab 4 Prospettive Future

22 L'Assessment Adattivo nella KST La Valutazione della Conoscenza nella KST L'obiettivo è di individuare lo stato di conoscenza corretto di ciascun studente, fra quelli appartenenti alla struttura di conoscenza; questo compito viene eseguito da una procedura computerizzata che interagisce con lo studente; ad ogni passo la procedura presenta allo studente una nuova domanda e ne registra le risposte; in teoria il dominio di conoscenza può contenere centinaia di item, e la struttura di conoscenza migliaia di stati; L'obiettivo è quello di costruire l'intero stato di conoscenza dello studente attraverso il minor numero di domande possibile.

23 Probabilità Probabilità Probabilità L'Assessment Adattivo nella KST La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente Regola di interrogazione Regola di aggiornamento Distribuzione di probabilità a priori sugli stati Scelta dell Item Risposta dello Studente Aggiornamento della distribuzione di probabilità 1,00 0,80 1,00 0,80 1,00 0,80 0,60 0,60 0,60 0,40 0,40 0,40 0,20 0,20 0,20 0, Stati di Conoscenza 0, Stati di Conoscenza 0, Stati di Conoscenza

24 Probabilità L'Assessment Adattivo nella KST La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente 1,00 0,80 0,60 0,40 0,20 0,00 {} {a} {b} {a,b} {a,b,c} Stati di Conoscenza

25 Probabilità Probabilità Probabilità L'Assessment Adattivo nella KST La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente 1,00 0,80 a = 1 1,00 0,80 b =1 1,00 0,80 c = 0 0,60 0,60 0,60 0,40 0,40 0,40 0,20 0,20 0,20 0,00 {} {a} {b} {a,b} {a,b,c} Stati di Conoscenza 0,00 {} {a} {b} {a,b} {a,b,c} Stati di Conoscenza 0,00 {} {a} {b} {a,b} {a,b,c} Stati di Conoscenza

26 Overview 1 La Knowledge Space Theory 2 L'Assessment Adattivo nella KST 3 Knowlab 4 Prospettive Future

27 Knowlab Sistema di intelligenza articiale per la valutazione eciente della conoscenza e dell'apprendimento; sfrutta e implementa i concetti teorici e i modelli matematici della KST; generazione automatica del report di valutazione, suddiviso in: conoscenze acquisite (stato di conoscenza): ciò che uno studente sa; conoscenze da acquisire (complemento dello stato di conoscenza): ciò che uno studente non sa; suggerimenti per lo studio (frangia esterna): ciò che uno studente è pronto ad apprendere. DEMO KnowLab

28 Sperimentazione di Knowlab Procedura e Metodi Costruzione degli oggetti didattici da associare alle abilità 5 Costruzione oggetti didattici da associare alle abilità ? (a. a. 2013/2014) Sperimentazione della procedura adattiva (Somministrazione 2) 4 Sperimentazione della procedura adattiva (Somministrazione 2) 4 argomenti per un totale di 50 item e 30 abilità Costruzione della procedura adattiva computerizzata 3 Costruzione della procedura adattiva computerizzata 335 studenti (a. a. 2012/2013) Validazione empirica dello strumento di valutazione (Somministrazione 1) 2 Validazione empirica dello strumento di valutazione (Somministrazione 1) 286 studenti +? (a. a. 2013/2014) 3 argomenti per un totale di 41 item e 27 abilità Costruzione dello strumento di valutazione (abilità, item, struttura) 1 Costruzione dello strumento di valutazione (abilità, item, struttura) 3 argomenti per un totale di 55 item e 45 abilità PARTE 1 PARTE 2

29 Sperimentazione di Knowlab Alcuni Risultati Livelli di indagine: 1 le strutture di conoscenza (capacità discriminatoria, gradualità); 2 adattamento dei modelli ai dati (t, stime dei parametri); 3 la procedura adattiva (ecienza e accuratezza); 4 risultati aggregati della valutazione individuale (caratteristiche del campione).

30 Sperimentazione di Knowlab La Procedura Adattiva: ecienza Ecienza Numero mediano di item somministrati per individuare lo stato di conoscenza di uno studente. 0.8 SD (Median = 6) 0.8 IPV (Median = 6) Proportion of Administration Proportion of Administration TP (Median = 9) 1 TM (Median = 4) Proportion of Administration Proportion of Administration Number of Items Number of Items

31 Frequenza Frequenza Frequenza Sperimentazione di Knowlab Risultati della valutazione Livello generale raggiunto da un insieme di studenti: Cardinalità Statistiche Descrittive Cardinalità 10 Indici di Posizione e Variabilità Cardinalità Calcolo Combinatorio e Teoria della Probabilità

32 Sperimentazione di Knowlab Risultati della valutazione Individuare gli argomenti, e le relative abilità, che necessitano di ulteriore approfondimento: 1 0,40 0,60 Applicare correttamente la regola di BERNOULLI per calcolare la probabilità di successo di un evento 2 0,82 0,18 Risolvere esercizi elementari che richiedono il CALCOLO DELLE COMBINAZIONI SENZA RIPETIZIONE 3 0,57 0,25 0,18 Risolvere esercizi complessi che richiedono lutilizzo COORDINATO E RIPETUTO delle COMBINAZIONI SENZA RIPETIZIONE 4 0,06 0,19 0,75 Risolvere esercizi complessi che richiedono lutilizzo COORDINATO E RIPETUTO delle DISPOSIZIONI e COMBINAZIONI SENZA RIPETIZIONE 5 0,30 0,70 Risolvere esercizi basilari che richiedono il CALCOLO DELLE DISPOSIZIONI SENZA RIPETIZIONE 6 0,88 0,12 Calcolare la PROBABILITA DI UN EVENTO come rapporto fra esiti favorevoli e esiti totali 7 0,48 0,40 0,12 Calcolare la probabilità congiunta di più eventi non indipendenti, utilizzando la REGOLA DI CONCATENAZIONE 8 0,02 0,11 0,87 Calcolare una probabilità cumulativa, o il suo complemento, in estrazioni senza reinserimento 9 0,23 0,60 0,18 Risolvere esercizi sul calcolo combinatorio, che richiedono l APPLICAZIONE RIPETUTA delle COMBINAZIONI SENZA RIPETIZIONE e la loro somma ST. COMPETENZA OUTER FRINGE RESTANTI

33 Overview 1 La Knowledge Space Theory 2 L'Assessment Adattivo nella KST 3 Knowlab 4 Prospettive Future

34 Prospettive Future migliorare e completare lo strumento di valutazione per il corso di Psicometria; somministrazione adattiva dei contenuti didattici sulla base di valutazioni periodiche dello stato di conoscenza degli studenti (demo); testare l'ecacia di Knowlab sull'apprendimento (test-retest).

35 Alcuni riferimenti bibliograci Doignon, J.P., & Falmagne, J.Cl., (1999), Knowledge Spaces, Springer-Verlag. Doignon, J.P., & Falmagne, J.Cl., (1985), Spaces for the assessment of knowledge, International Journal of Man-Machine Studies, 23(2), Falmagne, J.C., & Doignon, J.P. (2011), Learning spaces, New York: Springer. Albert, D. & Lukas, J. (1999), Knowledge Spaces: Theories, Empirical Research, Applications, Lawrence Erlbaum Associates, Mahwah, NJ. Koppen, M. & Doignon, J.-P. (1990), How to build a knowledge space by querying an expert, Journal of Mathematical Psychology, 34(4), Schrepp, M. & Held, T. (1995), A simulation study concerning the eect of errors on the establishment of knowledge spaces by querying experts, Journal of Mathematical Psychology, 39(4),

36 Alcuni riferimenti bibliograci Falmagne, J.C., & Doignon, J.P. (1988b). A Markovian procedure for assessing the state of a system, Journal of Mathematical Psychology, 32, Koppen, M. (1993), Extracting human expertise for constructing knowledge spaces: An algorithm, Journal of Mathematical Psychology, 37, de Chiusole, D., Anselmi, P., Stefanutti, L., & Robusto, E. (2013). The Gain-Loss Model: bias and variance of the parameter estimates, Electronic Notes in Discrete Mathematics, 42, de Chiusole, D., & Stefanutti, L. (2013). Modeling skill dependence in probabilistic competence structures. Electronic Notes in Discrete Mathematics, 42,

37 Alcuni riferimenti bibliograci de Chiusole, D., Stefanutti, L., Anselmi, P., & Robusto, E. (2013). Assessing parameter invariance in the BLIM: Bipartition Models, Psychometrika, 78(4), Stefanutti, L., & Robusto, E. (2009). Recovering a probabilistic knowledge structure by constraining its parameter space. Psychometrika, 74, Stefanutti, L., Heller, J., Anselmi, P., & Robusto, E. (2012). Assessing local identiability of probabilistic knowledge structures, Behavior Research Methods, 44(4),

38 Gruppo di ricerca (Università degli Studi di Padova): Egidio Robusto Luca Stefanutti Debora de Chiusole Pasquale Anselmi Tiziano Longo