ATutor vs Moodle 1. Sperimentare piattaforme Open Source. Un esempio di applicazione della metodologia Cnipa

Transcript

1 Sperimentare piattaforme Open Source Un esempio di applicazione della metodologia Cnipa ATutor vs 1 Rapporto a cura di: Dott. Andrea Massara Dott.ssa Veronica Mobilio 1 Le versioni dei software utilizzati per il test sono: con il modulo Acollab Come layout grafico è stato utilizzato il template fornito di default al momento dell installazione.

2 Indice: Capitolo 1- La sperimentazione: ATutor vs La selezione delle piattaforme ATutor b Criteri di selezione Conformità agli standard per il contenuto Estensione della comunità e diffusione a livello nazionale Corrispondenza ai requisiti di accessibilità Obiettivi e step della sperimentazione Strumenti di raccolta dati...6 Capitolo 2 - Risultati dei test di usabilità Introduzione Creazione e strutturazione di un corso profilo docente Creazione e strutturazione di una unità didattica profilo docente Creazione e verifica di un questionario di valutazione profilo docente Strutturazione delle attività didattiche profilo tutor Tracciamento profilo tutor Predisposizione dei materiali didattici profilo tutor Fruizione del corso profilo discente Condivisione di documenti profilo discente Partecipazione alle attività didattiche profilo discente Monitoraggio delle attività svolte profilo discente Valutazione dell usabilità percepita Risultati e valutazioni complessive...29 Capitolo 3 - La griglia di valutazione Introduzione Piattaforma tecnologica Strumenti per l'amministrazione Sviluppo e gestione del contenuto Strumenti per l'erogazione didattica Supporto agli standard Strumenti per la comunicazione e l'interazione Strumenti per la produttività Strumenti a disposizione del discente Supporto...38 Capitolo 4 - Valutazioni complessive...39 Appendice 1: caratteristiche degli utenti...40 Appendice 2: composizione globale del campione...41 Appendice 3: scheda di valutazione...42 Appendice 4: questionario SUS...43 Appendice 5: griglia di valutazione

3 Capitolo 1- La sperimentazione: ATutor vs 1.1 La selezione delle piattaforme Nei mesi che vanno da Ottobre 2005 ad Aprile 2006, presso il Cnipa, è stata condotta una sperimentazione volta ad acquisire conoscenze teoriche e pratiche circa le opportunità offerte dalle piattaforme Open Source (OS) per l e-learning. Consci del fatto che l unico modo per conoscere bene un sistema è utilizzarlo, dopo aver analizzato le differenti soluzioni presenti sul mercato, si è scelto di testare sul campo due Learning Management System (LMS): e ATutor ATutor è un LMS nato da un progetto sviluppato nel 2002 con la collaborazione del Centro di Ricerche per le Tecnologie Adattabili dell'università di Toronto. Questo centro è conosciuto a livello internazionale come leader nello sviluppo di tecnologie e standard che assicurino alle persone con disabilità la possibilità di avere accesso alle opportunità fornite dall'e-learning. Questa missione del Centro ha profondamente influenzato lo sviluppo della piattaforma stessa. Schematizzando, anche se la documentazione sul sistema è tutta in inglese, i principali vantaggi di questa piattaforma sono: ambiente integrato per la realizzazione e la gestione dei corsi; possibilità di definire chiavi che facilitano il meccanismo di ricerca che è disponibile su tutto il catalogo; strumenti per l'importazione e l'esportazione degli utenti; possibilità di creare test e tracciare l operato degli attori presenti sulla piattaforma; supporto degli standard SCORM e IMS per il packaging dei contenuti; elevate caratteristiche di usabilità ed accessibilità. 1.1b 3, ovvero Modular Object-Oriented Dynamic Learning Environment, è un progetto nato come tesi di dottorato di uno studente australiano, Martin Dougiamas. L obiettivo del progetto è stato sviluppare un LMS tecnologicamente completo che consentisse di produrre corsi basati su Internet e siti web. Il progetto sviluppato a partire dal 1999 conta oggi su una comunità molto vasta.

4 Una delle caratteristiche principali di rispetto ad altri sistemi è la forte attenzione dedicata agli aspetti pedagogici dell apprendimento mediato dalle tecnologie. L ampiezza della sua comunità di sviluppo, inoltre, assicura qualità e continuità del progetto. Schematizzando, anche se l attenzione dedicata alla conformità alle specifiche sull accessibilità non è alta, i principali vantaggi di questa piattaforma sono: il promuovere una pedagogia costruzionista sociale (basata sulla collaborazione, sulle attività, sulla riflessione critica, ecc.), offrendo un sistema intuitivo e semplice da utilizzare che è, al tempo stesso, flessibile e idoneo per diverse modalità di erogazione della didattica; l ambiente può essere utilizzato a vari livelli di complessità, con una curva di apprendimento molto dolce; l interfaccia browser è a tecnologia non avanzata, semplice, leggera, efficiente e compatibile con altri sistemi. La piattaforma, infine, permette di categorizzare e ricercare i corsi, consente una gestione delle funzionalità a plugin e rilevanti sono le sue misure di sicurezza. 1.2 Criteri di selezione La scelta degli LMS su cui effettuare la sperimentazione è stata effettuata in base a 3 criteri principali: conformità agli standard per il contenuto, estensione della comunità e diffusione a livello nazionale, corrispondenza ai requisiti di accessibilità Conformità agli standard per il contenuto Il rispetto degli standard e delle specifiche internazionali di riferimento per l e-learning (non solo SCORM ma anche IMS, AICC, ecc.) è stato uno dei criteri fondamentali in base ai quali sono state scelte le piattaforme. La compatibilità di un LMS con gli standard internazionali, infatti, è garanzia per chi la adotta di non avere a che fare con un sistema chiuso ma aperto, in grado di dialogare con componenti software di parti terze e di erogare materiali didattici diversi, anch essi compatibili con gli standard. Per raggiungere questi obiettivi di interoperabilità delle piattaforme e interscambiabilità dei contenuti, attualmente molteplici organizzazioni internazionali e nazionali sono al lavoro per la definizione di standard che, per quanto riguarda il contenuto, mirano a definire criteri relativi al formato, al packaging, all organizzazione, alla catalogazione e alla gestione da parte di piattaforme integrate; mentre, per quanto riguarda gli LMS, hanno l obiettivo di individuare specifiche tecniche che consentano il trasferimento dei dati relativi agli utenti. Lo scopo è svincolare l e-learning da qualsiasi limite tecnico che possa ostacolare lo scambio di informazioni. Raggiungere questo obiettivo non è un impresa facile e, ad oggi, di fatto non esiste un unico standard universalmente affermato e riconosciuto in ambito internazionale 2. Per questo motivo la compatibilità di una piattaforma con un numero maggiore di standard offre una garanzia più elevata circa la sua flessibilità ed apertura Estensione della comunità e diffusione a livello nazionale Di fronte alla necessità di adeguarsi a un nuovo modo di operare e all utilizzo di sistemi diversi, anche se con caratteristiche simili, è fondamentale avere la sicurezza circa l esistenza di qualcuno che possa garantire l assistenza e lo sviluppo di questi progetti all interno di contesti d uso differenti. A parte il numero ormai considerevole nel mondo di soggetti che si occupano di tali problematiche, in questo contesto si sono presi come criteri di riferimento la presenza sul territorio nazionale di una pluralità di soggetti che hanno adottato la stessa soluzione tecnologica e l esistenza di una comunità ampia, forte e coesa. Le persone che hanno deciso di utilizzare lo stesso software OS o che partecipano alla comunità di riferimento costituiscono una garanzia perché, in qualche modo, assicurano forme nuove di organizzazione dei processi di apprendimento collettivo 3. Esse, condividendo lo stesso interesse per una data soluzione 2 L unico standard de facto affermatosi in qualche modo a livello internazionale è lo SCORM, Sharable Content Object Reference Model, che rappresenta una serie di direttive promosse da ADL (Advance Distribuite Learning), istituto di emanazione del Dipartimento della difesa statunitense. Scorm è, più precisamente, una collezione di standard, specifiche e raccomandazioni prodotte nel corso di un decennio da altre organizzazioni quali, ad esempio, IMS (Instructional Management System), Global Learning Consortium, IEEE (Institute of Electrical and Electronics Engineers), ARIANCE (Alliance for Remote Instructional Authoring and Distribution Networks for Europe). L obiettivo è costruire un modello di riferimento unificato che consenta tutti i benefici legati all adozione di uno standard: persistenza dei contenuti didattici indipendentemente dal sistema di erogazione, interoperabilità delle piattaforme, accessibilità e riusabilità. 3 Boland R. J., Tenkasi R., Perspective making and perspective taking in communicates of Knowing in Organization Science, vol. 6, n. 4,

5 tecnologica e in armonia con quella che nella letteratura sul tema viene definita la dimensione informativa la dimensione partecipativa di una comunità, sono generalmente ben disposte a condividere informazioni rilevanti e a rispondere a richieste di aiuto o supporto collaborando nello sviluppo del sistema tecnologico di riferimento. Per questi motivi, per una PA che decide di adottare una piattaforma OS è fondamentale avere la sicurezza non solo di un ampia comunità a cui far riferimento, ma anche di società pubbliche o private che, avendo saputo cogliere i vantaggi del mondo e della filosofia OS, siano pronte a fornire supporto e assistenza qualora se ne verifichi il bisogno Corrispondenza ai requisiti di accessibilità La Legge n. 4 del 9 Gennaio 2004, Disposizioni per favorire l accesso dei soggetti disabili agli strumenti informatici, prende in considerazione l accesso degli utenti a tutti i prodotti e le tecnologie informatiche, tenta di promuovere una strategia dell inclusione che consenta di integrarsi nel mondo delle nuove tecnologie e si va a sommare alle linee guida per l accessibilità dei contenuti web introdotte sul piano internazionale nel 1999 dal W3C 4. Ad essa è seguito un regolamento di attuazione che esplicita i requisiti tecnici richiesti e che trova applicazione non solo nei siti web, ma anche in altre tipologie di applicazioni Internet, tra cui le piattaforme e i contenuti e-learning. L informatica, le telecomunicazioni e i nuovi media hanno, da un lato, offerto nuove e importanti possibilità di integrazione sociale per persone non in possesso di tutte le abilità considerate normali ; ma, dall altro, hanno anche posto nuovi problemi di accessibilità 5. Per questo motivo e data l importanza e la sensibilità del tema per una Pubblica Amministrazione, la corrispondenza a tali requisiti è stato il terzo criterio utilizzato per selezionare le piattaforme su cui è stata condotta la sperimentazione. 1.3 Obiettivi e step della sperimentazione La sperimentazione è stata portata avanti attraverso i seguenti step: installazione delle due piattaforme su un server; configurazione del sistema e dell ambiente tecnologico; test delle funzionalità delle due piattaforme; test di usabilità sul campo; analisi e presentazione dei risultati. L obiettivo primario è stato individuare la piattaforma che meglio risponde alle esigenze formative del Cnipa, in particolare, e di una Pubblica Amministrazione, in generale. A tale scopo, in prima battuta, sono state analizzate in profondità le necessità del Cnipa che ha avviato lo studio con lo scopo di individuare la piattaforma migliore per sostituire l attuale sistema di groupware utilizzato dalla sua comunità di utenti con un sistema tecnologico facile da usare quanto il precedente, ma più flessibile e performante. Secondariamente, attraverso un analisi dei dati disponibili sulla diffusione dell e-learning nella PA sono state elaborate tre ipotesi sui contesti e sulle possibili motivazioni che potrebbero portare una Pubblica Amministrazione alla decisione di adottare una piattaforma e-learning OS. In particolare, in questo studio si prendono in analisi tre scenari: Scenario a) denominato Supportare l auto-apprendimento : ci si trova di fronte alla dinamica classica dell e-learning dove vi è un ente erogatore della formazione, un numero variabile di utenti da formare che rappresentano il target di riferimento, un tempo x entro il quale chiudere il progetto e dei contenuti strutturati da fruire in auto-apprendimento. Scenario b) denominato Supportare il blended learning : presenta una situazione in cui è fondamentale il ruolo del tutor. Il progetto di formazione si svolge parte in presenza e parte a distanza, motivo per cui si pone il problema di coordinare i calendari didattici degli eventi previsti e sincronizzare le diverse attività. In questo caso, i tempi e le modalità di fruizione possono essere profondamente differenti, così come i materiali didattici presentati in aula e quelli utilizzati a distanza devono essere complementari o per lo meno correlati tra loro. In questo scenario, è cruciale la gestione dell aspetto cronologico e l organizzazione temporale del progetto, ma l aspetto positivo riguarda il fatto che già esiste un gruppo di persone che si conosce e che ha potuto socializzare in presenza. Scenario c) denominato Supportare una comunità virtuale : presenta la situazione tipica di una comunità virtuale. Le community on line sono una particolare declinazione del concetto di 4 Il W3C ( è un consorzio internazionale, fondato nel 1994 da Tim Berners-Lee - l inventore del World Wide Web - per guidare e stimolare lo sviluppo tecnico del web, definendo protocolli comuni che assicurino l evoluzione congiunta e la compatibilità reciproca di tutte le tecnologie web. 5 Commissione interministeriale permanente per l impiego ICT a favore delle categorie deboli o svantaggiate, La Legge Stanca: i riferimenti tecnici, Quaderno CNIPA n. 4,

6 comunità. Con questo termine si fa riferimento a quelle comunità che nascono e si sviluppano secondo i principi tipici di una comunità, ma interagiscono in uno spazio virtuale mediato elettronicamente. Le comunità virtuali sono, infatti, i luoghi dove si mettono in comune le risorse (la tecnologia), le informazioni (il repertorio), si lavora a distanza (l impresa comune) e si socializza (l impegno). Esse però danno origine a legami deboli di natura connettiva che si sviluppano attraverso le reti telematiche. Per questo motivo è necessario studiare un modello di sviluppo organizzativo e tecnologico di tali comunità che da un lato, consenta loro di beneficiare del network cui appartengono; dall altro, non ne soffochi l autonomia e le dinamiche di sviluppo e funzionamento interno. E stato scelto questo approccio metodologico perché la definizione degli scenari ha un ruolo fondamentale nella descrizione dell interazione tra utenti e sistema e offre un'opportunità non trascurabile per catturare ed individuare in maniera chiara i principali requisiti di un sistema, detti anche richieste fondanti o claims. Dall analisi dei claim, infine, scaturiscono i compiti (task) che sono stati elaborati ed utilizzati per misurare la reale rispondenza dei sistemi presi in analisi ai requisiti individuati in fase di progettazione della sperimentazione. 1.4 Strumenti di raccolta dati Prendendo in considerazione i tre scenari sopra descritti, le due piattaforme sono state valutate e comparate attraverso due strumenti: una griglia di valutazione e una serie di test di usabilità. La griglia è stata progettata e redatta basandosi da un alto, sull analisi dei requisiti fondamentali richiesti dalla sperimentazione; dall altro, attraverso uno studio approfondito e una sintesi dei criteri adottati nelle principali ricerche e studi presenti nella letteratura scientifica sul tema. L obiettivo della griglia che è stata elaborata è permettere di ottenere indici sintetici per ciascuna delle aree di valutazione prese in considerazione (9 macrocategorie composte al loro interno da fattori o items aventi pesi differenti). Essa ha permesso di attribuire un valore a ciascun item, utilizzando una scala di valutazione da 1 a 3. Successivamente, tali punteggi sono stati sottoposti all elaborazione di un foglio di calcolo attraverso il quale si è ottenuto un valore sintetico per ciascuna categoria. In questo modo, ogni piattaforma è stata collocata su una scala ordinata di valori, generale o relativa alle singole categorie. Oltre a questo, si è deciso di testare gli LMS con utenti potenziali con l obiettivo di ottenere indicazioni precise circa i reali difetti del sistema. Considerando l usabilità come la chiave di interpretazione del rapporto tra sistema e utente, si è cercato di misurare la capacità degli LMS presi in considerazione di mediare l interscambio comunicativo con l utente, ovvero la capacità dell artefatto tecnologico di rendere possibili interazioni complesse, senza problemi e senza aver bisogno della mediazione di altri esseri umani più esperti 6. Tale misurazione è stata effettuata attraverso lo svolgimento di 15 test (5 per ciascun profilo: discente, tutor e docente) 7 con utenti - selezionati tra quelli potenziali e in base a variabili specifiche - chiamati a svolgere una serie di compiti stabiliti attraverso l analisi degli scenari presi in considerazione. I test di usabilità che sono stati condotti rientrano nella metodologia della task analysis che permette una rilevazione quantitativa e comparativa delle caratteristiche di usabilità di un sistema. Inoltre tale metodologia è stata arricchita utilizzando l aspetto fondamentale della metodologia nota con il nome di thinking aloud, che consiste nel far verbalizzare agli utenti quello che pensano durante l esecuzione di una attività o di un compito. Il motivo per cui è stata utilizzata anche questa tecnica sta nella volontà di far emergere attraverso i test le logiche di interazione e il modello d uso del sistema da parte dell utente. Le metriche di valutazione dell usabilità utilizzate per i test sono, in armonia con la normativa ISO, efficacia, efficienza e soddisfazione. Tali metriche sono state misurate attraverso: il tempo impiegato dall utente per eseguire un compito; il numero di errori commessi nell esecuzione di un compito e la registrazione delle reazioni dell utente attraverso la trascrizione dei commenti fatti a voce alta durante il test e l elaborazione dei dati raccolti mediante il questionario SUS (System Usability Scale) somministrato al termine del test stesso. Nel prendere in considerazione queste metriche è stata prestata attenzione, inoltre, alla differenza esistente tra i concetti di facilità d uso e facilità di apprendimento. Dopo la conduzione dei test, i dati raccolti sono stati elaborati e sintetizzati. Attraverso questo rapporto si presentano i principali risultati della sperimentazione letti alla luce dei tre scenari ipotizzati. 6 Visciola M., Usabilità dei siti web, Apogeo, Milano, Il numero di test (15 totali, 5 per ciascun profilo) è stato stabilito in armonia con la letteratura sul tema e, in particolare, con quanto affermato da Jacob Nielsen in un recente articolo pubblicato su internet ( Secondo l autore, per i test di usabilità, la soluzione ottimale in termini di costi/benefici è esaminare circa cinque utenti per ogni serie di test e, quindi, per ciascun profilo preso in considerazione. 6

7 Capitolo 2 - Risultati dei test di usabilità 2.1 Introduzione Di seguito vengono illustrati i risultati dei test di usabilità, prendendo in analisi i profili e le categorie relative ai casi d uso presi in analisi: Casi d uso Creazione e strutturazione di un corso Creazione e strutturazione di una unità didattica Creazione e verifica di un questionario di valutazione Strutturazione delle attività didattiche Tracciamento Predisposizione dei materiali didattici Fruizione del corso Condivisione di documenti Partecipazione alle attività didattiche Monitoraggio delle attività svolte Profili Docente Docente Docente Tutor Tutor Tutor Discente Discente Discente Discente Per ciascuna voce elencata e, quindi, per ciascun caso d uso, si descrive in dettaglio come si sono comportate e, osservando i grafici riportati - che evidenziano e mettono a confronto il tempo impiegato e il numero di errori commessi dagli utenti per eseguire lo stesso task sulle due piattaforme analizzate - e gli screenshot relativi alle pagine specifiche implicate nell esecuzione dei task. Dato che la piattaforma scelta sulla base della presente comparazione dovrà essere utilizzata da dipendenti di pubbliche amministrazioni, caratterizzati da disomogeneità di competenze informatiche e da scarsa motivazione, l accento è stato posto sulle caratteristiche relative alla facilità di apprendimento e alla facilità d uso dei sistemi, misurate attraverso la quantificazione del tempo impiegato e del numero di errori effettuati nell eseguire i task prescritti. 7

8 2.1.1 Creazione e strutturazione di un corso profilo docente Nell esecuzione del task, si dimostra più semplice e veloce da utilizzare (cfr. Fig. 1), mentre risulta più complesso sia per il maggior numero di parametri da impostare, sia per una distribuzione dei comandi dalla comprensione non immediata che ha generato negli utenti qualche confusione. In particolare, durante l esecuzione del test su quest ultima piattaforma, è stato notato un uso ricorrente e costante da parte dell utente al sistema di help (cfr. Fig. 2), nel tentativo di reperire informazioni utili allo svolgimento delle operazioni richieste. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 1: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di un corso 8

9 Figura n. 1: Pagina per la creazione di un nuovo corso Figura n. 2: Pagina per la creazione di un nuovo corso 9

10 2.2.2 Creazione e strutturazione di una unità didattica profilo docente Per entrambe le piattaforme è stata verificata una esecuzione difficoltosa del task. Per il problema principale è rappresentato dalla comprensione della procedura di caricamento degli oggetti SCORM soprattutto in relazione al fatto che l upload del pacchetto SCORM consente solo di caricare il file sul server, mentre gli utenti hanno evidenziato come ci si aspettasse che i contenuti caricati fossero già visibili subito dopo l upload senza la necessità del secondo passaggio per collegare il corso creato al file caricato (cfr. Fig. 4). Per la presenza della sezione Archivi (che consente esclusivamente di caricare e non di gestire un pacchetto SCORM) ha generato confusione ed errori (cfr. Fig. 3). Una volta compresa la corretta procedura di inserimento dei file, si è dimostrata più completa ed intuitiva di anche se, come è possibile vedere attraverso i grafici riportati di seguito, il collo di bottiglia iniziale ne ha penalizzato fortemente le prestazioni. Per quanto riguarda l articolazione dei materiali si segnala l impossibilità, su, di utilizzare i singoli oggetti SCORM come unità di contenuto da utilizzare insieme ad altre pagine prodotte con l editor della piattaforma. Questa criticità ha imposto di utilizzare degli stratagemmi (come, ad esempio, la creazione di pagine html con link all indirizzo web del singolo oggetto SCORM) che hanno generato molti errori e, soprattutto, un risultato, in termini didattici, assolutamente non efficace. Da questo punto di vista, l utilizzo di risulta sicuramente più performante. In ultimo, si segnala che, per entrambe le piattaforme, questo task ha richiesto conoscenze di basi di html per poter agire con sicurezza. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 2: Facilità d'uso (efficacia ed efficienza) nella creazione e strutturazione di una unità didattica 10

11 Figura n. 3: Pagina di gestione del corso Figura n. 4: Pagina per l importazione di un contenuto Scorm 11

12 2.2.3 Creazione e verifica di un questionario di valutazione profilo docente Entrambe le piattaforme si sono dimostrate molto veloci ed intuitive nell esecuzione di questo task, anche se il maggior numero di impostazioni presenti su ha determinato un tempo di realizzazione del task più elevato (cfr. Fig. 6). L estrema praticità di, invece, viene penalizzata dall impossibilità di impostare meccanismi di feedback più elaborati rispetto alla semplice segnalazione della risposta corretta (cfr. Fig. 5). In definitiva, le potenzialità di, anche se rallentano l esecuzione, permettono di creare test didatticamente molto efficaci senza generare particolari incomprensioni o errori (anche grazie alla presenza dell help contestuale per ogni voce). Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 3: Facilità d'uso (efficacia ed efficienza) nella creazione e verifica di un questionario di valutazione 12

13 Figura n. 5: Pagina per la creazione di un test Figura n. 6: Pagina per la creazione di un test 13

14 2.2.4 Strutturazione delle attività didattiche profilo tutor si dimostra più intuitivo di nell esecuzione di questo task sia per una disposizione dei comandi che permette un minor numero di passaggi (cfr. Fig. 8), sia per una maggiore integrazione e visibilità delle funzionalità., invece, è penalizzato da un livello di integrazione ancora non efficace con il modulo Acollab (cfr. Fig. 7) che genera confusione soprattutto durante il primo approccio con il sistema e con il task richiesto. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 4: Facilità d'uso (efficacia ed efficienza) nella Strutturazione delle attività didattiche 14

15 Figura n. 7: Pagina per la creazione di un nuovo evento Figura n. 8: Comandi necessari all esecuzione del task Strutturazione delle attività didattiche 15

16 2.2.5 Tracciamento profilo tutor si dimostra decisamente più veloce ed intuitivo di nonostante presenti funzionalità più complesse. Durante l esecuzione del test, per viene molto apprezzata la modalità di concentrazione dei dati in un unica sezione (cfr. Fig. 10) che permette una lettura complessiva delle attività svolte con una sorta di effetto panoramica molto utile, oltre al fatto di generare un numero di errori trascurabile. Per, invece, è necessario spostarsi in tre sezioni (cfr. Fig. 9) per poter avere un quadro delle attività svolte. Questa lettura frazionata genera sia errori nell individuazione della giusta sezione dove reperire l informazione, sia un tempo di esecuzione del task decisamente superiore. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 5: Facilità d'uso (efficacia ed efficienza) nel Tracciamento 16

17 Figura n. 9: - Comandi necessari all esecuzione del task Tracciamento Figura n. 10: Pagina di visualizzazione delle statistiche 17

18 2.2.6 Predisposizione dei materiali didattici profilo tutor, grazie all utilizzo del modulo Acollab (cfr. Fig. 11), risulta essere molto più intuitivo e veloce nell esecuzione di questo task in quanto riesce a concentrare e a rendere più visibili le operazioni da compiere., invece, è penalizzato da una eccessiva laboriosità che genera molti errori (cfr. Fig. 12). Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 6: Facilità d'uso (efficacia ed efficienza) nella Predisposizione dei materiali didattici 18

19 Figura n. 11: Pagina per il caricamento di file in cartelle private e/o pubbliche Figura n. 12: Pagina per il caricamento di file in cartelle 19

20 2.2.7 Fruizione del corso profilo discente risulta essere più intuitivo di nell esecuzione di questo task soprattutto per una impostazione dell interfaccia (cfr. Fig. 13) che consente una visione più immediata dei comandi e una lettura d insieme più veloce ed efficace., invece, decontestualizza completamente la fruizione delle unità didattiche (cfr. Fig. 14) non permettendone l integrazione con gli altri contenuti ed attività presenti sulla home page del corso. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 7: Facilità d'apprendimento (efficacia ed efficienza) nella Fruizione del corso 20

21 Figura n. 13: Pagina per la fruizione del corso Figura n. 14: Pagina per la fruizione del corso 21

22 2.2.8 Condivisione di documenti profilo discente risulta nettamente superiore nell esecuzione di questo task grazie al modulo Acollab che, nonostante un approccio iniziale abbastanza ostico, permette di accentrare le funzionalità e supportare correttamente le dinamiche di groupware (cfr. Fig. 15)., invece, è penalizzato dalla dispersione delle funzionalità che genera confusione ed errori e, soprattutto, dalla mancanza di un sistema per la gestione, anche condivisa, dei file. Ad oggi è necessario servirsi del forum per poter scambiare file con gli altri membri della comunità (cfr. Fig. 16) con la conseguente impossibilità di gestire e strutturare questo processo e con la difficoltà, per i discenti, di utilizzare al meglio questo aspetto. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 8: Facilità d'apprendimento (efficacia ed efficienza) nella Condivisione di documenti 22

23 Figura n. 15: Pagina per il caricamento di un file da parte del discente Figura n. 16: Pagina per il caricamento di un file da parte del discente 23

24 2.2.9 Partecipazione alle attività didattiche profilo discente risulta essere più veloce ed intuitivo di in quanto permette di visualizzare contemporaneamente la maggior parte delle informazioni necessarie alla realizzazione di questo task (cfr. Fig. 18). Questa impostazione genera una buona rapidità di esecuzione ed è stata molta apprezzata durante l esecuzione del test., invece, è penalizzato dal dualismo che genera la presenza del modulo Acollab ancora non perfettamente integrato nei meccanismi della piattaforma (cfr. Fig 17). Ancora una volta, comunque, superato l impatto iniziale, Acollab permette di svolgere egregiamente le operazioni richieste. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 9: Facilità d'apprendimento (efficacia ed efficienza) nella Partecipazione alle attività didattiche 24

25 Figura n. 17: Homepage di Acollab Figura n. 18: Homepage di 25

26 Monitoraggio delle attività svolte profilo discente si dimostra più intuitivo nel concentrare la visualizzazione dei dati in un unica sezione (cfr. Fig. 20), dando la possibilità al discente di monitorare con estrema precisione e dovizia di dati l intera gamma delle attività svolte. costringe il discente ad una lettura dei dati distribuita (contenuti, test, ecc.) e quindi meno agevole ed intuitiva. Inoltre, la sezione Statistiche Personali (cfr. Fig. 19) è focalizzata soprattutto sui dati relativi alla fruizione delle singole pagine di contenuto e non riesce ad evidenziare l insieme delle attività svolte. Tempo impiegato nel completamento del task (in min) Numero di errori fatti nell esecuzione del task Grafico 10: Facilità d'apprendimento (efficacia ed efficienza) nel Monitoraggio delle attività svolte 26

27 Figura n. 19: Pagina Statistiche Personali Figura n. 20: Pagina Rapporto delle attività 27

28 2.3 Valutazione dell usabilità percepita Una volta terminato il test di usabilità è stato somministrato un questionario per la valutazione dell usabilità percepita (per maggiori informazioni cfr. Appendice 4: questionario SUS ). L elaborazione dei dati mostra come venga percepito complessivamente come un sistema più semplice ed intuitivo da utilizzare; come uno strumento dotato di un feeling maggiore e che necessita di minor pratica per essere utilizzato al meglio. Si ritiene, comunque, che buona parte del vantaggio di rispetto ad nella percezione degli utenti sia dovuto alla integrazione parziale del modulo Acollab che ha generato molta confusione e che è stato percepito come una sorta di sistema nel sistema difficile da gestire. Valutazione dell'usabilità percepita (in %) Grafico 11: Facilità d apprendimento e soddisfazione nell'utilizzo delle 2 piattaforme 28

29 2.4 Risultati e valutazioni complessive Effettuati i test ed analizzati i risultati task per task si è cercato di leggere in maniera traversale i dati raccolti attraverso i test di usabilità. Considerando il tempo impiegato nel completamento dei task come indicatore dell efficienza del sistema (cfr. grafico n. 12) e il numero di errori effettuati come indicatore dell efficacia dello stesso (cfr. grafico n. 13), è possibile affermare che nessuna delle due piattaforme predomina in maniera netta sull altra. Tempo impiegato nel completamento del task (in min) Monitoraggio delle attività svolte Partecipazione alle attività didattiche Condivisione di documenti Fruizione del corso Predisposizione dei materiali didattici Tracciamento Strutturazione delle attività didattiche Creazione e verifica di un questionario di valutazione Creazione e strutturazione di una unità didattica Creazione e strutturazione di un corso Grafico 12: Sintesi tempo impiegato nell esecuzione dei task 29

30 Numero di errori fatti nell esecuzione del task Monitoraggio delle attività svolte Partecipazione alle attività didattiche Condivisione di documenti Fruizione del corso Predisposizione dei materiali didattici Tracciamento Strutturazione delle attività didattiche Creazione e verifica di un questionario di valutazione Creazione e strutturazione di una unità didattica Creazione e strutturazione di un corso Grafico 13: Sintesi numero di errori effettuati nell esecuzione dei task In generale è possibile sostenere che il campione di utenti preso in considerazione ha mostrato di trovare difficoltà maggiori laddove gli strumenti e le funzionalità delle due piattaforme erano nascosti, annidati l uno dentro l altro o distribuiti spazialmente e quindi difficilmente individuabili dal punto di vista visivo. L interazione ideale è quella che si verifica in un sistema in cui gli strumenti sono raggruppati non solo da un punto di vista spaziale (collocazione dei comandi sull interfaccia), ma anche e soprattutto dal punto di vista relativo all omogeneità e alla effettiva correlazione delle funzionalità. I risultati dei test, inoltre, possono essere letti anche dal punto di vista dei parametri relativi alla facilità d uso e alla facilità di apprendimento 8. Dalle analisi dei dati raccolti, mentre ATutor è più efficace dal punto di vista della facilità d uso (lato docente e tutor), risulta più efficace per quanto riguarda la facilità di apprendimento (lato discente). Questo risultato è rafforzato anche dai dati relativi all usabilità percepita dagli utenti e misurata attraverso il questionario SUS (cfr. Appendice 4: questionario SUS ). La maggiore facilità d uso di è dovuta alla sua impostazione decisamente tradizionale (cfr. Fig. 21) con il menu principale orizzontale che racchiude tutte le funzionalità fondamentali e con la colonna di destra che visualizza gli strumenti più utili durante la fruizione (navigazione dei contenuti, motore di ricerca, voci di glossario, ecc.). Questa struttura permette una rapida memorizzazione dei comandi e, soprattutto, un ottima contestualizzazione delle attività e dei contenuti che risultano sempre compresi in un area ( Area di fruizione in Fig. 21) delimitata dal menu principale e dalla colonna degli strumenti. Da questo punto di vista, come più volte evidenziato, subisce una penalizzazione a causa dell integrazione ancora non efficace con Acollab, la cui logica di utilizzo è quella di uno strumento standalone che genera delle interazioni sovrapposte e quindi non coordinate a quelle praticate su. 8 La facilità d uso si focalizza sull utilizzo del sistema da parte di utenti esperti, ovvero i profili relativi a docente e tutor; mentre la facilità di apprendimento riguarda gli utenti con poca esperienza, ovvero il profilo discente. 30

31 Figura n. 21: Homepage La maggior efficacia di per quanto riguarda la facilità di apprendimento è dovuta, invece, proprio alla sua struttura modulare o a blocchi (cfr. Fig. 22) che permette di raggruppare comandi e funzionalità sia spazialmente, che concettualmente. Il discente, quindi, dispone di una mappatura completa dei contenuti e delle informazioni rilevanti e può coordinare in maniera immediata le operazioni relative ad attività di comunicazione e collaborazione con gli altri membri della comunità. Questa impostazione presenta comunque alcune criticità dovute al fatto che, cliccando sui comandi di ogni blocco, si entra in sezioni dove le funzionalità sono visualizzate in maniera indipendente dal resto dell interfaccia e, quindi, decontestualizzate. Questo meccanismo comporta una interazione incentrata sul navigatore che visualizza il percorso effettuato (es. Categoria del corso> Nome del corso> Calendario) e che può generare confusione ed errori nell individuazione dei contenuti desiderati. 31

32 Figura n. 22: Homepage In conclusione, è importante sottolineare che quanto affermato deriva non solo dall analisi dei dati raccolti e relativi al numero di errori e al tempo impiegato per l esecuzione dei task, ma anche dai commenti e dalle indicazioni fornite dagli utenti durante lo svolgimento dei test e dalle valutazioni finali effettuate dal team che ha realizzato il benchmark. 32

33 Capitolo 3 - La griglia di valutazione 3.1 Introduzione La griglia di valutazione è stata progettata basandosi sull analisi dei requisiti fondamentali richiesti dalla sperimentazione con l obiettivo di identificare i criteri e gli aspetti principali coinvolti nell utilizzo di una piattaforma LMS. Essa è stata ottenuta, inoltre, attraverso uno studio approfondito e una sintesi dei criteri adottati nei seguenti studi e ricerche: Benchmark di piattaforme e-learning realizzato da Andrea Massara, Antonella Pizzaleo, Giorgio Venturi per il Ministero degli Affari Esteri nell ambito del progetto ITENETS; Griglia di analisi utilizzata da Brandon Hall Research ( Studio sull adozione di un sistema E-LEARNING per la pubblica Amministrazione realizzato dalla Dr.ssa Marzia Lavinia Frezza, Unità Tecnica Finanza di Progetto Marzo 2005; Benchmark effettuato da: società 3waynet per il "Commonwealth of Learning"; Benchmark effettuato per: OPENSOURCE COURSEWARE da Rob Reynolds della società Xplana; Benchmark effettuato per: SELECTION OF AN OPENSOURCE VIRTUAL LEARNING ENVIRONMENT FOR UNIVERSITAT JAUME I dal CENT; Benchmark effettuato per: SIGOSEE - JOIN PROJECT nell ambito del progetto Join; Benchmark effettuato per: dalla Western Cooperative for Educational Telecommunications, (WCET) un unione di università e esperti del settore; Benchmark effettuato da: e-learning Lab, Università di Bologna. L obiettivo principale della griglia elaborata è permettere di ottenere indici sintetici per ciascuna delle aree di valutazione prese in considerazione: 1. piattaforma tecnologica; 2. strumenti per l'amministrazione; 3. sviluppo e gestione del contenuto; 4. strumenti per l'erogazione didattica; 5. supporto agli standard; 6. strumenti per la comunicazione e l'interazione; 7. strumenti per la produttività; 8. strumenti a disposizione del discente; 9. supporto. Per una descrizione approfondita del significato di ciascuna categoria di analisi, consultare il rapporto sulla metodologia. Gli items compresi all interno di ciascuna area di valutazione sono consultabili nel Appendice 3: griglia di valutazione. 33

34 3.1.1 Piattaforma tecnologica Fattori relativi a caratteristiche tecniche, come il supporto di diversi tipi di server e/o database o a caratteristiche di progettazione del sistema, come la modularità, la portabilità e la flessibilità di integrazione. In generale, queste caratteristiche sono di fondamentale importanza per valutare la qualità del sistema da un punto di vista tecnologico, di sviluppo e scalabilità. In questa categoria e Autor offrono prestazioni simili, anche se presenta una flessibilità maggiore per i requisiti lato server ed una migliore modularità nella scrittura del codice. Insufficiente sufficiente ottimale Grafico 14: comparazione della piattaforma tecnologica Strumenti per l'amministrazione Fattori relativi a caratteristiche che permettono di gestire efficacemente le procedure di accesso al sistema e la customizzazione grafica, la modularità del sistema dei ruoli e dei permessi e i processi legati alla gestione delle competenze e della relativa certificazione. Anche per questa categoria le prestazioni sono molto simili e anche qui offre alcuni vantaggi legati sia alle procedure di autenticazione, sia alla gestione delle competenze acquisite durante la fruizione didattica. Entrambe le piattaforme sono carenti per quanto riguarda la certificazione delle attività svolte. Insufficiente sufficiente ottimale Grafico 15: comparazione degli strumenti per l'amministratore 34

35 3.1.3 Sviluppo e gestione del contenuto Fattori relativi alle potenzialità della piattaforma in termini di creazione (authoring) e gestione (management) del contenuto. Vengono valutati attentamente gli aspetti relativi alla condivisione e al riuso del contenuto, alla capacità di creare percorsi di apprendimento e alle modalità di archiviazione. In questa categoria, si dimostra superiore a sia per quanto riguarda la creazione e la gestione del contenuto, sia soprattutto per le modalità di archiviazione del contenuto., inoltre, presenta alcune funzionalità di creazione di percorsi didattici più efficaci rispetto ai requisiti fondamentali individuati per questa sperimentazione. Insufficiente sufficiente ottimale Grafico 16: comparazione dello Sviluppo e gestione del contenuto Strumenti per l'erogazione didattica Fattori rilevanti nel processo di erogazione didattica come la gestione dei corsi, il sistema di help, gli strumenti per la valutazione in itinere e complessiva, la capacità di gestire gruppi di lavoro e la reportistica. si dimostra nettamente superiore ad per quanto concerne gli strumenti e le funzionalità relative alle modalità di erogazione della didattica. Oltre a ciò, è importante evidenziare come presenti anche un vantaggio significativo per quanto riguarda gli strumenti per la valutazione e per il monitoraggio delle attività svolte da singoli utenti o gruppi di lavoro. Insufficiente sufficiente ottimale Grafico 17: comparazione degli Strumenti per l'erogazione didattica 35

36 3.1.5 Supporto agli standard Fattori relativi agli standard di e-learning e di accessibilità supportati. In questa categoria presenta una superiorità schiacciante rispetto a, soprattutto per quanto riguarda il recepimento dei requisiti legati all accessibilità. Insufficiente sufficiente ottimale Grafico 18: comparazione del supporto agli standard Strumenti per la comunicazione e l'interazione Fattori relativi agli strumenti di supporto ai processi di comunicazione e interazione all interno della piattaforma con particolare attenzione alle caratteristiche del forum, del sistema di messaggistica interna e alle procedure di scambio dei file. In questa categoria mostra un leggero vantaggio dovuto, soprattutto, al modulo Acollab che permette di gestire in maniera accentrata gli strumenti di supporto alle attività di comunicazione e interazione all interno della comunità. è carente nella gestione dello scambio dei file anche se, per quanto riguarda le altre funzionalità, può essere considerato allo stesso livello di. Insufficiente sufficiente ottimale Grafico 19: comparazione degli Strumenti per la comunicazione e l'interazione 36

37 3.1.7 Strumenti per la produttività Fattori che supportano le attività di lavoro quotidiano sul sistema come le funzionalità di ricerca, la scansione temporale attraverso il calendario e il monitoraggio costante dell avanzamento del lavoro svolto. In questa categoria mostra un leggero vantaggio legato alle funzionalità di ricerca mentre, sostanzialmente, si equivale con per quanto riguarda gli altri aspetti valutati. Insufficiente sufficiente ottimale Grafico 20: comparazione degli Strumenti per la produttività Strumenti a disposizione del discente Fattori relativi agli strumenti che il discente utilizza per adeguare l interfaccia alle proprie esigenze, per strutturare le proprie attività e per relazionarsi con gli altri membri della comunità. In questa categoria ed si equivalgono anche se è leggermente avvantaggiato dal fatto che la filosofia con cui è costruito permette una integrazione coerente degli strumenti a disposizione del discente; mentre Autor è penalizzato da una integrazione ancora insufficiente del modulo Acollab. Insufficiente sufficiente ottimale Grafico 21: comparazione degli Strumenti a disposizione del discente 37

38 3.1.9 Supporto Fattori relativi alle potenzialità di evoluzione del sistema legate alla comunità degli sviluppatori, a una ampia adozione in organizzazioni simili e alla disponibilità di partners commerciali. In questa categoria il vantaggio di viene spiegato dalla presenza di una comunità di sviluppo più ampia e variegata e da una diffusione presso organizzazioni ed enti più proficua nel medio termine. Insufficiente sufficiente ottimale Grafico 22: comparazione del supporto 38

39 Capitolo 4 - Valutazioni complessive A conclusione della sperimentazione, si sintetizzano i risultati complessivi ottenuti attraverso la raccolta delle informazioni generali e l analisi dei dati relativi alla griglia di valutazione e ai test di usabilità. Dato che l obiettivo della sperimentazione è stato individuare la piattaforma che meglio risponde alle esigenze formative del CNIPA, in particolare, e di una Pubblica Amministrazione in generale, si riportano le valutazioni complessive alla luce dei tre scenari di analisi presi in considerazione: Scenario a) - Supportare l autoapprendimento Scenario b) - Supportare il blended learning Scenario c) - Supportare una comunità virtuale In particolare: a) Per lo scenario supportare l auto-apprendimento la piattaforma che meglio risponde alle esigenze tipiche di un corso di formazione erogato completamente a distanza e in autoapprendimento è. Il motivo sta nel fatto che, dal punto di vista della creazione e gestione del contenuto, la piattaforma permette di creare una libreria di oggetti compatibile con gli standard relativi sia all e-learning, che all accessibilità e perfettamente integrabili con gli strumenti di authoring interni. Inoltre, dal punto di vista della fruizione da parte dell utente, essa permette una integrazione efficace dei diversi oggetti didattici presenti in un corso a distanza: learning object, glossario, test di valutazione, ecc. In aggiunta offre funzionalità di ricerca efficaci ed estese a tutto il contenuto che consentono di effettuare una ricerca trasversale come se l utente si trovasse all interno di una vera e propria libreria digitale. b) Per lo scenario supportare il blended learning la piattaforma più adeguata è perché riesce a soddisfare pienamente le dinamiche relative alla sincronizzazione di un flusso eterogeneo di eventi didattici e alla integrazione delle attività svolte in presenza e/o a distanza. Inoltre, nonostante l esistenza per questo scenario di materiali didattici di diversa natura utilizzati in situazioni differenti, la piattaforma consente di organizzarli e gestirli in maniera integrata e complementare offrendo all utente la possibilità di individuare facilmente le relazioni e la natura del materiale didattico che ha a disposizione. In aggiunta, la piattaforma consente di gestire ed organizzare una attività di tutoring efficiente e modulabile, tarando gli interventi di assistenza e di tutoraggio in maniera didatticamente significativa a seconda degli utenti, delle situazioni e dei contesti. c) Per lo scenario supportare una comunità virtuale, infine, le due piattaforme sembrano equivalersi utilizzando, però, delle prospettive diverse. permette un tracciamento delle attività completo e aderente alle esigenze individuate per questo scenario (i dati vengono accentrati in un unica sezione, sono più leggibili e di conseguenza è più facile supportare le dinamiche tipiche di una comunità on line). La piattaforma, inoltre, è costruita secondo una filosofia costruttivista, pensata per supportare e favorire le relazioni a distanza tra tutti i membri di una comunità. Sotto questo punto di vista,, attraverso un interfaccia intuitiva e semplice da utilizzare, agevola ed aiuta gli utenti a creare e gestire le relazioni attraverso l uso di strumenti di comunicazione e collaborazione differenti., invece, supporta in maniera efficace le dinamiche di una comunità virtuale al pari di quanto garantito da ma lo fa attraverso moduli aggiuntivi (in particolare il modulo ACollab), la cui non ancora perfetta integrazione nella piattaforma penalizza sia il tracciamento delle attività, che la facilità d uso da parte degli utenti che non hanno una particolare esperienza nell utilizzo di queste tecnologie e si avvicinano per la prima volta a questo strumento. 39

40 Appendice 1: caratteristiche degli utenti Profilare il target di un sistema e selezionare il campione su cui condurre l analisi costituisce l 80% della qualità di un test di usabilità. Per questo motivo, di seguito si descrive la composizione del campione su cui è stata condotta la sperimentazione. Il campione, di quindici utenti (5 per ciascun profilo), è stato individuato sulla base di un processo di scrematura di 30 utenti, opportunamente profilati in seguito ad una analisi effettuata dal team volta a valutare i parametri individuati attraverso la fase di definizione dei requisiti e dei contesti d uso su cui si è basata la sperimentazione. I soggetti su cui è stato condotto il test sono stati selezionati in base a fattori generici quali il sesso e l età e a fattori specifici quali il livello di esperienza nell uso del computer e il livello di esperienza con i sistemi presi in esame (che in fase di definizione e progettazione del test si è ritenuto dovesse essere pari a zero). Il campione così determinato è stato sottoposto al test. Di seguito ogni utente viene definito attraverso un numero progressivo, da uno a quindici: i nomi reali sono stati chiaramente omessi, per motivi di privacy. Vengono quindi descritte: le caratteristiche di ciascun utente, all interno di una matrice; la composizione complessiva del campione per sesso, età, attitudine ed esperienza nell uso del computer e, in particolare, di internet. Tabella: Matrice degli utenti valutati Utenti M/F Età Esperienza nell uso del computer Ruolo associato Utente 1 F 1 2 Discente Utente 2 F 1 2 Discente Utente 3 M 2 4 Docente Utente 4 F 1 3 Tutor Utente 5 F 2 3 Docente Utente 6 M 2 2 Discente Utente 7 M 2 2 Discente Utente 8 M 2 3 Tutor Utente 9 F 3 3 Tutor Utente 10 F 3 2 Discente Utente 11 M 3 4 Tutor Utente 12 F 2 3 Tutor Utente 13 M 3 3 Docente Utente14 F 3 3 Docente Utente15 M 2 4 Docente Legenda: variabile Età anni anni anni 56 + anni - Esperienza nell uso del computer Bassa Medio bassa Media Medio alta Alta 40