Verifica e convalida. Processo di valutazione: quando? Test di usabilità: quando? Progettazione partecipativa. Il costo delle modifiche

Transcript

1 Verifica e convalida La valutazione dell usabilita Verifica Convalida = Valutazione progettazione in del modo prodotto corretto corretto del prodotto verifica l usabilità e la funzionalità di un sistema valuta sia il design sia l implementazione divario di formalità la convalida si basa su strumenti soggettivi di prova Vincoli e requisiti del mondo reale Divario di formalità Presentazione Informatica applicata alla Psicologia 2 Processo di valutazione: quando? NO fase isolata eseguita al termine del ciclo di sviluppo eseguita se avanza tempo SI eseguita durante tutto il ciclo di sviluppo Presentazione Informatica applicata alla Psicologia 3 Test di usabilità: quando? Requisiti Funzioni Qui è troppo tardi! Design Sviluppo Test Waterfall model of software development Rilascio Presentazione Informatica applicata alla Psicologia 4 costo delle modifiche Il costo delle modifiche SVILUPPO RILASCIO USO t Progettazione partecipativa Gli sviluppatori lavorano con gli utenti, in modo iterativo che cosa vogliono gli utenti? come pensano gli utenti? come gli utenti interagiscono col sistema? il sistema è gradito? Il sistema viene realizzato per approssimazioni successive Presentazione Informatica applicata alla Psicologia 5 Presentazione Informatica applicata alla Psicologia 6 1

2 Obiettivi della valutazione determinare le funzionalità del sistema devono coincidere con i requisiti del task devono essere chiaramente percepibili misurare l impatto del progetto sull utente facilità di apprendimento usabilità (sovra-utilizzo dell utente) individuare problemi di progettazione aspetti del progetto che producono risultati inaspettati o confusione Presentazione Informatica applicata alla Psicologia 7 Modalità di valutazione Ci sono tre classi di tecniche diverse: 1. Usability inspection 2. Usability test 3. Usability inquiry Per una sintesi dei metodi, cfr. The Usability Methods Toolbox, in: Presentazione Informatica applicata alla Psicologia 8 Usability inspection: valutare il progetto Usability test: valutare l implementazione Esperti di usabilità, sviluppatori software esaminano gli aspetti legati alla usabilità della interfaccia utente del sistema Metodi usati in vari momenti durante la progettazione e la realizzazione del sistema Possono far riferimento a guidelines formalizzate Presentazione Informatica applicata alla Psicologia 9 Utenti campione usano il sistema eseguendo compiti tipici in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni Presentazione Informatica applicata alla Psicologia 10 Usability Inquiry Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti o osservandoli durante l uso reale Valutazione attraverso l analisi di esperti Walkthrough Euristica Basata su modelli Basata su risultati precedenti Presentazione Informatica applicata alla Psicologia 11 Presentazione Informatica applicata alla Psicologia 12 2

3 Il walkthrough cognitivo Proposto da Polson et al. valuta quanto il design supporta l utente nell imparare ad usare il sistema l esperto esamina il design per identificare potenziali problemi analisi basata su questionari Presentazione Informatica applicata alla Psicologia 13 Per ogni compito il walkthrough considera: quale impatto avrà l interazione sull utente? quali processi cognitivi sono obbligatori? quali problemi di apprendimento possono verificarsi? L analisi si concentra sugli obiettivi e sulla conoscenza: il design porta l utente a generare obiettivi corretti? Presentazione Informatica applicata alla Psicologia 14 Materiale per effettuare un walkthrough 1. Una descrizione del sistema 2. Una descrizione del compito che l utente deve eseguire sul sistema scegliere un compito rappresentativo 3. Una lista completa delle azioni necessarie per portare a termine il compito con il dato prototipo 4. Indicazioni sugli utenti e sul tipo di conoscenze ed esperienze che essi possiedono Presentazione Informatica applicata alla Psicologia 15 Rispondere alle seguenti domande per ogni passo della sequenza 3: L utente cercherà di produrre ciò che l azione consente? L utente può accedere all azione corretta? Una volta trovata l azione corretta, l utente sa che è quella che gli permette di ottenere ciò che vuole? Dopo aver svolto l azione, l utente comprende il risultato che ottiene? Presentazione Informatica applicata alla Psicologia 16 La valutazione euristica Proposta da Nielsen e Molich. Giudica un sistema usando un insieme di regole o principi (euristiche) Il design è esaminato da esperti per vedere se i criteri vengono violati La valutazione euristica verifica la correttezza del design Usata su progetti in fase iniziale Condotta da diversi valutatori in modo indipendente Presentazione Informatica applicata alla Psicologia 17 1 valutatore diagnostica il 35% dei problemi 5 valutatori diagnosticano il 75% dei problemi >5: troppo caro! Quanti valutatori? Presentazione Informatica applicata alla Psicologia 18 3

4 ...in un caso particolare problems found benefits / cost Rif.: Why you only need to test with 5 users Processo di valutazione euristica Gli esperti navigano nell'interfaccia più volte esaminano aspetti statici e di comportamento li confrontano con i principi di usabilità considerano altri principi che gli vengono in mente Principi di usabilità le euristiche di Nielsen ulteriori euristiche specifiche per l'applicazione Propongono delle soluzioni ai problemi incontrati Presentazione Informatica applicata alla Psicologia 19 Presentazione Informatica applicata alla Psicologia 20 Euristiche searching database for matches H1: Fornire visibilità sullo stato del sistema informare gli utenti di quello che sta succedendo esempio: tempi di risposta 0.1 sec: non servono indicatori (reazione immediata) 1.0 sec: l'utente nota il ritardo ma il suo flusso di ragionamento non viene interrotto 10 sec: tempo massimo per conservare l'attenzione dell'utente oltre usare barre di caricamento Presentazione Informatica applicata alla Psicologia 21 H2: Corrispondenza tra sistema e mondo reale parlare il linguaggio dell'utente usare convenzioni del mondo reale Presentazione Informatica applicata alla Psicologia 22 H4: Consistenza e standard H3: Favorire il controllo dell'utente e la sua libertà facilitare il recupero di errori, undo, redo non vincolare in percorsi prefissati Presentazione Informatica applicata alla Psicologia 23 Presentazione Informatica applicata alla Psicologia 24 4

5 H5: Prevenire gli errori H6: Agevolare il riconoscimento piuttosto che il ricordo rendere gli oggetti, le azioni e le opzioni visibili o facilmente rintracciabili Presentazione Informatica applicata alla Psicologia 25 Edit Cut Copy Paste H7: Agevolare la flessibilità e l'efficienza di uso acceleratori per esperti (e.g., shortcuts) consentire la personalizzazione di azioni frequenti (e.g., macro) Presentazione Informatica applicata alla Psicologia 26 H8: Design gradevole e minimalista evitare informazioni irrilevanti nei dialoghi Presentazione Informatica applicata alla Psicologia 27 H9: Fornire mezzi per il riconoscimento e la correzione degli errori usare linguaggio chiaro per i messaggi di errore indicare il problema in modo preciso fornire una soluzione costruttiva Presentazione Informatica applicata alla Psicologia 28 H10: Fornire help e manuali facilità di consultazione orientamento all'attività dell'utente efficacia nella risoluzione del problema brevità dei testi Presentazione Informatica applicata alla Psicologia 29 Fasi della valutazione euristica 1) addestramento pre-valutazione fornire ai valutatori la conoscenza necessaria del dominio e informazioni sul contesto 2) valutazione valutazione individuale e aggregazione dei risultati 3) livelli di gravità determinare la gravità di ciascun problema (priorità) da svolgere individualmente e poi come gruppo 4) discussione analisi dei risultati con il team di sviluppo Presentazione Informatica applicata alla Psicologia 30 5

6 Come eseguire la valutazione Almeno due passaggi per ciascun valutatore per percepire il flusso e gli obiettivi del sistema per focalizzare i singoli elementi Se il sistema è di uso generico o i valutatori sono esperti del dominio, non serve assistenza altrimenti fornire ai valutatori gli scenari di applicazione Ogni valutatore redige una lista di problemi con riferimento alle euristiche o ad altri concetti Presentazione Informatica applicata alla Psicologia 31 Esempi Non si può copiare informazione da una finestra ad un'altra viola Minimizzare l'uso di memoria degli utenti (H1-3) soluzione: consentire la copia Vengono usati font diversi e con minuscole e maiuscole mescolate viola Consistenza e standard (H2-4) rende gli utenti più lenti soluzione: usare un unico formato per tutta l'interfaccia Presentazione Informatica applicata alla Psicologia 32 Giudizi di gravità Usato per destinare le risorse nella soluzione dei problemi Combinazione di frequenza impatto persistenza (una sola volta o ripetute) Devono essere calcolate dopo la valutazione Devono essere calcolate indipendentemente da ciascun giudice 0 - non è certo che sia un problema di usabilità 1 - problema estetico 2 - problema di usabilità minore 3 - problema di usabilità maggiore; importante correggerlo 4 - usabilità catastrofica; indispensabile correggere Presentazione Informatica applicata alla Psicologia 33 Presentazione Informatica applicata alla Psicologia 34 Discussione Condotta con valutatori e team di sviluppo Si discutono le caratteristiche generali dell'iu Vengono suggeriti potenziali miglioramenti per risolvere i principali problemi di usabilità Il team di sviluppo stabilisce le difficoltà nel risolvere i problemi Esempi di giudizi di gravità 1. [H1-4 Consistenza] [Gravità 3][Soluzione 0] L'interfaccia usa la stringa "Save" nella prima schermata per salvare il file dell'utente, ma usa la stringa "Write file" nella seconda schermata. L'utente può essere confuso dall'uso di termini diversi per la stessa funzione Presentazione Informatica applicata alla Psicologia 35 Presentazione Informatica applicata alla Psicologia 36 6

7 Valutazione basata su modelli I Modelli usati per filtrare le opzioni di design es. previsione di GOMS delle prestazioni degli utenti. Il fondamento logico del design può fornire anche utili informazioni di valutazione Valutazione basata su risultati precedenti I risultati della letteratura tecnica vengono usati per supportare o rifiutare parti di design Attenzione particolare è necessaria per assicurare che i risultati siano trasferibili a un nuovo design Presentazione Informatica applicata alla Psicologia 37 Presentazione Informatica applicata alla Psicologia 38 Valutazione con partecipazione degli utenti Stile di valutazione laboratorio sul campo Metodi di valutazione sperimentale risposte fisiologiche Presentazione Informatica applicata alla Psicologia 39 Stili di valutazione Studi di laboratorio pro equipaggiamento sofisticato (strumenti di registrazione, stanze di osservazione, ) ambiente protetto contro mancanza di informazioni di contesto situazione irreale appropriati se la collocazione del sistema è pericolosa o se il sistema è monoutente e quindi non permette di tenere sotto controllo la manipolazione durante l uso Presentazione Informatica applicata alla Psicologia 40 Usability lab Usability lab: testing room Observation room Testing room Presentazione Informatica applicata alla Psicologia 41 7

8 Usability lab: observation room UTENTE Usability lab: split screen Stili di valutazione Studi sul campo pro consente di osservare l interazione tra il sistema e l ambiente consente di osservare attività che richiedono un lungo periodo contro l ambiente con molto disturbo rende difficile l osservazione appropriati dove il contesto è importante per gli studi longitudinali Presentazione Informatica applicata alla Psicologia 46 La valutazione sperimentale valutazione controllata di aspetti specifici di comportamento interattivo il valutatore sceglie un ipotesi da verificare vengono analizzate varie condizioni sperimentali che differiscono solo nei valori di certe variabili controllate i cambiamenti nelle stime comportamentali vengono attribuiti a condizioni diverse In sostanza... Si individuano compiti importanti, e si osservano utenti cavie mentre li eseguono, senza interferire Presentazione Informatica applicata alla Psicologia 47 Presentazione Informatica applicata alla Psicologia 48 8

9 Usability test: fasi 1. Preparazione del test 1. Preparazione del test 2. Esecuzione del test 3. Analisi dei risultati e conclusioni Scelta degli utenti campione Definizione dei compiti da assegnare agli utenti in base alle ipotesi da verificare Definizione delle misure da raccogliere Scelta del metodo sperimentale Preparazione dei materiali e dell ambiente di prova >> Presentazione Informatica applicata alla Psicologia 49 Presentazione Informatica applicata alla Psicologia 50 Test di usabilità: quanti utenti? La regola di Nielsen La Regola di Nielsen Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti con 5 utenti si scopre l 85% dei problemi di usabilità! con 15 utenti li si scopre tutti! (Jakob Nielsen) Presentazione Informatica applicata alla Psicologia 51 Presentazione Informatica applicata alla Psicologia 52 Le ipotesi previsione del risultato formulata in termini di variabili indipendenti e dipendenti es. il tasso d errore aumenta quando le dimensioni dei font diminuiscono ipotesi nulla: dice che non c è alcuna differenza tra le condizioni l obiettivo è invalidarla Metriche (ISO 9241) efficacia (tasso di successo) efficienza (tempo medio) soddisfazione d'uso (gradimento medio) facilità di apprendimento facilità di ricordo es. ipotesi nulla = nessun cambiamento con le dimensioni dei font Presentazione Informatica applicata alla Psicologia 53 Rif.: Usability Metrics Presentazione Informatica applicata alla Psicologia 54 9

10 Misure tempo impiegato per eseguire i compiti; numero di compiti completati in modo corretto e completo entro un tempo prestabilito; numero di errori commessi e loro gravità; ricorrenza degli errori e loro tipologia; tempo speso per recuperare gli errori commessi; tempo speso in esplorazione del prodotto; tempo speso in inattività; Presentazione Informatica applicata alla Psicologia 55 numeri di accessi all'help o di ricorso all'assistenza; numero e tipo di comandi usati dall'utente per l'esecuzione del compito; numero e tipo di comandi mai usati dall'utente durante l'esecuzione del compito; numero di volte che l'utente esprime chiaramente frustrazione o soddisfazione;... eccetera... Presentazione Informatica applicata alla Psicologia 56 Metodo sperimentale Preparazione dei materiali e dell ambiente di prova disegno within-subjects ogni utente esegue l esperimento in una condizione diversa è possibile il trasferimento di apprendimento meno costoso e ci sono minor probabilità di effetti indesiderati dovuti alle differenze tra gli utenti disegno between-subjects ogni utente agisce solo in una condizione nessun trasferimento di apprendimento sono necessari più utenti le differenze possono influenzare i risultati Questionario per raccogliere le informazioni sugli utenti Elenco scritto dei compiti, da consegnare agli utenti Modulo di raccolta dati per gli osservatori (per ogni utente/compito, tempo impiegato, % di completamento, eventi significativi osservati) Questsionario per l intervista finale agli utenti Presentazione Informatica applicata alla Psicologia 57 Presentazione Informatica applicata alla Psicologia Esecuzione del test 3. Analisi e conclusioni Istruzioni agli utenti Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud, videotape,...), senza interferire Discussione con gli utenti Analisi e organizzazione dei dati raccolti Elencazione scritta dei problemi individuati Fornulazione delle raccomandazioni finali >> Presentazione Informatica applicata alla Psicologia 59 >> Presentazione Informatica applicata alla Psicologia 60 10

11 L analisi dei dati Prima d iniziare a calcolare statistiche: si osservino i dati si salvino i dati originali Scelta di una tecnica statistica: tipo di dati informazioni richieste Presentazione Informatica applicata alla Psicologia 61 Analisi - tipi di test parametrico presuppone una distribuzione normale robusto potente non parametrico non presuppone una distribuzione normale meno potente meno affidabile tabella delle contingenze si classificano i dati in base agli attributi discreti si conta il numero di dati in ogni gruppo Presentazione Informatica applicata alla Psicologia 62 Quali informazioni sono necessarie? c è una differenza? quanto è grande la differenza? quanto è precisa la stima? I test parametrici e non parametrici affrontano principalmente la prima di queste domande Problemi di usabilità Mancanza di focalizzazione sul compito Scarsa riconoscibilità del contesto Mancanza di supporto alla navigazione Inconsistenza Messaggistica inefficace Grafica e colori Presentazione Informatica applicata alla Psicologia 63 Presentazione Informatica applicata alla Psicologia 64 Elenco dei problemi Raccomandazioni finali Raggrupparli per area funzionali Definire un livello di priorità - Il problema è stato incontrato da più utenti? - È risultato bloccante o l utente è riuscito comunque a raggiungere il risultato desiderato? Organizzate per livelli di priorità: Priorità 1: Interventi indispensabili e urgenti Priorità 2: Interventi necessari ma meno urgenti Priorità 3: Interventi auspicabili Presentazione Informatica applicata alla Psicologia 65 Presentazione Informatica applicata alla Psicologia 66 11

12 Tecniche di osservazione Thinking aloud Valutazione cooperativa Analisi del protocollo Analisi automatica Walkthrough post-task Presentazione Informatica applicata alla Psicologia 67 Thinking aloud l utente viene osservato mentre esegue un compito all utente viene chiesto di descrivere ciò che sta facendo e perché, che cosa pensa potrà accadere ecc. Vantaggi semplicità - richiede poca esperienza può fornire una comprensione utile può mostrare come il sistema viene veramente usato Svantaggi soggettivo selettivo l atto di descrivere ciò che l utente sta facendo può cambiare il metodo di esecuzione Presentazione Informatica applicata alla Psicologia 68 Aspettatevi delle sorprese!?y!w?kjz Valutazione cooperativa variazione del thinking aloud l utente collabora nella valutazione sia l utente sia il valutatore possono porsi l un l altro delle domande Ulteriori vantaggi meno limitata e più facile da usare l utente è incoraggiato a criticare il sistema rende possibile la chiarificazione Presentazione Informatica applicata alla Psicologia 69 Presentazione Informatica applicata alla Psicologia 70 L analisi del protocollo Interventi corretti: a che cosa stai pensando? continua a parlare non scoraggiarti, tenta ancora Interventi da evitare: a che cosa serve quel bottone? perchè hai cliccato lì? carta e matita poco costoso limitato dalla velocità di scrittura registrazione audio valida per il thinking aloud difficile da confrontare con altri protocolli registrazione video necessita di dispositivi speciali, intrusivi precisa e realistica Presentazione Informatica applicata alla Psicologia 71 Presentazione Informatica applicata alla Psicologia 72 12

13 registrazione a computer automatica e non intrusiva grandi quantità di dati difficili da analizzare appunti degli utenti granularità grossolana soggettivi introspezioni utili validi per studi longitudinali Analisi automatica EVA Il progetto Workplace Il walkthrough post-task l utente reagisce all azione dopo l evento usato per verificare le intenzioni Vantaggi l analista ha tempo di focalizzarsi su incidenti importanti evita eccessiva interruzione del compito Svantaggi mancanza di freschezza può essere un interpretazione post-hoc degli eventi Presentazione Informatica applicata alla Psicologia 73 Presentazione Informatica applicata alla Psicologia 74 I walkthrough post-task la trascrizione viene riproposta al partecipante per avere commenti immediatamente ricordi vivi procrastinata il valutatore ha tempo per stabilire le domande adatte utili per identificare i motivi delle azioni e le alternative considerate necessari in casi in cui il thinking aloud non è possibile Presentazione Informatica applicata alla Psicologia 75 Tecniche di interrogazione interviste questionari Presentazione Informatica applicata alla Psicologia 76 Valutazione euristica contro test con gli utenti VE è più veloce 1-2 ore per ciascun valutatore rispetto a giornisettimane VE non richiede di interpretare le azioni dell'utente Il test è più accurato tiene conto degli utenti finali e dei compiti VE può perdere problemi e trovare falsi problemi Alternare VE e test trovano problemi diversi Presentazione Informatica applicata alla Psicologia 77 Metodi fisiologici Tracciamento oculare Misurazione fisiologica Presentazione Informatica applicata alla Psicologia 78 13

14 Analisi dei movimenti oculari Il tracciamento oculare eseguito con equipaggiamento montato sulla testa o posto sulla scrivania i movimenti degli occhi riflettono la quantità di elaborazione cognitiva che una visualizzazione richiede le misurazioni includono: fissazioni: l occhio mantiene una posizione fissa. Il numero e la durata indicano il livello di difficoltà con la visualizzazione movimenti saccadici: rapido movimento dell occhio da un punto d interesse a un altro percorsi di scansione: l ottimale è puntare dritti a un obiettivo fissandolo brevemente Presentazione Informatica applicata alla Psicologia 79 Le tecniche di eyeeye-tracking permettono di studiare come esploriamo esploriamo esploriamo effettivamente una immagine Presentazione Informatica applicata alla Psicologia 80 Eye-tracking (metodo del riflesso corneale) Metodo del riflesso corneale (con occhiali) Presentazione Informatica applicata alla Psicologia 81 Metodo del riflesso corneale (senza occhiali) Presentazione Informatica applicata alla Psicologia 82 Movimenti oculari in funzione del compito Una sorgente di infrarossi colpisce la cornea generando il riflesso corneale che rende luminosa la pupilla; una videocamera riprende la posizione della pupilla e un software opportuno ricostruisce il movimento compiuto dallo sguardo del soggetto durante l esplorazione della scena Sistema EyeGaze Presentazione Informatica applicata alla Psicologia (Yarbus, 1967) 83 Presentazione Informatica applicata alla Psicologia 84 14

15 Eye-tracking su pagine web: un esperimento Nelle prime 3 fissazioni su una pagina web, lo sguardo si posa preferibilmente su elementi testuali (in particolare titoli e sottotitoli Elementi grafici sono oggetto delle prime 3 fissazioni soltanto nel 46% dei casi... ma vengono ispezionati, sull insieme delle fissazioni, nel 64% dei casi (Poynter Institute, May 2000) Presentazione Informatica applicata alla Psicologia 85 Presentazione Informatica applicata alla Psicologia 86 Presentazione Informatica applicata alla Psicologia 87 Presentazione Informatica applicata alla Psicologia 88 Presentazione Informatica applicata alla Psicologia 89 Presentazione Informatica applicata alla Psicologia 90 15

16 Le misurazioni fisiologiche Scelta di una tecnica di valutazione la risposta emotiva è legata a cambiamenti fisici possono aiutare a determinare la reazione di un utente a un interfaccia le misurazioni includono: attività cardiaca: pressione arteriosa del sangue, volume e polso attività delle ghiandole sudoripare: risposta galvanica cutanea (GSR) attività elettrica nei muscoli: elettromiogramma (EMG) attività elettrica nel cervello: elettroencefalogramma (EEG) quando è eseguita: nella fase di design o d implementazione stile di valutazione: studi di laboratorio o sul campo livello di oggettività: tecnica soggettiva o oggettiva tipo di misure: qualitativo o quantitativo livello d informazione: elevato o basso livello d interferenza: intrusivo oppure non intrusivo risorse disponibili: tempo, partecipanti, equipaggiamento, esperienza Presentazione Informatica applicata alla Psicologia 91 Presentazione Informatica applicata alla Psicologia 92 16