Esempi di valutazione dell usabilità

Transcript

1 INTERAZIONE UOMO-MACCHINA Esempi di valutazione dell usabilità Barbara Rita Barricelli Dipartimento di Informatica e Comunicazione Università degli studi di Milano

2 Metodi considerati in questo corso 2 Metodi predittivi: predire il tipo di difficoltà che l utente incontrerà senza esperimenti con gli utenti Esperimenti con utenti: utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni

3 Esempi di valutazione di usabilità 3 Metodi predittivi Valutazione euristica Walkthrough cognitivo Esperimenti con utenti Test di compito

4 ESEMPIO DI VALUTAZIONE EURISTICA Sito del comune di Brescia A.A. 2006/2007

5 Valutazione euristica 5 Valutatori si sostituiscono agli utenti (cercano di assumerne il profilo) Esaminano il sistema e individuano problemi di usabilità rispetto a 10 principi di Nielsen Risultato: elenco di problemi di usabilità

6 Fasi della valutazione euristica 6 1) Fase preliminare (gruppo) 2) Valutazione (individuale) 3) Primo debriefing (gruppo) 4) Secondo debriefing (gruppo)

7 1) Fase preliminare (gruppo) 7 a. Scelta sistema da valutare b. Definizione scopo del progetto c. Diagramma di Gantt d. Descrizione del sistema e. Definizione profilo utente f. Scelta metodo e principi euristici g. Preparazione alle valutazioni individuali

8 a) Scelta del sistema da valutare 8 Sito del comune di Brescia: (Esempio svolto da studenti del corso di FCD nell A.A. 2006/2007 * ) * gli screenshot risalgono alla versione del sito esistente nel 2007

9 b) Definizione scopo del progetto 9 Analisi del sito del comune di Brescia per presentare un rapporto sull usabilità del sito e sulla sua efficienza.

10 10 c) Diagramma di Gantt

11 d) Descrizione del sistema 11 Il sito viene descritto specificando lo scopo di ogni sezione. Individuate: Intestazione 3 colonne 1) Link a sezioni, informazioni, eventi e ultime notizie 2) Ricerca nel portale 3) Comunicati stampa

12 Intestazione 12 Logo

13 Intestazione 13 Menu principale di navigazione

14 Intestazione 14 Immagine della città

15 Intestazione 15 Altre voci di menu

16 Intestazione 16 Posizione nel sito

17 Link a sezioni, utilità e informazioni 17 Immagine della città

18 Link a sezioni, utilità e informazioni 18 Link a sezioni del sito

19 Link a sezioni, utilità e informazioni 19 Informazioni

20 Link a sezioni, informazioni, eventi 20 Eventi e ultime notizie

21 Ricerca nel portale 21 Ricerca nel portale per parole chiave

22 Ricerca nel portale 22 Alcuni link suggeriti per evitare la ricerca

23 Comunicati stampa 23 Elenco dei comunicati stampa più recenti (link e breve descrizione)

24 e) Definizione profilo utente 24 caratteristiche fisiche: uso degli arti superiori, capacità visive sufficienti alla visione e alla lettura caratteristiche culturali: differenti nazionalità ed abitudini culturali; si presuppone una conoscenza di base della lingua italiana (scritta) caratteristiche attitudinali: esperienza nell'uso di un PC per la navigazione su internet N.B. Termini come alto, medio, basso non sono sufficienti (es. conoscenza media dell uso del PC ) se volete usarle dovete fornire una scala di riferimento

25 f) Scelta metodo e principi euristici 25 Metodo: valutazione euristica Osservatore: assente Numero di valutatori: 6 Principi: 10 principi di Nielsen 1) Far vedere lo stato del sistema (feedback) 2) Adeguare il sistema al mondo reale (parla il linguaggio dell utente) 3) Controllo dell utente e libertà (uscite indicate con chiarezza) 4) Assicurare consistenza (applicazione, sistema, ambiente) 5) Riconoscimento piuttosto che uso della memoria 6) Assicurare flessibilità ed efficienza d uso (acceleratori) 7) Visualizzare tutte e sole le informazioni necessarie 8) Prevenire gli errori 9) Permettere all utente di correggere gli errori e non solo di rilevarli 10) Fornire aiuto e documentazione

26 g) Preparazione alle valutazioni 26 individuali Ogni valutatore deve avere un foglio di lavoro personale sul quale annotare i problemi che rileva durante la valutazione Un foglio di lavoro è costituito da: tabella per annotare i problemi di usabilità rilevati descrizione del problema individuato principi violati (uno o più) lista dei principi di Nielsen (da usare per associare i principi violati ai problemi individuati)

27 g) Preparazione alle valutazioni 27 individuali

28 2) Valutazione (individuale) 28 Ogni valutatore: deve tenere traccia dell ora di inizio e di fine della valutazione deve conoscere le caratteristiche del calcolatore e della connessione utilizzati per svolgere la valutazione (tipo di device e.g. PC, laptop, smartphone, sistema operativo, browser Web, tipo di connessione alla rete, ecc.) ispeziona individualmente il sistema e riporta sul foglio di lavoro personale i problemi di usabilità individuati, associandoli ai principi di Nielsen che tali problemi violano

29 Esempi di problemi di usabilità (1) 29 Il logo presente nell intestazione non è un link alla home page Quali principi viola? Principio 3: controllo dell utente e libertà (uscite indicate con chiarezza) Principio 4: assicurare consistenza (nell applicazione, sistema, ambiente) Principio 6: assicurare flessibilità ed efficienza d uso (acceleratori)

30 Esempi di problemi di usabilità (2) 30 La ricerca è facilmente raggiungibile solo dalla pagina iniziale. Nelle altre pagine o è posizionata nella barra in alto a destra in formato molto piccolo o è completamente assente Quali principi viola? Principio 4: assicurare consistenza (nell applicazione, sistema, ambiente) Principio 5: riconoscimento piuttosto che uso della memoria

31 3) Primo debriefing (gruppo) 31 Si confrontano tutti i fogli di lavoro e si crea una nuova tabella che riporta: tutti i problemi rilevati per ogni problema, il numero di valutatori che lo ha rilevato i principi violati dai singoli problemi

32 Presentazione risultati con 3 grafici Numero rilevamenti per ogni principio

33 Presentazione risultati con 3 grafici Numero problemi rilevati per tipologia

34 Presentazione risultati con 3 grafici Numero problemi rilevati per tipologia e sezione di intervento

35 4) Secondo debriefing (gruppo) 35 Si propongono soluzioni ai problemi rilevati anche realizzando dei mockup

36 Esempio: la mappa del sito 36 ORIGINALE

37 Esempio: la mappa del sito 37 ORIGINALE MOCKUP

38 Esempio: la mappa del sito 38 ORIGINALE MOCKUP

39 ESEMPIO DI ESPERIMENTO CON UTENTI Sito del comune di Brescia A.A. 2006/2007

40 Esperimento con utenti 40 Utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni. R. Polillo (2009)

41 Fasi dell esperimento con utenti 41 1) Preparazione del test 2) Esecuzione del test 3) Analisi dei risultati 4) Conclusioni

42 1) Preparazione del test 42 a. Definizione obiettivi b. Definizione tipo di test c. Definizione misure da raccogliere d. Numero e tipologia utenti e. Definizione dei compiti f. Preparazione dei materiali e dell ambiente di prova

43 a) Definizione obiettivi 43 Giudicare l usabilità del sito del comune di Brescia e verificarne l usabilità mediante il tempo di ricerca di un informazione su un sito che l utente non conosce. Il diagramma di Gantt presentato nella prima parte della lezione teneva conto anche dell esperimento.

44 b) Definizione tipo di test 44 Esperimento con utenti Test di compito: agli utenti è stato chiesto di svolgere compiti specifici per esercitare le funzioni principali del sistema.

45 c) Definizione misure da raccogliere 45 Tempo in secondi speso per effettuare ogni compito Numero di click dell utente Risposte esatte e risposte sbagliate Utente arreso

46 d) Numero e tipologia utenti utenti Età: Lingue: italiano, francese, ucraino Usa computer per lavoro Usa computer nel tempo libero Usa computer per navigare no poco sì

47 e) Definizione dei compiti 47 5 compiti: Iscrizione asili nidi Calcolo Percorso da Via della Stazione a Piazza Loggia con mezzi pubblici Ricerca Organigramma Eco incentivi Visualizzazione facilitata

48 f) Preparazione materiali e 48 ambiente di prova (1) Caratteristiche calcolatore: Laptop con meno di 2 anni, connessi a Internet tramite ADSL (min 2.4Mb) Programmi utilizzati: Internet Explorer Programma per il calcolo dei tempi dell esperimento Programma per registrare video dell interazione con il sistema

49 f) Preparazione materiali e 49 ambiente di prova (2) Preparazione foglio di lavoro per annotare le misurazioni di: Tempo in secondi speso per effettuare ogni compito Numero di click dell utente Risposte esatte e risposte sbagliate Utente arreso

50 f) Preparazione materiali e 50 ambiente di prova (3) Preparazione questionario: Nome Data di nascita Titolo di studio Lingua madre Usa il computer al lavoro (sì/poco/no) Usa il computer nel tempo libero (sì/poco/no) Usa il computer per navigare in Internet (sì/poco/no) Se sì, o poco, quante ore al giorno? Se sì, o poco, quanti giorni a settimana? [...]

51 f) Preparazione materiali e 51 ambiente di prova (4) [...] Le funzionalità del sito le sono sembrate utili? Le indicazioni erano chiare? Si è sentito disturbato dall osservatore? L homepage è ordinata? E stato semplice effettuare una ricerca? Usa altri siti simili? Se sì, trova che questo sia migliore di altri?

52 2) Esecuzione del test 52 L utente viene fatto sedere davanti al computer e gli vengono date le specifiche relative allo svolgimento dell esperimento. Durante l esperimento è presente un osservatore. L osservatore può rispondere solo ad eventuali domande relative alla comprensione del compito da svolgere. Al termine dell esperimento l utente dovrà compilare il questionario.

53 3) Analisi dei risultati (1) 53 Analisi dei tempi (in secondi) per lo svolgimento dei 5 compiti: 5 57, , , , ,

54 3) Analisi dei risultati (2) Funzionalità utili? Indicazioni chiare? Disturbato da osservatore? Homepage ordinata? Ricerca semplice? Migliore di altri siti? no poco abbastanza sì

55 4) Conclusioni (1) 55 Alcune osservazioni dai test: Numero elevato di click per ogni task: gli utenti hanno dovuto cercare in varie sezioni prima di trovare la pagina desiderata Non è stata compresa la differenza tra Servizi al cittadino e Settori comunali La maggior parte degli utenti ha cercato i comunicati stampa nella sezione Notiziario invece che partendo dalla homepage.

56 4) Conclusioni (2) 56 Alcune osservazioni dai questionari: Nessun utente ha risposto che l osservatore lo ha disturbato anche se è stato rilevato un certo nervosismo Tutti gli utenti hanno considerato le indicazioni date dall osservatore come chiare o abbastanza chiare

57 ESEMPIO DI WALKTHROUGH COGNITIVO Flickr A.A. 2008/2009

58 Walkthrough cognitivo 58 Un esperto simula l utente ed esegue delle attività per raggiungere un certo scopo.

59 Fasi del walkthrough cognitivo 59 1) Fase preliminare (gruppo) 2) Svolgimento del walkthrough cognitivo (individuale) 3) Rapporto problemi e gravità (individuale) 4) Debriefing finale (gruppo)

60 1) Fase preliminare (gruppo) 60 a) Scelta del sistema da valutare b) Definizione degli obiettivi c) Definizione del profilo utente d) Definizione sequenza attività e) Preparazione documentazione

61 a) Scelta del sistema da valutare 61

62 b) Definizione degli obiettivi 62 Valutazione di usabilità di Flickr. Diagramma di Gantt:

63 b) Definizione degli obiettivi 63 Valutazione di usabilità di Flickr. Diagramma di Gantt: Attenzione! In questo diagramma di Gantt c è un errore! Le attività individuali vanno SEMPRE evidenziate per distinguerle da quelle di gruppo. Questo per calcolare le «ore uomo» che saranno dedicate ad una certa attività.

64 c) Definizione del profilo utente 64 caratteristiche fisiche: uso degli arti superiori, capacità visive sufficienti alla visione e alla lettura caratteristiche culturali: differenti nazionalità ed abitudini culturali caratteristiche attitudinali: esperienza nell'uso di un PC per la navigazione su internet

65 c) Definizione del profilo utente 65 caratteristiche fisiche: uso degli arti superiori, capacità visive sufficienti alla visione e alla lettura caratteristiche culturali: differenti nazionalità ed abitudini culturali caratteristiche attitudinali: esperienza nell'uso di un PC per la navigazione su internet E sufficiente? Trattandosi di Flickr non sarebbe meglio includere anche le conoscenze necessarie a caricare fotografie scattate da una macchina fotografica digitale?

66 d) Definizione sequenza attività (1) 66 A. Registrazione con username Pippo 1. accedere al sito 2. entrare nella pagina di registrazione 3. inserire i dati richiesti per l account 4. attendere e confermare la registrazione avvenuta 5. identificarsi tramite login e password

67 d) Definizione sequenza attività (2) 67 B. Caricamento di una foto 1. accedere all opzione di caricamento 2. selezionare il file da caricare 3. confermare e avviare il caricamento 4. inserire i dati aggiuntivi 5. confermare l operazione

68 d) Definizione sequenza attività (3) 68 C. Visualizzazione di una foto di un gatto e inserimento di un commento 1. accedere all area di ricerca 2. inserire la parola chiave gatto 3. selezionare la foto desiderata 4. commentare la foto selezionata 5. confermare il commento effettuato

69 e) Preparazione documentazione 69 Ogni valutatore deve avere un foglio di lavoro sul quale annotare, per ogni attività svolta, le risposte a queste 4 domande: 1. L utilizzatore capisce ciò che deve ottenere con la prossima azione? 2. L utente può individuare gli strumenti di interazione? 3. Se l utente può individuare lo strumento, può anche capire che è quello giusto per fare ciò che vuol fare? 4. Dopo che l azione è eseguita, l utente capisce la risposta che ottiene?

70 70 Esempio foglio di lavoro

71 2) Svolgimento walkthrough 71 cognitivo (individuale) Ogni valutatore esegue individualmente i compiti e risponde sul foglio di lavoro alle 4 domande.

72 3) Rapporto problemi e gravità 72 (individuale) (1) Ogni valutatore in base alle risposte date alle 4 domande, stende un rapporto nel quale segnala i problemi di usabilità rilevati e assegna loro una gravità.

73 3) Rapporto problemi e gravità 73 (individuale) (2) La gravità di un problema deve essere misurata in base ad una scala Fastidioso: causa impedimenti poco compromettenti che rallentano il raggiungimento dello scopo Irritante: causa nervosismo, perché obbliga l utente a compiere più operazioni rispetto a quelle previste Frustrante: causa notevoli perdite di tempo Critico: causa il mancato raggiungimento dello scopo

74 4) Debriefing finale (gruppo) 74 Analisi dei problemi rilevati da tutti i valutatori