Ingegneria del Software Interattivo. - Oltre l esperimento - Parte quarta: L usabilità. L osservazione nell ingegneria dell usabilità

Transcript

1 Ingegneria del Software Interattivo - Oltre l esperimento - Docente: Daniela Fogli Parte quarta: L usabilità 1. L ingegneria dell usabilità 2. I metodi di valutazione di usabilità dei sistemi interattivi - Valutazione euristica attraverso i dieci principi di Nielsen - Valutazione attraverso il metodo del walkthrough cognitivo (e cenni a keystroke analysis) - Gli esperimenti con gli utenti - Altri tecniche oltre gli esperimenti con gli utenti 2 Altre tecniche di valutazione Osservazione e monitoraggio 1. Osservazione dell utente al lavoro, con diverse tecniche di osservazione: dirette e indirette 2. Raccolta di opinioni dell utenza: questionari ed interviste 3. Focus group 4. Monitoraggio: logging dell uso del sistema Metodi interpretativi 1. Vari tipi di protocolli verbali 3 L osservazione nell ingegneria dell usabilità L osservazione dell utente al lavoro è un metodo importante di raccolta dati, sia per l analisi dei compiti sia per le valutazioni di usabilità di sistemi installati L osservazione può essere condotta con varie tecniche, cercando di essere meno intrusivi possibile, compatibilmente con il metodo scelto Gli scopi dettagliati (errori nell eseguire una attività etc.) e le metriche dell osservazione non sono necessariamente definite a priori 4

2 Osservazione diretta dell utente al lavoro Un osservatore assiste all attività dell utente e annota ciò che vede effetto Hawthorne utile nelle fasi iniziali per avere idea di cosa piace o non piace associata a metodi indiretti e di annotazione da parte dell osservatore uso di checklist se si sa cosa si vuol osservare il problema di osservare una realtà molto ricca, visione parziale le note dell osservazione possono essere criptiche per lo stesso osservatore! vantaggio: si scoprono modi d uso inaspettati che in un esperimento non si sarebbero trovati Osservazione indiretta dell utente al lavoro Usa strumenti: telecamere Possibilmente combinare più modi di osservare Pro l osservatore può vedere più volte il filmato e le note Contro tempo necessario problemi di sincronizzazione effetto Hawthorne 5 6 Osservazione indiretta video dell utente Problema: rivela difficoltà utente nel contesto senza dire il perché Analisi: può essere progettata a posteriori, con misura di: - frequenza compiti completati - tempi di esecuzione - tempi di pause cognitive - frequenza errori Osservazione indiretta video: progettazione Progettazione di come condurre l osservazione: definire a priori le classi di problemi da osservare individuare (sviluppare) gli strumenti di supporto decidere dove mettere le telecamere, chi e quando cambia la cassetta, etc. prevedere tempi e costi dell analisi: l analisi chiede tempi 5:1 rispetto all osservazione (il video viene rivisto più volte) 7 8

3 Raccogliere le opinioni degli utenti Intervista: dà indicazioni qualitative Questionario: più verso il quantitativo con attenzione! - meno flessibile Sono strumenti di semantizzazione progressiva Problemi comuni: sono opinioni soggettive dell utente, individuano situazioni di disagio (ansia) o soddisfazione Danno l idea di come l utente pensa che stiano le cose NON di come stanno 9 Interviste e questionari: caratteristiche generali Metodi simili perché coinvolgono gli utenti facendo loro domande I questionari sono su carta o interattivi su computer, possono essere gestiti senza bisogno di altre persone che facciano le domande agli utenti Le interviste invece prevedono la presenza di un intervistatore che legge le domande all intervistato e le risposte sono solitamente registrate anziché essere scritte direttamente dall utente 10 Interviste e questionari: caratteristiche generali (2) Le interviste generano dei risultati immediati: sono fatte via telefono o di persona I risultati dei questionari subiscono ritardi dovuti a invio/ricevimento domande/risposte: sono generalmente gestiti via posta (elettronica o ordinaria) o via web Coi questionari, occorrono meccanismi per invogliare l utente a rispondere (ad esempio, busta già affrancata, remunerazione, etc.) Ma il vantaggio è che in linea di principio è possibile inviare un questionario all intera popolazione interessata Un problema Sia con interviste che con questionari il problema è interpretare i risultati Esempio: agli utenti fu dato un questionario sulla difficoltà delle istruzioni di un telefono cellulare, 24 su 25 dissero che le istruzioni erano di difficoltà media o semplici da capire quando fu fatto l esperimento le loro prestazioni furono corrette al 50% indicando che le istruzioni non erano poi così soddisfacenti Gli utenti PENSAVANO di aver capito le istruzioni, ma in realtà non era così Quindi non sempre bisogna interpretare i risultati alla lettera 11 12

4 Una causa La gente risponde ciò che pensa di dover rispondere (per non fare brutta figura, per non apparire insufficiente, per non offendere l intervistatore) Esempio assistenza tecnica: alla richiesta di quanto tempo l utente ha speso per cercare la soluzione nella documentazione prima di chiedere al servizio assistenza tutti gli utenti tendono a sovrastimare il tempo speso Tipi di interviste Strutturata Domande predefinite in sequenze predefinite; non si esplora l attitudine del singolo Adatta ad utenti esperti del dominio L intervistatore può non essere esperto Non Strutturata Domande flessibili: l intervistatore è libero di chiedere L intervistatore deve essere esperto deve avere una STRATEGIA di indagine chiara, aver chiaro COSA vuol sapere (i punti da esplorare) non deve mettere a disagio gli utenti Strutturata Semi-strutturata (gruppi di domande predefinite) Forme intermedie In base alle risposte l intervistatore può riadattare le domande Non Strutturata Prompted (con solleciti) I solleciti possono essere schizzi, metafore grafiche, in linguaggio di dominio 15 Intervista semi-strutturata Nielsen propone una lista di domande da fare per individuare informazioni che l utente non dice perché le considera banali o legate ad azioni che fa senza pensarci esplicitamente: 1. Perché lo fai? (individuare le intenzioni dell utente) 2. Come lo fai? (capire i sottocompiti: ripetere ricorsivamente) 3. Perché lo fai (o non lo fai) in questa maniera? (capire il razionale sottostante) 4. Quali sono le pre-condizioni? (formulato in linguaggio di utente: devi fare qualche cosa prima di questo?) 5. Quali sono i risultati nel fare questo? 6. Si possono vedere i risultati del lavoro? 7. Accadono errori nel fare il lavoro? Quali? Quanti? 8. Come si scoprono e correggono gli errori? 9. Ci sono situazioni critiche? Possibili incidenti? E una guida per l intervistatore, che è libero di raccogliere altri commenti 16

5 L intervista: in sintesi Richiede un intervistatore Raggiunge un numero limitato di utenti Ammette domande ambigue (gestite da intervistatore) Quando fare un intervista? In varie fasi del ciclo di vita: Nell analisi dei compiti Dopo osservazione e/o monitoraggio degli utenti Per ottenere il feedback dagli utenti Il Progetto Chi intervistare Chi è l intervistatore Il tipo di intervista Come analizzare i risultati Costi: remunerazione intervistatore, remunerazione intervistati, tempi preparazione, costi analisi Questionario Un insieme ordinato di domande non ambigue Pregio: può raggiungere un gran numero di utenti Difetto: rigidità Le domande: Aperte: chi risponde dà la risposta che vuole Chiuse: chi risponde seleziona una risposta in un insieme limitato. Occorre fissare una scala di merito con cui pesare le risposte Problemi di progetto del questionario Il progetto delle domande Domande non ambigue Aumentare la probabilità che chi deve rispondere lo completi: questionario corto, remunerare chi compila, invio risposta non costoso Il problema dell analisi dei dati: con package statistici (ma attenti alle scale! Quale statistica è adatta?) Fare solo domande di cui si vuole veramente conoscere la risposta Condurre un Test Pilota: in generale il questionario NON si può adattare all utente (è vero anche coi nuovi media?), il questionario costa, il test pilota consente di ridurre i pericoli di incomprensione e ambiguità 19 Occorre fissare una linea di base del giudizio: se richiedo giudizi di diversi utenti rispetto a più sistemi considero i giudizi uno relativamente all altro se richiedo giudizi di diversi utenti rispetto a un sistema c è polarizzazione rispetto al non voler offendere Una possibile strategia: fare questionario prima dell uso (sulle aspettative) fare questionario dopo l uso (sull effettiva esperienza) 20

6 Le scale adottabili (1) Le scale adottabili (2) Lista di controlli non c è ordine, zero, distanza: statistica corretta: frequenza Scala di valutazione a punti c è un ordine, ma non sono definiti lo zero e la distanza Scala di Likert In risposta a domande precise. Ci sono zero e distanza, ma arbitrarie (vedi dopo) 21 Semantica differenziale Agli estremi: aggettivi bi-polari: ogni punto dà un peso arbitrario ad uno dei due Ordinale secondo il rango ordinare elementi simili rispetto ad una qualità (utilità, difficoltà d uso) 22 L analisi dei dati In generale le scale sono convertite arbitrariamente a scale numeriche strongly agree -3 agree -2 slightly agree -1 neutral 0 slightly disagree 1 disagree 2 strongly disagree 3 e valutate con statistiche per scale numeriche Un esempio 23 24

7 Un altro (pagine 1-2) Un altro (pagine 3-4) (Tratto da tesi di G. Pollini, 2008) 25 (Tratto da tesi di G. Pollini, 2008) 26 Focus Group Tecnica informale: 6-9 utenti discutono, in presenza di un moderatore, su nuovi concetti e strumenti per un periodo di circa due ore prima e dopo l implementazione del sistema (o di prototipi). Gli utenti hanno l impressione di una discussione libera Il moderatore deve: Prima dell esperimento: preparare la lista di temi da discutere e gli scopi da raggiungere, quasi un copione Durante: mantenere la discussione focalizzata; garantire che tutti si esprimano Dopo: analizzare i dati e stendere rapporto Vantaggi: fa emergere le idee e le reazioni spontanee degli utenti e le dinamiche di gruppo Svantaggi: costoso in termini di utenti (almeno 6 in un gruppo, utili più gruppi) 27 Monitoraggio utenti (Logging) Si tratta di osservare, mediante programmi, gli utenti mentre interagiscono con un sistema software Si avranno statistiche sulla frequenza con cui l utente ha usato una certa funzionalità o con cui si sono verificati certi eventi di interesse (esempio, messaggi di errore) Spesso usato nei siti web, per capire i percorsi che fanno gli utenti Ora uso anche di eytracker 28

8 Monitoraggio utenti: a che livello Con strumenti di basso livello (battitura tasti o mouse click time-stamped): facile da fare ma produce massa risultati costosa da esaminare Importanza della grafica nel supportare l analisi Un esempio di influenza nascosta delle tecnologie: la tecnologia grafica porta ad una interazione ambigua A livello di gestori di interfaccia grafica: cattura eventi interpretati (e.g. selezione dell icona seleziona l archivio pazienti) Con Agenti osservatori: moduli software che individuano pattern di attività di alto livello 29 Logging dei click per un gioco per bambini 30 Pro e contro del monitoraggio Osservazione, monitoraggio, raccolta opinioni: i documenti Pro Cons Mette a disposizione dati riesaminabili Poco intrusivo Non richiede presenza valutatore Problemi di privatezza Quantità dei dati Metodi di analisi 31 Osservazione: dell utente in attività, deve risultare in documenti che descrivono l attività e in documenti che sintetizzano i risultati Monitoraggio: dell utente che svolge una attività: risulta in archivi di osservazioni e in documenti che sintetizzano i risultati Questionari ed interviste: raccolta di opinioni dell utente, fuori del contesto, mediante tecniche opportune: risultano in archivi di rapporti (osservazioni emerse da interviste e da raccolta questionari) e documenti di sintesi Problemi comuni: progettazione accurata, esecuzione metodica, necessità di rassicurare, retribuire e motivare gli utenti 32

9 Metodi interpretativi Lo scopo di questa valutazione è permettere ai progettisti di capire come gli utenti usano il sistemi nel loro ambiente naturale e come il sistema si integra con le altre attività I dati sono raccolti in maniera informale e arrecando meno disturbo possibile agli utenti E comune una qualche forma di partecipazione degli utenti nella raccolta, analisi o interpretazione dei dati Anche con questi si possono memorizzare video e audio, anche se la maniera di analizzarli è differente rispetto ai metodi visti 33 Protocolli verbali Memorizzazione audio delle attività dell utente (a) - raccogliere i commenti che l utente fa per conto suo (in parallelo al video o all osservazione dell osservatore) Si capiscono: intenzioni, piani, il linguaggio dell utente i nomi delle attività, degli oggetti, degli strumenti Poco adatto con utenti silenziosi Poco invasivo (b) think aloud (pensa ad alta voce): si chiede all utente di commentare ciò che sta facendo 1 - carico cognitivo sull utente 2 - molto qualitativo 3 - problema delle teorie ingenue dell utente sulle cause e i rimedi 34 Come si conduce il think aloud Lo sperimentatore stimola l utente a parlare Non risponde alle sue richieste o risponde secondo norme prefissate Per ridurre il disagio lo sperimentatore fa una demo all utente Oppure si usano coppie di utenti, tipicamente un esperto che insegna a un novizio a usare il sistema Pro e contro dei protocolli verbali Effetto Hawthorne: modo di agire non naturale Utile per il progettista informatico ma difficile interpretare i dati Utile per l utente: dovendo spiegare a volte individua errori nei suoi modelli mentali! Un utile complemento post event protocol : l utente commenta a posteriori ciò che ha fatto e ciò che ha detto 35 36

10 Alcuni risultati inaspettati Pensare ad alta voce permette all utente - di trovare a volte inconsistenze - nella sua attività - nel modello del compito - nell individuazione di parti critiche - di migliorare le sue prestazioni - di prevenire errori 37