Progettare e valutare la qualità dei servizi. Maurizio Boscarol

Transcript

1 Progettare e valutare la qualità dei servizi Maurizio Boscarol

2 1. I problemi dei servizi online

3 COSA INTENDE LA PA PER SERVIZI WEB?

4 (Linee guida per i siti web della PA, 2011) Livello 1- Informazione Livello 2 -Interazione ad una via Livello 3- Interazione a due vie Livello 4- Transazione Livello 5- Personalizzazione

5

6 Comincio a fare fattura dal menu o dal boxino a sinistra?

7 Sono diversi? (mai usare la stessa radice in label diverse, a meno che non sia assolutamente distinguibile per altre ragioni)

8

9

10

11

12

13

14 ?

15

16

17 v

18 I problemi dei servizi online: Problemi di procedura: quali sono i passaggi per compiere la procedura? Quanti? Cosa viene prima, cosa viene dopo? Come si passa al passaggio successivo? Perché le interfacce presentano opzioni che non sono necessarie e aumentano i dubbi? Problemi di labeling e microcontent: cosa si può fare, da dove iniziare, dove si fa cosa? Problemi di organizzazione visiva Problemi dei form Gestione di errori e messaggi (feedback e feedforward): come sapere quando il dato è inviato e se è modificabile? A che punto è la pratica? Qual è stato l esito di un azione? Qual è la prossima azione da compiere?

19 Esempi negativi 1. La procedura di registrazione del voto online negli esami universitari? Nel dubbio convive con quella tradizionale, obbligando ad una trascrizione successiva! 2. La fattura elettronica? Standard a parte e conservazione onerosa da spingere all utilizzo di servizi a pagamento, che siccome sono obbligatori non hanno nemmeno un livello minimo di qualità e facilità. 3. I servizi online per le imprese? Su portali separati da quelli istituzionali, previa autenticazione onerosa da richiedere tramite raccomandata con ricevuta di ritorno e risposta entro 30 giorni. 4. Lotta all evasione? Invece di mettere in comunicazione fra loro banche dati differenti, perché non obbligare utenti e contribuenti a duplicare l invio della documentazione?

20 Il divario è aumentato negli ultimi 10 anni

21 Le leggi di Asimov (di Boscarol) dei servizi online 1. Una procedura online sarà attiva solo quando sostituirà integralmente la vecchia procedura con tempi di esecuzione inferiori. 2. I costi di gestione e manutenzione della nuova procedura dovranno essere inferiori ai costi di gestione e manutenzione della vecchia procedura offline 3. Le procedure online saranno eseguite anche dagli operatori che si occupavano della vecchia procedura offline.

22

23 BUILD SERVICES SO GOOD THAT PEOPLE PREFER TO USE THEM

24 Non basta che «funzioni» L esperienza è comparativa Le aspettative degli utenti sono modellate dai prodotti che usano più spesso Valutano il vostro sulla base dell esperienza con siti di multinazionali che investono molto in design, e se non reggete il passo fate «brutta figura»

25 Inoltre i requisiti cambiano nel tempo!

26 COME SI FA A PROGETTARE MEGLIO?

27 Cambiando il processo h"ps://

28 Fasi di progetto con attività HCD

29 Design Council, UK

30 Test di usabilità

31 IN QUALE PROCESSO CI INSERIAMO?

32 Nel frattempo, in un altro mondo

33 Riepilogo 1. I servizi online hanno problemi di progettazione e causano problemi di interazione in parte diversi dai normali siti 2. Dovrebbero non solo funzionanti, ma «così buoni che la gente voglia usarli» 3. E convenienti per l amministrazione 4. L unico modo per farlo è cambiare il processo di design 5. Usando tecniche di HCD centrate sugli utenti

34 2. Linee guida appalti web HCD Ovvero: il primo passo per ottenere prodotti che funzionano

35 Come abbiamo visto I processi che includono l utente nel progetto e nella verifica non accadono da soli: bisogna volerli Il che significa prevederli esplicitamente nei bandi!

36 Università di Bari 23% Su 44 bandi di gara (26 nazionali e 18 internazionali)per prodotti informatici, solo il 23% (cioè 10 bandi di cui 6 nazionali e 4 internazionali) cita l usabilità tra i requisiti tecnici del software e richiede l utilizzo di tecniche HCD nella progettazione del sistema.

37 Università di Bari 7% Questo avviene, però, con contenuti generici che non fanno esplicito riferimento a come debbano essere condotte le attività di valutazione e forniti i relativi risultati. Infatti, solo il 7% dei capitolati richiede in modo esplicito un usability testing plan con specifici requisiti rispetto al campionamento dei soggetti, alla definizione dei task, all iteratività del processo ed alla scrittura dei report1

38

39

40 Come? L integrazione di un processo HCD all interno di un bando di gara può avvenire attraverso: 1. Definizione dei requisiti - si inseriscono specifici requisiti HCD all interno del capitolato tecnico d oneri che il contraente deve rispettare. 2. Selezione - si definisce una premialità (in termini di punteggio) per i soggetti che inseriscono nella propria offerta tecnica un approccio HCD. 3. Ammissione - si richiede agli offerenti di dimostrare esperienze pregresse e/o competenze nell ambito HCD (es. avere dipendenti esperti di usabilità).

41 Definizione dei requisiti si inseriscono specifici requisiti HCD all interno del capitolato tecnico d oneri che il contraente deve rispettare.! In questo modo tutti i partecipanti devono includere alcune pratiche orientate all utente nel proprio bando!! Queste pratiche saranno documentate

42 Non tutti i bandi sono uguali Requisiti base - dedicati a bandi di siti e servizi a bassa complessità, con budget e tempi di esecuzione ridotti, permettono di svolgere delle valutazioni preliminari sull utenza di riferimento insieme ad alcune valutazioni qualitative dell usabilità. Requisiti intermedi - dedicati a bandi di siti e servizi a media complessità, con budget e tempi di esecuzione medio/elevati, permettono di profilare l utenza di riferimento, monitorare l usabilità percepita (attraverso questionari) e l alberatura di navigazione insieme ad alcune valutazioni qualitative dell usabilità. Requisiti avanzati - dedicati a siti e servizi di media ed elevata complessità, con budget e tempi di esecuzione medio/ elevati, permettono di fare le stesse attività dei requisiti intermedi ma con una maggiore propensione ad attività quantitative oltre che qualitative.

43 Per esempio

44 Requisiti base Progettazione orientata all utente, usabilità e User Experience Al fine di seguire l indirizzo fornito dalle Linee guida per i siti web delle PA, 2011 (al capitolo Indirizzi sull usabilità 12) il contraente deve specificare la metodologia che intende adottare e il processo operativo che intende seguire per la valutazione e l implementazione dell usabilità (così come definita da ISO ), sia in fase progettuale sia in fase esecutiva, attraverso l utilizzo di un approccio Human- Centred Design (ISO ). Tale processo, ( ) deve prevedere almeno le seguenti attività:

45 Identificare caratteristiche e requisiti lato utente (non solo lato ente) 1. Identificazione delle caratteristiche dei pubblici di riferimento attraverso il coinvolgimento di loro rappresentanti nella definizione di requisiti tramite interviste e/o questionari.

46 Test di usabilità durante il processo, non alla fine 2. Svolgimento di almeno due test di usabilità di tipo formativo, con un minimo di 5 partecipanti e 6 task per ciascun test, da effettuarsi durante il processo di sviluppo su prototipi, wireframe o versioni non definitive del servizio o del sito, al fine d identificare le principali criticità e provvedere alla loro correzione prima del rilascio. Le tipologie di partecipanti da coinvolgere e i compiti di navigazione e usare durante il test devono essere proposti dal contraente e approvati dal committente. I partecipanti coinvolti nel secondo test dovranno essere diversi da quelli coinvolti nel primo. I risultati devono essere documentati tramite un report che deve includere: numero dei partecipanti e loro caratteristiche anagrafiche; compiti di navigazione utilizzati; tasso di successo; lista dei problemi rilevati (con possibili soluzioni) e loro priorità; metriche soggettive (es. SUS, Umux-lite)

47 Quindi Come minimo porsi il problema di identificare i bisogni dell utente e di verificare in corsa che vengano soddisfatti Da lì, tutto di più: personas, card sorting, test con più utenti Tutto durante il processo! Non alla fine

48 Riepilogo Fare buoni servizi non avviene per caso, implementando le norme Bisogna progettare coinvolgendo i cittadini, verificando i risultati parziali e iterando Le pratiche HCD vanno previste nei bandi, e le aziende devono garantirle Le linee guida sono un template per iniziare, ma potete fare anche in altri modi, purché facciate!

49 3. Valutare la qualità del servizio ottenuto? E il problema di quale qualità parliamo

50 Strategie per spingere in questa direzione Come sappiamo quanto bene stiamo facendo? Come possiamo stimolare il fatto di farlo meglio? Conoscere a che punto siamo è indispensabile per migliorare

51 2 grandi famiglie di metodi Metodo prescrittivo Definiti alcuni criteri, punti di controllo o caratteristiche statiche di prodotto che il prodotto deve avere, si verifica se le ha Metodo empirico Si verifica se il prodotto è adeguato nell utilizzo reale o simulato, quindi la qualità in uso

52 Pro e contro Prescrittivo Facile da applicare, economico Ma sensibile alle caratteristiche di valutazione: se sono sensate, ok, altrimenti un prodotto può essere anche perfetto secondo lo strumento, ma fallire nella realtà Empirico Più complesso da misurare Risultati più aderenti a ciò che nella realtà è l esperienza percepita (non si applica uno schema, ma si osserva/ analizza l interazione)

53 Prescrittivo Verifica tecnica l. 4/2004 (criteri tecnici di prodotto) Linee guida siti web PA 2011 RadarWebPA Contenuti minimi!bussola della trasparenza!! 2. Accessibilità e usabilità 3. Valore dei contenuti 4. Servizi Amministrazioni comunali Amministrazioni regionali Amministrazioni centrali 5. Dati pubblici 6. Amministrazione 2.0

54 Analisi esperta con euristiche e linee guida percezione: le informazioni e i comandi necessari per l esecuzione dell attività devono essere sempre disponibili e percettibili - comprensibilità: le informazioni e i comandi necessari per l esecuzione delle attività devono essere facili da capire e da usare - operabilità: le informazioni e i comandi devono consentire una scelta immediata delle azioni necessarie al raggiungimento dell obiettivo voluto - coerenza: i simboli, i messaggi e le azioni devono avere lo stesso significato in tutto il sito - tutela della salute: il sito deve possedere caratteristiche idonee a salvaguardare il benessere psicofisico dell utente - sicurezza: il sito deve possedere caratteristiche idonee a fornire transazioni e dati affidabili, gestiti con adeguati livelli di sicurezza. - trasparenza: il sito deve comunicare all utente lo stato, gli effetti delle azioni compiute e le informazioni necessarie per la corretta valutazione delle modifiche effettuate sul sito stesso - facilità di apprendimento: il sito deve possedere caratteristiche di utilizzo di facile e rapido apprendimento - aiuto e documentazione: le funzionalità di aiuto, quali le guide in linea, e la documentazione sul funzionamento del sito devono essere di facile reperimento e collegate alle azioni svolte dall utente - tolleranza agli errori: il sito deve essere configurato in modo da prevenire gli errori; ove questi, comunque, si manifestino, occorre segnalarli chiaramente e indicare le azioni necessarie per porvi rimedio. - gradevolezza: il sito deve possedere caratteristiche idonee a favorire e a mantenere l interesse dell utente. - flessibilità: il sito deve tener conto delle preferenze individuali e dei contesti.

55 L identificazione e il riconoscimento degli utenti deve essere garantito Bisogna garantire l identificazione e il riconoscimento degli utenti che si apprestano a effettuare una pratica on line, il che pone in evidenza anche il tema del rispetto degli standard per l identità digitale

56 I servizi online devono essere protetti da elevati livelli di sicurezza È indispensabile garantire livelli di sicurezza elevati, proteggendo le pratiche che non sono pubbliche da eventuali tentativi di acquisizione dati non consentiti.

57 Requisiti specifici dei dati Reperibili Riutilizzabili Aperti Interoperabili

58 Empirico

59 Prestazioni: analytics e conversioni

60 Comportamento sequenziale

61 Funnel e punti di abbandono

62 Funnel in procedure

63 Mappe

64 Feedback

65

66 (anche online) Attraverso strumenti di monitoraggio della satisfaction, della qualità, della loyalty Preferire strumenti «standardizzati» o comunque con una storia d utilizzo, che danno un significato alle misure KPI: Key Performance Indicator

67 Net Promoter Score ( Saltmetrix) NPS: Con quanta probabilità consiglieresti questo servizio online a un amico o a un collega?

68 Fedeltà È una misura secca, da -100 a +100 Non spiega le ragioni Ma è correlata con la crescita a lungo termine di un azienda Correla con la fedeltà ad un marchio, ma è usato in ogni settore Media per siti web: +14!

69

70 Grandi sconti: con un dato ne raccogli due! Siccome NPS è un dato top-box minus bottom-box, perde informazione ed è difficile compararlo statisticamente con altre misure, si usa spesso anche il punteggio medio puro e semplice Viene chiamato LTR, Likelyhood To Reccomend; ha proprietà statistiche simili alle altre scale, ci si può calcolare la correlazione, ecc.

71 SUS: System Usability Scale Questionario di 10 domande Costruito nel 1986 da John Brooke Da somministrare in origine dopo test di usabilità su terminali a fosfori verdi Da quasi 30 anni è usato e adattato per diversi hardware, software, siti web, applicazioni mobili, ecc. Anche per prodotti cartacei come le pagine gialle! 600 pubblicazioni

72 Le domande 1. Penso che mi piacerebbe utilizzare questo sito frequentemente 2. Ho trovato il sito inutilmente complesso 3. Ho trovato il sito molto semplice da usare 4. Penso che avrei bisogno del supporto di una persona già in grado di utilizzare il sito 5. Ho trovato le varie funzionalità del sito bene integrate 6. Ho trovato incoerenze tra le varie funzionalità del sito 7. Penso che la maggior parte delle persone possano imparare ad utilizzare il sito facilmente 8. Ho trovato il sito macchinoso da utilizzare 9. Mi sono sentito a mio agio nell'utilizzare il sito 10. Ho avuto bisogno di imparare molti processi prima di riuscire ad utilizzare al meglio il sito

73 Su siti e software Sauro

74 Sauro

75 Non è diagnostico Non dice cosa non va Dice solo il livello generale di usabilità percepita, non cosa la determina Nato per essere usato al termine di un test, può essere usato anche come metrica rapida di benchmarking fuori dai test Va arricchito di osservazioni qualitative (o di approfondimenti)

76 Confronto nel tempo SUS nel tempo y = 1.393x Novembre Dicembre Gennaio Febbraio Marzo Aprile Maggio Giugno Luglio Agosto

77 TAM in italiano: utilità percepita 1. Usare questo software/app migliora la qualità del mio lavoro 2. Usare questo software/app mi garantisce un maggior controllo sul mio lavoro 3. Questo software/app mi consente di svolgere i miei compiti più velocemente 4. Questo software/app mi aiuta in alcuni aspetti importanti 5. Questo software/app migliora la mia produttività 6. Questo software/app migliora la mia prestazione lavorativa 7. Questo software/app mi consente di sbrigare più lavoro di quanto mi sarebbe altrimenti possibile 8. Questo software/app migliora l efficacia del mio lavoro 9. Questo prodotto rende il mio lavoro più facile 10. Complessivamente, trovo questo software/app utile nel mio lavoro

78 Indici di soddisfazione (1-10) 1. Qual è la tua soddisfazione complessiva con il servizio online? 2. Quanto il servizio online ha soddisfatto le tue aspettative? 3. Com è questo servizio online in confronto alla tua idea di un servizio online ideale? (adattato dall ACSI)

79 ? COSA DETERMINA LA SODDISFAZIONE?

80 Dobbiamo avere un modello Usability

81 Key Driver Analysis Una delle tecniche possibili per studiare quali variabili «indipendenti» spiegano di più l andamento di un indicatore «dipendente» di qualità, gradimento, soddisfazione Si misurano facilità d uso, credibilità, utilità, ecc., assieme a LTR, WOM, Qualità percepita, ecc.

82 % di varianza dell LTR spiegata da ciascun fattore (miei dati, in corso) EsteVca 1% Driver della LTR Altro 20% Conta"o_con _il_mondo 1% Facilità 44% Fiducia 34%

83 Per tipologia di siti (miei dati, parziali) 80% 60% 65% Fiducia 40% 39% 31% 33% 39% 36% Facilità d'uso 20% 13% 0% 1% EsteVca -20% -40% -7% -18% -28% PA SN ECOM -25% Capacità di me"ere in relazione con il mondo

84 Come tutti gli strumenti Pro Costo zero Comparabili con altri siti/servizi Comparabili nel tempo Mescolabili con tecniche qualitative Adattabili al proprio caso e tipo di servizio Aumentano la conoscenza dei fattori determinanti Contro Richiedono riflessione Supplemento di analisi successiva Expertise

85 Riepilogo: 1. Monitorare la qualità dei servizi online è possibile: lo fanno aziende private e pubbliche nel mondo 2. Preferire strumenti standardizzati, che consentono comparazioni 3. Costo basso, vantaggi alti 4. Innescano un percorso virtuoso, a patto che lo si voglia 5. Integrabili con strumenti diversi

86 Fine