Analisi di gesture per editing di testo su smartphone pen-based

Transcript

1 Analisi di gesture per editing di testo su smartphone pen-based Giuseppe Pietravalle Dipartimento di Informatica Università degli Studi di Salerno Fisciano, Italia Giuseppe Santaniello Dipartimento di Informatica Università degli Studi di Salerno Fisciano, Italia ABSTRACT UPDATED January 21, Descriviamo la progettazione di un esperimento per determinare le gesture più frequenti per task di text-editing. Per realizzare l esperimento abbiamo implementato un applicazione Android che può essere utilizzata su tutti i device con Android OS. I risultati ottenuti mostrano che per la maggior parte dei task esiste una gesture effettuata dalla maggioranza dei partecipanti. Author Keywords Editor di testo, touchscreen, input gesture, mobile gesture, gesture, painting, smartphone, text-editing INTRODUZIONE Gli smartphone e i tablet negli ultimi anni hanno preso sempre più piede nella quotidianità di tutti. Infatti, oggigiorno, è possibile effettuare qualsiasi operazione (acquisti online, chat, social network, lettura di pdf, ecc.) semplicemente utilizzando uno di questi device. Con la diffusione dei dispositivi touchscreen, la ricerca si è concentrata a migliorare l interazione tra l utente e questi ultimi. Alla fine dagli anni 60, Coleman fu uno dei primi a studiare l utilizzo di simboli scritti a mano per il text-editing [5]. Altre ricerche sono state sviluppate per textprocessing (Lee & Lochovsky, 1983) e sketch-editing (Buxton, Flume, Hill, Lee & Woo, 1983) [5]. A fronte di queste ricerche, si sono sempre più diffuse applicazioni che sfruttano le potenzialità delle gesture per semplificare alcune operazioni. In particolare, si può pensare di sfruttare gesti per editing di testo su dispositivi touchscreen. Una gesture, è un segno fatto a mano, come un cerchio, una freccia o altro, usato per indicare un comando e i suoi argomenti. Per esempio, consideriamo l uso di gesture per eliminare una parola durante text-editing; l utente può eliminare una parola semplicemente disegnandovi una croce. Un riconoscitore di gesture interpreta il segno e l applicazione esegue l operazione corrispondente. Il nostro studio ha come obiettivo quello di analizzare le gesture più frequenti per task di text-editing su dispositivi touchscreen mobile. Sulla base dei risultati ottenuti, sarà possibile progettare sistemi che permettono il riconoscimento delle gesture più frequenti per determinati task. L insieme dei task è stato definito analizzando una serie di articoli correlati allo stesso argomento, tra cui [3, 4, 5]. LAVORI CORRELATI La ricerca in HCI si è concentrata molto sullo studio delle gesture per attuare azioni. Bragdon et al. [1] hanno scoperto che l utilizzo di gesti in presenza di distrazioni produce un miglioramento delle prestazioni rispetto all utilizzo di pulsanti touch, come ad esempio una tastiera QWERTY, per impartire comandi. Il motivo è che utilizzare gesti richiede una minore attenzione rispetto all utilizzo di appositi pulsanti touch, in quanto l utente deve vedere quale tasto premere. Findlater et al. [2] hanno mostrato un altro aspetto dell utilità delle gesture. In particolare, il loro studio si è concentrato sull inserimento di input non alfanumerico sfruttando le gesture su dispositivi touchscreen provvisti di tastiere soft QWERTY. Il vantaggio di questa tecnica è che le persone non devono cambiare interfaccia per inserire un qualsiasi simbolo diverso da lettere e numeri. I risultati hanno mostrato una totale preferenza di questa tecnica rispetto alla moded-keyboard interface. Le gesture possono essere utilizzare anche per text-editing come mostrato in [4]. In quest ultimo viene confrontata la tecnica di editing con gesture e la tecnica widget-based. I risultati mostrano un miglioramento delle prestazioni del 13-24% per la tecnica che sfrutta i gesti. Il feedback da parte dei partecipanti è stato positivo. Inoltre le due tecniche di editing che utilizzano diversi campi di input, possono coesistere su un unico dispositivo. Ciò significa che l editing con gesture può essere aggiunto a qualsiasi tastiera software senza interferire con l esperienza degli utenti che scelgono di non usarlo. Nell 87 è stato condotto un esperimento carta e penna per semplici task di text-editing [5]. Lo scopo di questo studio era quello di analizzare la consistenza e la frequenza di gesture per operazioni di editing. Questo esperimento è stato suddiviso in 3 fasi e sono stati scelti 12 partecipanti. Nella prima fase, i partecipanti dovevano scegliere un gesto per ogni task ed eseguire le operazioni di editing. La seconda fase veniva ripetuta immediatamente dopo la prima; mentre l ultima fase si svolgeva una settimana dopo la seconda. Il feedback dei partecipanti è stato positivo come dimostrano alcune risposte date al questionario: l 85% ha detto di aver svolto i task di editing senza dover pensare molto al gesto da utilizzare, il 69% ha affermato che utilizzare gesti è sembrato naturale e il 77% ricordava facilmente i gesti svolti precedentemente. Il nostro lavoro prende spunto da quest ultimo studio con la differenza che l esperimento è stato condotto su device touchscreen con pennino. Dai lavoro precedenti abbiamo individuato i task di editing da analizzare. METODO Come citato in precedenza, già molti ricercatori hanno effettuato studi sulle potenzialità dei gesti. Tuttavia, noi abbiamo

2 Caratteristiche Partecipanti Numero Età Media Femmine 3 24 Maschi TOT Table 1. Caratteristiche generali dei partecipanti. Figure 2. Screenshot di alcune domande del questionario Figure 1. Screenshot del task "dividi parola" deciso di effettuare un esperimento per analizzare i gesti effettuati con un pennino per dispositivi mobili con display touchscreen capacitivo e registrare quelli più frequenti. Partecipanti Sono stati selezionati 10 partecipanti, fra i quali 3 femmine e 7 maschi. Dal sondaggio svolto a fine esperimento è risultato che tutti e 10 avevano avuto esperienza nell utilizzo di schermi touchscreen e tutti, tranne uno, nell utilizzo di un pennino per questi ultimi. La media dell età dei partecipanti è di 23 anni. Dettagli sono presenti in Tabella 1. Apparatus Per l esperimento è stato utilizzato uno smartphone Huawei P8, con Android Il motivo della scelta di questo device è dovuta al fatto che le dimensioni dello schermo sono 5.2" e permettono un adeguato utilizzo di un pennino per schermi touchscreen capacitivi. Per la verifica delle gesture più frequenti, abbiamo sviluppato un applicazione Android che permette ai partecipanti di effettuare una qualsiasi gesture. Essa è composta da 13 task, ognuno dei quali proposto due volte, per un totale di 26 schermate mostrate ai partecipanti in maniera random. Procedura L esperimento è stato condotto facendo utilizzare ai partecipanti un pennino per schermi touchscreen capacitivi. A questi ultimi è stato chiesto di svolgere delle operazioni di text-editing effettuando delle gesture. Il test è stato svolto in un unica fase. Prima dell esperimento effettivo, ad ogni partecipante è stata mostrata una demo di alcuni task, per comprendere il funzionamento dell applicazione. La prima operazione che il partecipante doveva effettuare era quella di inserire il proprio nome. In tal modo veniva creata una cartella dove venivano registrati screenshot e log dei task svolti. Successivamente, iniziava l esperimento vero e proprio. Al partecipante veniva mostrato un task per ogni schermata e non era previsto un limite di tempo per il completamento. Il totale di schermate che venivano mostrate era 26. Un esempio di task viene mostrato in Figura 1. In questo caso nella parte superiore è presente l informazione per l esecuzione del task; nella parte centrale, invece, è presente il testo target su cui disegnare il gesto; infine, in basso a destra, è presente il tasto "AVANTI" che consente al partecipante di accedere al task successivo. Per ogni task, l applicazione salva uno screenshot e un file di log che rappresenta la gesture svolta. Il file di log contiene le coordinate della gesture e il tempo di esecuzione di essa. Alla fine dell esperimento, è stato somministrato un questionario di 9 domande ad ogni partecipante per raccogliere alcune informazioni. In particolare, 3 domande riguardavano informazioni personali del partecipante (età, sesso e mano preferita), mentre le restanti 6 riguardavano l esperimento appena concluso. Tutte le domande del questionario, eccetto la prima in cui era necessario inserire esattamente la propria età, venivano risposte mediante una serie di radio button. La scala di gradimento era composta da cinque valori, che andavano da

3 Figure 3. In quest immagine è possibile notare la percentuale di frequenza di ogni gesture per ciascun task. Figure 4. Insieme di gesti per ogni task, ordinati da sinistra (più frequente) a destra (meno frequente).

4 Figure 5. Frequenza del task "dividi parola" Figure 6. Frequenza del task "cancella carattere" "decisamente si" a "decisamente no". È possibile visualizzare parte del questionario nelle Figura 2. Operazioni di editing I task di editing richiesti ai partecipanti erano i seguenti 13 dividi la parola, cancella il carattere, seleziona la frase, cancella il paragrafo, cancella la frase, cancella la parola, inserisci il carattere, inserisci la parola, unisci il testo, sposta la riga, sposta la frase, sposta la parola e seleziona il testo. Design L esperimento è stato del tipo within-subject design. La variabile indipendente era il task, con 13 test condition. Le variabili dipendenti erano 2: il tempo di completamento di un gesto ed il tempo di completamento dell intero esperimento. Ai fini dell esperimento, sono state analizzate le immagini relative ad ogni task svolto dai partecipanti; in totale ciascuno dei 10 partecipanti ha eseguito 13 task ognuno dei quali è stato ripetuto 2 volte, quindi: = 260 (1) Il totale è di 260 screenshot visionati per completare lo studio e l analisi delle gesture più frequenti. RISULTATI E DISCUSSIONE Per determinare il gesto più frequente in ogni task, è stata calcolata la moda delle gesture. I gesti più utilizzati per ogni task possono essere visualizzati nelle Figura 3 e l ordine di preferenza è deducibile invece dalla Figura 4. E possibile notare che sono presenti task in cui il gesto prevalente è quello con una frequenza assoluta, mentre in altri casi non c è una vera e propria preferenza. Un esempio di gesto utilizzato da quasi la totalità dei partecipanti è stato relativo al task "Dividi Parola". Infatti, su 10 partecipanti, 9 hanno effettuato lo stesso gesto. Dettagli sul task sono visibili in Figura 5. In altri casi non è stato possibile calcolare una frequenza che Figure 7. Tempi di esecuzione e i relativi errori standard. differiva nettamente dalle altre. Un esempio di ciò è visibile alla Figura 6. I tempi di completamento dell esperimento sono mostrati in Figura 7. E stato calcolato anche il tempo medio di esecuzione dell esperimento che è di 03:21:694 (minuti: secondi: millisecondi). In 9 task su 13 è stato possibile stabilire la gesture che prevaleva nettamente sulle altre utilizzate per lo stesso task. Per i restanti task, invece, non era presente una netta differenze fra le frequenze delle gesture. Per quanto riguarda i risultati del questionario posto ai partecipanti alla fine dell esperimento, le domande più significative sono state: "Hai pensato molto prima di effettuare una gesture?". Delle 10 risposte: 5 persone (50%) hanno selezionato la risposta "Normale"; 3 persone (30%) hanno risposto "Più no che si"; 1 persona (10%) ha risposto "Più no che si"; 1 persona (10%) ha risposto "Decisamente no". "E stato facile ricordare il gesto già utilizzato per la stessa operazione?". Delle 10 risposte: 5 persone (50%) hanno selezionato la risposta "Decisamente si"; 4 persone (40%)

5 hanno risposto "Più si che no"; 1 persona (10%) ha risposto "Più no che si"; "Hai familiarità ad effettuare gesture con pennino?". 9 persone (90%) hanno risposto in maniera positiva, mentre solamente 1 partecipante non aveva mai avuto esperienze nell utilizzo di un pennino. CONCLUSIONE Noi abbiamo presentato un esperimento per determinare il gesto più frequente per task di editing di testo. Dai risultati ottenuti è possibile determinare che per la maggior parte dei task esiste un gesto univoco effettuato dalla prevalenza dei partecipanti; per i restanti task questo non è stato possibile. Dalle risposte al questionario finale, fornite dai partecipanti, è stato chiaro che: quasi tutti avevano familiarità nell utilizzo di un pennino; la maggior parte di loro ricordava i gesti già effettuati per il medesimo task e per nessuno di loro è stato necessario uno sforzo eccessivo per pensare ad una possibile gesture. In tal modo si può concludere che l editing di testo con gesture risulta una valida alternativa alla classica modalità di editing. Potrebbe essere interessante replicare il medesimo esperimento utilizzando device con display più grandi, come ad esempio tablet o notebook touchscreen, in modo da vedere se anche le dimensioni dello schermo influenzano le gesture scelte dai partecipanti. REFERENCES 1. Bragdon, A., Nelson, E., Li, Y., and Hinckley Experimental analysis of touch-screen gesture designs in mobile environments. CHI 2012 (2012), 2679? Leah Findlater, Ben Q. Lee2, and Jacob O. Wobbrock Beyond QWERTY: Augmenting Touch-Screen Keyboards with Multi-Touch Gestures for Non-Alphanumeric Input. In Proc. of CHI?11 (2011), 403? Luis A. Leiva, Vicent Alabau, Veronica Romero, Alejandro H. Toselli, and Enrique Vidal Context-aware Gestures for Mixed-Initiative Text Editing UIs. Published by Oxford University Press on behalf of The British Computer Society (2014). 4. Benoit Martin V. Fuccella, Poika Isokoski Gestures and Widgets: Performance in Text Editing on Multi-Touch Capable Mobile Devices. CHI 2013 (2013). 5. Catherine G. Wolf and Palmer Morrel-Samuels The use of hand-drawn gesture for text editing. Int. J. Man-Machine Studies 27 (1987),