Transfer of activity recognition capabilities to untrained sensor systems

Transcript

1 Diss. ETH No Transfer of activity recognition capabilities to untrained sensor systems A dissertation submitted to ETH ZURICH for the degree of Doctor of Sciences presented by Alberto Calatroni Laurea Magistrale in Ingegneria Elettronica, Politecnico di Milano, Italy Date of birth March 12, 1981 Citizen of Italy accepted on the recommendation of Prof. Dr. Gerhard Tröster, examiner Prof. Dr. James L. Crowley, co-examiner 2013

2 Abstract Human activity recognition is useful for a range of applications including health care, human-computer interaction, assistance of elderly or industry workers. Activity recognition relies on the deployment of sensors worn by persons or installed in the environment, like accelerometers, microphones and videocameras. The sensor signals are then processed with pattern recognition algorithms to recognize activities. Pattern recognition algorithms require being trained before system deployment in a data collection phase. Obtaining a good performance when activity recognition systems are used in real life is quite challenging though. The main reason is that if we want the systems to be unobtrusive for the user, we cannot control which sensors will be worn, where and with which orientation. As an example, a smart phone can be worn in any pocket and with many orientations. The lack of a fixed placement and orientation can lead to a severe mismatch between the signal patterns used for training the systems and the ones arising after deployment, which can be detrimental for the classification accuracy. In this thesis, we seek to change this paradigm, allowing the user to wear new sensor systems which then get trained on-the-fly by existing infrastructure. We call learners the new sensor systems and teachers the existing ones. In this work, we investigate different aspects of this new paradigm. In the first place, we introduce two mechanisms for the teachers to train the learners: classifier-level and signal-level transfer learning. The first mechanism works at the classifiers level and does not make assumptions on eventual physical relationships between teacher and learner which could introduce correlations between their signals. We applied the classifier-level transfer to locomotion and posture recognition performed with accelerometers. In this setting, learners reached on average an accuracy 9.3 % below the one obtained by a training with ground-truth labels. For the transfer to take place, teachers and learners need to operate simultaneously until enough activity instances take place. The signal-level transfer learning mechanism speeds up manifold the training of the learner, compared to the classifier-level transfer.

3 x Signal-level transfer learning makes the assumption that teacher and learner signals can be obtained from each other by means of some transformation. The transformation is learned automatically from teacher and learner signals. Teachers and learners have to operate simultaneously only until the transformation between their signals is learned, thus the duration in decoupled from the kind of activities that teachers and learners need to recognize. We tested the method on a gesture recognition scenario where accelerometers learned from a camerabased system. We obtained a successful training of the learners with teacher and learner operating simultaneously for three seconds. The learners reached an accuracy up to 4 % below the one obtained by a training with ground-truth labels. Secondly, we introduce algorithms to decide, among many potential available candidate learners, which ones are most suitable for recognizing the activities at hand. We formulate the problem as a supervised feature selection problem in presence of class noise. Class noise is given by the fact that teachers do not always recognize activities perfectly. We introduce five scores to rank candidate learners according to their accuracy in recognizing activities. We obtained ranking accuracies up to 96 %. We showed that with teachers making up to 40 % mistakes in recognizing activities, ranking accuracies drop at most 10 %. In the third place, we illustrate ideas to exploit in an opportunistic manner resources which are already deployed in the environment. One example are magnetic switches mounted on windows used by the heating/air conditioning systems. These switches can become teachers that provide training labels to learners. We show how magnetic switches can train body-worn accelerometers to recognize posture and locomotion. In our experiments, the learners achieved an accuracy between 20 % and 2.8 % below the one obtained by a training with ground-truth labels. By using the infrastructure to provide labels, no training set needs to be collected for the body-worn sensors. Finally, we present a multimodal dataset which we collected with the purpose of becoming a standard benchmark dataset in the field of human activity recognition. The dataset consists of 8216 instances of posture/locomotion and gestures performed in a kitchen. We used the dataset to validate many of the approaches proposed in this work and the dataset has been used to promote a challenge among diverse research groups, so that different algorithms could be tested on common grounds. This should push forward research, similarly to

4 what happened in computer vision by using standard datasets. xi

5 Riassunto Il riconoscimento di attività umane è utile per diverse applicazioni, tra cui assistenza sanitaria, interazione uomo-macchina o assistenza di anziani o lavoratori in una fabbrica. Il riconoscimento di attività presuppone l installazione di sensori indossati dagli utenti o installati negli ambienti, come accelerometri, microfoni o videocamere. I segnali dei sensori vengono utilizzati da algoritmi di riconoscimento di pattern per riconoscere le attività. Per poter effettuare il riconoscimento, gli algoritmi devono prima passare attraverso una fase di training in cui vengono raccolti esempi delle attività da riconoscere. Ottenere buone prestazioni quando un sistema di riconoscimento attività viene poi installato ed usato nella quotidianità è difficile. Il motivo principale risiede nel fatto che per rendere il sistema poco intrusivo per l utente, quest ultimo deve essere lasciato libero di posizionare i sensori in posizioni arbitrarie e con vari orientamenti. Ad esempio, uno smartphone può venir infilato in qualunque tasca e può essere girato in vari modi. Questa libertà di posizionamento può portare ad una notevole discrepanza tra i segnali misurati in fase di training e quelli poi effettivamente misurati quando l utente usa il sistema. Questa discrepanza è deleteria per l accuratezza della classificazione delle attività. In questa tesi, ci poniamo come obiettivo di modificare questo paradigma, permettendo all utente di indossare nuovi sensori, il cui training viene effettuato non tramite una raccolta di dati ad hoc, bensì tramite infrastruttura già installata e senza intervento dell utente stesso. Chiamiamo learner i nuovi sensori e teacher i preesistenti. In questo lavoro analizziamo diversi aspetti del paradigma teacherlearner. Anzitutto introduciamo due meccanismi perché i sensori preesistenti effettuino il training dei nuovi sensori: transfer learning al livello dei classificatori e al livello dei segnali. Il primo approccio non presuppone che esistano perticolari relazioni tra i segnali di teacher e learner. Abbiamo applicato questo approccio ad uno scenario di riconoscimento di posture e locomozione basato su accelerometri. In questo scenario, i nuovi sensori raggiungono un accuratezza in media 9.3 % al di sotto di quella ottenibile se il training viene effettuato con la-

6 xiv bel esatte (ground-truth). Per permettere al trasferimento di avvenire con successo, teacher e learner devono interagire per un tempo sufficiente perché si verifichino istanze di tutte le attività che devono essere riconosciute. Il transfer learning al livello dei segnali rende l apprendimento da parte dei nuovi sensori sensibilmente più rapido. Questo approccio assume che esista una trasformazione che permetta di ottenere i segnali del learner a partire da quelli del teacher. Questa trasformazione viene appresa direttamente dal confronto dei segnali per un tempo sufficiente. La trasformazione non ha a che vedere con le attività che vengono riconosciute. Abbiamo validato questo metodo in uno scenario di riconoscimento gesti, dove accelerometri imparano da un sistema basato su videocamera. Abbiamo ottenuto l apprendimento della trasformazione in 3 s. I learner hanno raggiunto accuratezze fino al 4 % al di sotto di quella ottenibile effettuando un training con ground-truth. In seguito, introduciamo alcuni algoritmi per selezionare quali tra numerosi potenziali learner possano raggiungere le prestazioni più alte per il riconoscimento delle attività. Formuliamo il problema in termini di selezione di feature in presenza di rumore nelle label (class noise). Il rumore deriva dal fatto che i teacher non riconoscono perfettamente le attività. Introduciamo cinque metriche che permettono effettuare un ranking dei potenziali learner dal più accurato al meno accurato. Abbiamo raggiunto una precisione fino al 96 % nell effettuare il ranking. La precisione nel ranking decresce di circa 10 % quando i teacher commettono il 40 % di errori nel classificare le attività. Successivamente, illustriamo come usare opportunisticamente risorse già presenti nell ambiente per svolgere il ruolo di teacher. Un esempio sono gli interruttori magnetici spesso presenti su porte e finestre che vengono usati dai sistemi di aria condizionata. Questi interruttori possono produrre label per il training di altri sensori. In particolare, mostriamo come gli interruttori magnetici possono effettuare il training di accelerometri montati sul corpo dell utente per riconoscere posture e locomozione. Nei nostri esperimenti i learner hanno raggiunto accuratezze comprese tra il 20 % ed il 2.8 % al di sotto al di sotto di quelle ottenibili effettuando un training con ground-truth. L uso di sensori già montati negli ambienti permette di evitare completamente la raccolta di un training set per l utente. Infine, presentiamo un dataset multimodale che abbiamo raccolto con l intenzione di renderlo un riferimento standard nel campo del riconoscimento di attività. Il dataset è stato registrato in una cucina e

7 comprende 8216 istanze di posture o locomozione e gesti, nonché attività come ad esempio la preparazione di uno spuntino. Abbiamo usato il dataset per validare molti degli algoritmi sviluppati in questa tesi. Inoltre, il dataset è stato usato come base per un challenge che ha coninvolto diversi gruppi di ricerca, con l obiettivo di testare algoritmi alternativi su una base comune. L uso di dati comuni dovrebbe spingere la ricerca attraverso la competizione tra diversi gruppi, analogamente a quanto successo nel campo della computer vision. xv