University of Oulu

Recognizing human activities based on wearable inertial measurements : methods and applications

Saved in:
Author: Siirtola, Pekka
Organizations: University of Oulu Graduate School
University of Oulu, Faculty of Information Technology and Electrical Engineering, Department of Computer Science and Engineering
University of Oulu, Infotech Oulu
Format: eBook
Online Access: PDF Full Text (PDF, 1.2 MB)
Persistent link: http://urn.fi/urn:isbn:9789526207698
Language: English
Published: Oulu : University of Oulu, 2015
Publish Date: 2015-03-31
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Technology and Natural Sciences of the University of Oulu for public defence in Auditorium TS101, Linnanmaa, on 10 April 2015, at 12 noon
Tutor: Professor Juha Röning
Reviewer: Associate Professor Ulf Johansson
Associate Professor Daniel Roggen
Opponent: Professor Barbara Hammer
Description:

Abstract

Inertial sensors are devices that measure movement, and therefore, when they are attached to a body, they can be used to measure human movements. In this thesis, data from these sensors are studied to recognize human activities user-independently. This is possible if the following two hypotheses are valid: firstly, as human movements are dissimilar between activities, also inertial sensor data between activities is so different that this data can be used to recognize activities. Secondly, while movements and inertial data are dissimilar between activities, they are so similar when different persons are performing the same activity that they can be recognized as the same activity. In this thesis, pattern recognition -based solutions are applied to inertial data to find these dissimilarities and similarities, and therefore, to build models to recognize activities user-independently.

Activity recognition within this thesis is studied in two contexts: daily activity recognition using mobile phones, and activity recognition in industrial context. Both of these contexts have special requirements and these are considered in the presented solutions. Mobile phones are optimal devices to measure daily activity: they include a wide range of useful sensors to detect activities, and people carry them with them most of the time. On the other hand, the usage of mobile phones in active recognition includes several challenges; for instance, a person can carry a phone in any orientation, and there are hundreds of smartphone models, and each of them have specific hardware and software. Moreover, as battery life is always as issue with smartphones, techniques to lighten the classification process are proposed. Industrial context is different from daily activity context: when daily activities are recognized, occasional misclassifications may disturb the user, but they do not cause any other type of harm. This is not the case when activities are recognized in industrial context and the purpose is to recognize if the assembly line worker has performed tasks correctly. In this case, false classifications may be much more harmful. Solutions to these challenges are presented in this thesis.

The solutions introduced in this thesis are applied to activity recognition data sets. However, as the basic idea of the activity recognition problem is the same as in many other pattern recognition procedures, most of the solutions can be applied to any pattern recognition problem, especially to ones where time series data is studied.


Tiivistelmä

Liikettä mittaavista antureista, kuten kiihtyvyysantureista, saatavaa tietoa voidaan käyttää ihmisten liikkeiden mittaamiseen kiinnittämällä ne johonkin kohtaan ihmisen kehoa. Väitöskirjassani tavoitteena on opettaa tähän tietoon perustuvia käyttäjäriippumattomia malleja, joiden avulla voidaan tunnistaa ihmisten toimia, kuten käveleminen ja juokseminen. Näiden mallien toimivuus perustuu seuraavaan kahteen oletukseen: (1) koska henkilöiden liikkeet eri toimissa ovat erilaisia, myös niistä mitattava anturitieto on erilaista, (2) useamman henkilön liikkeet samassa toimessa ovat niin samanlaisia, että liikkeistä mitatun anturitiedon perusteella nämä liikkeet voidaan päätellä kuvaavan samaa toimea.

Tässä väitöskirjassa käyttäjäriippumaton ihmisten toimien tunnistus perustuu hahmontunnistusmenetelmiin ja tunnistusta on sovellettu kahteen eri asiayhteyteen: arkitoimien tunnistamiseen älypuhelimella sekä toimintojen tunnistamiseen teollisessa ympäristössä. Molemmilla sovellusalueilla on omat erityisvaatimuksensa ja -haasteensa. Älypuhelimien liikettä mittaavien antureihin perustuva tunnistus on haastavaa esimerkiksi siksi, että puhelimen asento ja paikka voivat vaihdella. Se voi olla esimerkiksi laukussa tai taskussa, lisäksi se voi olla missä tahansa asennossa. Myös puhelimen akun rajallinen kesto luo omat haasteensa. Tämän vuoksi tunnistus tulisi tehdä mahdollisimman kevyesti ja vähän virtaa kuluttavalla tavalla. Teollisessa ympäristössä haasteet ovat toisenlaisia. Kun tarkoituksena on tunnistaa esimerkiksi työvaiheiden oikea suoritusjärjestys kokoamislinjastolla, yksikin virheellinen tunnistus voi aiheuttaa suuren vahingon. Teollisessa ympäristössä tavoitteena onkin tunnistaa toimet mahdollisimman tarkasti välittämättä siitä kuinka paljon virtaa ja tehoa tunnistus vaatii. Väitöskirjassani kerrotaan kuinka nämä erityisvaatimukset ja -haasteet voidaan ottaa huomioon suunniteltaessa malleja ihmisten toimien tunnistamiseen.

Väitöskirjassani esiteltyjä uusia menetelmiä on sovellettu ihmisten toimien tunnistamiseen. Samoja menetelmiä voidaan kuitenkin käyttää monissa muissa hahmontunnistukseen liittyvissä ongelmissa, erityisesti sellaisissa, joissa analysoitava tieto on aikasarjamuotoista.


Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-0769-8
ISBN Print: 978-952-62-0768-1
Issue: 524
Subjects:
Copyright information: This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.