University of Oulu

Lightweight adaptation to situational changes in classifiers of multimodal human data

Saved in:
Author: Vildjiounaite, Elena1
Organizations: 1University of Oulu, Faculty of Information Technology and Electrical Engineering, Computer Science and Engineering
Format: ebook
Version: published version
Online Access: PDF Full Text (PDF, )
Language: English
Published: Espoo : VTT Technical Research Centre of Finland, 2016
Publish Date: 2016-05-06
Thesis type: Doctoral Dissertation
Defence Note: Thesis for the degree of Doctor of Technology to be presented with due permission for public examination and criticism in Oulu, at the University of Oulu, on May 20.
Tutor: Professor Tapio Seppänen
Professor Georgy Gimel’farb
Reviewer: Professor Oliver Amft
Professor Ari Visa
Opponent: Professor Jürgen Ziegler
Professor Ari Visa
Description:

Abstract

A wide range of current computer applications require explicit human-computer interaction of various types, ranging from application login to providing feedback on the applications' outputs (e.g., ranking recommended TV programmes), to adapt to different usage situations. As explicit interaction can be tiresome, users tend to avoid it even if such behaviour is counterproductive and/or insecure. Accordingly, application developers rarely build systems capable of runtime adaptation to new contexts, because conventional classifier training requires too large datasets of labelled training data to obtain from end users. The most common adaptation schemes define one or more typical usage contexts, build a pool of context-specific reasoning models during the design time and then select an appropriate model from this pool during the runtime. This approach enables instant runtime adaptation, but requires domain knowledge and suits only applications with usage contexts that can be pre-defined. Many personal applications, however, encounter wide varieties of difficult-to-define contexts, e.g. social rules or audio backgrounds. It is simply impossible to predict all such contexts, to say nothing of collecting adequate databases for building pools of reasoning models for them. Hence personal applications require new methods for adapting to changing runtime contexts. As runtime adaptation largely relies on interaction with end users, these methods should be fairly lightweight with respect to standard ones, i.e. they should require much less domain knowledge and explicitly acquired data.

This thesis introduces and explores lightweight solutions for building reasoning models for situations that are not pre-defined during the design time. These solutions are proposed for increasing the accuracy or convenience of applications in three domains: TV programme recommendations, affect recognition and personal assistance. In addition, a method for reducing explicit interaction efforts at the inference stage is proposed for increasing the security of biometric verification systems in which typical usage contexts can be pre-defined. The proposed methods have been validated experimentally with realistic data sets, and the results have confirmed that they considerably reduce the dependence of context- and useradaptive classifiers on domain knowledge and explicit interaction efforts. Studies with personal assistive applications have also demonstrated that users can accept the proposed lightweight adaptation even when its accuracy is relatively low.

The diversity of test cases, which differed considerably in their requirements and data availability, made it possible to demonstrate how the suitability of different adaptation schemes depends on both the application and its usage contexts. Based on this experience, this thesis identifies context and application characteristics that exercise the greatest influence and provides guidelines for considering these factors in adaptation design.

see all

Tiivistelmä

Monet nykyisistä tietokonesovelluksista edellyttävät erilaista eksplisiittistä interaktiota ihmisen ja tietokoneen välillä. Tämä pitää sisällään esimerkiksi sovelluksiin kirjautumisen ja sovellusten toimintaa koskevan palautteen antamisen (esim. suositeltujen televisio-ohjelmien asettamisen paremmuusjärjestykseen) sovellusten mukauttamiseksi. Koska eksplisiittinen interaktio voi olla rasittavaa, käyttäjät mielellään välttävät sitä, vaikka tämä olisikin haitallista ja/tai tietoturvaa heikentävää. Sovellusten kehittäjät rakentavat sen vuoksi harvoin järjestelmiä, jotka pystyvät mukautumaan uusiin konteksteihin käytönaikaisesti, koska perinteinen luokittajan ohjattu opettaminen edellyttää liian suurien annotoitujen tietojoukkojen hankkimista loppukäyttäjiltä. Tavallisimmissa mukautumismalleissa määritetään yksi tai useampi tyypillinen käyttökonteksti ja rakennetaan suunnitteluaikana kontekstikohtaisten päättelymallien varanto, josta valitaan sopiva malli käytön aikana. Tämä lähestymistapa mahdollistaa välittömän käytönaikaisen mukautumisen, mutta edellyttää tietämystä toimialueista ja soveltuu ainoastaan sovelluksille, joissa käyttökontekstit on mahdollista määrittää etukäteen. Useita henkilökohtaisia sovelluksia käytettäessä vastaan tulee kuitenkin monia erilaisia, vaikeasti määritettäviä konteksteja, kuten sosiaalisia sääntöjä tai äänitaustoja. Kaikkia tällaisia konteksteja ei yksinkertaisesti ole mahdollista ennustaa, puhumattakaan niiden vaatimien päättelymallien varantoon riittävien tietokantojen keräämisestä. Tästä syystä henkilökohtaisia sovelluksia varten tarvitaan uusia menetelmiä, jotka mahdollistavat mukautumisen käytön aikana muuttuviin konteksteihin. Koska käytönaikainen mukautuminen pohjautuu pääasiallisesti sovellusten ja loppukäyttäjien interaktioon, näiden menetelmien on oltava melko kevyitä standardinmukaisiin menetelmiin nähden. Toisin sanoen niiden on edellytettävä vähemmän tietämystä toimialueista ja vähemmän eksplisiittisesti kerättyjä tietoja.

Tässä tutkielmassa esitellään ja tutkitaan kevyitä ratkaisuja päättelymallien rakentamiseen sellaisia tilanteita varten, joita ei ole määritetty ennalta suunnitteluaikana. Näitä ratkaisuja ehdotetaan sovellusten tarkkuuden tai kätevyyden parantamiseksi kolmella toimialueella: televisio-ohjelmia koskevat suositukset, tunteiden tunnistaminen ja henkilökohtaiset avustustoiminnot. Lisäksi ehdotetaan menetelmää, jonka avulla voidaan vähentää eksplisiittistä interaktiota päättelyvaiheessa suojauksen parantamiseksi biometrisissä todentamisjärjestelmissä, joissa tyypilliset käyttökontekstit ovat etukäteen määritettävissä. Ehdotetut menetelmät on vahvistettu kokeellisesti realististen aineistojen avulla. Saadut tulokset vahvistavat, että menetelmien avulla on pystytty tuntuvasti vähentämään kontekstin ja käyttäjän mukaan mukautuvien luokittajien riippuvuutta toimialuetietämyksestä ja eksplisiittisestä interaktiosta. Henkilökohtaisia avustavia sovelluksia koskevissa tutkimuksissa on myös osoitettu, että käyttäjät hyväksyvät ehdotetun kevyen mukautuksen, vaikka sen tarkkuus olisi suhteellisen heikko.

Koska testitapaukset olivat niin monimuotoisia ja poikkesivat huomattavasti toisistaan vaatimusten ja käytettävissä olevien tietojen osalta, oli mahdollista osoittaa, miten riippuvaista erilaisten mukautumismallien soveltuvuus on sekä itse sovelluksesta että sen käyttökonteksteista. Näiden kokemusten pohjalta tutkielmassa tunnistetaan kontekstien ja sovellusten ominaisuuksia, joilla on suurin vaikutus, sekä tarjotaan suosituksia siitä, miten nämä tekijät voidaan huomioida mukautumissuunnittelussa.

see all

Series: VTT Science
ISSN: 2242-119X
ISSN-E: 2242-1203
ISSN-L: 2242-119X
ISBN: 978-951-38-8411-6
ISBN Print: 978-951-38-8410-9
Issue: 125
Subjects:
Copyright information: This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.