University of Oulu

Designing for energy-efficient vision-based interactivity on mobile devices

Saved in:
Author: Bordallo López, Miguel
Organizations: University of Oulu Graduate School
University of Oulu, Faculty of Information Technology and Electrical Engineering, Department of Computer Science and Engineering
University of Oulu, Infotech Oulu
Format: eBook
Online Access: PDF Full Text (PDF, 2.8 MB)
Persistent link: http://urn.fi/urn:isbn:9789526206721
Language: English
Published: Oulu : University of Oulu, 2014
Publish Date: 2014-12-05
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Technology and Natural Sciences of the University of Oulu for public defence in the OP auditorium (L10), Linnanmaa, on 15 December 2014, at 12 noon
Tutor: Professor Olli Silvén
Reviewer: Professor Abbes Amira
Professor Tommi Mikkonen
Opponent: Professor Holger Blume
Professor Tommi Mikkonen
Description:

Abstract

Future multimodal mobile platforms are expected to require high interactivity in their applications and user interfaces. Until now, mobile devices have been designed to remain in a stand-by state until the user actively turns it on in the interaction sense. The motivation for this approach has been battery conservation.

Imaging is a versatile sensing modality that can enable context recognition, unobtrusively predicting the user's interaction needs and directing the computational resources accordingly. However, vision-based always-on functionalities have been impractical in battery-powered devices, since their requirements of computational power and energy make their use unattainable for extended periods of time.

Vision-based applications can benefit from the addition of interactive stages that, properly designed, can reduce the complexity of the methods utilizing user feedback and collaboration, resulting in a system that balances computational throughput and energy efficiency.

The usability of user interfaces critically rests on their latency. However, an always-on sensing platform needs a careful balance with the power consumption demands. Improving reactiveness when designing for highly interactive vision-based interfaces can be achieved by reducing the number of operations that the application processor needs to execute, deriving the most expensive tasks to accelerators or specific processors.

In this context, this thesis focuses on investigating and surveying enablers and solutions for vision-based interactivity on mobile devices. The thesis explores the development of new user interaction methods by analyzing and comparing means to reach interactivity, high performance, low latency and energy efficiency. The researched techniques, ranging from mobile GPGPU and dedicated sensor processing to reconfigurable image processors, provide understanding on designing for future mobile platforms.


Tiivistelmä

Tulevaisuuden multimodaalisten mobiilialustojen sovellusten ja käyttöliittymien odotetaan vaativan käyttäjältä läheistä vuorovaikutusta. Tähän saakka mobiililaitteet on suunniteltu pysymään valveustilassa siihen asti kunnes käyttäjä aktivoi laitteen. Tällä lähestymistavalla on pyritty pidentämään akun kestoa.

Kuvantaminen on monipuolinen aistimodaliteetti, joka mahdollistaa kontekstin tunnistuksen ennakoimalla huomaamattomasti käyttäjän vuorovaikutustarpeet ja suuntaamalla laskennalliset resurssit asianmukaisesti. Näköpohjaiset, jatkuvasti päällä olevat toiminnot ovat kuitenkin epäkäytännöllisiä akkukäyttöisissä laitteissa sillä niiden laskennallisen suoritustehokkuuden ja akun keston vaatimukset tekevät pidemmästä yhtäjaksoisesta käytöstä mahdotonta.

Kamerapohjaiset sovellukset voivat hyötyä interaktiivisten vaiheiden lisäämisestä. Oikein suunniteltuina ne vähentävät käyttäjäpalautetta ja -yhteistyötä hyödyntävien menetelmien monimutkaisuutta, joka saattaa laskennallisen suoritustehokkuuden ja energiatehokkuuden tasapainoon.

Käyttöliittymien käytettävyys on kriittisesti riippuvainen niiden viiveestä. Jatkuvasti päällä oleva aistiva alusta edellyttää kuitenkin tasapainottelua virrankulutuksen vaatimusten kanssa. Hyvin interaktiivisia kamerapohjaisia käyttöliittymiä suunniteltaessa reaktiivisuuden parantaminen saadaan aikaan vähentämällä prosessorin käsittelemien operaatioiden määrää, johtamalla kuormittavimmat tehtävät kiihdyttimille tai erillisille prosessoreille.

Tässä kontekstissa, väitöskirjatutkimus keskittyy tutkimaan ja tarkastelemaan mahdollistajia ja ratkaisuja kamerapohjaiseen vuorovaikutukseen mobiililaitteissa. Väitöskirja tutkii uusien käyttäjäinteraktiomenetelmien kehittämistä vuorovaikutusta, suoritustehoa, alhaista viivettä ja energiatehokkuutta tuottavia keinoja analysoimalla ja vertaamalla. Tutkitut tekniikat mobiilista grafiikkaprosessoreista ja erillis sensoriprosessoinnista uudelleen konfiguroitaviin kuvaprosessoreihin tuovat ymmärrystä tulevaisuuden mobiilien alustojen suunnitteluun.


Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-0672-1
ISBN Print: 978-952-62-0671-4
Issue: 512
Subjects:
Copyright information: This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.