University of Oulu

Computer vision methods for mobile imaging and 3D reconstruction

Saved in:
Author: Mustaniemi, Janne1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering, Computer Science and Engineering
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 8.5 MB)
Persistent link: http://urn.fi/urn:isbn:9789526227856
Language: English
Published: Oulu : University of Oulu, 2020
Publish Date: 2020-11-24
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the OP auditorium (L10), Linnanmaa, on 4 December 2020, at 12 noon
Tutor: Professor Janne Heikkilä
Assistant Professor Juho Kannala
Reviewer: Associate Professor Filip Sroubek
Associate Professor Atsuto Maki
Opponent: Professor Joni-Kristian Kämäräinen
Description:

Abstract

This thesis presents novel computer vision methods for improving image-based 3D reconstruction and mobile photography. Devices such as smartphones and tablets are commonly equipped with an inertial measurement unit (IMU) that provides information about the motion of the device. Moreover, many devices can be programmed to capture rapid bursts of images with different exposure times. The methods introduced utilize multi-modal and complementary information acquirable with mobile devices.

Three-dimensional scene reconstruction from multiple images is an essential problem in computer vision. This process has a well-known limitation that the absolute scale of the reconstruction cannot be recovered using a single camera. This thesis presents an inertial-based scale estimation method that recovers the unknown scale factor. The method achieves state-of-the-art performance and can easily be integrated with existing 3D reconstruction software.

Motion blur is a common issue when capturing images in low light conditions. It not only degrades the visual quality but damages various computer vision applications, including image-based 3D reconstruction. This thesis presents two deblurring methods for removing spatially variant motion blur using inertial measurements. Unlike most of the existing approaches, the methods are capable of running in real-time. This thesis also investigates the problem of joint denoising and deblurring. It introduces a novel learning-based approach to recovering sharp and noise-free photographs from a pair of short and long exposure images.

Multi-aperture cameras have become common in smartphones. The use of multiple camera units provides another way to improve image quality and camera features. This thesis explores the problem of parallax correction caused by each camera unit having a slightly different viewpoint. This work presents an image fusion algorithm for a particular multi-aperture camera where camera units have different color filters. The images are fused using a disparity map that is estimated while considering all images simultaneously. The approach is a feasible alternative to traditional cameras equipped with a Bayer filter.

see all

Tiivistelmä

Tässä väitöskirjassa esitellään uusia konenäön menetelmiä, jotka pyrkivät parantamaan kuvapohjaista 3D-rekonstruktiota ja mobiilivalokuvausta. Laitteet, kuten älypuhelimet ja tablet-tietokoneet sisältävät yleensä inertiamittausyksikön, joka antaa tietoa laitteen liikkeestä. Lisäksi monilla laitteilla on mahdollista ottaa useita kuvia nopeasti peräkkäin eri valotusajoilla. Työssä esitetyt menetelmät hyödyntävät mobiililaitteiden eri sensoreilla saatavaa multimodaalista ja toisiaan täydentävää tietoa.

Kuvapohjainen 3D-rekonstruktio on eräs konenäön keskeisimmistä ongelmista. Tähän prosessiin liittyy tunnettu rajoitus, että 3D-mallin absoluuttista skaalaa ei voida määrittää pelkästään yhden kameran avulla. Tämä työ esittelee inertiaalipohjaisen menetelmän, jolla tuntematon skaalauskerroin voidaan määrittää. Menetelmällä saadut tulokset ovat ensiluokkaisia ja menetelmä voidaan helposti integroida olemassa oleviin 3D-rekonstruktio-ohjelmistoihin.

Liike-epäterävyys on ongelma, joka ilmenee usein hämärässä kuvattaessa. Se huonontaa valokuvien laatua ja vaikuttaa negatiivisesti moniin konenäön sovelluksiin, kuten kuvapohjaiseen 3D-rekonstruktioon. Tässä työssä esitellään kaksi menetelmää liike-epäterävyyden poistoon, jotka hyödyntävät inertiaalimittauksia. Algoritmit ovat reaaliaikaisia, toisin kuin suurin osa nykyisistä menetelmistä. Väitöskirjassa tutkitaan myös yhtäaikaista kohinan- ja liike-epäterävyydenpoistoa. Se esittää uudenlaisen menetelmän, joka hyödyntää koneoppimista sekä kuvapareja, jotka on otettu lyhyellä ja pitkällä valotusajalla.

Moniaukkokamerat ovat yleistyneet älypuhelimissa. Useita kamerayksiköitä hyödyntämällä voidaan parantaa kuvien laatua ja kameran ominaisuuksia. Tässä työssä perehdytään parallaksivirheen korjaamiseen, mikä aiheutuu siitä, että kamerayksiköiden näkymät eroavat hieman toisistaan. Työ esittelee kuvafuusioalgoritmin moniaukkokameraan, missä jokainen kamerayksikkö on varustettu erillisellä värisuodattimella. Syötekuvat yhdistetään dispariteetti-kartan perusteella, joka estimoidaan hyödyntämällä kaikkia kuvia yhtä aikaa. Kyseinen lähestymistapa on varteenotettava vaihtoehto perinteiselle Bayer-suodattimella varustetulle kameralle.

see all

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

  1. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2017). Inertial-based scale estimation for structure from motion on mobile devices. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). https://doi.org/10.1109/iros.2017.8206303

  2. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2018). Fast Motion Deblurring for Feature Detection and Matching Using Inertial Measurements. 2018 24th International Conference on Pattern Recognition (ICPR). https://doi.org/10.1109/icpr.2018.8546041

    Rinnakkaistallennettu versio / Self-archived version

  3. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2019). Gyroscope-Aided Motion Deblurring with Deep Networks. 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). https://doi.org/10.1109/wacv.2019.00208

    Rinnakkaistallennettu versio / Self-archived version

  4. Mustaniemi, J., Kannala, J., Matas, J., Särkkä, S., & Heikkilä, J. (2020). LSD₂ - Joint denoising and deblurring of short and long exposure images with CNNs. The British Machine Vision Virtual Conference (BMVC).

  5. Mustaniemi, J., Kannala, J., & Heikkilä, J. (2016). Parallax correction via disparity estimation in a multi-aperture camera. Machine Vision and Applications, 27(8), 1313–1323. https://doi.org/10.1007/s00138-016-0773-7

see all

Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-2785-6
ISBN Print: 978-952-62-2784-9
Issue: 771
Type of Publication: G5 Doctoral dissertation (articles)
Field of Science: 113 Computer and information sciences
Subjects:
Copyright information: © University of Oulu, 2020. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.