Abstract

This thesis presents novel computer vision methods for improving image-based 3D reconstruction and mobile photography. Devices such as smartphones and tablets are commonly equipped with an inertial measurement unit (IMU) that provides information about the motion of the device. Moreover, many devices can be programmed to capture rapid bursts of images with different exposure times. The methods introduced utilize multi-modal and complementary information acquirable with mobile devices.

Three-dimensional scene reconstruction from multiple images is an essential problem in computer vision. This process has a well-known limitation that the absolute scale of the reconstruction cannot be recovered using a single camera. This thesis presents an inertial-based scale estimation method that recovers the unknown scale factor. The method achieves state-of-the-art performance and can easily be integrated with existing 3D reconstruction software.

Motion blur is a common issue when capturing images in low light conditions. It not only degrades the visual quality but damages various computer vision applications, including image-based 3D reconstruction. This thesis presents two deblurring methods for removing spatially variant motion blur using inertial measurements. Unlike most of the existing approaches, the methods are capable of running in real-time. This thesis also investigates the problem of joint denoising and deblurring. It introduces a novel learning-based approach to recovering sharp and noise-free photographs from a pair of short and long exposure images.

Multi-aperture cameras have become common in smartphones. The use of multiple camera units provides another way to improve image quality and camera features. This thesis explores the problem of parallax correction caused by each camera unit having a slightly different viewpoint. This work presents an image fusion algorithm for a particular multi-aperture camera where camera units have different color filters. The images are fused using a disparity map that is estimated while considering all images simultaneously. The approach is a feasible alternative to traditional cameras equipped with a Bayer filter.

Tiivistelmä

Tässä väitöskirjassa esitellään uusia konenäön menetelmiä, jotka pyrkivät parantamaan kuvapohjaista 3D-rekonstruktiota ja mobiilivalokuvausta. Laitteet, kuten älypuhelimet ja tablet-tietokoneet sisältävät yleensä inertiamittausyksikön, joka antaa tietoa laitteen liikkeestä. Lisäksi monilla laitteilla on mahdollista ottaa useita kuvia nopeasti peräkkäin eri valotusajoilla. Työssä esitetyt menetelmät hyödyntävät mobiililaitteiden eri sensoreilla saatavaa multimodaalista ja toisiaan täydentävää tietoa.

Kuvapohjainen 3D-rekonstruktio on eräs konenäön keskeisimmistä ongelmista. Tähän prosessiin liittyy tunnettu rajoitus, että 3D-mallin absoluuttista skaalaa ei voida määrittää pelkästään yhden kameran avulla. Tämä työ esittelee inertiaalipohjaisen menetelmän, jolla tuntematon skaalauskerroin voidaan määrittää. Menetelmällä saadut tulokset ovat ensiluokkaisia ja menetelmä voidaan helposti integroida olemassa oleviin 3D-rekonstruktio-ohjelmistoihin.

Liike-epäterävyys on ongelma, joka ilmenee usein hämärässä kuvattaessa. Se huonontaa valokuvien laatua ja vaikuttaa negatiivisesti moniin konenäön sovelluksiin, kuten kuvapohjaiseen 3D-rekonstruktioon. Tässä työssä esitellään kaksi menetelmää liike-epäterävyyden poistoon, jotka hyödyntävät inertiaalimittauksia. Algoritmit ovat reaaliaikaisia, toisin kuin suurin osa nykyisistä menetelmistä. Väitöskirjassa tutkitaan myös yhtäaikaista kohinan- ja liike-epäterävyydenpoistoa. Se esittää uudenlaisen menetelmän, joka hyödyntää koneoppimista sekä kuvapareja, jotka on otettu lyhyellä ja pitkällä valotusajalla.

Moniaukkokamerat ovat yleistyneet älypuhelimissa. Useita kamerayksiköitä hyödyntämällä voidaan parantaa kuvien laatua ja kameran ominaisuuksia. Tässä työssä perehdytään parallaksivirheen korjaamiseen, mikä aiheutuu siitä, että kamerayksiköiden näkymät eroavat hieman toisistaan. Työ esittelee kuvafuusioalgoritmin moniaukkokameraan, missä jokainen kamerayksikkö on varustettu erillisellä värisuodattimella. Syötekuvat yhdistetään dispariteetti-kartan perusteella, joka estimoidaan hyödyntämällä kaikkia kuvia yhtä aikaa. Kyseinen lähestymistapa on varteenotettava vaihtoehto perinteiselle Bayer-suodattimella varustetulle kameralle.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

1. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2017). Inertial-based scale estimation for structure from motion on mobile devices. 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). https://doi.org/10.1109/iros.2017.8206303

2. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2018). Fast Motion Deblurring for Feature Detection and Matching Using Inertial Measurements. 2018 24th International Conference on Pattern Recognition (ICPR). https://doi.org/10.1109/icpr.2018.8546041

   Rinnakkaistallennettu versio / Self-archived version

3. Mustaniemi, J., Kannala, J., Särkkä, S., Matas, J., & Heikkilä, J. (2019). Gyroscope-Aided Motion Deblurring with Deep Networks. 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). https://doi.org/10.1109/wacv.2019.00208

   Rinnakkaistallennettu versio / Self-archived version

4. Mustaniemi, J., Kannala, J., Matas, J., Särkkä, S., & Heikkilä, J. (2020). LSD₂ - Joint denoising and deblurring of short and long exposure images with CNNs. The British Machine Vision Virtual Conference (BMVC).

   Rinnakkaistallennettu versio / Self-archived version

5. Mustaniemi, J., Kannala, J., & Heikkilä, J. (2016). Parallax correction via disparity estimation in a multi-aperture camera. Machine Vision and Applications, 27(8), 1313–1323. https://doi.org/10.1007/s00138-016-0773-7