University of Oulu

Convolutional neural network based super-resolution for mobile devices

Saved in:
Author: Nyrönen, Pekka1
Organizations: 1University of Oulu, Faculty of Information Technology and Electrical Engineering, Department of Computer Science and Engineering, Computer Science
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, )
Persistent link: http://urn.fi/URN:NBN:fi:oulu-201812083250
Language: English
Published: Oulu : P. Nyrönen, 2018
Publish Date: 2018-12-10
Thesis type: Master's thesis (tech)
Tutor: Heikkilä, Janne
Reviewer: Heikkilä, Janne
Hannuksela, Jari
Description:
Super-resolution is a challenging problem of restoring details lost to diffraction in the image capturing process. Degradations from the environment and the imaging device increase its difficulty, and they are strongly present in mobile phone cameras. The latest promising approaches involve convolutional neural networks, but little testing has been done on degraded images. Also, sizes of neural networks raise a question of their applicability on mobile devices. A wide review of published super-resolution neural networks is done. Four of the network architectures are chosen, and their TensorFlow models are trained and tested for their output quality on high quality and degraded images and compared against bicubic interpolation with sharpening. For the first time, MTF and CPIQ acutance responses are measured from their outputs after processing photographs of a resolution chart. Their execution times on a mobile device are measured for small image sizes and typical phone camera photo sizes. It is shown that the networks are able to learn degradation resilience, and that quality of their results surpasses that of the bicubic interpolations with sharpening. However, even the lightest models still take a considerable time to process images on a mobile device. Moreover, it is shown that the current way of training and evaluating super-resolution neural networks with high quality images is inadequate for practical purposes, and that degradations have to be incorporated into training data in order to overcome the problem.
see all

Superresoluutio on haastava diffraktion kuvaa otettaessa hävittämien yksityiskotien palautusongelma. Ympäristöstä ja kuvantamislaitteistosta syntyvät rappeumat lisäävät sen vaikeutta, ja ne ovat voimakkaasti läsnä matkapuhelinten kameroissa. Viimeisimmät lupaavat lähestymistavat hyödyntävät konvoluutioneuroverkkoja, mutta niiden testausta heikkolaatuisilla kuvilla on tehty vähän. Lisäksi neuroverkkojen koot herättävät kysymyksen niiden käytettävyydestä mobiililaitteilla. Julkaistuista superresoluutioverkoista tehdään laaja katsaus. Neljän valitun verkkoarkkitehtuurin TensorFlow-mallien ulostulojen laatua testataan puhtailla ja heikompilaatuisilla kuvilla ja tuloksia verrataan terävöitettyyn kuutiolliseen interpolaatioon. Ensimmäistä kertaa MTF- ja CPIQ-terävyysvaste mitataan niiden ulostulokuvista niiden käsiteltyä valokuvia resoluutiokartasta. Mallien suoritusaikoja mitataan niin pienille kuville kuin tyypillisille kännykkäkameroiden kuvakoille. Tulokset osoittavat, että verkot pystyvät oppimaan kestäviksi laadun heikennyksille, ja että niiden tulosten laatu ylittää terävöitetyn kuutiollisen interpolaation tulokset. Kevyimmätkin mallit vaativat kuitenkin huomattavasti laskenta-aikaa mobiililaitteella. Lisäksi osoitetaan, että nykyinen tapa kouluttaa ja arvioida superresoluutioneuroverkkoja korkealaatuisilla kuvilla on riittämätön käytännön tarkoitusperiin, ja että laadun heikennys on sisällytettävä koulutusaineistoon ongelman yli pääsemiseksi.
see all

Subjects:
Copyright information: © Pekka Nyrönen, 2018. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.