JultikaUniversity of Oulu repository

Super-resolution is a challenging problem of restoring details lost to diffraction in the image capturing process. Degradations from the environment and the imaging device increase its difficulty, and they are strongly present in mobile phone cameras. The latest promising approaches involve convolutional neural networks, but little testing has been done on degraded images. Also, sizes of neural networks raise a question of their applicability on mobile devices. A wide review of published super-resolution neural networks is done. Four of the network architectures are chosen, and their TensorFlow models are trained and tested for their output quality on high quality and degraded images and compared against bicubic interpolation with sharpening. For the first time, MTF and CPIQ acutance responses are measured from their outputs after processing photographs of a resolution chart. Their execution times on a mobile device are measured for small image sizes and typical phone camera photo sizes. It is shown that the networks are able to learn degradation resilience, and that quality of their results surpasses that of the bicubic interpolations with sharpening. However, even the lightest models still take a considerable time to process images on a mobile device. Moreover, it is shown that the current way of training and evaluating super-resolution neural networks with high quality images is inadequate for practical purposes, and that degradations have to be incorporated into training data in order to overcome the problem.

Superresoluutio on haastava diffraktion kuvaa otettaessa hävittämien yksityiskotien palautusongelma. Ympäristöstä ja kuvantamislaitteistosta syntyvät rappeumat lisäävät sen vaikeutta, ja ne ovat voimakkaasti läsnä matkapuhelinten kameroissa. Viimeisimmät lupaavat lähestymistavat hyödyntävät konvoluutioneuroverkkoja, mutta niiden testausta heikkolaatuisilla kuvilla on tehty vähän. Lisäksi neuroverkkojen koot herättävät kysymyksen niiden käytettävyydestä mobiililaitteilla. Julkaistuista superresoluutioverkoista tehdään laaja katsaus. Neljän valitun verkkoarkkitehtuurin TensorFlow-mallien ulostulojen laatua testataan puhtailla ja heikompilaatuisilla kuvilla ja tuloksia verrataan terävöitettyyn kuutiolliseen interpolaatioon. Ensimmäistä kertaa MTF- ja CPIQ-terävyysvaste mitataan niiden ulostulokuvista niiden käsiteltyä valokuvia resoluutiokartasta. Mallien suoritusaikoja mitataan niin pienille kuville kuin tyypillisille kännykkäkameroiden kuvakoille. Tulokset osoittavat, että verkot pystyvät oppimaan kestäviksi laadun heikennyksille, ja että niiden tulosten laatu ylittää terävöitetyn kuutiollisen interpolaation tulokset. Kevyimmätkin mallit vaativat kuitenkin huomattavasti laskenta-aikaa mobiililaitteella. Lisäksi osoitetaan, että nykyinen tapa kouluttaa ja arvioida superresoluutioneuroverkkoja korkealaatuisilla kuvilla on riittämätön käytännön tarkoitusperiin, ja että laadun heikennys on sisällytettävä koulutusaineistoon ongelman yli pääsemiseksi.