University of Oulu

Computational modeling for visual attention analysis

Saved in:
Author: Xu, Yingyue1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering, Computer Science and Engineering
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 13.6 MB)
Persistent link: http://urn.fi/urn:isbn:9789526226408
Language: English
Published: Oulu : University of Oulu, 2020
Publish Date: 2020-05-26
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented, with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu, for public defence in the Oulun Puhelin auditorium (L5), Linnanmaa, on 5 June 2020, at 12 noon
Tutor: Professor Guoying Zhao
Reviewer: Professor Irene Yu-Hua Gu
Professor Simone Frintrop
Opponent: Professor Moncef Gabbouj
Description:

Abstract

Visual scenes typically contain massive amounts of content that cannot be processed in a short time due to the limited processing capacity of the human visual system. The term, visual attention, is a biologically inspired and psychologically driven mechanism that works by selecting visually relevant information and filtering out the redundant contents.

This thesis is a thorough summary of the main subjects around computational modeling for visual attention analysis, consisting of several published papers corresponding to my research progress. First, the data preparation for computational modeling will be introduced, including eye movement data, eye tracking data collection and eye tracking datasets facilitating the evaluation of computational modeling of visual attention. Second, computational models for visual attention analysis, or saliency models, are presented from traditional unsupervised methods to deep saliency models. Third, the subject about saliency integration will be illustrated that unifies multiple saliency maps from the multiple candidate saliency models for better accuracy.

The contributions of this study are three folds. Firstly, we collect a task-driven eye tracking dataset for visual attention analysis. Secondly, we propose three saliency models for in-depth investigation in modeling visual attention, including an unsupervised model using the bi-directional propagation method, a Convolutional Neural Networks based model by connecting the Dense Conditional Random Fields for multi-scale saliency refinement, and a Convolutional Neural Networks based model with cascade Conditional Random Fields for joint model training. Thirdly, we propose a saliency integration method and conduct comprehensive experiments and analysis on the topic.

Finally, we summarize the contributions of the work and propose the potential applications of saliency models and the extended saliency related topics to boost applications of saliency approaches on other computer vision topics.

see all

Tiivistelmä

Kuvat sisältävät tyypillisesti valtavan määrän informaatiota, jota ei pystytä prosessoimaan lyhyessä ajassa ihmisen näköjärjestelmän rajoitetun prosessointi kapasiteetin takia. Termi, visuaalinen huomio, on biologian ja psykologian motivoima mekanismi, joka toimii valiten oleellisen informaation ja suodattaen ylimääräisen informaation.

Mallintaaksemme huomio mekanismia konenäön käyttöön on olennaista, että laskennallinen malli visuaaliselle huomiolle ehdottaa tärkeät alueet kuvista, jotka ihmisen näköjärjestelmä on nähnyt.

Tämä väitöskirja on perusteellinen yhteenveto tärkeimmistä osa-alueista liittyen visuaalisen huomion analyysin laskennalliseen mallintamiseen, koostuen useasta julkaisusta vastaten minun tutkimukseni etenemiseen. Ensimmäiseksi, esittelemme datan esikäsittelyn laskennallista mallia varten, mukaan ottaen silmänliike datan, silmänjäljitys datan kerääminen ja silmänjäljitys tietokantojen hyödyntäminen visuaalisen huomion laskennallisen mallien evaluoinnissa. Toiseksi, laskennalliset mallit visuaalisen huomioon, tai tärkeys mallit, esitellään perinteisistä ohjaamattomista menetelmistä syviin tärkeys malleihin. Kolmanneksi, havainnollistamme tärkeys integraation, joka yhdistää useita tärkeys ehdotuksia useista eri tärkeys malli ehdokkaista, jolla saavutamme paremman tarkkuuden.

Kontribuutiomme ovat seuraavat kolme asiaa. Ensimmäiseksi, keräämme silmänjäljitys tietokannan visuaalisen huomion analyysiin. Toiseksi, ehdotamme kolmea tärkeys mallia visuaalisen huomion perusteelliseen tarkasteluun, sisältäen ohjaamattoman mallin, joka käyttää kaksisuuntaista etenemismallia, konvoluutioneuroverkko pohjainen malli, joka yhdistää syvän ehdollisen satunnaiskentän monitaso tärkeys tarkistukseen, ja konvoluutioneuroverkko pohjainen malli ehdollisella sarja satunnaiskentällä usean mallin yhteisopetukseen. Kolmanneksi, ehdotamme tärkeys integraatio menetelmää ja suoritamme kattavia testejä ja analyysejä aiheesta.

Lopuksi, tiivistämme kontribuution työstämme ja ehdotamme mahdollisia sovelluksia tärkeys malleista ja laajennamme tärkeys- aiheeseen liittyviä sovelluksia tehostamaan tärkeys menetelmiä eri konenäön aiheisiin.

see all

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

  1. Xu, Y., Hong, X., He, Q., Zhao, G., & Pietikäinen, M. (2015). A Task-Driven Eye Tracking Dataset for Visual Attention Analysis. In Advanced Concepts for Intelligent Vision Systems (pp. 637–648). Springer International Publishing. https://doi.org/10.1007/978-3-319-25903-1_55

  2. Xu, Y., Hong, X., Liu, X., & Zhao, G. (2018). Saliency detection via bi-directional propagation. Journal of Visual Communication and Image Representation, 53, 113–121. https://doi.org/10.1016/j.jvcir.2018.02.015

    Rinnakkaistallennettu versio / Self-archived version

  3. Xu, Y., Hong, X., & Zhao, G. (2019). Salient Object Detection with CNNs and Multi-scale CRFs. In Image Analysis (pp. 233–245). Springer International Publishing. https://doi.org/10.1007/978-3-030-20205-7_20

    Rinnakkaistallennettu versio / Self-archived version

  4. "
  5. Xu, Y., Xu, D., Hong, X., Ouyang, W., Ji, R., Xu, M. & Zhao, G. (2019). Structured modeling of joint deep feature and prediction refinement for salient object detection. 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019, pp. 3788-3797. https://doi.org/10.1109/ICCV.2019.00389

    Rinnakkaistallennettu versio / Self-archived version

  6. Xu, Y., Hong, X., Porikli, F., Liu, X., Chen, J., & Zhao, G. (2019). Saliency Integration: An Arbitrator Model. IEEE Transactions on Multimedia, 21(1), 98–113. https://doi.org/10.1109/tmm.2018.2856126

    Rinnakkaistallennettu versio / Self-archived version

see all

Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-2640-8
ISBN Print: 978-952-62-2639-2
Issue: 753
Type of Publication: G5 Doctoral dissertation (articles)
Field of Science: 113 Computer and information sciences
Subjects:
Copyright information: © University of Oulu, 2020. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.