University of Oulu

Machine learning for perceiving facial micro-expression

Saved in:
Author: Li, Yante1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering, Computer Science and Engineering, Center for Machine Vision and Signal Analysis (CMVS)
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 1.8 MB)
Persistent link: http://urn.fi/urn:isbn:9789526232935
Language: English
Published: Oulu : University of Oulu, 2022
Publish Date: 2022-05-18
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Programme Committee of Technology and Natural Sciences of the Doctoral Programme Committee of Information Technology and Electrical Engineering, Linnanmaa, on 25 May 2022, at 12 noon
Tutor: Academy Professor Guoying Zhao
Reviewer: Professor Moi Hoon Yap
Professor Yingli Tian
Opponent: Professor Robert Jenssen
Description:

Abstract

Emotion analysis plays an important role in humans’ daily lives. Facial expression is one of the major ways to express emotions. Besides the common facial expressions we see every day, emotion can also be expressed in a special format, micro-expression. Micro-expressions (MEs) are involuntary facial movements that come about in reaction to emotional stimulus, which reveal people’s hidden feelings in high-stakes situations and have many potential applications, such as clinical diagnosis, ensuring national security, and conducting interrogations. However, ME recognition becomes challenging due to the low intensity, short duration and small-scale datasets.

This thesis is a through summary of the important subjects for ME recognition, consisting of five papers corresponding to the progress of my research. Firstly, the automatic ME recognition system based on deep learning is introduced. Secondly, the Micro-expression Action Unit (ME-AU) detection is described, which plays an important role in facial behavior analysis. Thirdly, the robust ME recognition with AU detection is illustrated that verifies the contribution of AU detection to ME recognition.

The contributions of this study can be classified into three categories: (1) A deep ME recognition approach with the apex frame is proposed, which would be capable of demonstrating that deep learning can achieve impressive performance of ME recognition with the apex frame; (2) We break the ground of the ME-AU study and provide the baselines and novel transfer learning methods for the future study of ME-AU detection; (3) A unified framework for ME recognition with AU detection based on contrastive learning is proposed for verifying the AU contribution to robust ME recognition.

Lastly, we summarize the contributions of the work, and propose future plans about ME studies based on the limitations of the current work.

see all

Tiivistelmä

Tunneanalyysillä on tärkeä rooli ihmisen jokapäiväisessä elämässä. Kasvojen ilmeet ovat yksi tärkeimmistä tavoista ilmaista tunteita. Arjen tavallisten ilmeiden lisäksi tunteet voidaan ilmaista myös erityisellä tavalla, mikroilmeillä. Mikroilmeet ovat tahattomia kasvojen liikkeitä, jotka emotionaaliset ärsykkeet aiheuttavat. Mikroilmeet paljastavat ihmisten piileviä tunteita kovan paineen tilanteissa ja niitä voidaan käyttää eri sovelluksissa, kuten kliinisessä diagnoosissa sekä kansalliseen turvallisuuteen ja kuulusteluihin liittyvissä tilanteissa. Mikroilmeiden tunnistus on kuitenkin haastavaa alhaisen intensiteetin, lyhyen keston ja pienten datajoukkojen vuoksi.

Tämä opinnäytetyö on kattava yhteenveto mikroilmeiden tunnistuksen kannalta tärkeistä aiheista, ja se koostuu viidestä tutkimukseni vastaavasta artikkelista. Ensimmäiseksi otetaan käyttöön syväoppimiseen perustuva automaattinen mikroilmeentunnistusjärjestelmä. Toiseksi esitellään mikroilmeiden aktioyksikkö tunnistus, jolla on tärkeä rooli kasvojen käyttäytymisen analysoinnissa. Kolmanneksi esitetään robusti mikroilmeiden tunnistus aktioyksikköjen avulla, joka vahvistaa aktioyksikköjen tuloksen mikroilmeiden tunnistukseen.

Tämän tutkimuksen tulokset voidaan luokitella kolmeen osaan: (1) Mikroilmeiden tunnistukseen ehdotetaan perusteellista lähestymistapaa videon apeksikohdan avulla, mikä osoittaa, että syväoppiminen voi edistää mikroilmeiden tunnistusta videon apeksin ansiosta; (2) Avaamme uuden uran mikroilmeiden aktioyksikköjen tutkimukselle ja tarjoamme perustason ja uusia siirtymisoppimismenetelmiä tulevaa mikroilmeiden aktioyksikköjen tunnistusta varten; (3) Ehdotamme yhtenäistä kehystä, jolla mikroilmeitä voidaan tunnistaa aktioyksikköjen ja kontrastiivisen oppimisen avulla ja jolla voimme vahvistaa aktioyksikköjen merkityksen vahvassa mikroilmeiden tunnistuksessa.

Lopuksi teemme yhteenvedon työn tuloksista ja ehdotamme tulevaisuuden suunnitelmia mikroilmeiden tutkimuksille nykyisen työn rajoitusten perusteella.

see all

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

  1. Li, Y., Huang, X., & Zhao, G. (2018). Can micro-expression be recognized based on single apex frame? 2018 25th IEEE International Conference on Image Processing (ICIP), 3094–3098. https://doi.org/10.1109/ICIP.2018.8451376

    Rinnakkaistallennettu versio / Self-archived version

  2. Li, Y., Huang, X., & Zhao, G. (2021). Joint local and global information learning with single apex frame detection for micro-expression recognition. IEEE Transactions on Image Processing, 30, 249–263. https://doi.org/10.1109/TIP.2020.3035042

    Rinnakkaistallennettu versio / Self-archived version

  3. Li, Y., Huang, X., & Zhao, G. (2021). Micro-expression action unit detection with spatial and channel attention. Neurocomputing, 436, 221–231. https://doi.org/10.1016/j.neucom.2021.01.032

    Rinnakkaistallennettu versio / Self-archived version

  4. Li, Y., Peng, W., & Zhao, G. (2021). Micro-expression action unit detection with dual-view attentive similarity-preserving knowledge distillation. 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition (FG 2021), 01–08. https://doi.org/10.1109/FG52635.2021.9666975

    Rinnakkaistallennettu versio / Self-archived version

  5. Li, Y., & Zhao, G. (2021). Intra- and inter-contrastive learning for micro-expression action unit detection. Proceedings of the 2021 International Conference on Multimodal Interaction, 702–706. https://doi.org/10.1145/3462244.3479956

    Rinnakkaistallennettu versio / Self-archived version

see all

Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-3293-5
ISBN Print: 978-952-62-3292-8
Issue: 827
Type of Publication: G5 Doctoral dissertation (articles)
Field of Science: 213 Electronic, automation and communications engineering, electronics
Subjects:
Funding: I want to acknowledge the Infotech Oulu Doctoral Program for its financial support. As well, I wish to acknowledge the CSC IT Center for Science, Finland, for computational resources.
Copyright information: © University of Oulu, 2022. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.