JultikaUniversity of Oulu repository

Abstract

Face alignment is a crucial component in most face analysis systems. It focuses on identifying the location of several keypoints of the human faces in images or videos. Although several methods and models are available to developers in popular computer vision libraries, they still struggle with challenges such as insufficient illumination, extreme head poses, or occlusions, especially when they are constrained by the needs of real-time applications. Through this thesis, we propose a set of training strategies, optimization techniques, and an extended set of evaluation metrics that help in improving all kinds of real-time face alignment models. The results show that the generated models using these techniques are faster, smaller, more accurate, more robust in specific challenging conditions, smoother in tracking systems, more energy-efficient, and with a smaller impact in the overheating of the devices. In addition, the techniques show to be applicable across different types of devices and algorithms, making them versatile in both academic and industrial uses.

Reaaliaikainen kasvojenkohdistus : arviointimenetelmät, koulutusstrategiat ja toteutuksen optimointi

Tiivistelmä

Kasvojen kohdistus on tärkeä osa useimmissa kasvojen analysointijärjestelmissä. Se keskittyy tunnistamaan ihmisten kasvojen avainkohtien sijainnin kuvissa ja videoissa. Vaikka kehittäjien käytettävissä on useita menetelmiä ja malleja suosituissa tietokonenäkökirjastoissa, he kamppailevat silti sellaisten haasteiden kanssa kuin riittämätön valaistus, äärimmäiset pään asennot tai näköesteet, varsinkin kun reaaliaikaisten sovellusten tarpeet rajoittavat niitä. Tämän opinnäytetyön avulla esitämme joukon koulutusstrategioita, optimointitekniikoita ja laajennettuja arviointimittareita, jotka auttavat parantamaan reaaliaikaisia kasvojen kohdistuksen malleja. Tulokset osoittavat, että näitä tekniikoita käyttävät mallit ovat nopeampia, pienempiä, tarkempia, kestävämpiä erityisen haastavissa olosuhteissa, tasaisempi seurantajärjestelmissä, energiatehokkaampi ja pienempi vaikutus laitteiden lämpenemiseen. Lisäksi tekniikat osoittavat olevan sovellettavissa erityyppisiin laitteisiin ja algoritmeihin, mikä tekee niistä monipuolisia sekä akateemisessa että teollisessa käytössä.