University of Oulu

Classification of ultra-short-term ECG samples : studies on events containing violence

Saved in:
Author: Ferdinando, Hany1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering, Electrical Engineering
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 4.1 MB)
Persistent link: http://urn.fi/urn:isbn:9789526227818
Language: English
Published: Oulu : University of Oulu, 2020
Publish Date: 2020-12-01
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the OP auditorium (L10), Linnanmaa, on 11 December 2020, at 12 noon
Tutor: Professor Esko Alasaarela
Professor Tapio Seppänen
Reviewer: Assistant Professor Mohammad Soleymani
Assistant Professor Rik Vullings
Opponent: Professor Jukka Lekkala
Professor Heikki Ailisto
Description:

Abstract

Violence is a serious global problem that may cause considerable distress with long lasting consequences. It affects all associated parties, including victims, perpetrators and witnesses. Studies on automatic violence detection using surveillance cameras have been conducted for about 20 years, but they are limited to the witness perspective.

This work aimed to approach the problem from the victims’ point of view. The main research question was: is it possible to classify events as violent or non-violent by analysing ultra-short-term ECG signals? Two specific objectives were set: 1) to collect a small-scale database containing synchronized ultra-short-term ECG signals from both physically violent and non-violent events based on simulations, and 2) to extract features from ECG signals to discriminate between violent and non-violent events indirectly and directly. In the indirect inference approach, emotion recognition served as a first step to separating between violent and non-violent events; this work was done using the Mahnob-HCI database. The direct inference approach, in contrast, classified signals as being indicative of either violent or non-violent events.

The main contributions are as follows: 1) For the indirect approach, methods were developed to extract useful features. These were mainly based on bivariate empirical mode decomposition, performed to obtain intrinsic mode functions, which were examined by spectrogram analysis to reveal dominant frequencies and by statistical analysis to expose oscillation characteristics. Enhancing these features with supervised dimensionality reduction achieved an accuracy of up to 70% for a 3-class problem in valence and arousal. 2) For the direct approach with the collected database, the same feature extraction method was applied to achieve an accuracy of up to 88% for a binary classification problem of discriminating between violent and non-violent events. Enhancing features with supervised dimensionality reduction failed to improve performance.

Experiences garnered during database collection highlighted the importance and challenges of collecting high quality data for violence studies. We expect that the proposed methods based on ultra-short-term ECG signals can be useful for other applications as well, including emotion tracking in affective computing and biofeedback techniques in gaming applications and clinical medicine.

see all

Tiivistelmä

Väkivalta on vakava globaali ongelma, joka saattaa aiheuttaa kohteille huomattavaa kärsimystä ja pitkäaikaisia seuraamuksia. Se vaikuttaa kaikkiin osapuoliin: uhreihin, tekijöihin ja todistajiin. Automaattista väkivallan ilmaisua on tutkittu turvakameroita käyttäen noin 20 vuotta, mutta se on rajoittunut todistajan näkökulmaan.

Tässä työssä pyrittiin lähestymään ongelmaa uhrin näkökulmasta. Tärkein tutkimuskysymys oli: Onko mahdollista luokitella tapahtumia väkivaltaisiksi ja ei-väkivaltaisiksi analysoimalla ultralyhyitä EKG-näytteitä. Työssä asetettiin kaksi erityistavoitetta: 1) Kerätään pienen mittakaavan tietokanta, joka sisältää synkronoitua ultralyhyttä EKG-signaalia simuloiduista väkivaltaisista ja ei-väkivaltaisista tapahtumista, 2) irrotetaan EKG-signaalista piirteitä, joiden avulla väkivaltaisia ja ei-väkivaltaisia tapahtumia voidaan erotella toisistaan suoraan ja epäsuorasti. Epäsuorassa päättelyssä tunnetilojen tunnistaminen toimi ensiaskeleena väkivaltaisten ja ei-väkivaltaisten tapahtumien erottelussa; tutkimus tehtiin Mahnob-HCI-tietokantaa käyttäen. Suora päättely sen sijaan luokitteli signaalit suoraan väkivaltaisiin ja ei-väkivaltaisiin tapahtumiin liittyviksi.

Tärkeimmät kontribuutiot ovat seuraavat: 1) Epäsuoraa lähestymistapaa varten kehitettiin menetelmiä, joilla irrotetaan luokittelijalle hyödyllisiä piirteitä. Ne soveltavat pääosin bivariate empirical mode decomposition –menetelmää irrottamaan ultralyhyistä EKG-näytteistä muotofunktioita, joiden dominanttitaajuuksia tutkittiin spektrianalyysillä. Luokittelijan avainpiirteinä olivat dominoivien taajuuksien ja niiden ensimmäisten derivaattojen tilastolliset jakaumat. Tehostamalla näitä piirteitä ohjatulla dimensionaalisuuden vähentämisellä saatiin aikaan jopa 70 %:n tarkkuus valenssin ja arousalin 3-luokkaisessa asetelmassa. 2) Suorassa lähestymistavassa käytettiin samaa piirteenirrotusmenetelmää, jolla saatiin aikaan jopa 88 %:n tarkkuus väkivalta- ja ei-väkivaltatapahtumien erottelulle binäärisessä luokittelutilanteessa. Piirteiden tehostaminen ohjatulla dimensionaalisuuden vähentämisellä ei parantanut suorituskykyä.

Tietokannan kokoamisen aikana kerätyt kokemukset korostivat väkivaltatutkimuksen korkealaatuisen datan keräämisen tärkeyttä ja haasteita. Kehitetyt ultralyhyihin EKG-näytteisiin perustuvat menetelmät voivat olla hyödyllisiä myös muissa sovelluksissa, kuten tunnetilojen vaihtelujen seurannassa affektiivisessa laskennassa, bio-takaisinkytkennän tekniikoissa pelisovelluksissa ja kliinisen lääketieteen sovelluksissa.

see all

Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-2781-8
ISBN Print: 978-952-62-2780-1
Issue: 768
Type of Publication: G4 Doctoral dissertation (monograph)
Field of Science: 213 Electronic, automation and communications engineering, electronics
217 Medical engineering
Subjects:
Copyright information: © University of Oulu, 2020. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.