Abstract

School bullying is a common social problem among teenagers that occurs in various ways, and physical violence is considered the most harmful. However, all the existing methods for reporting school violence are human-driven, making them inconvenient for victims to use. The author’s research group therefore aims to develop automatic violence recognition methods.

First, this thesis proposed a Fuzzy Multi-Threshold algorithm. However, as more activities involving players of different ages and genders were added, it failed to perform effectively. A Proportional K-Nearest Neighbors algorithm was therefore proposed to address this issue, achieving an average recognition accuracy of 80%.

Speech emotion recognition was then incorporated. Time- and frequency-domain motion features were extracted for activity recognition, while Mel Frequency Cepstrum Coefficients were extracted for emotion recognition. A Back Propagation Neural Network was used as the classifier, achieving an average accuracy of 87.8%.

To further enhance recognition performance, an additional movement sensor was utilized. Motion features were separately extracted from each sensor. An improved Relief-F algorithm was proposed to select useful and low-redundancy motion features, while a Radial Basis Function neural network was used as the classifier. An improved Dempster-Shafer fusion algorithm was proposed to combine the classification results of each sensor. An average recognition accuracy of 93.6% was achieved.

To address the problem of bullies removing wearable sensors, an image-based violence recognition was proposed. Surveillance cameras capture images, and target-detecting algorithms and morphological processing methods were utilized to detect foreground targets. A circumscribed rectangular frame (CRF) integration method was proposed to refine the detected targets. CRF features and optical flow features were extracted, and three different selection methods were employed to select useful features. A Decision Tree – Support Vector Machine classifier was designed, achieving an average recognition accuracy of 97.6%.

In summary, this thesis proposed two primary methods for recognizing school violence: movement-sensor-based; and surveillance camera-based. Both methods demonstrated satisfactory recognition results, suggesting the potential for the automatic detection of incidents of school violence.

Tiivistelmä

Koulukiusaaminen on teini-ikäisten yleinen sosiaalinen ongelma, ja sitä tapahtuu monin tavoin fyysisen väkivallan ollessa vahingollisin. Nykyiset kouluväkivallasta ilmoittamisen menetelmät ovat kuitenkin uhrin aloitteeseen perustuvia ja näin ollen epämukavia käyttää. Tässä tutkimustyössä kehitetään kouluväkivallan tunnistamismenetelmiä, jotka havaitsevat kiusaamistapahtumat automaattisesti.

Työssä kehitettiin ensin Fuzzy Multi-Threshold -algoritmi, joka kykeni luokittelemaan seitsemän erityyppistä fyysistä aktiviteettia. Ratkaisu kuitenkin menetti tarkkuuttaan, kun aineistoa laajennettiin eri-ikäisillä ja erisukupuolisilla koehenkilöillä. Seuraavaksi kehitettiin Proportional K-Nearest Neighbors -algoritmi ja tuloksena oli 80 % tunnistamistarkkuus.

Ratkaisuun lisättiin emootion tunnistus puhesignaalista. Fyysisen aktiivisuuden piirteet laskettiin liikesignaalin aika- ja taajuusalueista ja puheäänen Mel Frequency Cepstrum Coefficients -piirteet laskettiin tunteiden tunnistamiseksi. Back Propagation -neuroverkko antoi tunnistustarkkuudeksi 87,8 %.

Ratkaisuun lisättiin toinenkin liikeanturi ja piirteet laskettiin molemmista anturisignaaleista. Työssä kehitettiin parannettu Relief-F-algoritmi parhaiden piirteiden valintaan liikkeen ominaisuuksista. Luokittelijana käytettiin Radial Basis Function -neuroverkkoa. Anturien tuottamien signaalien luokittelutulosten yhdistäminen tehtiin Dempster-Shafer-fuusioalgoritmilla, jolloin saavutettiin 93,6 % luokittelutarkkuus.

Koska on mahdollista, että kiusaajat poistavat puettavat anturit tai älypuhelimet, kehitettiin vaihtoehtoinen tapa tunnistaa kouluväkivalta videokuvien perusteella. Valvontakameran kuvan edustassa sijaitsevien kohteiden paikantamiseksi käytettiin kohteen havaitsemisalgoritmeja ja morfologisia operaatioita. Kohteen ympäröivälle suorakaiteelle laskettiin kuvapiirteet sisältäen optisen virtauksen piirteet, ja niistä valittiin parhaat kolmella eri piirteenvalintamenetelmällä. 2-kerroksinen luokittelija Decision Tree – Support Vector Machine -tekniikka tuotti tunnistustarkkuuden 97,6 %.

Yhteenvetona, tässä työssä kehitettiin kaksi vaihtoehtoista menetelmää tunnistaa kouluväkivalta, eli liiketunnistimeen ja puheäänen analyysiin perustuva sekä valvontakameraan perustuva. Kehitetyt ratkaisut tarjoavat mahdollisuuden havaita kouluväkivallan tapahtumat automaattisesti ja suojata näin teini-ikäisiä kouluväkivallalta.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

1. Ye, L., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2014). Physical violence detection for preventing school bullying. Advances in Artificial Intelligence, 2014, 740358. https://doi.org/10.1155/2014/740358

2. Ye, L., Ferdinando, H., Seppanen, T., Huuki, T., & Alasaarela, E. (2015). An instance-based physical violence detection algorithm for school bullying prevention. In 2015 International Wireless Communications and Mobile Computing Conference (IWCMC), 1384–1388. https://doi.org/10.1109/IWCMC.2015.7289284

3. Ye, L., Wang, P., Wang, L., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2018). A combined motion-audio school bullying detection algorithm. International Journal of Pattern Recognition and Artificial Intelligence, 32(12), 1850046. https://doi.org/10.1142/S0218001418500465

   Rinnakkaistallennettu versio / Self-archived version

4. Ye, L., Wang, L., Wang, P., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2018). Physical violence detection with movement sensors. In 2018 Machine Learning and Intelligent Communications Third International Conference (MLICOM), 190–197. https://doi.org/10.1007/978-3-030-00557-3_20

   Rinnakkaistallennettu versio / Self-archived version

5. Ye, L., Shi, J., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2019). School violence detection based on multi-sensor fusion and improved relief-F algorithms. In 2019 Artificial intelligence for communications and networks : First EAI International Conference (AICON), 261–269. https://doi.org/10.1007/978-3-030-22971-9_22

   Rinnakkaistallennettu versio / Self-archived version

6. Ye, L., Shi, J., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2020). A multi-sensor school violence detecting method based on improved relief-F and D-S algorithms. Mobile Networks and Applications, 25(5), 1655–1662. https://doi.org/10.1007/s11036-020-01575-7

   Rinnakkaistallennettu versio / Self-archived version

7. Ye, L., Wang, L., Ferdinando, H., Seppänen, T., & Alasaarela, E. (2020). A video-based DT–SVM school violence detecting algorithm. Sensors, 20(7), 2018. https://doi.org/10.3390/s20072018

   Rinnakkaistallennettu versio / Self-archived version