University of Oulu

Object detection in sports : TensorFlow Object Detection API case study

Saved in:
Author: Mustamo, Pirkko1
Organizations: 1University of Oulu, Faculty of Science, Statistics
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 4 MB)
Persistent link: http://urn.fi/URN:NBN:fi:oulu-201802081173
Language: English
Published: Oulu : P. Mustamo, 2018
Publish Date: 2018-02-08
Physical Description: 43 p.
Thesis type: Bachelor's thesis
Description:

Abstract

Object detection is widely used in the world of sports, its users including training staff, broadcasters and sports fans. Neural network based classifiers are used together with other object detection techniques. The aim of this study was to explore the modern open source based solutions for object detection in sports, in this case for detecting football players. TensorFlow Object Detection API, an open source framework for object detection related tasks, was used for training and testing an SSD (Single-Shot Multibox Detector) with Mobilenet- model. The model was tested as a) pre-trained and b) with fine-tuning with a dataset consisting of images extracted from video footage of two football matches. Following hypotheses were examined:

1) Pre-trained model will not work on the data without fine-tuning.

2) Fine-tuned model will work reasonably well on the given data.

3) Fine-tuned model will have problems with occlusion and players pictured against the rear wall.

4) Using more variable training data will improve results on new images.

The results of this study indicate that:

1) The pre-trained model was useless for detecting players in the test images.

2) A fine-tuned model worked reasonably well.

3) Problem areas were players in clusters and/or pictured against the rear wall.

4) A model trained with data from one game was able to detect players in footage from another game. The overall model performance did not much improve by training the model with data from two games.

Other model types (such as Faster R-CNN model) should be tested on the data.

see all

Kohteentunnistus urheilussa TensorFlow Object Detection API:n avulla

Tiivistelmä

Kohteentunnistusta käytetään yleisesti urheilumaailmassa, mm. valmennuksessa, televisiolähetyksissä sekä fanikäytössä. Neuroverkkoihin perustuvia menetelmiä käytetään yhdessä muiden tekniikoiden kanssa. Tämän tutkimuksen päämäärä oli tarkastella moderneja avoimen lähdekoodin ratkaisuja kohteentunnistukseen urheilussa, tässä tapauksessa jalkapalloilijoiden tunnistuksessa. TensorFlow Object Detection API perustuu avoimeen lähdekoodiin ja tarjoaa työkaluja kohteentunnistukseen. Sen avulla opetettiin ja testattiin SSD (Single-Shot Multibox Detector) with Mobilenet- mallia sekä a) valmiiksi treenattuna että b) hienosäädettynä aineistolla, joka koostui kahdesta jalkapallo-otteluvideosta poimituista kuvista.

Työssä tarkasteltiin seuraavia hypoteeseja:

1) Valmiiksi opettettu malli ei toimi ilman hienosäätöä omalle aineistolle.

2) Hienosäädetty malli toimii kohtuullisen hyvin omalle aineistolle.

3) Hienosäädetyllä mallilla on ongelmia toisensa peittävien tai takaseinää vasten kuvattujen pelaajien tunnistamisessa.

4) Mallin opettaminen vaihtelevammalla aineistolla parantaa tuloksia uudenlaisia esineitä tunnistettaessa.

Tutkimuksen tulosten perusteella:

1) Valmiiksi opetettu malli oli hyödytön tämän datan käsittelyssä.

2) Hienosäädetty malli toimi kohtalaisen hyvin.

3) Hienosäädetyllä mallilla oli ongelmia toisensa peittävien tai takaseinää vasten kuvattujen pelaajien tunnistamisessa.

4) Yhdestä pelistä saadulla aineistolla opetettu malli tunnisti pelaajat toisesta pelistä kohtalaisen hyvin. Mallin toiminta ei juurikaan parantunut kun se opetettiin molemmista peleistä koostetulla aineistolla.

Muita mallityyppejä (kuten Faster R-CNN model) pitäisi testata tällä datalla.

see all

Subjects:
Copyright information: © Pirkko Mustamo, 2018. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.