University of Oulu

Silmien liikkeiden simulointi etäläsnäolorobotissa

Saved in:
Author: Annunen, Juho1; Jyrkkä, Jaakko1; Känsäkoski, Niko1
Organizations: 1University of Oulu, Faculty of Information Technology and Electrical Engineering, Department of Computer Science and Engineering, Computer Science
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 1 MB)
Pages: 27
Persistent link: http://urn.fi/URN:NBN:fi:oulu-202109048945
Language: Finnish
Published: Oulu : J. Annunen; J. Jyrkkä; N. Känsäkoski, 2021
Publish Date: 2021-09-06
Thesis type: Bachelor's thesis
Description:

Tiivistelmä

Koronaviruspandemian takia etätyöskentely on lisääntynyt valtavasti. Opiskelijat katsovat luentoja kotoaan ja työkaverit näkevät toisiaan vain videokuvan välityksellä. Kysymykseksi jää, voiko läsnäoloa parantaa etätyöskentelyssä äänen ja videokuvan lisäksi.

Tässä työssä esitellään järjestelmä, joka kopioi käyttäjän silmien liikettä robotin silmien liikkeiksi reaaliajassa. Käyttäjän kasvoja kuvaamalla saadaan tietoon käyttäjän silmien asento tunnistamalla kuvasta kasvot ja sitten rajaamalla silmät. Silmien asentojen tieto lähetetään UDP (User Datagram Protocol) tiedonsiirtoprotokollan avulla toiselle tietokoneelle. Siellä tieto otetaan vastaan ja lähetetään virtuaalikoneelle, jolla käytetään ROS2 (Robot Operating System 2) käyttöjärjestelmää.

ROS2-järjestelmässä käytetään action client ja data publisher -osaohjelmia. Data publisher lähettää action clientille paikkatietoa, jonka avulla robotin liikkuminen tapahtuu. Action client antaa käskyjä robotin XL-320 -servoille, jotka liikuttavat robotin silmiä samaan asentoon käyttäjän kanssa.

Järjestelmän viivettä testattiin pyytämällä käyttäjää katsomaan puolelta toiselle ja mittaamalla viivettä videokuvasta. Aikaväli valittiin käyttäjän silmien liikkeiden ja robotin silmien liikkeiden pysähtymisen välillä. Viivettä syntyi tietokoneen laskiessa tunnistusalgorimejä ja robotin liikuttaessa servoja. Tuloksena saatu viive on liian pitkä luomaan luonnollista etäläsnäolokokemusta.

Simulation of eye movement in a telepresence robot

Abstract

Because of the Coronavirus pandemic, remote working has been increasing significantly. Students watch lectures from home and coworkers see each other only through video. Question remains whether presence can be improved with remote working in addition to voice and video.

In this project a system was developed that copies user’s eye movements to robot’s eye movements in real time. Filming the user’s face will give the user’s eyes position by recognizing their face and then cropping their eyes. The eyes position is sent with UDP (User Datagram Protocol) data transfer protocol to another computer. There information is received and sent to virtual machine, which uses ROS2 (Robot Operating System) operating system.

ROS2 system uses action client and data publisher nodes. Data publisher sends position information to action client which controls the robot. Action client gives commands to robot’s XL-320 servo motors, which move robot’s eyes to same position as the user’s.

System’s delay was tested by asking user to look from side to side and measuring the delay from video. Time interval was chosen between the end of user’s eye movement and the end of robots eye movement. Delay was produced with computer calculating recognition algorithms and robot moving the servos. Resulting delay is too long to create natural telepresence experience.

see all

Subjects:
Copyright information: © Juho Annunen; Jaakko Jyrkkä; Niko Känsäkoski, 2021. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.