JultikaUniversity of Oulu repository

Event-based vision sensors

Abstract

The main goal of this thesis is to introduce the reader to event cameras and their novel sensors. Instead of capturing synchronous frames at fixed intervals, event cameras measure brightness changes independently and continuously at every pixel. Event cameras have bio-inspired sensors, that are capable of producing edge-like presentations from moving objects in the scenery. Event cameras do not suffer from image artifacts and motion blur, which can be found in conventional frame-based cameras. Some other benefits that event-based sensors have over conventional frame-based sensors include high temporal resolution, high dynamic range, low latency and low power, making them a viable option for robotics and high-speed imaging. The thesis begins with an introduction to digital imaging and a comparison between currently popular image sensors and new event camera sensors. Event camera will be introduced, including its functionality, applications, issues and advantages over conventional cameras. During the latter part of this thesis, event simulators are introduced and pipelines for generating synthetic datasets are demonstrated. Finally, these event datasets are generated and visualized.

Tiivistelmä

Tämän opinnäytetyön tavoitteena on esitellä lukija tapahtumakameroihin ja niissä käytettäviin uudenlaisiin konenäköantureihin. Perinteisten kuvien tuottamisen sijaan, tapahtumakamerat tuottavat jatkuvaa tapahtumatietoa mittaamalla kirkkauden vaihtelua yksittäisissä pikseleissä. Tapahtumakamerat hyödyntävät biologisesta silmästä mallinnettuja konenäköantureita, jotka pystyvät tuottamaan reunamaisia esityksiä liikkuvista kohteista kameran näkökentässä. Tapahtumakamerat eivät kärsi digitaalisista artefakteista tai liike-epäterävyydestä, joita esiintyy perinteisissä kuvantamisen menetelmissä. Muihin ominaisuuksiin kuuluu muun muassa korkea ajallinen resoluutio, korkea dynamiikka, matala viive ja matala energiankulutus, minkä ansiosta tapahtumakamerat ovat erinomainen vaihtoehto robotiikassa ja nopean liikkeen kuvantamisessa. Opinnäytetyö alkaa yleisesti digitaalisen kuvantamisen esittelyllä sekä nykyisten kuvantamisen menetelmien ja tapahtumakameroiden vertailulla. Tapahtumakamera esitellään yksityiskohtaisemmin siihen liittyvien toiminnallisuuksien, sovelluksien, ongelmien ja hyötyjen osalta. Opinnäytetyön jälkimmäisessä osassa esitellään tapahtumadataa sisältävien tietoaineistojen luomiseksi kehitettyjä simulaattoreita. Lopuksi eri menetelmillä saatuja tuloksia vertaillaan.