Abstract

Solid-state 3D range imagers have attracted interest in recent years due to their robustness and the possibilities for achieving small and inexpensive realization, which is often required in fields of technology such as robotics, gaming, vehicle safety and hand-held devices, for example. Time-of-flight (TOF) techniques that illuminate the scene with a laser source and detect the backscattered light by means of a single-photon avalanche diode (SPAD) array implemented in complementary metal oxide semiconductor (CMOS) technology have the potential to achieve these requirements with low optical illumination power.

This thesis is concerned with the development of a solid-state 3D range imager based on use of the sliding time-gate technique in a SPAD array and short (~200 ps), intensive laser pulses. The area of the in-pixel electronics needed in time-gated imagers is small, which leads to a high fill factor and a possibility for implementing large arrays. The use of short laser pulses increases the precision and frame rate, since depth measurement can be limited to the range of interest, e.g. around the surface of the target. To increase the frame rate further, the array can be divided into subarrays with independently defined ranges. Tolerance of high background light is achieved by using sub-ns time-gate widths.

A SPAD array of 80 x 25 pixels is developed and realized here. The array is divided into 40 subarrays, the narrow (<0.8 ns) time-gating positions for which can be set independently. The time-gating for each of the subarrays is selected separately with an on-chip DLL block that has 240 outputs and a delay grid of ~100 ps. The fill factor of the sensor area is 32%. A 3D range image measurement at ~10 frames per second with centimetre-level precision is demonstrated for the case of passive targets within a range of ~4 metres and a field of view of 18 × 28 degrees, requiring an average active illumination power of only 0.1 mW. A frame rate of 70 range images per second was achieved with a higher laser average illumination power (~5 mW) and pulsing rate (700 kHz) when limiting the scanning range for each subarray to 30 cm around the surfaces of the targets.

An FPGA-based algorithm which controls the time-gating of the SPAD array and produces the range images in real time was also developed and realized.

Tiivistelmä

Kolmiulotteisten kohteiden etäisyyksien mittaaminen edullisesti toteutettuna pienen sensorin avulla on herättänyt kiinnostusta monilla sovellusalueilla kuten esimerkiksi robotiikassa, autoteollisuudessa ja peliteollisuudessa. Eräs tapa toteuttaa tällainen etäisyysmittalaite on valaista näkymä laserilla ja mitata valosignaalin lentoaika sensorimatriisilla, joka on toteutettu integroituna piirinä CMOS-tekniikalla. Kun sensorit toteutetaan yksittäisiä fotoneja ilmaisevien vyörypurkausdiodien avulla (SPAD), etäisyysmittaus on mahdollista pienellä optisella valaistusteholla ja ilman mekaanisesti liikkuvia osia.

Tässä työssä on tutkittu SPAD-matriisin elektronisen aikaportituksen käyttöä lyhyen (~200 ps) ja intensiivisen laserpulssin kanssa 3D-etäisyysmittauksessa. Etäisyysmittauksen toteutus aikaportituksen avulla antaa hyvän täyttöasteen fotosensoreille, koska tarvittavan elektroniikan määrä pikseliä kohden on pieni. Tällöin myös suurten matriisien toteutus on mahdollista. Lyhyen ja intensiivisen laserpulssin avulla voidaan saavuttaa tarkka ja nopea etäisyysmittaus, kun mittausajanhetki ennakoidaan edellisessä mittauksessa vastaanotetun signaalin perusteella. Nopean kuvataajuuden saavuttamiseksi sensorimatriisi on tässä työssä jaettu alilohkoihin, joita voidaan ohjata mittaamaan kohteita eri etäisyyksillä yhtä aikaa toisistaan riippumatta. Taustavalon vaikutus on minimoitu käyttämällä lyhyttä (<0.8 ns) aikaikkunaa mittauksissa.

Työssä on suunniteltu ja toteutettu integroitu sensoripiiri, jonka ydin on 80 x 25 pikselin SPAD-matriisi. Matriisi on jaettu 40 alilohkoon, joiden toimintaa voidaan ohjata erikseen. Jokaisen alilohkon ohjaussignaalit valitaan integroidulla piirillä olevan viivelukitun viivelinjan 240 lähtösignaalista. Sensorin täyttöaste on 32 %. 3D-etäisyysmittaus ~10 kuvan päivitystaajuudella on demonstroitu passiivisella kohteella ~4 m etäisyydellä senttimetriluokan tarkkuudella laserin keskimääräisen optisen valaistustehon ollessa vain 0,1 mW. Suurentamalla laserin keskimääräistä optista tehoa (~ 5 mW) ja pulssitustahtia (700 kHz) voidaan 3D-etäisyyskuvan tahtia nopeuttaa esimerkiksi 70 kuvaan sekunnissa, kun jokaisen alilohkon mittaussyvyys rajoitetaan 30 cm kohteen ympärille.

Työssä kehitettiin myös algoritmi, jolla voidaan ohjata SPAD-matriisia ja tuottaa etäisyyskuvia reaaliajassa.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

1. Ruokamo, H., Rapakko, H., & Kostamovaara, J. (2017). An 80 × 25 pixel CMOS single-photon image sensor with sub-ns time gating for solid-state 3D scanning. 13th Conference on Ph.D. Research in Microelectronics and Electronics (PRIME), 365-368. https://doi.org/10.1109/PRIME.2017.7974183

   Rinnakkaistallennettu versio / Self-archived version

2. Ruokamo, H., Hallman, L., Rapakko, H., & Kostamovaara, J. (2017). An 80 × 25 pixel CMOS single-photon range image sensor with a flexible on-chip time gating topology for solid state 3D scanning. ESSCIRC 2017 - 43rd IEEE European Solid State Circuits Conference, 59-62. https://doi.org/10.1109/ESSCIRC.2017.8094525

   Rinnakkaistallennettu versio / Self-archived version

3. Ruokamo, H., Hallman, L. W., & Kostamovaara, J. (2019). An 80 × 25 pixel CMOS single-photon sensor with flexible on-chip time gating of 40 subarrays for solid-state 3D range imaging. IEEE Journal of Solid-State Circuits, 54(2), 501-510. https://doi.org/10.1109/JSSC.2018.2878816

   Rinnakkaistallennettu versio / Self-archived version

4. Ruokamo, H., Hallman, L., & Kostamovaara, J. (2019). A range-gated CMOS SPAD array for real-time 3D range imaging, IS&T Electronic Imaging: Image Sensors and Imaging Systems Proceedings, 357-1-357-5. https://doi.org/10.2352/ISSN.2470-1173.2019.9.IMSE-357

   Rinnakkaistallennettu versio / Self-archived version