|
|
Information freshness optimization in energy harvesting IoT networks |
|---|---|
| Author: | Hatami, Mohammad1,2 |
| Organizations: |
1University of Oulu Graduate School 2University of Oulu, Faculty of Information Technology and Electrical Engineering, Communications Engineering, CWC - Radio Technologies (CWC-RT) |
| Format: | ebook |
| Version: | published version |
| Access: | open |
| Online Access: | PDF Full Text (PDF, 2.4 MB) |
| Persistent link: | http://urn.fi/urn:isbn:9789526239385 |
| Language: | English |
| Published: |
Oulu : University of Oulu,
2023
|
| Publish Date: | 2023-12-05 |
| Thesis type: | Doctoral Dissertation |
| Defence Note: | Academic dissertation to be presented with the assent of the Doctoral Programme Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the Oulun Puhelin auditorium (L5), Linnanmaa, on 12 December 2023, at 2 p.m. |
| Tutor: |
Associate Professor Marian Codreanu Doctor Markus Leinonen |
| Reviewer: |
Professor Marios Kountouris Assistant Professor Shirin Saeedi Bidokhti |
| Opponent: |
Doctor Emilio Calvanese Strinati |
| Description: |
AbstractInformation freshness is crucial for time-critical IoT applications, e.g., environment monitoring and control systems. We consider an Internet of things (IoT) network with multiple energy harvesting sensors, users, and an edge node. The users are interested in time-sensitive information about physical quantities, each measured by a sensor. Users make on-demand requests to a cache-enabled edge node where the cache contains the most recently received measurements from each sensor. The edge node serves the users' requests by deciding whether to command the corresponding sensors to send fresh status updates or use the aged data in the cache. We aim to find the best actions of the edge node at each time slot for each sensor, i.e., optimal policies, that minimizes the average age of information (AoI) of the served measurements, i.e., average on-demand AoI. In the present work, we first study status updating for decoupled sensors, i.e., the sensors have independent communication channels to the edge node. We model this problem as a Markov decision process (MDP) and developed two classes of reinforcement learning (RL) based algorithms: a model-based relative value iteration algorithm (RVIA) relying on dynamic programming, and a model-free Q-learning method. Then, we study status updating in IoT networks under a transmission constraint where the edge node can command only a limited number of sensors at each time slot, i.e., leading to per-slot transmission constraint. We model the problem as an MDP for which an iterative algorithm is proposed to obtain an optimal policy. Note, however, that the computational complexity of finding an optimal policy increases exponentially in the number of sensors. Thus, we develop an {asymptotically optimal low-complexity} algorithm -- termed {relax-then-truncate} -- and prove that it is optimal as the number of sensors goes to infinity. Finally, we study status updating under inexact knowledge about the battery levels of the sensors; namely, the edge node is informed about the sensors’ battery levels only via the status update packets, leading to uncertainty about the battery levels for the decision-making. Accounting for the partial battery knowledge, we model the problem as a partially observable MDP (POMDP) for which we develop a novel dynamic programming algorithm that obtains an optimal policy. see all
TiivistelmäTiedon tuoreus on ratkaisevan tärkeää aikakriittisissä IoT-sovelluksissa, kuten ympäristön seuranta- ja valvontajärjestelmissä. Tutkimme esineiden internetin (IoT) verkkoa, jossa on useita energiaa kerääviä antureita, käyttäjiä ja reunasolmu. Käyttäjät ovat kiinnostuneita aikaherkistä tiedoista fyysisistä suureista, joista kutakin mitataan anturilla. Käyttäjät lähettävät aina tarvitessaan pyyntöjä välimuistia käyttävälle reunasolmulle, jonka välimuistissa ovat viimeisimmät vastaanotetut mittaukset kustakin anturista. Reunasolmu vastaa käyttäjien pyyntöihin päättämällä, ohjataanko vastaavat anturit lähettämään tuoreita tilapäivityksiä vai käytetäänkö välimuistissa olevia jo ikääntyneitä tietoja. Pyrimme löytämään parhaat reunasolmun valitsemat toiminnot kullakin hetkellä kutakin anturia varten eli optimaaliset käytännöt, jotka minimoivat tarjottujen mittausten keskimääräisen tiedon iän (AoI) ja siis pyydettäessä tarjottavien tietojen keskimääräisen iän. Tässä tutkielmassa tutkimme ensin irti kytkettyjen antureiden tilan päivittämistä, jolloin siis antureilla on itsenäiset viestintäkanavat reunasolmuun. Mallinnamme tämän ongelman Markovin päätöksentekoprosessina (MDP). Olemme kehittäneet kaksi vahvistusoppimiseen (RL) perustuvien algoritmien luokkaa: mallipohjaisen suhteellisen arvon iterointialgoritmin (RVIA), jossa käytetään dynaamista ohjelmointia, sekä mallittoman Q-oppimismenetelmän. Seuraavaksi tutkimme tilan päivittämistä siirtorajoitetuissa IoT-verkoissa, joissa reunasolmu voi ohjata vain rajallista määrää antureita kullakin aikavälillä. Voimassa on siis aikavälikohtainen siirtorajoitus. Mallinnamme ongelman MDP:nä, jossa ehdotetaan käytettäväksi iteratiivista algoritmia optimaalisen toimintatavan saavuttamiseksi. On kuitenkin syytä huomata, että optimaalisen toimintatavan löytämisen laskennallinen monimutkaisuus kasvaa eksponentiaalisesti antureiden lukumäärän mukaan. Siksi kehitämme asymptoottisesti optimaalisen matalan monimutkaisuuden algoritmin, josta käytetään nimitystä ”relax-then-truncate”. Osoitamme, että se on optimaalinen, kun antureiden määrä kasvaa kohti ääretöntä. Lopuksi tutkimme tilan päivittämistä, kun tieto antureiden akkujen varaustasosta on epätarkkaa. Reunasolmu saa siis tiedon antureiden akkujen varaustasoista vain tilapäivityspakettien kautta, minkä vuoksi päätöksenteossa käytetty tieto varaustasoista on epävarmaa. Otamme huomioon osittaisen tiedon akkujen tilasta mallintamalla ongelman osittain havainnoitavana MDP:nä (POMDP). Kehitämme sitä varten uudenlaisen dynaamisen ohjelmointialgoritmin, jolla saadaan aikaan optimaalinen toimintatapa. see all
|
| Series: |
Acta Universitatis Ouluensis. C, Technica |
| ISSN: | 0355-3213 |
| ISSN-E: | 1796-2226 |
| ISSN-L: | 0355-3213 |
| ISBN: | 978-952-62-3938-5 |
| ISBN Print: | 978-952-62-3937-8 |
| Issue: | 920 |
| Type of Publication: |
G4 Doctoral dissertation (monograph) |
| Field of Science: |
213 Electronic, automation and communications engineering, electronics |
| Subjects: | |
| Funding: |
The work has been financially supported in part by Infotech Oulu, the Academy of Finland (grant 323698), and Academy of Finland 6G Flagship program (grant 346208). I feel honored to have received several personal research grants from the following foundations: the HPY Research Foundation, the Nokia Foundation Scholarship, and the Riitta ja Jorma J. Takanen Foundation. |
| Academy of Finland Grant Number: |
323698 346208 |
| Detailed Information: |
323698 (Academy of Finland Funding decision) 346208 (Academy of Finland Funding decision) |
| Copyright information: |
© University of Oulu, 2023. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. |