Abstract

Exponential population growth and urbanisation pose potential challenges to mobility, governance, well-being, the environment, and the safety of modern cities. This demands data-driven predictions and decision-making systems to achieve sustainable societal goals. Smart city data are being employed to improve citizens’ lifestyles, derive climate initiatives, provide quality health care and education, achieve better governance, and design better urban policies. However, the data from smart cities is vast and heterogeneous, requiring efficient and fault-tolerant data platforms supporting continuous data collection, storage, analysis, visualisation, and results delivery in both batch and real-time fashion. In addition, real-world data brings challenges and may come from malfunctioning, replaced or differently calibrated devices. Concept drift is a crucial barrier to relying on predictions from real-world data streams. It emerges due to unforeseen reasons, changes in statistical properties and the context of data while performing predictive modelling.

This thesis focuses on the challenges mentioned by investigating and proposing efficient concept drift detection approaches, providing distributed data pipeline architectures, and highlighting the potential challenges of concept drift in terms of real-world applicability. As a result, two different algorithms are proposed to perform predictive modelling using machine learning methods integrated with concept drift detection and adaptation methods. The experiment showed that integrating concept drift detection with predictive models increases the effectiveness of drawn predictions. Secondly, a cloud computing-based distributed data pipeline architecture is provided to support data collection, data analysis, concept drift detection, and others. Similarly, an edge computing-based distributed data pipeline is proposed for edge micro data centres to perform computationally demanding processes. The proposed data pipelines are fault-tolerant, can be scaled seamlessly, and support batch and real-time processing, third-party application integration, and more. The overall work has contributed to the existing knowledge base and outperformed current state-of-the-art solutions with real-world use case implementation. Finally, the open issues and challenges of concept drift detection and real-world applicability are discussed.

Tiivistelmä

Eksponentiaalinen väestönkasvu ja kaupungistuminen haastavat modernien kaupunkien hallintoa, logistiikkaa, ihmisten sekä ympäristön hyvinvointia ja turvallisuutta. Kestävien yhteiskunnallisten tavoitteiden saavuttamiseksi voidaan hyödyntää datapohjaisia päätöksentekojärjestelmiä. Älykaupunkien dataa käytetään tukemaan kansalaisten elämäntapoja sekä ilmastoaloitteita, tuottamaan laadukasta terveydenhuoltoa ja koulutusta sekä sujuvoittamaan hallintoa ja kaupunkipolitiikkaa. Kaupungeista saatava data on monimuotoista ja laajaa, saattaa sisältää virheitä ja sen käsittely vaatii tehokkaita ja vikasietoisia data-alustoja. Alustojen on tuettava jatkuvaa datan keruuta, tallennusta, analysointia, visualisointia ja tulosten toimittamista sekä erä- että reaaliaikaisesti. Käsitevuoto (concept drift) on keskeinen este luotettavien ennusteiden tekemiselle reaalimaailman datavirroista. Käsitevuoto ilmenee ennakoimattomista syistä, datan tilastollisten ominaisuuksien ja kontekstin muutoksista ennustavaa mallinnusta tehdessä, johtaen epäluotettaviin datapohjaisiin ennusteisiin.

Työssä tutkitaan käsitevuotoa erityisesti laboratorion ulkopuolella tosimaailmassa. Tuloksena esitetään kaksi erilaista algoritmia käsitevuon havaitsevaan ennustavaan mallinnukseen. Algoritmit ovat koneoppimenetelmiä, joihin on integroitu käsitevuodon havaitsemis- sekä mukautumismekanismit. Työssä osoitetaan, että kun integroidaan käsitevuodon havaitseminen ennustemallinnukseen, voidaan lisätä ennusteiden tehokkuutta. Toiseksi työssä kehitettiin pilvilaskentaan perustuva hajautettu dataputkiarkkitehtuuri, joka tukee datan keruuta, datan analysointia, käsitevuodon havaitsemista ja muita reaaliaikaiseen mallintamiseen tarvittavia datankäsittelymekanismeja. Lisäksi kehitettiin reunalaskentaan perustuva hajautettu dataputkijärjestelmä mikrodatakeskuksineen laskennallisesti raskaita datakäsittelytehtäviä varten. Ehdotetut dataputket ovat vikasietoisia, ne voidaan skaalata saumattomasti ja ne tukevat erä- ja reaaliaikaista käsittelyä sekä kolmansien osapuolten sovellusintegraatioita. Kokonaisuudessaan työssä kehitetyt menetelmät suoriutuvat nykyisiä ratkaisuja paremmin reaalimaailman käyttötapausten toteuttamisessa. Lopuksi käsitellään avoimet kysymykset sekä tulevaisuuden haasteet käsitevuodon havaitsemisen ja reaalimaailman sovellettavuuden suhteen.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

1. Mehmood, H., Gilman, E., Cortes, M., Kostakos, P., Byrne, A., Valta, K., Tekes, S., & Riekki, J. (2019). Implementing big data lake for heterogeneous data sources. In 2019 IEEE 35th International Conference on Data Engineering Workshops (ICDEW), 37–44. https://doi.org/10.1109/ICDEW.2019.00-37

   Rinnakkaistallennettu versio / Self-archived version

2. Mehmood, H., Kostakos, P., Cortes, M., Anagnostopoulos, T., Pirttikangas, S., & Gilman, E. (2021). Concept drift adaptation techniques in distributed environment for real-world data streams. Smart Cities, 4(1), 349–371. https://doi.org/10.3390/smartcities4010021

   Rinnakkaistallennettu versio / Self-archived version

3. Mehmood, H., Khalid, A., Kostakos, P., Gilman, E., & Pirttikangas, S. (2024). A novel edge architecture and solution for detecting concept drift in smart environments. Future Generation Computer Systems, 150, 127–143. https://doi.org/10.1016/j.future.2023.08.023

   Rinnakkaistallennettu versio / Self-archived version

4. Cao, J., Mehmood, H., Liu, X., Tarkoma, S., Gilman, E., & Su, X. (2023). Fighting pandemics with augmented reality and smart sensing-based social distancing. IEEE Computer Graphics and Applications, 43(1), 65–75. https://doi.org/10.1109/MCG.2022.3229107

   Rinnakkaistallennettu versio / Self-archived version

5. Mehmood, H., Hiltunen, M., Makkonen, T., Immonen, M., Pirttikangas, S., & Heikkilä, R. (2021). Road map for implementing AI-driven Oulu Smart excavator. In 38th International Symposium on Automation and Robotics in Construction, 818–826. https://doi.org/10.22260/ISARC2021/0111