University of Oulu

Deep learning for knee osteoarthritis diagnosis and progression prediction from plain radiographs and clinical data

Saved in:
Author: Tiulpin, Aleksei1,2,3
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Medicine
3Oulu University Hospital
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 5.5 MB)
Persistent link: http://urn.fi/urn:isbn:9789526225524
Language: English
Published: Oulu : University of Oulu, 2020
Publish Date: 2020-02-25
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Health and Biosciences of the University of Oulu for public defence in Auditorium P117 (Aapistie 5B), on 6 March 2020, at 12 noon
Tutor: Professor Simo Saarakkala
Reviewer: Assistant Professor Kevin McGuinness
Associate Professor Jeffrey Duryea
Opponent: Assistant Professor Valentina Pedoia
Description:

Abstract

Osteoarthritis (OA) is the most common musculoskeletal disorder in the world, affecting hand, hip, and knee joints. At the final stage, OA leads to joint replacement, causing an immense burden at the individual and societal levels. Multiple risk factors that can lead to OA are known; however, the etiology of OA and the underlying mechanisms of OA progression are not currently known.

OA is currently diagnosed by a clinical examination and, when necessary, confirmed by imaging — a radiographic evaluation. However, these conventional tools are not sensitive to detect the early stages of OA, which makes the development of preventive measures for further disease progression difficult. Therefore, there is a need for other methods that could allow for the early diagnosis of OA. As such, computer vision-based techniques provide quantitative biomarkers that allow for an automatic and systematic assessment of OA severity from images.

In recent years, the rapid development of computer vision and machine learning methods have merged into a new field — deep learning (DL). DL allows for one to formulate the problems of computer vision and other fields in a machine learning fashion. In the medical field, DL has made a tremendous impact and allowed to approach for human-level decision-making accuracy in diagnostic and prognostic tasks compared with the traditional computer vision-based methods.

The focus of this thesis is on the development of DL-based methods for fully automatic knee OA severity diagnosis and the prediction of its progression. Multiple new methods for localizing the region of interest, landmark localization, knee OA severity assessment, and OA progression prediction are proposed. The results exceeded the state-of-the-art or formed completely new benchmarks for the evaluation of diagnostic and predictive model performance in OA. The main conclusion is that DL yields excellent performance in the diagnostics of OA and in the prediction of its progression. All the source codes of all the developed methods and the annotations for some of the datasets have been made publicly available.

see all

Tiivistelmä

Nivelrikko on maailman yleisin käden, lonkan ja polven niveliin vaikuttava liikuntaelinsairaus. Viimekädessä nivelrikko johtaa tekonivelleikkauksiin, aiheuttaen merkittävää rasitetta niin yksilö- kuin yhteiskunnallisella tasolla. Monia nivelrikolle altistavia tekijöitä on jo tunnistettu, mutta kaikkia nivelrikon syitä ja vaikutusmekanismeja nivelrikon etenemisessä ei tunneta.

Nivelrikko diagnosoidaan kliinisellä tutkimuksella ja vahvistetaan/varmistetaan tarvittaessa tehtävällä kuvantamistutkimuksella — tekemällä radiografinen arviointi. Nämä perinteiset työkalut eivät kuitenkaan ole riittävän herkkiä nivelrikon varhaisten vaiheiden havaitsemiseen, ja tämä hankaloittaa sairauden kehittymistä ehkäisevien toimenpiteiden kehittämistä. Näistä syistä johtuen tarvitaan muita menetelmiä, jotka mahdollistavat nivelrikon varhaisen diagnosoinnin. Konenäkömenetelmät sellaisenaan tuottavat kvantitatiivisia biologisia indikaattoreita jotka mahdollistavat automaattisen ja järjestelmällisen nivelrikon vakavuusarvion tekemisen kuvamateriaalista.

Viime vuosina konenäkö- ja koneoppimismenetelmien nopea kehitys on synnyttänyt uuden syväoppimisen haaran. Syväoppiminen mahdollistaa konenäkö- ja muiden ongelmien määrittelyn koneoppimisongelman tavoin. Verrattuna perinteisiin lääketieteessä käytettyihin tietokonenäkömenetelmiin, syväoppiminen on mahdollistanut ihmisen suorituskykyä lähestyvät toteutukset lääketieteen diagnostisissa ja prognostisissa tehtävissä ja niiden vaikutus alan kehitykselle on ollut merkittävä.

Tämän väitöskirja keskittyy kehittämään syväoppimismenetelmiä täysautomaattiseen polven nivelrikon vakavuuden diagnosointiin ja taudin kehittymisen ennustamiseen. Työssä ehdotetaan/esitetään useita uusia menetelmiä kohdealueen paikallistamiseen, maamerkkien paikallistamiseen, polven nivelrikon vakavuuden arviointiin ja nivelrikon etenemisen ennustamiseen. Työn tulokset ylittävät viimeisintä tekniikkaa edustavat ratkaisut tai muodostavat täysin uuden mittarin diagnostisten ja ennustavien menetelmien suorituskyvyn evaluoinnille nivelrikon kontekstissa. Työn keskeisimpänä johtopäätöksenä esitetään, että syväoppimisella on mahdollista saavuttaa erittäin hyvä suorituskyky nivelrikon diagnosoinnissa ja sen etenemisen ennustamisessa. Kaikki työssä kehitetyt menetelmät lähdekoodeineen sekä annotoinnit osalle tutkimuksessa käytetyistä aineistoista on saatettu avoimesti saataville.

see all

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

  1. Tiulpin, A., Thevenot, J., Rahtu, E., & Saarakkala, S. (2017). A Novel Method for Automatic Localization of Joint Area on Knee Plain Radiographs. In P. Sharma, F. Bianchi F. (Eds.). Image Analysis. SCIA 2017. Lecture Notes in Computer Science, 10270, 290–301. https://doi.org/10.1007/978-3-319-59129-2_25

    Rinnakkaistallennettu versio / Self-archived version

  2. Tiulpin, A., Melekhov, I., & Saarakkala, S. (in press). KNEEL: Knee Anatomical Landmark Localization Using Hourglass Networks. In Proceedings of the IEEE International Conference on Computer Vision Workshops. https://doi.org/10.1109/ICCVW.2019.00046

    Rinnakkaistallennettu versio / Self-archived version

  3. Tiulpin, A., Thevenot, J., Rahtu, E., Lehenkari, P., & Saarakkala, S. (2018). Automatic Knee Osteoarthritis Diagnosis from Plain Radiographs: A Deep Learning-Based Approach. Scientific Reports, 8(1). https://doi.org/10.1038/s41598-018-20132-7

    Rinnakkaistallennettu versio / Self-archived version

  4. Tiulpin, A. & Saarakkala, S. (2019). Automatic Grading of Individual Knee Osteoarthritis Features in Plain Radiographs using Deep Convolutional Neural Networks. Manuscript submitted for publication.

  5. Tiulpin, A., Klein, S., Bierma-Zeinstra, S. M. A., Thevenot, J., Rahtu, E., … Saarakkala, S. (2019). Multimodal Machine Learning-based Knee Osteoarthritis Progression Prediction from Plain Radiographs and Clinical Data. Scientific Reports, 9(1). https://doi.org/10.1038/s41598-019-56527-3

    Rinnakkaistallennettu versio / Self-archived version

see all

Series: Acta Universitatis Ouluensis. D, Medica
ISSN: 0355-3221
ISSN-E: 1796-2234
ISSN-L: 0355-3221
ISBN: 978-952-62-2552-4
ISBN Print: 978-952-62-2551-7
Issue: 1562
Type of Publication: G5 Doctoral dissertation (articles)
Field of Science: 217 Medical engineering
3126 Surgery, anesthesiology, intensive care, radiology
Subjects:
Copyright information: © University of Oulu, 2020. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.