Abstract

Mature test automation is key for achieving high product quality at speed. However, many organizations still have immature test automation practices that impede them to reap expected benefits. Not all attempts to improve test automation practices are successful, usually caused by ineffective assessment and improvement.

This dissertation aims to develop the guidelines for test automation maturity assessment and improvement by synthesizing existing guidelines from various sources, demonstrating the adoption of developed guidelines, and evaluating the effectiveness of the developed guidelines with practitioners.

In this dissertation, we synthesized a taxonomy of test automation best practices from 18 test maturity models. We also reviewed 26 academic literature and 55 grey literature sources on the same topic, and found that the current literature includes the guidelines that are not covered in test maturity models, like new technical best practices and advice (e.g., improvement approaches, technical techniques, and experience-based heuristics) on conducting certain best practices. Using synthesized test automation best practices from test maturity models as the base, we developed a test automation maturity survey and distributed it in the current industry to explore the state of practice of test automation maturity. Based on 151 survey responses coming from above 100 organizations in 25 countries, several observations were made to demonstrate the adoption of test automation best practices proposed by existing test maturity models, e.g., there is a lack of guidelines on designing and executing automated tests and the right metrics to measure test automation performance in general. We observed that high levels of test automation maturity (assessed by test automation best practices from test maturity models) can lead to high product quality at speed in modern software developments, using empirical evidence from an experience study (that examined the experience of a DevOps team who succeeded in test automation maturity improvement) and a quantitative study (that collected metric data from 37 open source projects by running our test automation maturity survey and mined project repositories).

With the study results of this dissertation, future work in this research scope related to theory development works, empirical studies, and iterative studies is stimulated. Practitioners can benefit from the developed and evaluated guidelines in this dissertation to assess and improve test automation maturity.

Tiivistelmä

Kypsä testiautomaatio on avainasemassa korkean tuotelaadun saavuttamisessa ilman että tarvitsee tinkiä tuotekehityksen nopeudesta. Usein organisaatioiden vielä kehittymättömät testiautomaatiokäytännöt estävät niitä saamasta automaatiolta odotettuja hyötyjä. Yritykset parantaa testiautomaatiokäytäntöjä eivät aina onnistu, mikä johtuu yleensä puutteellisesta testiautomaation kypsyydenarvioinnista ja -parantamisesta.

Tämän väitöskirjan tavoitteena on kehittää ohjeistusta testiautomaation kypsyyden arviointiin ja parantamiseen syntetisoimalla olemassa olevia ohjeita eri lähteistä, tutkimalla kehitettyjen ohjeiden omaksumista ja arvioimalla kehitettyjen ohjeiden tehokkuutta yhdessä ohjelmistoteollisuuden toimijoiden kanssa.

Väitöskirjassa syntetisoitiin testiautomaation hyvien käytäntöjen taksonomia 18 testikypsyysmallista. Kirjallisuuskatsauksessa tutkittiin 26 akateemista ja 55 harmaankirjallisuuden lähdettä. Havaittiin, että nykyinen kirjallisuus sisältää ohjeita, joita ei ole testikypsyysmalleissa, kuten uusia teknisiä hyviä käytäntöjä ja neuvoja (esim. teknisiä menetelmiä ja kokemuspohjaista heuristiikkaa) tiettyjen hyvien käytäntöjen toteuttamiseksi. Kirjallisuudesta syntetisoitujen, kypsyysmalleihin pohjautuvien hyvien käytäntöjen avulla kehitettiin kyselylomake ohjelmistoteollisuuden testiautomaation kypsyyden tilan mittaamiseen.

Yli 100 organisaatiosta ja 25 maasta saadun 151 kyselyvastauksen perusteella tehtiin havaintoja testiautomaation hyvien käytäntöjen omaksumisesta. Puutteita havaittiin testiautomaation suunnittelun ja käytön ohjeistuksessa sekä hyötyjen mittaamisen käytänteissä. Tulokset osoittavat, että testiautomaation korkea kypsyysaste voi johtaa tuotteiden korkeaan laatuun hidastamatta tuotekehityksen nopeutta nykyaikaisessa ohjelmistokehityksessä. Havainnot perustuvat sekä empiiriseen kokemustutkimukseen, jossa tutkittiin testiautomaation kypsyyden parantamisessa onnistuneen DevOps-tiimin kokemuksia että kvantitatiiviseen tutkimukseen, jossa 37 avoimen lähdekoodin projektista kerättiin dataa käyttämällä kehitettyä kyselylomaketta ja louhimalla lähdekoodin versionhallintaa, testiautomaatiojärjestelmien lokitietoja sekä virhetietokantoja.

Tämän väitöskirjan tuloksilla edistetään ohjelmistotestiautomaation tutkimuksen teorian kehittämistä ja empiiristä tutkimusta. Ohjelmistoteollisuuden edustajat voivat hyötyä väitöskirjassa kehitetyistä ja arvioiduista ohjeista testiautomaation kypsyyden arvioimiseksi ja parantamiseksi.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

1. Wang, Y., Mäntylä, M., Eldh, S., Markkula, J., Wiklund, K., Kairi, T., Raulamo-Jurvanen, P., & Haukinen, A. (2019). A self-assessment instrument for assessing test automation maturity. Proceedings of the Evaluation and Assessment on Software Engineering, 145–154. https://doi.org/10.1145/3319008.3319020

   Rinnakkaistallennettu versio / Self-archived version

2. Wang, Y., Mäntylä, M. V., Liu, Z., Markkula, J., & Raulamo‐Jurvanen, P. (2022). Improving test automation maturity: A multivocal literature review. Software Testing, Verification and Reliability, 32(3), e1804. https://doi.org/10.1002/stvr.1804

   Rinnakkaistallennettu versio / Self-archived version

3. Wang, Y., Mäntylä, M., Demeyer, S., Wiklund, K., Eldh, S., & Kairi, T. (2020). Software test automation maturity: A survey of the state of the practice. Proceedings of the 15th International Conference on Software Technologies, 27–38. https://doi.org/10.5220/0009766800270038

   Rinnakkaistallennettu versio / Self-archived version

4. Wang, Y., Pyhäjärvi, M., & Mäntylä, M. V. (2020). Test automation process improvement in a DevOps team: Experience report. 2020 IEEE International Conference on Software Testing, Verification and Validation Workshops (ICSTW), 314–321. https://doi.org/10.1109/ICSTW50294.2020.00057

   Rinnakkaistallennettu versio / Self-archived version

5. Wang, Y., Mäntylä, M. V., Liu, Z., & Markkula, J. (2022). Test automation maturity improves product quality—Quantitative study of open source projects using continuous integration. Journal of Systems and Software, 188, 111259. https://doi.org/10.1016/j.jss.2022.111259

   Rinnakkaistallennettu versio / Self-archived version