Abstract

Practitioners have been trying to capitalise on the software development data produced as a result of the use of modern development approaches like Agile Software Development (ASD). Structured software development data have been utilised in software metrics programme for undertaking process improvement, but what metrics practitioners prefer and why need further clarity, especially in large industrial contexts. Success factors for a metrics programme in ASD are also not as well understood as they are in traditional software development. Lastly, there is little knowledge on how practitioners can capitalise on their unstructured data, which are generated in larger volume than structured data.

In the context of the European Union Horizon 2020 project Q-Rapids, a multiple-case study was conducted with four software-intensive Agile companies to address the above research gaps in two phases. In the first phase, knowledge about the state of the practice and the practitioners’ perspective influencing the definition, operationalisation, and use of metrics programme was gathered. In the second phase, empirical evidence for how practitioners utilised their structured data in a metrics programme for process improvement was elicited. Lastly, empirical evidence was sought on how practitioners can capitalise on their unstructured data.

To utilise their data to increase awareness and exercise control, practitioners prefer metrics for measuring planning, implementation, and testing processes. Contextual factors like company size and project characteristics determine if metrics will be a trigger or the main driver for process improvement. The prerequisites that facilitate such use of metrics programmes concern data, process, and metrics actionability. For unstructured data, text-mining techniques such as Latent Dirichlet Allocation can help derive development-related insights. These results highlight the utility of two distinct approaches that practitioners can use to capitalise on their software development data, even in large industrial contexts.

Tiivistelmä

Ohjelmistotuotannon harjoittajat ovat yrittäneet hyötyä modernien ohjelmistotuotantomenetelmien, kuten ketterän ohjelmistotuotannon (ASD), synnyttämästä ohjelmistotuotantodatasta. Jäsenneltyä ohjelmistotuotantodataa on käytetty metriikkaohjelmissa, joiden tarkoitus on parantaa tuotantoprosessia, mutta tarvitaan lisäselvitystä siitä, mitä metriikoita ohjelmistotuotannon harjoittajat suosivat ja miksi, eteenkin laajamittaisessa ohjelmistotuotannossa. Metriikkaohjelmien menestystekijät eivät myöskään ole yhtä hyvin tunnettuja ASD:ssä kuin perinteisissä ohjelmistotuotantomenetelmissä. Lisäksi on vain vähän tietoa siitä, miten jäsentämätöntä dataa, jota syntyy paljon enemmän kuin jäsenneltyä, voidaan hyödyntää.

Euroopan unionin Horizon 2020 Q-Rapids projektissa toteutettiin monitapaustutkimus, jonka avulla täydennettiin tutkimustietoa edellä mainittujen puutteiden osalta kahdessa vaiheessa. Ensimmäisessä vaiheessa koottiin tietoa vallalla olevista käytänteistä sekä ohjelmistotuotannon harjoittajien näkökulmista, jotka vaikuttavat metriikkaohjelmien määrittelyyn, täytäntöönpanoon ja käyttöön. Toisessa vaiheessa nostettiin esiin empiiristä näyttöä jäsennellyn datan käytöstä prosessinparannusmetriikkaohjelmissa. Lopuksi etsittiin empiiristä näyttöä jäsentämättömän datan hyödyntämisestä.

Datan käytössä tietoisuuden lisäämiseksi ja hallinnan mahdollistamiseksi ohjelmistotuotannon harjoittajat suosivat metriikoita suunnittelu-, implementaatio- ja testausprosessin mittaamiseen. Ohjelmistotuotannon kontekstuaaliset tekijät, kuten ohjelmistoyhtiön koko ja projektin luonne, vaikuttavat siihen käynnistääkö tietty metriikka prosessinparannuksen vai onko se prosessinparannuksen pääasiallinen viitoittaja. Edellytykset, jotka mahdollistavat tällaiset metriikkaohjelmat liittyvät datan, prosessien ja metriikoiden toteuttamiskelpoisuuteen. Tekstinlouhintamenetelmät, kuten Latent Dirichlet Allocation, voi mahdollistaa jäsentämättömän data syvemmän ymmärtämisen. Nämä tulokset valaisevat kahden erillisen menetelmän käyttökelpoisuutta, joita ohjelmistotuotannon harjoittajat voivat käyttää ohjelmistodatan hyödyntämisessä myös laajamittaisessa ohjelmistotuotannossa.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

1. Ram, P., Rodriguez, P., & Oivo, M. (2018). Software process measurement and related challenges in agile software development: A multiple case study. In Product-Focused Software Process Improvement, PROFES 2018, 11271, 272–287. https://doi.org/10.1007/978-3-030-03673-7_20

   Rinnakkaistallennettu versio / Self-archived version

2. Ram, P., Rodriguez, P., Oivo, M., & Martinez-Fernandez, S. (2019). Success factors for effective process metrics operationalization in agile software development: A multiple case study. 2019 IEEE/ACM International Conference on Software and System Processes (ICSSP), 14–23. https://doi.org/10.1109/ICSSP.2019.00013

   Rinnakkaistallennettu versio / Self-archived version

3. Ram, P., Rodríguez, P., Oivo, M., Martínez-Fernández, S., Bagnato, A., Choraś, M., Kozik, R., Aaramaa, S., & Ahola, M. (2020). Actionable software metrics: An industrial perspective. Proceedings of the Evaluation and Assessment in Software Engineering, 240–249. https://doi.org/10.1145/3383219.3383244

   Rinnakkaistallennettu versio / Self-archived version

4. Ram, P., Rodríguez, P., Oivo, M., Bagnato, A., Abherve, A., Choraś, M., & Kozik, R. (2020). An empirical investigation into industrial use of software metrics programs. In Product-Focused Software Process Improvement, PROFES 2020, 12562, 419–433. https://doi.org/10.1007/978-3-030-64148-1_26

   Rinnakkaistallennettu versio / Self-archived version

5. Ram, P., Rodríguez, P., Abherve, A., Bagnato, A., & Oivo, M. (2021). Capitalizing on developer-tester communication – a case study. In Product-Focused Software Process Improvement, PROFES 2021, 13126, 249–264. https://doi.org/10.1007/978-3-030-91452-3_17

   Rinnakkaistallennettu versio / Self-archived version