Abstract

Context: Experiments are commonplace in software engineering (SE). Still, two main limitations impact their suitability to assess the effectiveness of SE treatments (i.e., methods, processes, and tools): (1) their results are restricted to the configuration of the experimental settings, and (2) their results may be unreliable due to the low number of subjects typically participating. With the aim of overcoming the previous weaknesses, SE researchers are collaborating towards the construction of groups of experiments by means of replication (i.e., conducting families of experiments). Disparate aggregation techniques are being applied to aggregate experiments’ results within families.

Objective: Understanding the limitations of individual experiment’s results. Identifying the techniques used to aggregate experiments’ results in SE families. Understanding the advantages and disadvantages of each aggregation technique in the SE context. Providing guidelines for analyzing SE families.

Method: We identified the aggregation techniques used to aggregate experiments’ results in SE families. Meanwhile, we learned about the advantages and disadvantages of each aggregation technique in the literature on mature experimental disciplines such as medicine and pharmacology. Then, we applied the aggregation techniques on a representative SE family. Finally, we tailored a set of guidelines to analyze SE families based on the guidelines from medicine, but here adapted to the SE context.

Results: Families of experiments grant access to the raw data, and to the characteristics of the experiments and the participants. Families are usually comprised of a low number of experiments with small and dissimilar sample sizes and heterogeneous results. Narrative synthesis, aggregated data (AD), individual participant data (IPD), either mega-trial or stratified, and aggregation of p-values were used to analyze SE families. AD and IPD stratified, when used in tandem, seem suitable to analyze SE families.

Conclusion: The aggregation techniques used to analyze SE families should be justified in research articles to increase the reliability and transparency of the findings. Guidelines may ease such endeavour.

Tiivistelmä

Konteksti: Kokeet ovat arkipäiväisiä ohjelmistotuotannossa (SE). Kuitenkin kaksi päärajoitusta vaikuttaa niiden sopivuuteen arvioidakseen SE:n menetelmien, prosessien ja työkalujen tehokkuutta: (1) niiden tulokset rajoittuvat kokeellisten asetelmien kokoonpanoon; (2) niiden tulokset saattavat olla epäluotettavia pienestä osallistujamäärästä johtuen. SE tutkijat tekevät yhteistyötä voittaakseen edellä mainitut rajoitteet rakentamalla kokeiden ryhmiä replikoinnin kautta (eli, suorittavat kokeiden perheitä). Erilaisia koostamistekniikoita sovelletaan perheensisäisten kokeiden tulosten koostamiseen.

Tavoite: Ymmärtää yksittäisten kokeiden tuloksien rajoitukset. Tunnistaa tekniikat, joita käytetään perheen kokeiden tuloksien koostamiseen. Ymmärtää jokaisen koostamistekniikan edut ja haitat SE kontekstissa. Tarjota ohjenuoria SE-perheiden analysointiin.

Menetelmä: Tunnistimme koostamistekniikat, joita on käytetty SE kokeiden tulosten koostamiseen. Tieteellisen kirjallisuuden avulla, koskien kokeiden tulosten koostamista mm. lääketieteen ja farmakologian aloilta, selvitimme koostamistekniikoiden hyödyt ja haitat. Seuraavaksi sovelsimme koostamistekniikoita edustavaan SE-perheeseen. Lopuksi räätälöitiin ohjenuora SE-perheiden analysointiin, joka perustuu lääketieteeseen ja on muokattu ohjelmistotuotannon kontekstiin sopivaksi.

Tulokset: Kokeiden perheet antavat pääsyn raakadataan sekä kokeiden ja osanottajien ominaispiirteisiin. Perheet käsittävät tavallisesti pienen määrän kokeita, joiden näytekoot ovat pieniä ja tulokset heterogeenisiä. Kertomussynteesi, yhdistetty data (AD), yksilöllisen osallistujadatan (IDP) mega-koetta tai kerrostumaa ja p-arvon koostamista on käytetty analysoimaan SE-perheitä. AD ja IDP kerrostumaa yhdessä käytettynä näyttää sopivalta SE-perheiden analysointiin.

Johtopäätös: Koostamistekniikat, joita käytetään analysoimaan SE-perheitä, pitäisi olla perusteltuja tieteellisissä julkaisuissa, jotta havaintojen luotettavuutta ja läpinäkyvyyttä voidaan lisätä. Ohjenuorat saattavat helpottaa tällaisia pyrkimyksiä.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

1. Santos, A., Spisak, J., Oivo, M., & Juristo, N. (2018). Improving Development Practices through Experimentation: An Industrial TDD Case. 2018 25th Asia-Pacific Software Engineering Conference (APSEC). 2018 25th Asia-Pacific Software Engineering Conference (APSEC). https://doi.org/10.1109/apsec.2018.00061

   Rinnakkaistallennettu versio / Self-archived version

2. Santos, A., Gomez, O. S., & Juristo, N. (2019). Analyzing Families of Experiments in SE: a Systematic Mapping Study. IEEE Transactions on Software Engineering, 1–1. https://doi.org/10.1109/tse.2018.2864633

   Rinnakkaistallennettu versio / Self-archived version

3. Santos, A., & Juristo, N. (2018). Comparing techniques for aggregating interrelated replications in software engineering. Proceedings of the 12th ACM/IEEE International Symposium on Empirical Software Engineering and Measurement - ESEM ’18. the 12th ACM/IEEE International Symposium. https://doi.org/10.1145/3239235.3239239

   Rinnakkaistallennettu versio / Self-archived version

4. Santos, A., Vegas, S., Oivo, M., & Juristo, N. (2019). A Procedure and Guidelines for Analyzing Groups of Software Engineering Replications. IEEE Transactions on Software Engineering, 1–1. https://doi.org/10.1109/tse.2019.2935720

   Rinnakkaistallennettu versio / Self-archived version

5. Santos, A., Järvinen, J., Partanen, J., Oivo, M., & Juristo, N. (2018). Does the Performance of TDD Hold Across Software Companies and Premises? A Group of Industrial Experiments on TDD. In Product-Focused Software Process Improvement (pp. 227–242). Springer International Publishing. https://doi.org/10.1007/978-3-030-03673-7_17

   Rinnakkaistallennettu versio / Self-archived version