University of Oulu

Analyzing families of experiments in software engineering

Saved in:
Author: Santos Parrilla, Adrian1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering
Format: ebook
Version: published version
Persistent link: http://urn.fi/urn:isbn:9789526225456
Language: English
Published: Oulu : University of Oulu, 2020
Publish Date: 2020-04-12
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in the Wetteri auditorium (IT115), Linnanmaa, on 22 April 2020, at 12 noon
Tutor: Professor Natalia Juristo
Reviewer: Professor Jeffrey Carver
Professor Marcela Genero
Opponent: Professor Robert Feldt
Description:

Abstract

Context: Experiments are commonplace in software engineering (SE). Still, two main limitations impact their suitability to assess the effectiveness of SE treatments (i.e., methods, processes, and tools): (1) their results are restricted to the configuration of the experimental settings, and (2) their results may be unreliable due to the low number of subjects typically participating. With the aim of overcoming the previous weaknesses, SE researchers are collaborating towards the construction of groups of experiments by means of replication (i.e., conducting families of experiments). Disparate aggregation techniques are being applied to aggregate experiments' results within families.

Objective: Understanding the limitations of individual experiment's results. Identifying the techniques used to aggregate experiments' results in SE families. Understanding the advantages and disadvantages of each aggregation technique in the SE context. Providing guidelines for analyzing SE families.

Method: We identified the aggregation techniques used to aggregate experiments' results in SE families. Meanwhile, we learned about the advantages and disadvantages of each aggregation technique in the literature on mature experimental disciplines such as medicine and pharmacology. Then, we applied the aggregation techniques on a representative SE family. Finally, we tailored a set of guidelines to analyze SE families based on the guidelines from medicine, but here adapted to the SE context.

Results: Families of experiments grant access to the raw data, and to the characteristics of the experiments and the participants. Families are usually comprised of a low number of experiments with small and dissimilar sample sizes and heterogeneous results. Narrative synthesis, aggregated data (AD), individual participant data (IPD), either mega-trial or stratified, and aggregation of $p$-values were used to analyze SE families. AD and IPD stratified, when used in tandem, seem suitable to analyze SE families.

Conclusion: The aggregation techniques used to analyze SE families should be justified in research articles to increase the reliability and transparency of the findings. Guidelines may ease such endeavour.

see all

Tiivistelmä

Konteksti: Kokeet ovat arkipäiväisiä ohjelmistotuotannossa (SE). Kuitenkin kaksi päärajoitusta vaikuttaa niiden sopivuuteen arvioidakseen SE:n menetelmien, prosessien ja työkalujen tehokkuutta: (1) niiden tulokset rajoittuvat kokeellisten asetelmien kokoonpanoon; (2) niiden tulokset saattavat olla epäluotettavia pienestä osallistujamäärästä johtuen. SE tutkijat tekevät yhteistyötä voittaakseen edellä mainitut rajoitteet rakentamalla kokeiden ryhmiä replikoinnin kautta (eli, suorittavat kokeiden perheitä). Erilaisia koostamistekniikoita sovelletaan perheensisäisten kokeiden tulosten koostamiseen.

Tavoite:Ymmärtää yksittäisten kokeiden tuloksien rajoitukset. Tunnistaa tekniikat, joita käytetään perheen kokeiden tuloksien koostamiseen. Ymmärtääjokaisen koostamistekniikan edut ja haitatSE kontekstissa. Tarjota ohjenuoriaSE-perheiden analysointiin.

Menetelmä:Tunnistimme koostamistekniikat, joita on käytetty SE kokeiden tulosten koostamiseen. Tieteellisen kirjallisuuden avulla, koskien kokeiden tulosten koostamista mm. lääketieteen ja farmakologian aloilta, selvitimme koostamistekniikoiden hyödyt ja haitat.Seuraavaksi sovelsimme koostamistekniikoita edustavaan SE-perheeseen. Lopuksi räätälöitiin ohjenuora SE-perheiden analysointiin, joka perustuu lääketieteeseen ja on muokattu ohjelmistotuotannon kontekstiin sopivaksi.

Tulokset: Kokeiden perheet antavat pääsyn raakadataan sekä kokeiden ja osanottajien ominaispiirteisiin. Perheet käsittävät tavallisesti pienen määränkokeita,joiden näytekoot ovat pieniä ja tulokset heterogeenisiä. Kertomussynteesi, yhdistetty data (AD), yksilöllisen osallistujadatan(IDP)mega-koetta tai kerrostumaa ja p-arvon koostamista on käytetty analysoimaan SE-perheitä. AD ja IDP kerrostumaa yhdessä käytettynä näyttää sopivalta SE-perheiden analysointiin.

Johtopäätös: Koostamistekniikat, joita käytetään analysoimaan SE-perheitä, pitäisi olla perusteltuja tieteellisissä julkaisuissa, jotta havaintojen luotettavuutta ja läpinäkyvyyttä voidaan lisätä. Ohjenuorat saattavat helpottaa tällaisiapyrkimyksiä.

see all

Series: Acta Universitatis Ouluensis. A, Scientiae rerum naturalium
ISSN: 0355-3191
ISSN-E: 1796-220X
ISSN-L: 0355-3191
ISBN: 978-952-62-2545-6
ISBN Print: 978-952-62-2544-9
Issue: 740
Subjects: