Abstract

There is a broad consensus in the software engineering (SE) research community that understanding system desiderata and design creativity is critical for the success of software projects. This has motivated a plethora of research in SE to improve requirements engineering (RE) processes. However, little research has investigated the relationship between the way desiderata are presented (i.e., framed) and creative design performance. This dissertation, therefore, examines the effects of more formal presentations of desiderata on design creativity.

The research was conducted in three phases. The first consisted of summarizing the available literature on cognitive biases in SE to build a comprehensive body of knowledge, understand the current state of research, and identify the relevant literature to position and delineate subsequent investigations involving the framing effect and fixation. This research phase also investigated how creativity is conceptualized (i.e., understood, assessed and improved) in SE by exploring the perceptual differences and similarities between SE researchers and practitioners. In the second phase, two controlled experiments were conducted to investigate the impact of framing desiderata first as requirements (in general) and then as prioritized requirements on design creativity (i.e., the originality and practicality of a design). The third phase involved a protocol study to explore the underlying cognitive mechanisms that may explain why framing desiderata as formal requirements affects creativity. The empirical evidence from the second and third phases was interpreted together to propose a theoretical framework that explains the effect of specification formality on design creativity.

While the results of the experiments show that specification formality is negatively related to design creativity (i.e., desiderata framed as requirements or prioritized requirements result in designs that are less creative), the findings from the protocol study indicate that the negative relationship between specification formality and design creativity is mediated by fixation (i.e., more formal presentation of desiderata induces fixation and hinders critical thinking). Overall, the results of this dissertation suggest that more formal and structured presentations of desiderata cause requirements fixation—the tendency to attribute undue confidence and importance to desiderata presented as formal requirements statements—that affects design creativity, and thus undermines software engineering success.

Tiivistelmä

Ohjelmistotuotannon tutkijoiden keskuudessa on laaja yksimielisyys järjestelmän tarpeiden ja suunnittelun luovuuden ymmärtämisen kriittisyydestä ohjelmistoprojektien menestyksessä. Tämä on motivoinut monia ohjelmistotuotannon vaatimusmäärittelyprosessien parantamiseen liittyviä tutkimuksia. Harvassa on tarkasteltu tarpeiden esitystavan (eli muotoilun) ja luovan suunnittelun lopputuloksen välistä yhteyttä. Tässä väitöskirjassa tarkastellaan tarpeiden muodollisempien esitystapojen vaikutuksia suunnittelun luovuuteen.

Tutkimus oli kolmivaiheinen. Ensin referoitiin ohjelmistotuotannossa kognitiivisiin harhoihin liittyvä kirjallisuus kartoittamaan nykytutkimuksen tila ja merkityksellinen kirjallisuus myöhempien, kehysvaikutuksen ja fiksaation sisältävien tutkimusten sijoittamiseen ja rajaamiseen. Lisäksi tarkasteltiin luovuuden käsitteellistämistä (eli ymmärrettävyyttä, arviointia ja parantamista) tutkimalla katsannollisia eroja ja yhtäläisyyksiä tutkijoiden ja ammattilaisten välillä. Toisessa vaiheessa tehtiin kaksi kontrolloitua koetta tarpeiden muotoilun vaikutuksien tutkimiseksi, ensin vaatimuksina (yleisesti) ja sitten tärkeysjärjestykseen laitettuina vaatimuksina suhteessa suunnittelun luovuuteen (eli omaperäisyyteen ja käytännöllisyyteen). Lopuksi, protokollatutkimuksella selvitettiin taustalla olevia kognitiivisia mekanismeja selittämään syitä muodollisina vaatimuksina esitettyjen tarpeiden vaikutuksista luovuuteen. Toisesta ja kolmannesta vaiheesta saatujen empiiristen aineistojen tulkittiin yhdessä muodostavan teoreettisen viitekehyksen, joka selittää määrittelyn muodollisuuden vaikutusta suunnittelun luovuuteen.

Vaikka kokeiden tulokset osoittavat määrittelyjen muodollisuuden vaikuttavan negatiivisesti suunnittelun luovuuteen (eli tarpeiden muotoilu vaatimuksina tai priorisoituina vaatimuksina vähentää suunnitelmien luovuutta), protokollatutkimuksen tulokset viittaavat fiksaation vaikuttavan negatiiviseen yhteyteen määrittelyjen muodollisuuden ja suunnittelun luovuuden välillä (eli tarpeiden muodollisempi esitystapa aiheuttaa fiksaatiota ja vaikeuttaa kriittistä ajattelua). Kaiken kaikkiaan, väitöskirjan tulokset esittävät muodollisempien ja strukturoidumpien tarpeiden esitystapojen aiheuttavan vaatimusten fiksaatiota, taipumusta pitää luottamusta ja tärkeyttä tarpeiden muodollisten vaatimusten ilmaisun ansioina, joka vaikuttaa suunnittelun luovuuteen heikentäen ohjelmistotuotannon menestymisen mahdollisuutta.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon / Original papers are not included in the electronic version of the dissertation.

1. Mohanani, R., Salman, I., Turhan, B., Rodríguez, P., & Ralph, P. (in press). Cognitive biases in software engineering: A systematic mapping study. IEEE Transactions on Software Engineering. https://doi.org/10.1109/TSE.2018.2877759

   Rinnakkaistallennettu versio / Self-archived version

2. Mohanani, R., Ram, P., Lasisi, A., Ralph, P., & Turhan, B. (2017). Perceptions of creativity in software engineering research and practice. In 43rd Euromicro Conference on Software Engineering and Advanced Applications (SEAA): Proceedings (pp. 210–217). Vienna, Austria: IEEE. https://doi.org/10.1109/SEAA.2017.21

   Rinnakkaistallennettu versio / Self-archived version

3. Mohanani, R., Ralph, P., & Shreeve, B. (2014). Requirements fixation. In 36th International Conference on Software Engineering (ICSE): Proceedings (pp. 895–906). Hyderabad, India: ACM. https://doi.org/10.1145/2568225.2568235

4. Mohanani, R., Turhan, B., & Ralph, P. (in press). Requirements framing affects design creativity. IEEE Transactions on Software Engineering. https://doi.org/10.1109/TSE.2019.2909033

   Rinnakkaistallennettu versio / Self-archived version

5. Mohanani, R., Ralph, P., Turhan, B., & Mandic, V. (2019). Requirements fixation: A dialog-based protocol study. Manuscript submitted for publication.