University of Oulu

Crowdsourcing creative work

Saved in:
Author: Oppenlaender, Jonas1,2
Organizations: 1University of Oulu Graduate School
2University of Oulu, Faculty of Information Technology and Electrical Engineering, Computer Science and Engineering, Ubiquitous Computing (UBICOMP)
Format: ebook
Version: published version
Access: open
Online Access: PDF Full Text (PDF, 5.1 MB)
Erratum: Erratum (PDF)
Persistent link: http://urn.fi/urn:isbn:9789526230146
Language: English
Published: Oulu : University of Oulu, 2021
Publish Date: 2021-09-10
Thesis type: Doctoral Dissertation
Defence Note: Academic dissertation to be presented with the assent of the Doctoral Training Committee of Information Technology and Electrical Engineering of the University of Oulu for public defence in Martti Ahtisaari -sali (L2), Linnanmaa, on 17 September 2021, at 9 a.m.
Tutor: Associate Professor Simo Hosio
Reviewer: Professor Florian Alt
Assistant Professor Ujwal Gadiraju
Opponent: Associate Professor Juho Kim
Description:

Abstract

Creative work is launched on paid crowdsourcing platforms, yet we lack an in-depth understanding of how the two key stakeholders of crowdsourcing platforms (crowd workers and requesters) perceive and experience creative work.

Creativity is a human characteristic that is difficult to automate by machines, and supplying requesters with crowdsourced human insights and complex creative work is, therefore, a timely topic for research. According to value-sensitive design, the integration of human insight into complex socio-technical systems will need to consider the perspectives of the two key stakeholders.

This article-based doctoral thesis explores the stakeholder perspectives and experiences of crowdsourced creative work on two of the leading crowdsourcing platforms.

The thesis has two parts. In the first part, we explore creative work from the perspective of the crowd worker. In the second part, we explore and study the requester’s perspective in different contexts and several case studies.

The research is exploratory and we contribute empirical insights using survey-based and artefact-based approaches common in the field of Human-Computer Interaction (HCI). In the former approach, we explore the key issues that may limit creative work on paid crowdsourcing platforms. In the latter approach, we create computational artefacts to elicit authentic experiences from both crowd workers and requesters of crowdsourced creative work.

The thesis contributes a classification of crowd workers into five archetypal profiles, based on the crowd workers’ demographics, disposition, and preferences for creative work. We propose a three-part classification of creative work on crowdsourcing platforms: creative tasks, creativity tests, and creativity judgements (also referred to as creative feedback). The thesis further investigates the emerging research topic of how requesters can be supported in interpreting and evaluating complex creative work.

Last, we discuss the design implications for research and practice and contribute a vision of creative work on future crowdsourcing platforms with the aim of empowering crowd workers and fostering an ecosystem around tailored platforms for creative microwork.

see all

Tiivistelmä

Luovassa työssä käytetään maksullisia joukkoistusalustoja, mutta meiltä puuttuu kuitenkin vielä syvällinen käsitys siitä, miten kaksi avainasemassa olevaa joukkoistusalustojen sidosryhmää (joukkotyöntekijät ja toimeksiantajat) ymmärtävät ja kokevat luovan työn. Luovuus on ihmisen ominaisuus, jota on vaikea automatisoida, ja joukkoistettujen inhimillisten näkemysten ja kompleksisen luovan työn välittäminen toimeksiantajille ovat siitä syystä ajankohtainen tutkimuskohde. Arvosensitiivisen suunnittelun mukaan inhimillisen ymmärryksen integroinnissa kompleksisiin sosioteknisiin järjestelmiin on otettava huomioon kahden avainasemassa olevan sidosryhmän näkökulmat.

Tässä artikkeliväitöskirjassa tutkitaan sidosryhmien näkökulmia ja kokemuksia joukkoistetusta luovasta työstä kahdella joukkoistusalustalla. Väitöskirja koostuu kahdesta osasta. Ensimmäisessä osassa tarkastellaan luovaa työtä joukkotyöntekijän näkökulmasta. Toisessa osassa tarkastellaan toimeksiantajan näkökulmaa useissa tapaustutkimuksissa. Tällä tutkimuksella halutaan syventää empiiristä ymmärrystä hyödyntämällä kyselytutkimuksiin perustuvia lähestymistapoja ja ihmisen ja tietokoneen välisessä vuorovaikutuksessa (Human-Computer Interaction, HCI) yleisiä lähestymistapoja. Ensimmäisessä lähestymistavassa tarkastellaan keskeisiä seikkoja, jotka voivat rajoittaa maksullisilla joukkoistusalustoilla tehtävää luovaa työtä. Jälkimmäisessä lähestymistavassa luodaan laskennallisia artefakteja, joilla halutaan tuoda esiin joukkotyöntekijöiden ja joukkoistetun luovan työn toimeksiantajien aitoja kokemuksia. Väitöskirjassa joukkotyöntekijät luokitellaan viiteen arkkityyppiprofiiliin, jotka perustuvat joukkotyöntekijöiden demografisiin tietoihin, ajattelumalleihin ja luovaa työtä koskeviin mieltymyksiin.

Väitöskirjassa ehdotetaan kolmiosaista luokittelua joukkoistusalustoilla tehtävälle luovalle työlle: luovuutta edellyttävät tehtävät, luovuustestit ja luovuuden arvioinnit (joita kutsutaan myös luovuuspalautteeksi). Lisäksi väitöskirjassa tutkitaan uutta tutkimusaihetta eli sitä, miten toimeksiantajia voidaan tukea monimutkaisen luovan työn tulkinnassa ja arvioinnissa. Lopuksi tutkimuksessa tarkastellaan mallin vaikutusta tutkimukseen ja käytäntöön, ja siinä esitetään tulevaisuuden joukkoistusalustoilla tehtävästä luovasta työstä visio, jonka päämääränä on parantaa joukkotyöntekijöiden valmiuksia ja tukea luovan mikrotyön räätälöityjen ympäristöjen ympärille rakentuvaa ekosysteemiä.

see all

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

  1. Oppenlaender, J., Milland, K., Visuri, A., Ipeirotis, P., & Hosio, S. (2020, April 21). Creativity on Paid Crowdsourcing Platforms. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. CHI ’20: CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3313831.3376677

    Rinnakkaistallennettu versio / Self-archived version

  2. Oppenlaender, J., & Hosio, S. (2019, November 26). Design recommendations for augmenting creative tasks with computational priming. Proceedings of the 18th International Conference on Mobile and Ubiquitous Multimedia. MUM 2019: 18th International Conference on Mobile and Ubiquitous Multimedia. https://doi.org/10.1145/3365610.3365621

    Rinnakkaistallennettu versio / Self-archived version

  3. Oppenlaender, J., Kuosmanen, E., Lucero, A., & Hosio, S. (2021, May 6). Hardhats and Bungaloos: Comparing Crowdsourced Design Feedback with Peer Design Feedback in the Classroom. Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. CHI ’21: CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3411764.3445380

    Rinnakkaistallennettu versio / Self-archived version

  4. Oppenlaender, J., & Hosio, S. (2019, June 13). Towards Eliciting Feedback for Artworks on Public Displays. Proceedings of the 2019 on Creativity and Cognition. C&C ’19: Creativity and Cognition. https://doi.org/10.1145/3325480.3326583

    Rinnakkaistallennettu versio / Self-archived version

  5. Oppenlaender, J., Kuosmanen, E., Goncalves, J., & Hosio, S. (2019). Search Support for Exploratory Writing. In Human-Computer Interaction – INTERACT 2019 (pp. 314–336). Springer International Publishing. https://doi.org/10.1007/978-3-030-29387-1_18

    Rinnakkaistallennettu versio / Self-archived version

  6. Oppenlaender, J., Tiropanis, T., & Hosio, S. (2020). CrowdUI: Supporting Web Design with the Crowd. Proceedings of the ACM on Human-Computer Interaction, 4(EICS), 1–28. https://doi.org/10.1145/3394978

    Rinnakkaistallennettu versio / Self-archived version

see all

Series: Acta Universitatis Ouluensis. C, Technica
ISSN: 0355-3213
ISSN-E: 1796-2226
ISSN-L: 0355-3213
ISBN: 978-952-62-3014-6
ISBN Print: 978-952-62-3013-9
Issue: 794
Type of Publication: G5 Doctoral dissertation (articles)
Field of Science: 113 Computer and information sciences
Subjects:
Copyright information: © University of Oulu, 2021. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited.