JultikaUniversity of Oulu repository

Abstract

The purpose of this literature review is to research the way different crowd feedback systems aggregate and visualize their data for the user. First the concept of crowdsourcing for design purposes is introduced as well as four different crowd feedback systems, which are Voyant, CrowdCrit, Decipher and Paragon. Crowdsourcing means giving a task for a crowd of people to perform, usually online. Crowdsourcing is often used when there is a need for a large amount of responses because of its low cost compared to other methods. Crowd feedback systems use crowdsourcing to achieve their goal that is collecting feedback from a crowd.

For a crowd feedback system to provide value into the design process, they should not only collect feedback but also convey the collected data to the designer in an informative but also easily understandable manner. This requires that the system provides support for non-experts for them to give feedback in a professional manner. The results of this thesis give an insight into how crowd feedback systems differ from each other.

The results showed that different crowd feedback systems collect and present their feedback in very different ways. Voyant and CrowdCrit both visualize feedback using visual markers and stacked bar charts, but Voyant also uses word clouds for this purpose. Decipher shows whether the feedback is considered negative or positive and what the feedback provider had to say about the design. Paragon presents collected feedback with the help of examples that the feedback provider has chosen to help describe their feelings about the design. Voyant and CrowdCrit were eventually considered to be the most visually pleasing of these four crowd feedback systems. The way Voyant aggregated its feedback was seen more versatile but CrowdCrit collected feedback in a way that provided more useful feedback from non-experts.

Palautteen koostaminen joukkoistamisen palautejärjestelmissä

Tiivistelmä

Tämän kirjallisuuskatsauksen tarkoitus on tutkia, millä tavoin erilaiset joukkoistavat palautejärjestelmät koostavat ja visualisoivat keräämänsä palautteen käyttäjälle. Ensin esitellään joukkoistamisen rooli suunnittelussa ja sen myötä myös neljä palautejärjestelmää, jotka ovat Voyant, CrowdCrit, Decipher ja Paragon. Joukkoistamisella tarkoitetaan tehtävien antamista joukolle ihmisiä, yleensä verkossa. Joukkoistamista käytetään usein, kun tarvitaan iso määrä palautetta, johtuen sen käytön edullisuudesta verrattuna muihin metodeihin. Joukkoistamisen palautejärjestelmät hyödyntävät joukkoistamista saavuttaakseen tavoitteensa, joka on palautetteen kerääminen joukolta ihmisiä.

Jotta palautejärjestelmä voisi tuoda lisäarvoa suunnitteluprosessiin, täytyy sen palautteen keräämisen lisäksi myös esittää saatu data käyttäjälleen informatiivisessa, mutta myös helposti ymmärrettävässä muodossa. Tämä vaatii, että palautejärjestelmä tukee jollain tavalla ei-asiantuntijoita, jotta he voisivat antaa palautetta asiantuntevalla tavalla. Tämän kandidaatintyön tulokset antavat käsityksen siitä, miten joukkoistamisen palautejärjestelmät eroavat toisistaan.

Tulokset osoittivat, että eri joukkoistamisen palautejärjestelmät keräävät ja esittävät keräämänsä palautteen hyvin eri tavoilla. Voyant ja CrowdCrit visualisoivat palautteen visuaalisten markkereiden ja pinottujen pylväsdiagrammien avulla, mutta Voyant käyttää myös sanapilviä tähän tarkoitukseen. Decipher ilmoittaa, onko palaute nähty positiivisena, negatiivisena vai neutraalina ja mitä mieltä palautteen antaja on ollut designista. Paragon esittää keräämänsä palautteen esimerkkikuvien avulla, jotka palautteenantaja on valinnut kuvaamaan tuntemuksiaan. Lopulta Voyant ja CrowdCrit nähtiin visuaalisesti miellittävimpinä näistä neljästä palautejärjestelmästä. Voyantin tapa koostaa palaute koettiin monipuolisempana, mutta CrowdCrit keräsi palautetta tavalla, joka tuotti hyödyllisempää palautetta ei-asiantuntijoilta.