Taking the next step in a collaborative project: a multimodal analysis of verbal and embodied actions at the computer
Sokol, Robin (2021-01-15)
https://urn.fi/URN:ISBN:9789526228242
Kuvaus
Tiivistelmä
Abstract
This dissertation examines social and embodied actions used by participants in collaborative project-making at the computer. More specifically, this monograph studies the multimodal aspects of some recurring practices used by participants to take the next step in a collaborative setting. The practices studied are: first, proposing a next action, and displaying it as immediate or remote, second, pointing at or “in” the screen with physical and digital pointing gestures and establishing a joint focus of attention, and third, going from information-searching to typing. The analyses are carried out using multimodal Conversation Analysis as a methodology, and the data consist of 9 hours of English and French video-recorded data of university students working as pairs at the computer.
The first part of the study examines the formats of proposals, and the embodied actions deployed along with them, produced by participants to propose a next action. Observations of the data show that three formats are predominantly used: Should/Shall we X, Let’s X, and Do we X. The analyses demonstrate that participants use the formats Should/Shall we X and Let’s X to propose immediate actions, and the format Do we X to propose remote actions. The analyses also put forward the role played by embodied actions to display the nature of the proposed next action.
The second part studies physical and digital pointing gestures at or “in” the screen, and how referrers assess the establishment of a joint focus of attention after a pointing gesture. The analyses demonstrate that referrers rely on the sequential relevance of the recipients’ second pair part to establish whether a joint focus of attention has been established. Moreover, this part provides insight into the use of the mouse cursor as a resource to produce intelligible actions through digital pointing and highlighting gestures.
The third part examines the unfolding of multimodal actions routinely employed by participants to search for information, to go from searching to typing, and to type. The analyses demonstrate that these actions are organised in phases, necessarily following each other in a specific order and leading to the next. This part analyses the multimodal actions of each phase. The findings show how participants organise the development of their collaborative work step-by-step.
Tiivistelmä
Tässä väitöskirjassa tutkitaan vuorovaikutustilanteita, joissa kaksi henkilöä tekee yhdessä tietokoneen ääressä PowerPoint-esitystä. Tutkimus keskittyy puheen ja kehon sosiaalisiin toimintoihin, joita osallistujat käyttävät esityksen tekemiseen. Työ kuvaa tarkemmin kolmea vuorovaikutuskäytännettä. Ensimmäiseksi työssä kuvataan seuraavan toiminnan ehdottamista ja ehdotuksen merkitsemistä joko välittömästi tai myöhemmin toteutettavaksi. Toiseksi työ keskittyy tietokoneen ruudulla näkyvän asian osoittamiseen. Osoittaminen tehdään joko kehollisesti (esim. osoittavalla eleellä) tai digitaalisesti (esim. hiiren kursorin avulla tai maalaamalla tekstiä). Kolmanneksi työssä tutkitaan siirtymiä, joissa osallistujat siirtyvät tiedon etsimisestä kirjoittamiseen. Tutkimuksessa käytetään multimodaalisen keskustelunanalyysin menetelmää. Aineiston muodostaa yhdeksän tuntia englannin ja ranskankielistä videomateriaalia, jossa yliopisto-opiskelijat työskentelevät pareittain tietokoneella.
Väitöskirjan ensimmäinen analyysiluku tarkastelee ehdotuksia, joissa ehdotetaan siirtymistä seuraavaan toimintaan. Aineiston pohjalta analysoidaan kolmea kielellistä tapaa, joilla ehdotukset muotoillaan: Should/Shall we X, Let’s X, ja Do we X. Analyysi osoittaa, että osallistujat hyödyntävät näitä muotoiluja ilmaistessaan joko ehdotetun toiminnan välittömyyttä, sitä että toiminta tulee toteuttaa tässä ja nyt, tai toiminnan etäisyyttä, sitä että toiminta voidaan toteuttaa myöhemmin.
Väitöskirjan toinen analyysiluku tarkastelee fyysisiä ja digitaalisia osoittavia eleitä, jotka kohdistuvat tietokoneen ruutuun tai tapahtuvat ”ruudussa”, sekä sitä, miten osoittajat arvioivat yhteisen huomion kohteen luomisen onnistumista. Tutkimus osoittaa, että arvio onnistumisesta tehdään vastaanottajien vierusparien jälkijäsenen yhteydessä. Väitöskirjan toinen osa havainnollistaa myös hiiren kursorin käyttöä digitaalisena osoittavana tai maalaavana eleenä ja kuvaa sen tärkeää merkitystä yhteisen ymmärryksen rakentumisessa.
Väitöskirjan kolmas analyysiluku tarkastelee osallistujien multimodaalisia toimintoja heidän etsiessään tietoa, siirtyessään tiedon etsimisestä kirjoittamiseen, sekä kirjoittaessaan tekstiä PowerPoint-esitykseen. Analyysi osoittaa, että nämä toiminnot järjestyvät vaiheittain, tiettyä järjestystä noudattaen.
Kokoelmat
- Avoin saatavuus [31941]