|
|
Taking the next step in a collaborative project: a multimodal analysis of verbal and embodied actions at the computer |
|---|---|
| Author: | Sokol, Robin1,2 |
| Organizations: |
1University of Oulu Graduate School 2University of Oulu, Faculty of Humanities, English |
| Format: | ebook |
| Version: | published version |
| Access: | open |
| Online Access: | PDF Full Text (PDF, 6 MB) |
| Persistent link: | http://urn.fi/urn:isbn:9789526228242 |
| Language: | English |
| Published: |
Oulu : University of Oulu,
2021
|
| Publish Date: | 2021-01-15 |
| Thesis type: | Doctoral Dissertation |
| Defence Note: | Academic dissertation to be presented with the assent of the Doctoral Training Committee of Human Sciences of the University of Oulu for public defence on 22 January 2021, at 12 noon |
| Tutor: |
Professor Pentti Haddington Professor Elise Kärkkäinen Doctor Sylvaine Tuncer |
| Reviewer: |
Docent Kimmo Svinhufvud Docent Riikka Nissi |
| Description: |
AbstractThis dissertation examines social and embodied actions used by participants in collaborative project-making at the computer. More specifically, this monograph studies the multimodal aspects of some recurring practices used by participants to take the next step in a collaborative setting. The practices studied are: first, proposing a next action, and displaying it as immediate or remote, second, pointing at or “in” the screen with physical and digital pointing gestures and establishing a joint focus of attention, and third, going from information-searching to typing. The analyses are carried out using multimodal Conversation Analysis as a methodology, and the data consist of 9 hours of English and French video-recorded data of university students working as pairs at the computer. The first part of the study examines the formats of proposals, and the embodied actions deployed along with them, produced by participants to propose a next action. Observations of the data show that three formats are predominantly used: Should/Shall we X, Let’s X, and Do we X. The analyses demonstrate that participants use the formats Should/Shall we X and Let’s X to propose immediate actions, and the format Do we X to propose remote actions. The analyses also put forward the role played by embodied actions to display the nature of the proposed next action. The second part studies physical and digital pointing gestures at or “in” the screen, and how referrers assess the establishment of a joint focus of attention after a pointing gesture. The analyses demonstrate that referrers rely on the sequential relevance of the recipients’ second pair part to establish whether a joint focus of attention has been established. Moreover, this part provides insight into the use of the mouse cursor as a resource to produce intelligible actions through digital pointing and highlighting gestures. The third part examines the unfolding of multimodal actions routinely employed by participants to search for information, to go from searching to typing, and to type. The analyses demonstrate that these actions are organised in phases, necessarily following each other in a specific order and leading to the next. This part analyses the multimodal actions of each phase. The findings show how participants organise the development of their collaborative work step-by-step. see all
TiivistelmäTässä väitöskirjassa tutkitaan vuorovaikutustilanteita, joissa kaksi henkilöä tekee yhdessä tietokoneen ääressä PowerPoint-esitystä. Tutkimus keskittyy puheen ja kehon sosiaalisiin toimintoihin, joita osallistujat käyttävät esityksen tekemiseen. Työ kuvaa tarkemmin kolmea vuorovaikutuskäytännettä. Ensimmäiseksi työssä kuvataan seuraavan toiminnan ehdottamista ja ehdotuksen merkitsemistä joko välittömästi tai myöhemmin toteutettavaksi. Toiseksi työ keskittyy tietokoneen ruudulla näkyvän asian osoittamiseen. Osoittaminen tehdään joko kehollisesti (esim. osoittavalla eleellä) tai digitaalisesti (esim. hiiren kursorin avulla tai maalaamalla tekstiä). Kolmanneksi työssä tutkitaan siirtymiä, joissa osallistujat siirtyvät tiedon etsimisestä kirjoittamiseen. Tutkimuksessa käytetään multimodaalisen keskustelunanalyysin menetelmää. Aineiston muodostaa yhdeksän tuntia englannin ja ranskankielistä videomateriaalia, jossa yliopisto-opiskelijat työskentelevät pareittain tietokoneella. Väitöskirjan ensimmäinen analyysiluku tarkastelee ehdotuksia, joissa ehdotetaan siirtymistä seuraavaan toimintaan. Aineiston pohjalta analysoidaan kolmea kielellistä tapaa, joilla ehdotukset muotoillaan: Should/Shall we X, Let’s X, ja Do we X. Analyysi osoittaa, että osallistujat hyödyntävät näitä muotoiluja ilmaistessaan joko ehdotetun toiminnan välittömyyttä, sitä että toiminta tulee toteuttaa tässä ja nyt, tai toiminnan etäisyyttä, sitä että toiminta voidaan toteuttaa myöhemmin. Väitöskirjan toinen analyysiluku tarkastelee fyysisiä ja digitaalisia osoittavia eleitä, jotka kohdistuvat tietokoneen ruutuun tai tapahtuvat ”ruudussa”, sekä sitä, miten osoittajat arvioivat yhteisen huomion kohteen luomisen onnistumista. Tutkimus osoittaa, että arvio onnistumisesta tehdään vastaanottajien vierusparien jälkijäsenen yhteydessä. Väitöskirjan toinen osa havainnollistaa myös hiiren kursorin käyttöä digitaalisena osoittavana tai maalaavana eleenä ja kuvaa sen tärkeää merkitystä yhteisen ymmärryksen rakentumisessa. Väitöskirjan kolmas analyysiluku tarkastelee osallistujien multimodaalisia toimintoja heidän etsiessään tietoa, siirtyessään tiedon etsimisestä kirjoittamiseen, sekä kirjoittaessaan tekstiä PowerPoint-esitykseen. Analyysi osoittaa, että nämä toiminnot järjestyvät vaiheittain, tiettyä järjestystä noudattaen. see all
|
| Series: |
Acta Universitatis Ouluensis. B, Humaniora |
| ISSN: | 0355-3205 |
| ISSN-E: | 1796-2218 |
| ISSN-L: | 0355-3205 |
| ISBN: | 978-952-62-2824-2 |
| ISBN Print: | 978-952-62-2823-5 |
| Issue: | 181 |
| Type of Publication: |
G4 Doctoral dissertation (monograph) |
| Field of Science: |
6121 Languages |
| Subjects: | |
| Copyright information: |
© University of Oulu, 2021. This publication is copyrighted. You may download, display and print it for your own personal use. Commercial use is prohibited. |