Abstract

This article-based thesis investigates higher education students’ perspectives on learning analytics (LA). LA has attracted considerable interest among researchers and developers. However, a deeper understanding is needed of students as users of LA. This study explores students’ perspectives on LA in the context of academic paths beyond specific courses, through study semesters and academic years. The context of academic paths is a focus in investigating how students describe LA as a support for their higher education studies and how student engagement and self-regulated learning (SRL) can be scaffolded with LA across academic paths. A mixed-methods design was applied to empirically explore students’ (N = 180) expectations, concerns, and evaluations regarding LA use. Furthermore, the study investigates the key ethical perspectives that frame the design and use of LA.

Four roles were identified for LA as a support for academic paths: 1) information mediation, 2) increasing students’ awareness of themselves as learners, 3) helping students to overcome challenges, and 4) a feedback channel to align personal goals and objectives with their academic degrees. Students’ concerns about LA use included gaps in users’ knowledge of LA, users’ data interpretation capacities, the behavioral and motivational consequences of LA feedback, and student agency and privacy as LA users. Two dashboards were evaluated in terms of the support provided for study planning and monitoring. The first examined dashboard supported study planning more, while the second examined dashboard supported monitoring more. In addition, students’ evaluations of the dashboards differed based on their self-efficacy beliefs and help-seeking skills. This finding suggests that more research is needed regarding individual differences in students’ needs and evaluations of LA tools that support engagement and SRL. Four themes emerged as central in the ethical design of LA: supporting students’ agency, ensuring stakeholder involvement in the LA development processes, making the values and intentions of development processes visible, and considering how LA tools are positioned in educational practices. This thesis highlights the importance of investigating students’ perspectives of LA in authentic contexts and suggests design implications for LA as a support for student engagement and SRL.

Tiivistelmä

Tässä artikkeliväitöskirjassa tarkastellaan korkeakouluopiskelijoiden näkökulmia oppimisanalytiikan käyttöön. Oppimisanalytiikan työvälineet herättävät laajaa kiinnostusta oppimisen tukena, mutta tutkimuksissa on havaittu tarve ymmärtää paremmin opiskelijoita oppimisanalytiikan käyttäjinä. Tässä tutkimuksessa opiskelijoiden näkökulmia tarkastellaan opiskelupolun kontekstissa, keskittyen lukuvuosien aikana, yksittäisten kurssien läpi rakentuvien oppimiskokemusten näkökulmiin. Väitöskirjassa tutkitaan, miten opiskelijat kuvaavat oppimisanalytiikan mahdollisuuksia opiskelupolun tukena ja miten opintoihin sitoutumista ja itsesäätöistä oppimista voidaan tukea oppimisanalytiikalla. Lisäksi tarkastellaan, miten oppimisanalytiikan eettiset kysymykset jäsentyvät opiskelijoiden näkökulmia tutkittaessa.

Opiskelijoiden (N=180) odotuksia, huolia ja arvioita oppimisanalytiikasta tarkasteltiin monimenetelmäistä tutkimusasetelmaa soveltaen. Lisäksi tarkasteltiin oppimisanalytiikan käyttöön ja suunnitteluun liittyviä eettisiä periaatteita kirjallisuuskatsauksen keinoin. Oppimisanalytiikan hyödyntämiseen opintoihin sitoutumisen tukena tunnistettiin neljä roolia: 1) informaation välittäminen, 2) opiskelijoiden tietoisuuden lisääminen itsestään oppijoina, 3) tuki haasteiden ratkaisemisessa ja 4) henkilökohtaisten tavoitteiden tuominen näkyväksi osaksi oppimispolkua. Opiskelijoiden huolet liittyivät käyttäjien tietoihin oppimisanalytiikasta ja valmiuksiin tulkita palautetietoa, muutoksiin opiskelijoiden käytöksessä ja motivaatiossa sekä opiskelijoiden toimijuuteen ja yksityisyyteen oppimisanalytiikan käyttäjinä. Opiskelijat arvioivat kahta oppimisanalytiikan työpöytää itsesäätöisen oppimisen tukena. Ensimmäinen työpöytä keskittyi erityisesti opintojen suunnittelun tukeen ja toinen työpöytä erityisesti monitoroinnin tukeen. Opiskelijoiden arviot työpöydistä itsesäätöisen oppimisen tukena olivat yhteydessä heidän minäpystyvyysuskomuksiinsa ja avun etsimisen taitoihin. Opiskelijoiden eroista automaattisen palautetiedon hyödyntämisessä tarvitaan lisää tutkimusta. Neljä keskeistä teemaa nousi esille oppimisanalytiikan etiikan näkökulmasta. Näitä olivat opiskelijan toimijuuden tukeminen, eri sidosryhmien osallistaminen kehittämisprosessissa, oppimisanalytiikkaan vaikuttavien arvojen ja päämäärien näkyväksi tekeminen ja oppimisanalytiikan sovittaminen sujuvaksi osaksi koulutuksen käytäntöjä. Tutkimus korostaa opiskelijoiden näkökulmien tutkimista autenttisissa ympäristöissä. Tutkimuksen avulla jäsennettiin periaatteita eettisten, opintoihin sitoutumista ja itsesäätöistä oppimista tukevan oppimisanalytiikan suunnitteluun.

Osajulkaisut / Original papers

Osajulkaisut eivät sisälly väitöskirjan elektroniseen versioon. / Original papers are not included in the electronic version of the dissertation.

1. Silvola, A., Näykki, P., Kaveri, A., & Muukkonen, H. (2021). Expectations for supporting student engagement with learning analytics: An academic path perspective. Computers & Education, 168, 104192. https://doi.org/10.1016/j.compedu.2021.104192

   Rinnakkaistallennettu versio / Self-archived version

2. Silvola, A., Sjöblom, A., Näykki, P., Gedrimiene, E., & Muukkonen, H. (2023). Student evaluations of using LA for study planning and monitoring: Support for academic path-level decision-making. Manuscript submitted for publication.

3. Silvola, A., Gerdimiene, E., Pursiainen, J., Rusanen, J., & Muukkonen, H. (2021). Oppimisanalytiikka ja eettiset kysymykset: Laadullinen meta-analyysi. Kasvatus, 52(2), 235–248. https://doi.org/10.33348/kvt.111448

   Rinnakkaistallennettu versio / Self-archived version