JultikaUniversity of Oulu repository

Tiivistelmä

Tässä kandidaatintyössä perehdytään automaattisesti tarkistettavien tehtävien muodostamisen teoriataustaan, sekä luodaan esimerkkitehtäviä Koneiden tietotekniikka -opintojaksolle. Pääasiallisessa käsittelyssä ovat monivalintatehtävät ja niiden luonti, mutta myös avoimien tehtävätyyppien tarkistaminen ja tehtävien luonti on tarkastelussa. Työssä sivutaan myös koneoppimisalgoritmien avulla tehtävää tehtävien tarkistamista.

Helpoin tehtävätyppi tarkistaa automaattisesti on monivalintatehtävät ja niiden variantit, koska niissä ei ole tulkinnan varaa vastauksen oikeellisuuden suhteen. Tästä syystä monivalintatehtävät ovat todella suosittukysymystyyppi. Haasteena monivalintatehtävissä on kuitenkin uskottavien väärien vastausten keksiminen. Huonojen monivalintatehtävien takia monivalintatehtävillä on huono maine, mutta kirjallisuudessa on osoitettu, että tästä huolimatta hyvin laaditulla monivalintatestillä voidaan tehokkaasti mitata osaamista.

Avoimien kysymysten automaattitarkastaminen on vaikeampaa ja virheherkempää, mutta oikeanlaisella suunnittelulla ja tehtävänannolla on tietyntyyppisten avoimien kysymysten tarkistaminen mahdollista. Helpoiten tarkistettavia avoimia tehtäviä ovat tehtävät, joissa vastauksena annetaan jokin yksi luku, sana tai matemaattinen kaava. Näissäkin tulee varautua joko ohjeistamaan tarkasti halutun vastauksen muoto, sekä ottamaan huomioon synonyymien tai erilaisten esitysmuotojen mahdollisuudet. Esseetyyppisten tehtävien tarkistaminen automaattisesti nykyisellä teknologialla on haastavaa.

Automatically assessing exercises

Abstract

This bachelor’s thesis is review for creating automatically assessing exercise. In the second part I made automatically assessable exercises for Information technology and machines course. Multi-choice questions are primarily under discussion, but I also review constructed response questions and their creating and assessing. This thesis briefly also covers usage of machine learning as tool in assessing.

The easiest type of automatically assessing questions are multiple-choice questions because those have no room for interpretation when assessed. Therefore, multiple-choice questions are very widely used type of question in mass tests. Main difficulty of creating multiple-choice questions is creation of believable distractors. Because world is full of badly constructed multiple-choice questions, this question type has got some bad reputation. However, in literature is proved that well done multiple-choice questions is efficient method of test knowledge.

Assessing open questions (constructed response questions) is more difficult and it has higher failure rate. Nevertheless, with proper design and well-defined question definition those can also be automatically assessed. Easiest type of open question in viewpoint of automatically assessment is simple question that requires simple answer like number, word, or mathematical equation. While designing this type of question synonyms, different typecases and different styles to present same answer must be took into consideration. With current technology assessing essay type of questions is very challenging.