Comparison of National Exam Tasks and ChatGPT Rephrased Tasks

Abstract

The goal of the master's thesis was to determine to what extent mathematics word problems rephrased using ChatGPT help simplify the understanding and solving of complex mathematical problems for students and improve their academic performance. The study was conducted among 26 11th-grade students from two high schools in Lääne-Virumaa. The students solved four national exam problems as well as their rephrased versions by ChatGPT. A mixed research method was used, including both quantitative and qualitative data collection. The students' results were analyzed using statistical methods in the JASP program, and feedback on the clarity and comprehensibility of the tasks was gathered through a Google Form survey. The main findings showed that students generally performed better on the problems rephrased by ChatGPT compared to the national exam problems. Based on the feedback, some tasks were considered clearer in the national exam versions, while others were more understandable in the versions rephrased by ChatGPT. In conclusion, ChatGPT has the potential to support mathematics teaching, but its effective use requires careful formulation of tasks.

Magistritöö eesmärk oli välja selgitada, kuivõrd ChatGPT abil ümbersõnastatud matemaatika tekstülesanded aitavad lihtsustada õpilaste jaoks keeruliste matemaatiliste tekstülesannete mõistmist ja lahendamist ning parandada õpilaste õpitulemusi. Uuring viidi läbi kahe Lääne-Virumaa gümnaasiumi 11. klassi õpilaste seas, kus valimiks oli 26 õpilast. Õpilased lahendasid neli riigieksami ülesannet ning nende ChatGPT poolt ümber sõnastatud versioone. Uuringus kasutati kombineeritud uurimismeetodit, mis hõlmas nii kvantitatiivset kui ka kvalitatiivset andmekogumist. Õpilaste tulemusi analüüsiti statistiliste meetodite abil programmis JASP ning tagasisidet ülesannete selguse ja arusaadavuse kohta koguti Google Form küsitluse teel. Uuringu põhitulemused näitasid, et ChatGPT abil ümber sõnastatud ülesannetes said õpilastele kokkuvõttes paremaid tulemusi kui riigieksami ülesannetes. Hinnangute põhjal selgus, et õpilased pidasid mõningaid ülesandeid selgemaks riigieksami ülesannetes, samas kui teised ülesanded olid neile arusaadavamad ChatGPT poolt ümbersõnastatud versioonides. Järeldusena võib öelda, et ChatGPT-l on potentsiaal toetada matemaatika õpetamist, kuid selle tõhus kasutamine nõuab hoolikat ülesannete sõnastamist.