การพัฒนาระบบตรวจให้คะแนนคำตอบข้อสอบอัตนัยภาษาไทยแบบคำตอบสั้นอัตโนมัติ ด้วยเทคนิคการประมวลผลภาษาธรรมชาติและตัวจำแนกแบบโลจิสติก รีเกรสชัน

Thannicha Thongyoo; Wimon Utanon Utanon; Eka  Utanon

Authors

Thannicha Thongyoo Thepsatri Rajabhat University https://orcid.org/0009-0003-3741-5066
Wimon Utanon Utanon Faculty of Science and Technology, University of Bansomdejchaopraya Rajabhat University
Eka Utanon Faculty of Science and Technology, University of Bansomdejchaopraya Rajabhat University

Keywords:

Automated scoring system, Essay question test, Logistic regression classifier

Abstract

Essay-based assessment is an effective approach for evaluating learners' conceptual understanding and written communication skills. However, manual grading of short-answer responses is labor-intensive, time-consuming, and susceptible to inconsistencies caused by subjective judgment and variations among human raters. This study aimed to (1) develop an automated scoring system for Thai short-answer essay questions by integrating Natural Language Processing (NLP) techniques with a Logistic Regression–based machine learning classifier, and (2) evaluate the performance of the proposed automated scoring system. The dataset used to develop the score classification model consisted of 1,000 anonymized Thai short-answer responses collected from undergraduate students enrolled in the Digital Literacy course within the General Education curriculum at Thepsatri Rajabhat University during the 2022–2023 academic years. Each response was manually scored by domain experts using an 11-level scoring rubric. The textual data were preprocessed using NLP techniques, including punctuation removal, Thai word tokenization, and stop-word removal with the PyThaiNLP library. The processed texts were subsequently transformed into numerical feature vectors using the Bag-of-Words (BoW) representation implemented through CountVectorizer. The dataset was partitioned into training and testing sets using an 80:20 ratio to develop and evaluate the score classification model.Experimental results demonstrated that the proposed system achieved an overall accuracy of 90.00%, with Precision ranging from 0.87 to 0.94, Recall from 0.83 to 0.94, and F1-score from 0.86 to 0.93. The findings indicate that the integration of NLP techniques, Bag-of-Words feature extraction, and machine learning enables accurate prediction of score levels while reducing grading time, instructor workload, and scoring inconsistencies. Furthermore, the proposed approach enhances the standardization and reliability of assessment and provides a practical foundation for developing intelligent automated assessment systems in the context of Thai education.

References

ฐิติมา จันทะคีรี. (2565). การเรียนการสอนออนไลน์ในยุคดิจิทัล. Journal of Modern Learning Development. 7(10), 349-363.

ธัญณิชา ทองอยู่. (2560). ระบบช่วยตรวจแบบฝึกหัดโดยใช้เทคนิคการเรียนรู้เชิงปรับตัวสำหรับการเรียนการสอนแบบอีเลิร์นนิง [วิทยานิพนธ์ปรัชญาดุษฎีบัณฑิต, มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ].

ธัญณิชา ทองอยู่. (2562). ระบบถามตอบเพื่อช่วยในการเรียนรู้ด้วยตนเองจากวิกิพีเดียภาษาไทย [Q&A system to promote self-learning from Thai Wikipedia]. ศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ.

รสสุคนธ์ มกรมณี. (2557). การออกแบบการเรียนรู้เพื่อศตวรรษที่ 21. ใน การประชุมวิชาการประจำปี 2557 ของ คุรุสภา (14–15 กันยายน 2557) (น.1-12). สำนักงานเลขาธิการคุรุสภา.

ศศิกัญชณา เย็นเอง. (2558). ระบบช่วยประเมินการเขียนทักษะการเขียนสรุปผลด้วยเทคนิคไฮบริดจีเอ-เอสวีเอ็มร่วมกับออนโทโลยี [วิทยานิพนธ์ปรัชญาดุษฎีบัณฑิต, มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ].

สมคิด แซ่หลี. (2550). การประเมินระดับสาระเชิงหัวข้อสัมพันธ์สำหรับข้อเขียนภาษาไทย [วิทยานิพนธ์ปรัชญา-ดุษฎีบัณฑิต, มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ].

สมมาตร อังคเศรณีกุล และชุลีรัตน์ จรัสกุลชัย. (2553). การตรวจข้อสอบอัตนัยภาษาไทยแบบอัตโนมัติ. ใน การประชุมทางวิชาการของมหาวิทยาลัยเกษตรศาสตร์ ครั้งที่ 48 (น.35-42). มหาวิทยาลัยเกษตรศาสตร์.

สำนักงานคณะกรรมการการศึกษาแห่งชาติ. (2542). พระราชบัญญัติการศึกษาแห่งชาติ พ.ศ. 2542. คุรุสภา.

Bell, J. (2015). Machine Learning: Hands-on for Developers and Technical Professionals. John Wiley & Sons.

Mayfield, E. & Black, A. W. (2020). Should you fine-tune BERT for automated essay scoring?. In Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications (pp.151–162). Seattle, WA, USA.

Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

Russell, S. & Norvig, P. (2021). Artificial intelligence: A Modern Approach (4th ed.). Pearson.

Thongyoo, T. (2014). Analysis of students’ homework clustering using K-means. In Annual International Symposium on Educational and Information Technology (AISEIT 2014) (pp. 244–253). Japan.

Thongyoo, T. (2018). Improvement on automated Thai assignment scoring by using a thesaurus. SNRU Journal of Science and Technology. 10(1), 87–95.

Thongyoo, T., Saelee, S., & Krootjohn, S. (2016). Automated students’ Thai online homework assignment clustering. In The Asian Conference on Education & International Development 2016 Official Conference Proceedings (pp.363-373). Japan. https://papers.iafor.org/proceedings/conference-proceedings-aceid2016/

Thongyoo, T., Saelee, S., & Krootjohn, S. (2016). Automated Thai Online Assignment Scoring. In 2016 Fifth ICT International Student Project Conference (ICT-ISPC) (pp. 33-36). Nakhonpathom, Thailand. https://doi.org/10.1109/ICT-ISPC.2016.7519229

Valenti, S., Neri, F., & Cucchiarelli, A. (2003). An overview of current research on automated essay grading. Journal of Information Technology Education: Research. 2(1), 319–330.

Zupanc, K. & Bosnic, Z. (2015). Advances in the field of automated essay evaluation. Informatica. 39(4), 383–395.