Development of English Subjective Test and Guidelines for English Subjective Tests of Undergraduate Students, Faculty of Education, Chulalongkorn University
Article Sidebar
Main Article Content
Abstract
The aims of this study were to 1) develop a subjective English writing test for assessing graphic explanation among undergraduate students in the Faculty of Education, and 2) study testing approaches that are consistent with the learning management context at the undergraduate level in the Faculty of Education. The sample consisted of 30 third-year undergraduate students from the Faculty of Education, Chulalongkorn University, selected through simple random sampling. Data was analyzed using Generalizability Theory (G-Theory) with EduG software to conduct both a Generalizability Study (G Study) and a Decision Study (D Study) in cross design. The results revealed that: 1) The development of a subjective writing test to assess English writing skills for education students in Thailand should consider the alignment between the test prompts and the students’ contextual background, as well as the appropriateness of the allotted response time. Moreover, during the rubric validation process, it is recommended to consult experts or gather data on exemplary responses (anchor responses) to guide scoring judgments. And when targeting a reliability coefficient of .70, a minimum of three writing tasks and one scoring, or two writing tasks and two scorings, is required to yield reliable measurement results.
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ข้อความและบทความในวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ เป็นแนวคิดของผู้เขียน มิใช่ความคิดเห็นของกองบรรณาธิการวารสาร จึงมิใช่ความรับผิดชอบของวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ บทความในวารสารต้องไม่เคยตีพิมพ์ที่ใดมาก่อน และสงวนสิทธิ์ตามกฎหมายไทย การจะนำไปเผยแพร่ ต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากกองบรรณาธิการ
References
คณะกรรมการมาตรฐานการอุดมศึกษา. (2567, 18 มกราคม). ประกาศคณะกรรมการมาตรฐานการอุดมศึกษา เรื่อง นโยบายการยกระดับมาตรฐานภาษาอังกฤษในสถาบันอุดมศึกษา พ.ศ. 2567. https://www.ops.go.th/th/ches-downloads/edu-standard/item/9625-2567
คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย. (2562, 10 กันยายน). พันธกิจ. https://www.edu.chula.ac.th/mission
คณะครุศาสตร์ จุฬาลงกรณ์มหาวิทยาลัย. (2564, 24 สิงหาคม). หลักสูตรคณะครุศาสตร์บัณฑิต. https://www.edu.chula.ac.th/sites/default/files/users/user31/B.E.%204%20yr%20curriculum_EDU%20CU%E0%B8%A2%E0%B9%88%E0%B8%AD.pdf
คณะศึกษาศาสตร์ มหาวิทยาลัยศรีนครินทรวิโรฒ. (2563, 30 ตุลาคม). พันธกิจและวิสัยทัศน์. https://edu.swu.ac.th/index.php/about-ed/us-mission
คณะศึกษาศาสตร์ มหาวิทยาลัยศิลปากร. (2566, 28 พฤศจิกายน). ปณิธาน วิสัยทัศน์ พันธกิจ. https://educ.su.ac.th/vision/
ศิริชัย กาญจนวาสี. (2556). ทฤษฎีการทดสอบแบบดั้งเดิม (พิมพ์ครั้งที่ 7). โรงพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.
ศิริชัย กาญจนวาสี. (2563). ทฤษฎีการทดสอบแนวใหม่ (พิมพ์ครั้งที่ 5). สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.
สุพัฒน์ สุกมลสันต์. (2564). บทวิจารณ์เกี่ยวกับการวิจัยเพื่อกำหนนดเกณฑ์ระดับความสามารถของแบบทดสอบด้วย Modified Angoff Method ตามเกณฑ์ของ CEFR และข้อเสนอแนะ: กรณีศึกษาบทความวิจัย 2 เรื่อง. ภาษาปริทัศน์, 36, 73-92.
สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน. (2565, 24 มกราคม). การคัดเลือกผู้รับทุนโครงการผลิตครูเพื่อพัฒนาท้องถิ่นระดับปริญญาโท. https://www.obec.go.th/wp-content/uploads/2022/01/%E0.pdf
สำนักงานคณะกรรมการข้าราชการครูและบุคลากรทางการศึกษา. (2567, 3 พฤษภาคม). แนวปฏิบัติการนำผลการทดสอบความสามารถทางภาษาต่างประเทศ เทียบกับเกณฑ์ CEFR สูงกว่าระดับ B2 มาใช้ในการลดระยะเวลาตามเงื่อนไขคุณสมบัติเฉพาะสำหรับวิทยฐานะของผู้ขอมีวิทยฐานะหรือเลื่อนวิทยฐานะ. https://otepc.go.th/th/content_page/item/4911-10-2567-cefr-b2.html
Brennan, R. L. (2001). Generalizability Theory. Springer.
Chan, Z., & Ho, S. (2019). Good and bad practices in rubrics: the perspectives of students and educators. Assessment & Evaluation in Higher Education, 44(4), 533–545. https://doi .org/10.1080/02602938.2018.1522528
Cohen, A. S., & Wollack, J. A. (2006). Handbook on Test Development: Helpful Tips for Creating Reliable and Valid Classroom Tests. University of Wisconsin–Madison.
IDP IELTS. (2021, March 29). IELTS Academic Writing free practice questions. https://ielts.idp.com/thailand/prepare/article-academic-writing-free-practice-questions
Educational Testing Service. (n.d.). TOEFL iBT: Writing section. ETS.
Glare, P. (1968). Oxford Latin Dictionary. Clarendon Press.
Huang, J., & Whipple, P.B. (2023). Rater variability and reliability of constructed response questions in New York state high-stakes tests of English language arts and mathematics: implications for educational assessment policy. Humanit Soc Sci Commun, 10. https://doi.org/10.1057/s41599-023-02385-4
Leben, W. (2018, February 26). Languages of the World. Oxford Research Encyclopedia of Linguistics. https://oxfordre.com/linguistics/view/10.1093/acrefore/9780199384655.001.0001/acrefore-9780199384655-e-349.
Liu, Y., & Liu, J. (2023). Comparing computer-based and paper-based rating modes in an English writing test. Assessing Writing, 57. https://doi.org/10.1016/j.asw.2023.100771
Lumley, T. (2005). Assessing second language writing: The rater’s perspective. Peter Lang.
Sasayama, S., Gomez, P. G., & Norris, J. M. (2021). Designing efficient L2 writing assessment tasks for low-proficiency learners of English (Report No. RR-21-27). ETS.
Ullman, M. T., & Pierpont, E. I. (2005). Specific language impairment is not specific to language: the procedural deficit hypothesis. Cortex: a journal devoted to the study of the nervous system and behavior, 41(3), 399–433. https://doi.org/10.1016/s0010-9452(08) 70276-4
Weigle, S. C. (2002). Assessing writing. Cambridge University Press.
Zadeh, L. A. (1975). The concept of a linguistic variable and its application to approximate reasoning-III. Information Sciences, 9, 43-80. https://doi.org/10.1016/0020-0255(75)90 017-1
