การกำหนดค่ามาตรฐานแบบทดสอบความสามารถทางภาษาอังกฤษด้วยวิธี Yes/No Angoff : การหาคะแนนจุดตัดและการวิเคราะห์ความถูกต้องของการกำหนดมาตรฐาน
Article Sidebar
Main Article Content
บทคัดย่อ
งานวิจัยนี้มีวัตถุประสงค์เพื่อ 1) กำหนดคะแนนจุดตัดตามกรอบมาตรฐาน CEFR ระดับ A2 B1 และ B2 โดยวิธี Yes/No Angoff ให้กับแบบทดสอบความสามารถทางภาษาอังกฤษที่ได้รับการพัฒนาโดยคณาจารย์สาขาวิชาภาษาอังกฤษ มหาวิทยาลัยราชภัฏเชียงใหม่ และ 2) วิเคราะห์ความถูกต้องของการกำหนดมาตรฐานและคะแนนจุดตัดที่กำหนด ผู้ประเมินที่เข้าร่วมการกำหนดมาตรฐานครั้งนี้มีทั้งสิ้น 10 คน เครื่องมือที่ใช้ในการวิจัย ได้แก่ แบบทดสอบความสามารถทางภาษาอังกฤษของหลักสูตร (คะแนนเต็มเท่ากับ 100 คะแนน) แบบทดสอบความเข้าใจในเกณฑ์มาตรฐาน CEFR แบบสำรวจความคิดเห็นของผู้ประเมินต่อการอบรมก่อนการกำหนดมาตรฐาน แบบประเมินข้อสอบโดยวิธี Yes/No Angoff และแบบสำรวจความคิดเห็น
ของผู้ประเมินต่อกิจกรรมการกำหนดมาตรฐาน ผลการวิจัยมีดังนี้ 1) คะแนนจุดตัดตามกรอบมาตรฐาน CEFR ของแบบทดสอบความสามารถทางภาษาอังกฤษของหลักสูตรในระดับ A2 อยู่ที่ 26 คะแนน ระดับ B1 อยู่ที่ 64 คะแนน และระดับ B2 อยู่ที่ 84 คะแนน 2) ความถูกต้องภายในของกระบวนการกำหนดมาตรฐานและคะแนนจุดตัดที่กำหนดได้รับการตรวจสอบผ่านการหาค่าสหสัมพันธ์ภายในชั้น (ICC) ของการประเมิน
(A2 = .92, B1 = .92 และ B2 = .81) สำหรับความถูกต้องภายนอกได้รับการตรวจสอบผ่านวิธีการสามวิธี สำหรับวิธีที่หนึ่งเป็นการอภิปรายความเหมาะสมของคะแนนจุดโดยตัวแทนอาจารย์ผู้รับผิดชอบหลักสูตร
วิธีที่สองคือการเปรียบเทียบการจัดกลุ่มผู้เข้าสอบตามเกณฑ์มาตรฐาน CEFR ของอาจารย์ผู้มีประสบการณ์เคยสอนผู้เข้าสอบกับการจัดกลุ่มโดยการกำหนดคะแนนจุดตัด (ค่าสหสัมพันธ์ของเพียร์สัน = .63) และวิธีที่สามคือการประเมินความเที่ยงตรงของกระบวนการโดยการถามความเห็นของผู้ประเมินเกี่ยวกับกระบวนการกำหนดมาตรฐานที่ตนได้เข้าร่วม พบว่าผู้ประเมินเห็นด้วยอย่างยิ่ง (คะแนนเฉลี่ย = 3.78) กับกระบวนการกำหนดมาตรฐานในภาพรวม
Article Details
อนุญาตภายใต้เงื่อนไข Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ข้อความและบทความในวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ เป็นแนวคิดของผู้เขียน มิใช่ความคิดเห็นของกองบรรณาธิการวารสาร จึงมิใช่ความรับผิดชอบของวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ บทความในวารสารต้องไม่เคยตีพิมพ์ที่ใดมาก่อน และสงวนสิทธิ์ตามกฎหมายไทย การจะนำไปเผยแพร่ ต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากกองบรรณาธิการ
เอกสารอ้างอิง
คณะกรรมการมาตรฐานการอุดมศึกษา, กระทรวงการอุดมศึกษา วิทยาศาสตร์ วิจัยและนวัตกรรม. (2567). ประกาศคณะกรรมการมาตรฐานการอุดมศึกษา เรื่อง นโยบายการยกระดับมาตรฐานภาษาอังกฤษในสถาบันอุดมศึกษา พ.ศ. 2567. https://www.ops.go.th/th/ches-downloads/edu-standard/item/9625-2567
สุพัฒน์ สุกมลสันต์. (2564). บทวิจารณ์เกี่ยวกับการวิจัยเพื่อกาหนดเกณฑ์ระดับความสามารถของแบบทดสอบด้วย Modified Angoff Method ตามเกณฑ์ของ CEFR และข้อเสนอแนะ: กรณีศึกษาบทความวิจัย 2 เรื่อง. วารสารภาษาปริทัศน์, 36, 73–92.
อนุวัติ คูณแก้ว. (2566). การทดสอบ การวัดผลและประเมินผล การศึกษาแนวใหม่. สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.
Athiworakun, C., & Wudthayagorn, J. (2018). Mapping Srinakharinwirot University – standardized English test (SWU-SET) onto the Common European Framework of Reference (CEFR). Suranaree Journal of Social Science, 12(2), 69-84.
Cizek, G. J. (2012). An introduction to contemporary standard setting: Concepts, characteristics, and contexts. In G. J. Cizek (ed.), Setting performance standards: Foundations, methods, and innovations (pp. 3-14). Routledge.
Cizek, G. J., & Bunch, M. B. (2007). Standard setting: A guide to establishing and evaluating performance standard on tests. Sage Publications.
Council of Europe. (2009). Relating language examinations to the common European framework of reference for languages: Learning, teaching, assessment (CEFR). https://www.coe.int/en/web/common-european-framework-reference-languages/relating-examinations-to-the-cefr
Fowell, S. L., Fewtrell, R., & P. J. McLaughlin. (2008). Estimating the minimum number of judges required for test-centered standard setting on written assessments. Do discussion and iteration have an influence? Adv in Health Sci Edu, 13, 11-24.
Gliem, J. A., & Gliem, R. R. (2003). Calculating, interpreting, and reporting Cronbach’s Alpha reliability coefficient for Likert-type scales. Paper presented at Practice Conference in Adult, Continuing, and Community Education, Columbus.
Hughes, A. (2003). Testing for language teachers. Cambridge University Press.
Impara, J. C., & Plake, B. S. (1997). Standard setting: An alternative approach, Journal of Educational Measurement, 25(2), 353-366.
Koo, T. K., & Li, M. Y. (2016). A Guideline of selecting and reporting intraclass correlation coefficients for reliability research, Journal of Chiropractic Medicine, 15(2), 155–163.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-74.
Nakanitanon, P. (2021). Linking an English proficiency test to CEFR: Setting valid cut scores. The New English Teacher, 15(1), 53-64.
Plake, B., & Cizek, G. J. (2012). Variations on a theme: The modified Angoff, extended Angoff, and yes/no standard setting methods. In G. J. Cizek (ed.), Setting performance standards: Foundations, methods, and innovations (pp. 181-200). Routledge.
Tannenbaum, R. J., & Baron, P. A. (2015a). Mapping scores from the TOEFL Junior Comprehensive Test onto the Common European Framework of Reference (CEFR). Educational Testing Service.
Tannenbaum, R. J., & Baron, P. A. (2015b). Mapping TOEIC scores to the Vietnamese National Standard: A study to recommend English language requirements for admissions into and graduation from Vietnamese universities. Educational Testing Service.
Tiyawongsuwan, S., Lawthong, N., & Kanjanawasee, S. (2013). Standard setting for educational evaluation: Concepts, methods and applications. Kasetsart Journal of Social Sciences, 34(2), 225–240.
Todd, R. W. (2011). Analyzing and interpreting rating scale data from questionnaires. rEFLections, 14, 69–77.
Turner, R., & Carlson, L. A. (2003). Indexes of item-objective congruence for multidimensional items. International Journal of Testing, 3(2), 163-172.
Wudthayagorn, J. (2018). Mapping the CU-TEP to the common European framework of reference (CEFR). LEARN: Language Education and Acquisition Research Network Journal, 11(2), 163-180.
University of Michigan. (2014). Linking the Common European Framework of Reference and the MET writing test. https://michiganassessment.org
