การเปรียบเทียบความเที่ยงของแบบวัดทักษะการสื่อสารทางคณิตศาสตร์ด้านการเขียนของนักเรียน  ชั้นประถมศึกษาปีที่ 6 : การประยุกต์ใช้ทฤษฎีการสรุปอ้างอิงความน่าเชื่อถือของผลการวัด

Monchaya  Sakkamart; Kamontip  Srihaset; Darunee  Tippayakulpairoj

doi:10.60027/iarj.2025.288357

Authors

Monchaya Sakkamart Faculty of Education, Ramkhamhaeng University, Thailand https://orcid.org/0009-0007-7392-9485
Kamontip Srihaset Faculty of Education, Ramkhamhaeng University, Thailand https://orcid.org/0000-0002-4381-6128
Darunee Tippayakulpairoj Faculty of Education, Ramkhamhaeng University, Thailand https://orcid.org/0000-0002-4874-2607

DOI:

https://doi.org/10.60027/iarj.2025.288357

Keywords:

The Written Mathematical Communication Skills Test, Application of Generalizability Theory

Abstract

Background and Aims: Mathematical communication skills are essential for effective mathematics instruction. Therefore, the assessment of written mathematical communication skills requires high-quality instruments. This research aimed to: 1) develop an assessment tool for evaluating written mathematical communication skills of Grade 6 students and 2) compare the reliability of the assessment tool for written mathematical communication skills of Grade 6 students with the application of generalizability theory using a fully crossed design. In which all raters score all items from all examinees.

Methodology: The sample used in this research consisted of 80 Grade 6 students from the Ramkhamhaeng University Demonstration School (Bangna Campus) in the academic year 2024. The sample size was determined using the G*Power 3.1.9.7 program, and cluster sampling was employed. The research instrument was an assessment tool for written mathematical communication skills. The statistical methods used for data analysis included basic descriptive statistics, the kappa coefficient to assess inter-rater reliability, and generalizability coefficients.

Results: The research findings revealed that: 1) the developed assessment tool for written mathematical communication skills on the topic of fractions had a content validity index ranging from 0.67 to 1.00. The overall reliability of the test was 0.762. The kappa coefficients for inter-rater reliability ranged from 0.210 to 0.645. The difficulty index ranged from 0.393 to 0.668, and the discrimination index ranged from 0.379 to 0.882. 2) The assessment tool for written mathematical communication skills with a reliability coefficient of no less than 0.80 can be selected as follows: the generalizability coefficients for both relative and absolute decisions were no less than 0.80 when 2 or 3 raters scored at least 10 items.

Conclusion: The study of the Generalizability Coefficient (G-Coefficient) aimed to identify an assessment tool that is practically applicable and has a reliability of 0.80. The research findings indicated that the written mathematical communication skills assessment tool suitable for use in developing and improving the quality of instruction on fractions should consist of at least 10 items and be scored by 2 raters.

References

กระทรวงศึกษาธิการ. (2560). ตัวชี้วัดและสาระการเรียนรู้แกนกลางกลุ่มสาระการเรียนรู้คณิตศาสตร์ (ฉบับปรับปรุง พ.ศ. 2560) ตามหลักสูตรแกนกลางการศึกษาขั้นพื้นฐานพุทธศักราช 2551. โรงพิมพ์ชุมนุมสหกรณ์การเกษตรแห่งประเทศไทย จำกัด.

กิติมา สุรสนธิ. (2557). ความรู้ทางการสื่อสาร (พิมพ์ครั้งที่ 5). คณะวารสารศาสตร์และสื่อสารมวลชน มหาวิทยาลัยธรรมศาสตร์.

ชนิสรา สงวนไว้. (2558). การเปรียบเทียบความเที่ยงของแบบสอบวัดความสามารถในการแก้ปัญหาอย่างสร้างสรรค์ทางคณิตศาสตร์: การประยุกต์ใช้ทฤษฎีการสรุปอ้างอิงความน่าเชื่อถือของผลการวัด. (วิทยานิพนธ์ปริญญามหาบัณฑิต, มหาวิทยาลัยศิลปากร).

ดรุณี อภัยกาวี, กิตติศักดิ์ พันธ์เกษม, & จิตติพงศ์ พุ่มพวง. (2563). การพัฒนาแบบวัดทักษะการคิดทางคณิตศาสตร์ระดับชั้นประถมศึกษา. วารสารศึกษาศาสตร์มหาวิทยาลัยขอนแก่น, 43(1), 115–132.

ดุจฤดี ประเสริฐศิลป์พลมา, & ประกฤติยา ทักษิโณ. (2564). ความเที่ยงของแบบวัดทักษะการคิดเชิงวิเคราะห์ทางคณิตศาสตร์. วารสารศึกษาศาสตร์มหาวิทยาลัยขอนแก่น, 44(2), 30–44.

โรงเรียนสาธิตมหาวิทยาลัยรามคำแหง วิทยาเขตบางนา. (2567). รายงานผลการดำเนินงานประจำปีการศึกษา 2567. กรุงเทพฯ: โรงเรียนสาธิตมหาวิทยาลัยรามคำแหง วิทยาเขตบางนา.

ล้วน สายยศ, & อังคณา สายยศ. (2541). เทคนิคการวัดผลการเรียนรู้. จุฬาลงกรณ์มหาวิทยาลัย.

วนิดา ภู่เอี่ยม. (2550). การสร้างและการพัฒนาเครื่องมือวัดผลการศึกษา. กรุงเทพฯ: สำนักพิมพ์แห่งจุฬาลงกรณ์มหาวิทยาลัย.

ศิริชัย กาญจนวาสี. (2555). การวัดผลการศึกษา (พิมพ์ครั้งที่ 8). โรงพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.

สุรชัย มาตราช, & ประกฤติยา ทักษิโณ. (2565). การพัฒนาแบบวัดทักษะการแก้ปัญหาทางคณิตศาสตร์ด้วยข้อสอบอัตนัย. วารสารครุศาสตร์, 49(2), 43–56.

อัมพร ม้าคะนอง. (2559). การประยุกต์ใช้โมเดลทางคณิตศาสตร์เพื่อพัฒนาทักษะการสื่อสาร. วารสารครุศาสตร์, 48(4), 33–44.

อิสระ สระแก้ว. (2565). ผลของการเพิ่มจำนวนข้อสอบและจำนวนผู้ตรวจต่อค่าความน่าเชื่อถือของผลการสอบ. วารสารครุศาสตร์สาร, 44(4), 77–90.

Bachman, L. F., Davidson, F., Ryan, K., & Choi, I. C. (1995). An investigation into the comparability of two tests of English as a foreign language. Cambridge University Press.

Bennett, N., & Lemoine, G. J. (2014). What a difference a word makes: Understanding threats to performance in a VUCA world. Business Horizons, 57(3), 311–317. https://doi.org/10.1016/j.bushor.2014.01.001

Brennan, R. L., & Johnson, E. G. (1995). Generalizability theory and classical test theory. Journal of Educational Measurement, 32(4), 347–368. https://doi.org/10.1111/j.1745-3984.1995.tb00473.x

Chui, M. M., & Wolfe, E. W. (2002). Essay scoring reliability: A review. Journal of Educational Measurement, 39(3), 243–270.

Coffman, W. E. (1971). Essay examinations. In R. L. Thorndike (Ed.), Educational Measurement (2nd ed., pp. 271–302). American Council on Education.

Dewi, N. K., Marsigit, M., & Sugiman, S. (2020). Mathematical communication ability: Case study on students’ responses in mathematics learning. International Journal of Instruction, 13(2), 335–350.

Hermawan, D., & Hidayat, W. (2018). Developing mathematical communication ability through learning model. Journal of Physics: Conference Series, 983(1), 012074.

Kocaoğlu, S., & Şahin, M. G. (2024). The effect of rubric usage on assessment reliability in mathematics education. Education and Science, 49(220), 92–107.

Linacre, J. M. (1993). Generalizability: Theory and practice. Journal of Applied Measurement, 4(4), 384–389.

Lubis, A. H., Sari, D. F., & Siregar, E. (2023). Development of students’ mathematical communication ability. Journal of Education and Learning, 12(1), 78–86.

Lunz, M. E., Stahl, J. A., & Wright, B. D. (1990). Interrater reliability with judges rated by Rasch measurement. Educational and Psychological Measurement, 50(3), 703–709.

Meel, D. E. (1999). Prospective secondary teachers’ emerging knowledge of proof. Issues in Mathematics Education, 7, 67–101.

Mehrens, W. A., & Lehmann, I. J. (1973). Measurement and evaluation in education and psychology. Holt, Rinehart and Winston.

Meier, D. R., & Rishel, T. (1998). Writing to learn mathematics. Mathematics Teaching in the Middle School, 4(4), 236–239.

Morgan, C. (2001). Mathematical communication: Analyzing the language of mathematical learning and teaching. Open University Press.

National Council of Teachers of Mathematics (NCTM). (2000). Principles and standards for school mathematics. NCTM.

Pantow, D., Ratu, D. D. L., & Poluakan, C. (2020). The influence of communication ability on mathematics learning achievement. International Journal of Instruction, 13(2), 121–138.

Permatasari, P. (2021). Mathematical communication skills in problem-based learning. Journal of Physics: Conference Series, 1833(1), 012022.

Saal, F. E., Downey, R. G., & Lahey, M. A. (1980). Rating the ratings: Assessing the psychometric quality of rating data. Psychological Bulletin, 88(2), 413–428.

Smith, J. K., & Kulikowich, J. M. (2004). The effect of rater training on writing assessment. Assessing Writing, 9(2), 229–247.

Sudweeks, R. R., Reeve, S., & Bradshaw, W. S. (2004). A comparison of rater training strategies in writing assessment. Assessing Writing, 9(3), 227–242.

Swartz, C. W., Norman, K. L., & Penfield, J. (1999). Reliability of scores from essay tests: Interrater agreement and the factors that influence it. Educational and Psychological Measurement, 59(3), 451–466.

Teledahl, A. (2017). Written mathematical communication: Analyzing students’ texts in mathematics. Nordic Studies in Mathematics Education, 22(1), 21–44.

Turner, R. C. (2003). A model for measuring writing assessment scoring reliability. Assessing Writing, 8(2), 147–166.