ประสิทธิภาพการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบภายใต้วิธีถดถอยโลจิสติกสำหรับข้อสอบที่ตรวจให้คะแนนแบบทวิวิภาค: เปรียบเทียบขนาดอิทธิพลสองเกณฑ์

Abstract

บทคัดย่อ

วัตถุประสงค์ของการศึกษาเพื่อเปรียบเทียบอัตราความถูกต้องและอัตราความคลาดเคลื่อนประเภทที่ 1 ของการตรวจสอบการทำหน้าที่ต่างกันของข้อสอบที่มีรูปแบบการให้คะแนนแบบ  ทวิวิภาค โดยการจำลองข้อมูลในวิธีถดถอยโลจิสติก ระหว่างการวัดขนาดอิทธิพลตามเกณฑ์ Jodoin&Gierl กับ Zumbo&Thomas ใช้ทฤษฎีการตอบสนองข้อสอบแบบสองพารามิเตอร์จำลองผลการตอบภายใต้ปัจจัยที่แปรเปลี่ยน 4 ปัจจัย คือรูปแบบของข้อสอบที่ทำหน้าที่ต่างกัน ขนาดของการทำหน้าที่ต่างกัน จำนวนข้อสอบที่ทำหน้าที่ต่างกันทั้งฉบับ ความยาวแบบสอบทั้งฉบับ ข้อมูลที่ศึกษา 24 เงื่อนไขทุกเงื่อนไขจำลองข้อมูลซ้ำ 25 ครั้ง วิเคราะห์ข้อมูลทุกเงื่อนไขด้วยวิธีถดถอยโลจิสติกโดยใช้ระดับนัยสำคัญที่ .05สรุปผลการวิจัยดังนี้

1. วิธีถดถอยโลจิสติกโดยการวัดขนาดอิทธิพลตามเกณฑ์ Jodoin&Gierl มีอัตราความถูกต้องในการตรวจสอบสูงกว่าเกณฑ์ Zumbo&Thomas ภายใต้เกือบทุกเงื่อนไข

2. ข้อสอบที่ทำหน้าที่ต่างกันแบบอเนกรูปมีอัตราความถูกต้องจากการวัดขนาดอิทธิพล ทั้ง 2 เกณฑ์สูงกว่าแบบเอกรูป แบบสอบที่มีจำนวนข้อสอบทำหน้าที่ต่างกันทั้งฉบับคิดเป็นร้อยละ 20มีอัตราความถูกต้องของขนาดอิทธิพลทั้ง 2 เกณฑ์สูงกว่าในแบบสอบที่มีจำนวนข้อสอบ  ที่ทำหน้าที่ต่างกันทั้งฉบับคิดเป็นร้อยละ 10 เมื่อขนาดอิทธิพลของข้อสอบที่การทำหน้าที่ต่างกันเพิ่มขึ้นทำให้อัตราความถูกต้องของขนาดอิทธิพลทั้ง 2 เกณฑ์เพิ่มขึ้นภายใต้เกือบทุกเงื่อนไข

ข้อเสนอแนะ : ภายใต้การตรวจสอบการทำหน้าที่ต่างกันของข้อสอบด้วยวิธีถดถอย  โลจิสติกควรใช้ผลการทดสอบระดับนัยสำคัญร่วมกับผลของการวัดขนาดอิทธิพล

คำสำคัญ : การทำหน้าที่ต่างกันของข้อสอบ เกณฑ์การวัดขนาดอิทธิพล วิธีถดถอยโลจิสติก

Abstract

The objective of this study was to compare the correct identification and Type I error rate of DIF with dichotomously scored items by simulation data in a logistic regression procedure between effect size measures of Jodoin and Gierl’s criteria and Zumbo and Thomas’s criteria. In this study, data was simulated under the IRT theory of two-parameter item response, simulating dichotomous response under the condition of 4 varied factors. The total data studied were 24 conditions: DIF Type, amounts of DIF, items with DIF and Test length. The data were replicated 25 times for each condition. In each condition, the data were analyzed with effect size measures. Significance .05 was used in the analysis of all DIF. The research results were as follows:

1. Logistic regression procedure with effect size measures of Jodoin and Gierl’s criteria had higher correct identification of DIF than of Zumbo and Thomas’s criteria under most conditions.

2. Nonuniform DIF had higher correct identification from effect size measures with both criteria than uniform DIF. All items with DIF at 20 percent had higher correct identification from effect size measures with both criteria than all items with DIF at 10 percent. Moreover, findings indicated that when the effect size of DIF increased the correct identification from effect size measured with both criteria increased as well under almost every condition.

Suggestion: Under the detection with logistic regression procedure, the result of the significance test should be used together with the result of the effect size to detect DIF.

Keywords : differential item functioning, effect size criteria, logistic regression