Adaptive Design for Research, Assessment and Evaluation
Article Sidebar
Main Article Content
Abstract
The measurement and assessment employing traditional survey instruments commonly does not concern about individual differences among evaluatees. This leads to some limitations include necessity of several items, which evaluatees have to consider all of provided items, causing the evaluatees to feel fatigued. Moreover, evaluatees might lose concentration resulting invalid data, also they could stop filling or give an incomplete survey resulting a lower response rate than expected (Gardner, & Chua, 2017; Goodman et al., 1992; Krosnick 1999; Zhang, 2000) The concept of adaptive design believes about different characteristics of evaluatees such as cognitive ability, emotion, feeling, personality, as well as survey taking behavior. Thus, evaluatees should be provided with different design of surveys or assessment (Turnbull, 1951; Cited in Lord,1980; Weiss, 2004; Bethlehem, Cobben, & Schouten, 2011). This article describes the basic concept of adaptive design, types of adaptive design, computerized adaptive design, computerized adaptive survey (CAS), and summaries of various adaptive designs that can be used for research, assessment and evaluation.
Article Details
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
ข้อความและบทความในวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ เป็นแนวคิดของผู้เขียน มิใช่ความคิดเห็นของกองบรรณาธิการวารสาร จึงมิใช่ความรับผิดชอบของวารสารการวัด ประเมินผล สถิติ และการวิจัยทางสังคมศาสตร์ บทความในวารสารต้องไม่เคยตีพิมพ์ที่ใดมาก่อน และสงวนสิทธิ์ตามกฎหมายไทย การจะนำไปเผยแพร่ ต้องได้รับอนุญาตเป็นลายลักษณ์อักษรจากกองบรรณาธิการ
References
ศิริชัย กาญจนวาสี. (2555). ทฤษฎีการทดสอบแนวใหม่ (พิมพ์ครั้งที่ 4). กรุงเทพฯ: จุฬาลงกรณ์มหาวิทยาลัย.
สถาบันส่งเสริมการสอนวิทยาศาสตร์และเทคโนโลยี กระทรวงศึกษาธิการ. (2557). ผลการประเมิน PISA 2012 คณิตศาสตร์
การอ่าน และวิทยาศาสตร์นักเรียนรู้อะไร และทำาอะไรได้บ้าง. กรุงเทพฯ : โครงการ PISA ประเทศไทย สถาบันส่งเสริมการสอนวิทยาศาสตร์และเทคโนโลยี.
สมเกียรติ แก้วเกาะสะบ้า ชยุตม์ ภิรมย์สมบัติ และสุวิมล ว่องวาณิช. (2563). แนวทางการเสริมสร้างสมรรถนะการวิจัยทางการศึกษาในยุคดิจิทัลสำหรับผู้เรียนระดับบัณฑิตศึกษา: การประยุกต์แนวคิดการออกแบบแบบปรับเหมาะ. วารสารวิธีวิทยาการวิจัย, 33(1).
Bethlehem, J.G., Cobben, F., & Schouten, B. (2011). Handbook of nonresponse in household surveys. John Wiley & Sons, Hoboken, NJ, USA.
Calinescu, M., Schouten, B., & Bhulai, S. (2012). Adaptive survey designs that minimize nonresponse and measurement risk. Discussion paper 201224, CBS, Den Haag.
Chua, Y. P., & Don, Z. M. (2013). Effects of computer-based educational achievement test on test performance and test takers’ motivation. Computers in Human Behavior, 29(5), 1889-1895.
Claudia Flowers, C., Kim, D. H., Lewis, P., & Davis, V. C. (2011). A Comparison of computer-based testing and pencil-and-paper Testing for Students with a Read-aloud Accommodation. JSET 2011, 26(1), 1-12.
Goodman, J. A., Broetzmann, S. M., & Adamson, C. (1992). Ineffective - That’s the Problem with Customer Satisfaction Surveys. Quality Progress, 25(5), 35–38.
Groves, R. M., Heeringa, S. G. (2006). Responsive design for household surveys: tools for actively controlling survey errors and costs. Journal of the Royal Statistical Society: Series A. 169, 439 – 457.
Hayes, B. E. (1992). Measuring Customer Satisfaction, Milwaukee, WI: ASQC Quality Press.
Hol, A. M., Vorst, H. C. M., & Mellenbergh, G. J. (2008). Computerized Adaptive Testing of Personality Traits. Journal of Psychology, (216:1), pp. 12–21.
Hwang, G. J., & Chang, H. F. (2011). A formative assessment-based mobile learning approach to improving the learning attitudes and achievements of students. Computers & Education, 56(4), 1023-1031.
Hwang, G. J., Wu, P. H., Zhuang, Y. Y., & Huang, Y. M. (2013). Effects of the inquiry-based mobile learning model on the cognitive load and learning achievement of students. Interactive learning environments, 21(4), 338-354.
Krosnick, J. A. (1991). Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied Cognitive Psychology, 5(3), 213–236.
Krosnick, J. A. (1999). Survey research. Annual Review of Psychology, 50, 537–67.
Lord, F. M. (1980). Applications of item response theory to practical testing problems. Applied Psychological Measurement (Vol. 5). Hillsdale, N.J.: L. Erlbaum Associates.
Manfreda, K. L. M., Batagelj, Z., & Vehovar, V. (2002). Design of Web survey Questionnaires: Three Basic Experiments. Journal of Computer-Mediated Communication, 7(3), 10.
Merrell, C., & Tymms, P. (2007). Identifying reading problems with computer-adaptive assessments. Journal of Computer Assisted Learning, 23, 27–35.
Nikou, S. A., & Economides, A. A. (2016). The impact of paper-based, computer-based and mobile-based self-assessment on students’ science motivation and achievement. Computers in Human Behavior, 55, 1241–1248.
OECD. (2013). Transferable skills training for researchers-supporting career. Development World Science Forum, 24-27 November 2013, Rio.
Peytchev, A. (2013). Interactive case management. Workshop on advance in Adaptive and responsive designs. Heelan. The Natherland.
Sabbaghan, S., Gardner, L. A., & Chua, C. E. H. (2017). Computer-Adaptive Surveys (CAS) as a Means of Answering Questions of Why. PACIS 2017 Proceedings. AIS Electronic Library (AISe).
Schouten, B., Calinescu, M., & Luiten, A. (2013). Optimizing Quality of Response through Adaptive Survey Designs. Survey Methodology, 39 (1), 29–58.
Schouten, B., Peytchev, A., & Wagner, J. (2017). Adaptive survey design. CRC Press Taylor & Francis Group. Boca Raton London New York.
Thompson, N., & Weiss, D. (2011). A framework for the development of computerized adaptive tests. Practical Assessment, Research & Education 16(1). Retrieved from http://www.pareonline.net/pdf/v16n1.pdf
Tourangeau, R., Brick, J. M., Lohr, S., & Li, J. (2017). Adaptive and responsive survey designs: a review and assessment. J. R. Statist. Soc. A. 180. 203–223.
Wagner, J. (2013). Adaptive contact strategies in telephone and face-to-face surveys. Survey Research Methods, 7(1), 45-55.
Walker, J., Böhnke, J. R., Cerny, T., & Strasser, F. (2010). Development of symptom assessments utilising item response theory and computer-adaptive testing -- A practical method based on a systematic review. Oncology/Hematology, 73 47–67.
Weiss, D. J. (2004). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, 37(2), 70.
Zhang, Y. (2000). Using the Internet for survey research: A case study. Journal of the
American Society for Information Science, 51(1), 57.