طراحی خزانههای سؤال بهینه برای سنجش انطباقی کامپیوتری با در نظر گرفتن امنیت آزمون
نویسندگان
1 استاد دانشکده روانشناسی و علوم تربیتی دانشگاه علامهطباطبایی
2 استادیار سازمان سنجش آموزش کشور
3 دانشجوی دوره دکتری سنجش و اندازهگیری دانشگاه علامه طباطبایی
4 دانشیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی
5 دانشیار دانشکده روانشناسی و علوم تربیتی دانشگاه علامه طباطبایی
doi
چکیده
سنجش انطباقی کامپیوتری به خزانه سؤالی نیاز دارد که به خوبی طراحی شده و برای ساخت آزمونهای مجزا، تعداد مناسبی سؤال داشته باشد. همچنین شامل سؤالهایی باشد که از لحاظ محتوایی متعادل باشد و هزینه ساخت آزمون را کاهش دهد. یکی از روشهای طراحی خزانه سؤال، روش رِکیس است، که در آن از روش مونتکارلو برای تعیین ویژگیهای یک خزانه سؤال بهینه استفاده میشود. در این پژوهش، از این روش برای طراحی خزانههایی که با مدل سه پارامتری لُجستیک مدرج شدهاند، استفاده شده است. برای کنترل نرخ مواجهه سؤال از روش سیمپسون-هتر و برای شبیهسازی سؤالهای آزمون از سه روش تصادفی (R)، تصادفی آمیخته و پیشبینی (MRP) و حداقل آگاهی آزمون (MTI) استفاده شده است. عملکرد خزانههای سؤال شبیهسازی شده و عملیاتی با در نظر گرفتن مجموعهای از ملاکهای ارزیابی، با یکدیگر مقایسه شدهاند. نتایج نشان میدهد که خزانه MRP نسبت به سایر خزانههای بهینه از امنیت و دقت اندازهگیری بالاتری برخوردار است و شامل سؤالهای زیادی با ضریب تشخیص بالا است. نرخ همپوشی آزمون در آن کمتر و درصد کوچکی از سؤالهای بیش مواجهه و کم مواجهه دارد. در مقابل اندازه خزانه MTI نسبت به سایر خزانههای بهینه کوچکتر و سؤالهایی با ضریب تشخیص پایینتر دارد. بهطور کلی با در نظر گرفتن عامل کنترل مواجهه، خزانههای بهینه، بهتر از خزانة عملیاتی عمل میکند.