تأثیر منطقه‌بندی بر برآورد پارامتر توانایی و رتبه‌بندی آزمودنی‌ها در آزمون‌های بزرگ مقیاس

نویسندگان

1 دانشیار گروه سنجش و اندازه‌گیری، دانشگاه علامه طباطبائی، تهران، ایران.

2 دانشیار روانسنجی و سنجش و اندازه‌گیری کلاسی، دانشگاه ساسکاچوان، ساسکاتون، کانادا

doi
10.22054/jep.2022.63068.3450
چکیده

این پژوهش با هدف بررسی تأثیر ادغام سهمیه‌بندی در برآورد توانایی (پیش از رتبه بندی) و نیز رتبه‌بندی آزمودنی‌ها در آزمون‌های بزرگ مقیاس (مثل کنکور سراسری) انجام شد. طرح این پژوهش در زمرۀ طرح‌های پیمایشی است. به دلیل این که هدف این پژوهش تحلیل داده‌هایی است که قبلاً طی یک طرح پیشین توسط سازمان سنجش جمع‌آوری شده‌اند، این طرح را می‌توان در زمرۀ تحلیل ثانویه داده‌ها نیز در نظر گرفت. جامعه آماری این طرح شامل تمام داوطلبان گروه ریاضی است که در آزمون سراسری سال 1394-1393 شرکت نموده‌اند. نمونه مورد استفاده در این پژوهش شامل داده‌های مربوط به 3000 آزمودنی گروه ریاضی از مناطق (سهمیه) یک، دو و سه است که از طرف سازمان سنجش در اختیار پژوهشگران قرار گرفته است. داده‌های اصلی مورد استفاده در این پژوهش عبارتست از پاسخ‌های نمره‌گذاری شده آزمودنی‌ها به سؤالات آزمون (به صورت 1 برای پاسخ صحیح و 0 برای پاسخ غلط) و کد مربوط به سهمیه انتخابی. به طور خلاصه، می‌توان چنین نتیجه‌گیری کرد که تفاوت بین مناطق سه‌گانه و یا هر نوع خوشه‌بندی در داده‌ها هنگامی در نتایج تأثیر دارد که تحلیل در سطح کل نمونه و ورای خوشه‌ها صورت می‌گیرد. در چنین وضعیتی، امکان مشاهده تفاوت معنادار بین رتبه‌دهی با استفاده از روش‌های متفاوت، حتی زمانی که مقدار ICC بسیار پایین باشد (مانند تحلیل حاضر)، وجود دارد.