ارزیابی اتوماتیک آزمونهای تشریحی مبتنی بر رویکردهای محاسباتی و داده کاوی
نویسندگان
1 گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد رشت، گیلان، ایران.
2 گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد رشت، گیلان، ایران.
3 گروه مهندسی کامپیوتر، موسسه آموزش عالی آیندگان، تنکابن، ایران
doi
10.22105/dmor.2021.251713.1230چکیده
هدف: نمرهدهی خودکار آزمونهای تشریحی فرآیند ارزیابی اتوماتیک پاسخهای سوالات مبتنی بر متن با استفاده از روشهای محاسباتی و یادگیری ماشین است. گسترش استفاده از سیستمهای آموزشی هوشمند و اهمیت ارزیابی نیاز به سیستمهای خودکار برای نمرهدهی آزمونها را بیش از پیش افزایش داده است.روش شناسی پژوهش: با توجه به اینکه در فرآیند نمرهدهی خودکار، پاسخهای متنی ارائه شده توسط دانشآموزان با یک پاسخ ایده آل بر اساس میزان شباهت آنها مورد مقایسه قرار میگیرد، میتوان از تکنیکهای محاسبه ارتباط و شباهت معنایی بین متون نیز برای اینکار بهره برد. در این راستا، در این مقاله ابتدا روشهای مختلف محاسبه ارتباط معنایی در کاربرد ارزیابی خودکار آزمونهای تشریحی با هم مقایسه و تاثیر دامنه و اندازه منبع دانش پیشزمینهای روی دقت الگوریتمها بررسی شد. در ادامه، یک رویکرد برای بهبود عملکرد سیستم نمرهدهی خودکار آزمونهای تشریحی معرفی شده که از پاسخهای ارائه شده توسط آزموندهندگان که بالاترین نمره را دریافت کردهاند، به عنوان بازخورد استفاده میکند.یافتهها: برای ارزیابی کارایی روشهای محاسبه شباهت و ارتباط معنایی در کاربرد نمردهدهی خودکار آزمونهای تشریحی و عملکرد مدل پیشنهادی، آزمایشاتی روی مجموعه داده ارائه شده توسط موهلرو میهالسیا که دارای 7 سوال با 630 پاسخ تشریحی است، صورت گرفت.اصالت/ارزش افزوده علمی: بر اساس نتایج حاصل از آزمایشها، نه تنها روشهای محاسبه ارتباط معنایی از کارایی بالایی در حوزه ارزیابی خودکار آزمونهای تشریحی برخوردارند، بلکه استفاده از از بازخورد اتوماتیک نیز میتواند دقت و کارایی روشهای محاسبه ارتباط معنایی برای این هدف به طور قابل توجهی افزایش دهد.
