فهرست نشریات علمی دسترسی آزاد ایران

هدف : این پژوهش به بررسی نقش مدل‌های بزرگ زبانی در شناسایی مغالطات منطقی در فرایند داوری همتا پرداخته و تأثیر این فناوری‌ها بر بهبود دقت، شفافیت و قابلیت اطمینان مقالات علمی را مورد ارزیابی قرار می‌دهد. همچنین، امکان به‌کارگیری این مدل‌ها برای کاهش بار کاری داوران انسانی و استانداردسازی ارزیابی‌ها بررسی شده است.روش پژوهش: سه آزمایش متفاوت در پژوهش حاضر طراحی و اجرا شد که شامل شناسایی و طبقه‌بندی مغالطات منطقی، حل مسائل استدلالی و ارزیابی متون علمی با طول و پیچیدگی متغیر بود. از مجموعه داده‌های استاندارد نظیر الک‌دب60-20 و سؤالات بخش منطق استعداد تحصیلی در آزمون دکتری ایران استفاده شد. مدل‌های زبانی پیشرفته مانند چت‌جی‌پی‌تی نسخه‌های o4 وo1  با روش‌های یادگیری ماشین کلاسیک نظیر ماشین بردار پشتیبان و جنگل تصادفی مقایسه شدند. مدل‌ها با استفاده از روش‌های بهینه‌سازی و یادگیری بدون نمونه برای تحلیل داده‌ها آماده شدند.یافته‌ها: نتایج آزمایش‌ها نشان داد که چت‌جی‌پی‌تی o1 در شناسایی مغالطات منطقی به دقت 98.1 درصد و در حل مسائل منطقی آزمون استعداد تحصیلی کنکور دکتری به دقت 100 درصد دست یافت. در مقایسه، مدل‌های سنتی یادگیری ماشین، مانند ماشین بردار پشتیبان و جنگل تصادفی، به ترتیب تنها دقت 48 درصد و 49 درصد داشتند. مدل‌های زبانی میسترال و لاما نیز دقتی بین 76 درصد تا 5/78 درصد در شناسایی مغالطات ارائه کردند. در تحلیل متون طولانی‌تر، چت‌جی‌پی‌تی o1 دقت 100 درصد را در شناسایی و نام‌گذاری انواع مغالطات ثبت کرد، در حالی که مدل‌های دیگر توانایی کمتری نشان دادند. همچنین مدل‌های زبانی پیشرفته در تحلیل استدلال‌های پیچیده و ارائه بازخوردهای ساختاریافته بسیار مؤثر بودند.نتیجه‌گیری: مدل‌های بزرگ زبانی ، به ویژه چت‌جی‌پی‌تی‌o1، توانایی بالایی در شناسایی و تحلیل مغالطات منطقی و بهبود فرایند داوری همتا دارند. این مدل‌ها با کاهش خطاهای انسانی، افزایش سرعت داوری و ارائه تحلیل‌های دقیق، نقشی کلیدی در بهبود کیفیت مقالات علمی ایفا می‌کنند. به‌کارگیری این فناوری‌ها می‌تواند به تقویت انسجام و شفافیت در فرایندهای علمی منجر شود، هرچند نظارت نهایی داوران انسانی برای ترکیب تخصص انسانی و هوش مصنوعی ضروری است.