مدل‌سازی رفتار غیرعادی در ترافیک برای بهبود تصمیم‌گیری تغییر لاین خودروهای خودران با یادگیری تقویتی

نویسندگان

1 دانشجوی دکترا، پردیس بین المللی کاسپین، دانشگاه تهران، تهران، ایران

2 استادیار، دانشکده فنی کاسپین، دانشکدگان فنی، دانشگاه تهران، تهران، ایران

doi
10.22034/tri.2025.521539.3340
چکیده

با پیشرفت فناوری خودروهای خودران، تصمیم‌گیری در شرایط ترافیکی پیچیده به چالشی اساسی تبدیل شده است. در این پژوهش، رفتارهای غیرعادی رانندگان مانند تغییر لاین ناگهانی، رانندگی با سرعت‌های غیرعادی و واکنش‌های نامنظم با استفاده از محیط شبیه‌سازی SUMO مدل‌سازی شده است. برای بهبود تصمیم‌گیری خودروهای خودران در تغییر لاین، از یادگیری تقویتی عمیق (DQN) استفاده شده است. شبیه‌سازی‌ها شامل انواع خودروها از جمله رانندگان عادی، پرخطر، محتاط بیش از حد و غیرقابل پیش‌بینی بوده است. نتایج نشان می‌دهد که نرخ موفقیت تغییر لاین از ۴۰٪ در اپیزودهای اولیه به ۸۰٪ در اپیزودهای پایانی افزایش یافته و میزان برخورد از ۲۵٪ به کمتر از ۱۰٪ کاهش پیدا کرده است. پاداش‌ها بر اساس سرعت (بیش از ۲۰: +۱۰)، موقعیت لاین (لاین وسط: +۱۵) و برخورد (-۵۰) تعیین شده‌اند. با این حال، پاداش‌های تجمعی در اپیزودهای اولیه نوسانات زیادی داشتند و با پیشرفت یادگیری پایدارتر شدند. این موضوع نشان‌دهنده چالش‌های یادگیری تقویتی در محیط‌های پویا و غیرقابل پیش‌بینی است. تحلیل‌ها حاکی از آن است که عامل یادگیرنده در موقعیت‌های غیرمنتظره عملکرد ناپایداری دارد و نیاز به بهینه‌سازی بیشتری دارد. این پژوهش همچنین پیشنهاد می‌دهد که روش‌های پیشرفته‌تر مانند یادگیری تقویتی توزیعی یا ترکیب مدل‌های پیش‌بینی رفتار رانندگان می‌تواند تصمیم‌گیری را بهبود دهد. در نهایت، این مطالعه بر اهمیت مدل‌سازی دقیق‌تر شرایط واقعی ترافیک و استفاده از روش‌های ترکیبی برای پایداری یادگیری در خودروهای خودران تاکید دارد.