ارائه یک روش جدید ناوبری خودگردان کپسول درون‌بین مبتنی بر یادگیری تقویتی عمیق با بهینه‌سازی سیاست مجاور در یک محیط مجازی

نویسندگان

1 دانشجوی دکترای دانشکده مهندسی برق و کامپیوتر، دانشگاه تربیت مدرس، تهران، ایران

2 دانشیار دانشکده مهندسی برق و کامپیوتر، دانشگاه تربیت مدرس، تهران، ایران

doi
10.22034/abmir.2025.23028.1122
چکیده

با توجه به نگرانی‌های عمومی از عوارض درون‌بینی سنتی، تحقیقات در زمینه استفاده از کپسول‌های درون‌بین به عنوان روشی کمتر تهاجمی مورد توجه قرار گرفته است. اما حرکت غیرفعال کپسول باعث عدم دسترسی به زوایای مدنظر پزشک می‌شود. برای رفع این محدودیت، یک رویکرد نوین ناوبری خودگردان مبتنی بر یادگیری تقویتی عمیق با استفاده از الگوریتم بهینه‌سازی سیاست مجاور ارائه شده است تا فرآیند موقعیت‌یابی، مسیریابی و کنترل حرکت کپسول را به‌صورت اتوماتیک انجام دهد. در این روش با ادغام داده‌های چندوجهی حسگرها، نقطه هدف در طول زمان تخمین زده می‌شود. از آنجا که آموزش اولیه الگوریتم نیاز به داده‌های فراوانی دارد یک محیط مجازی نزدیک به واقعیت برای آموزش عامل هوشمند شامل مدل عملگر با ساختاری از سیم‌پیچ‌های مغناطیسی، کپسولی مجهز به آهنربای دوقطبی، دوربین، حسگر اینرسی، و مدل سه‌بعدی روده بزرگ، فراهم شده است. هدف اصلی در این پژوهش، کاهش مداخله‌های عملیاتی اپراتور جهت تمرکز بیشتر بر جنبه‌های بالینی و پزشکی درون‌بینی است. روش ارائه‌شده با ابَرمتغیرهای مختلفی آموزش داده شده و نتایج آن بر اساس شاخص‌های حرکت و هم‌جهتی به سمت هدف و آنتروپی مقایسه شده است. ارزیابی نتایج نشان می‌دهد که با تنظیم بهینه اندازه بافر و مقدار دسته، الگوریتم عملکرد مناسبی در ردیابی و پایداری دارد.