ترجمه تصویر حرارتی به نور مرئی با استفاده از شبکه‌های مولد تخاصمی

نویسندگان

1 دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران

2 دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران

doi
10.22075/jme.2024.34522.2685
چکیده

سیستم‌های تصویربرداری حرارتی، با توجه به ویژگی‌های منحصربه‎‎فرد خود، مانند توانایی ثبت تصاویر در شرایط آب‎و‎هوای مختلف، ثبت تصاویر در شب و یا دارا بودن خاصیت ضد‎جعل، کاربرد‌های نظامی، امنیتی و قضایی ویژه‌ای دارند. با این حال، تصاویر ثبت‎شده توسط دوربین‌های حرارتی، با استفاده از چشم انسان قابل‎تشخیص نبوده و شناسایی چهره تصاویر حرارتی، برای انسان بسیار سخت است. تبدیل تصاویر حرارتی به تصاویر نور مرئی، در حوزه انتقال محتوای تصویر یا ترجمه تصویر به تصویر قرار دارد. تاکنون، مدل‌های یادگیری عمیق بسیاری برای تبدیل تصاویر حرارتی به نور مرئی معرفی شده‌اند. از بین این مدل‌ها، شبکه‌های مولد تخاصمی توانسته‌اند به پیشرفت قابل‎توجهی در این زمینه دست پیدا کنند. در این مقاله، سعی شد تا شبکه‌ ClawGAN که به‌طور خاص برای تبدیل تصاویر حرارتی به نور مرئی ارائه شده‌است، بهبود داده‌شود. راهکار ما بر پایه‌ی ادغام تکنیک‌های موثر نظیر Unet++، Unet3+، شبکه خودتوجه در مولد معماری پایه است. بدین‎صورت، شبکه قادر خواهد بود تا در زمان انتقال محتوا از دامنه‌ حرارتی به دامنه‌ی نور مرئی، تصاویر با کیفیت بالاتری را تولید کند که قابل‎تشخیص از طریق چشم انسان بوده و دارای کمترین اعوجاج، تاری و نویز باشند. نتایج بدست‎آمده نشان داد که مولد پیشنهادی توانست باعث بهبود قابل‎توجه معیار‎های ارزیابی مانند MSE، PSNR، RMSE، UQI و PSNR-B شود.