ترجمه تصویر حرارتی به نور مرئی با استفاده از شبکههای مولد تخاصمی
نویسندگان
1 دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران
2 دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان، سمنان، ایران
doi
10.22075/jme.2024.34522.2685چکیده
سیستمهای تصویربرداری حرارتی، با توجه به ویژگیهای منحصربهفرد خود، مانند توانایی ثبت تصاویر در شرایط آبوهوای مختلف، ثبت تصاویر در شب و یا دارا بودن خاصیت ضدجعل، کاربردهای نظامی، امنیتی و قضایی ویژهای دارند. با این حال، تصاویر ثبتشده توسط دوربینهای حرارتی، با استفاده از چشم انسان قابلتشخیص نبوده و شناسایی چهره تصاویر حرارتی، برای انسان بسیار سخت است. تبدیل تصاویر حرارتی به تصاویر نور مرئی، در حوزه انتقال محتوای تصویر یا ترجمه تصویر به تصویر قرار دارد. تاکنون، مدلهای یادگیری عمیق بسیاری برای تبدیل تصاویر حرارتی به نور مرئی معرفی شدهاند. از بین این مدلها، شبکههای مولد تخاصمی توانستهاند به پیشرفت قابلتوجهی در این زمینه دست پیدا کنند. در این مقاله، سعی شد تا شبکه ClawGAN که بهطور خاص برای تبدیل تصاویر حرارتی به نور مرئی ارائه شدهاست، بهبود دادهشود. راهکار ما بر پایهی ادغام تکنیکهای موثر نظیر Unet++، Unet3+، شبکه خودتوجه در مولد معماری پایه است. بدینصورت، شبکه قادر خواهد بود تا در زمان انتقال محتوا از دامنه حرارتی به دامنهی نور مرئی، تصاویر با کیفیت بالاتری را تولید کند که قابلتشخیص از طریق چشم انسان بوده و دارای کمترین اعوجاج، تاری و نویز باشند. نتایج بدستآمده نشان داد که مولد پیشنهادی توانست باعث بهبود قابلتوجه معیارهای ارزیابی مانند MSE، PSNR، RMSE، UQI و PSNR-B شود.