تشخیص دیپ فیک در تصویر با استفاده از مدل ترکیبی مبتنی بر شبکه عصبی کانولوشنی عمیق

نویسندگان

1 1. دانشجوی کارشناسی، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان

2 استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان

doi
10.22075/jme.2023.31438.2511
چکیده

دیپ‌فیک به دسته‌ای از داده‌های جعلی و مصنوعی اطلاق می‌گردد که در آن محتوای جعلی بر اساس محتوای موجود تولید می‌گردد. این محتوا می‌تواند شامل تصویر، ویدیو و سیگنال‌های صوتی باشد. تولید دیپ‌فیک مبتنی بر شبکه-های زایشی عمیق می‌باشد که موجب دستکاری داده‌ها یا تولید تصاویر و ویدیوهای ساختگی استفاده می‌شود. در سال‌های اخیر، مطالعات زیادی برای درک نحوه عملکرد دیپ‌فیک‌ها انجام شده است و روش‌های بسیاری مبتنی بر یادگیری عمیق برای شناسایی ویدیوها یا تصاویر تولید شده توسط دیپ‌فیک و نیز تمایز آنها از تصاویر واقعی معرفی شده‌ است. به منظور بهبود دقت تشخیص دیپ‌فیک و نیز استفاده همزمان از قابلیت‌های انواع مختلف شبکه‌های عصبی کانولوشنی، در این مقاله، یک مدل ترکیبی با استفاده از چهار شبکه عصبی کانولوشنی ِDenseNet201، EfficientNetB2، Inception-ResNet-V2 و ResNet152 ارائه می‌گردد. با تکیه بر قابلیت‌های بالای این شبکه‌ها در استخراج ویژگی‌های موثر از تصویر ورودی، مدل پیشنهادی قادر به تشخیص همزمان دیپ‌فیک بودن یا نبودن تصویر ورودی توسط این چهار مدل می‌باشد. نتایج ارائه شده بر روی سه پایگاه داده 140k real and fake faces، DFDC faces و Deepfake and real images حاکی از بهبود نتایج نسبت به مدل‌های موجود می‌باشد.