بهبود کارایی شبکه عصبی کانولووشنال با استفاده از تابع ضرر وزن‌دار افزایشی برای مقابله با نامتوازنی دسته‌ای

نویسندگان

1 دانشیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی مالک اشتر

2 استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی مالک اشتر

3 استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی مالک اشتر

4 دانشجوی دکتری، دانشکده مهندسی برق و کامپیوتر، دانشگاه صنعتی مالک اشتر

doi
چکیده

باتوجه ‌به اینکه بیشتر مسائل دنیای واقعی از ﻗﺒﯿﻞ تشخیص تقلب، شناسایی خطا،  ﺗﺸﺨﯿﺺ ﻧﺎﻫﻨﺠﺎری، ﺗﺸﺨﯿﺺ ﭘﺰشکی و تشخیص بدافزار نامتوازن هستند، دسته­بندی داده­ﻫﺎ در مسائل ﻧﺎمتوازن ﺑﻪ ﻋﻨﻮان یکی از ﭼﺎﻟﺶ­ﻫﺎی اصلی در حوزة داده­ﮐﺎوی، ﻣﻮرد ﺗﻮﺟﻪ ﺑﺴﻴﺎری از ﻣﺤﻘﻘﺎن و ﭘﮋوﻫﺶﮔﺮان ﻗﺮارﮔﺮﻓﺘﻪ اﺳﺖ. در یادگیری نامتوازن، ﻣﻌﻤﻮﻻ ﺗﻌﺪاد ﻧﻤﻮﻧﻪ­ﻫﺎی یکی از دسته­ﻫﺎ ﺧﯿلی ﺑﯿﺸﺘﺮ از ﻧﻤﻮﻧﻪﻫﺎی دسته دیگر اﺳﺖ و یا هزینه دسته­بندی اشتباه در دودسته متفاوت است. شبکه­های عصبی کانولووشنال به‌رغم موفقیت­های چشمگیری که در دسته­بندی داده­ها دارند، در مسائل نامتوازن با مشکل مواجه می­شوند چرا که آنها به‌صورت پیش­فرض، ﺗﻮزﯾﻊ دسته­ﻫﺎ را متوازن و هزینه دسته­بندی را مساوی در ﻧﻈﺮ ﮔﺮﻓﺘﻪ می­گیرند، ازاین‌رو در دسته­بندی نامتوازن، نمی­توان به ﻧﺘﺎﯾﺞ قابل‌قبولی دست‌یافت؛ زﯾﺮا شبکه ﺑﻪ ﺳﻤﺖ ﻧﻤﻮﻧﻪ­ﻫﺎی آﻣﻮزشی دسته ﺑﺰرگ­ﺗﺮ ﻣﺘﻤﺎﯾﻞ می‌شود ﮐﻪ اﯾﻦ ﻣﻮﺿﻮع ﺳﺒﺐ اﻓﺰاﯾﺶ ﺗﻌﺪاد ﺧﻄﺎﻫﺎ در تشخیص نمونه­ﻫﺎی ﻣﺜﺒﺖ می­ﺷﻮد.  یکی از راهکارهای کم­هزینه برای غلبه بر نامتوازنی داده­ها در شبکه­های  عصبی کانولوشنال استفاده از تابع ضرر به نفع دسته اقلیت است، در این مقاله تابع ضرری جدیدی معرفی شده است که به‌صورت تدریجی و با پیشرفت آموزش، اهمیت دسته اقلیت را افزایش می­دهد تا در انتهای آموزش به مقدار مشخص شده برسد و از اهمیت داده­های دسته اکثریت بکاهد، این امر باعث می­شود تا هم بتوانیم از قدرت آموزشی همه داده­ها استفاده کنیم و هم از غلبه داده­های دسته اکثریت جلوگیری کنیم. نتایج آزمایش روی سه مجموعه‌دادة مصنوعی، تشخیص فعالیت­های انسان و Cifar-10، همگرایی و کارایی روش پیشنهادی را نشان می­دهند، روش پیشنهادی با روش­های آدابوست مبتنی بر درخت تصمیم، شبکه کانولوشنال مبتنی بر آنتروپی متقابل و آنتروپی متقابل وزن­دار، روش SMOTE و روش CNN تجمعی مقایسه شده است. به ترتیب با کسب دقت 6/94، 92/92 و 23/69 در سه مجموعه­داده  (Cifar-10 با نرخ نامتوازنی 5 درصد) توانست از دیگر روش­ها پیشی بگیرد و دقت در مجموعه­داده مصنوعی نسبت به روش سنتی آدابوست مبتنی درخت تصمیم، 72/17 بالاتر است.