ارائه یک الگوریتم زمانبندی جدید برای کاهش زمان محاسبات در محیط هادوپ

نویسندگان

1 دانشجوی کارشناسی‌ارشد، دانشگاه افسری و تربیت پاسداری امام حسین(ع)

2 مربی گروه کامپیوتر، دانشگاه علمی‌– کاربردی، دهدشت، ایران

doi
چکیده

امروزه پروژه متن‌باز هادوپ به‌همراه چهارچوب نگاشت-کاهش در بین مؤسسات، سازمان‌ها و محققین محبوبیت زیادی دارد که برای پردازش حجم انبوهی از داده‌ها به‌صورت موازی بر روی خوشه‌ای از کامپیوتر‌ها بسیار مناسب است. نگاشت-کاهش برای حل مشکلات محاسبات داده‌های حجیم معرفی شده است که از قاعده تقسیم-غلبه پیروی می‌کند. مانند هر جای دیگر، مبحث زمان و زمان‌بندی در نگاشت-کاهش از اهمیت بسیار بالایی برخوردار است. به‌همین دلیل در دهه اخیر الگوریتم‌های زمانبندی متعددی در این زمینه تدارک یافته است. ایده اصلی این الگوریتم‌ها افزایش نرخ محلی‌‌سازی داده، هم­زمان‌سازی، کاهش زمان پاسخ و زمان اتمام وظایف می‌باشد. اکثر این الگوریتم‌ها تک هدفه می‌باشند و فقط یکی از موارد ذکر شده را مورد هدف قرار می‌دهند. الگوریتم­های چند هدفه موجود فقط بر روی یکی از فازهای اول یا دوم نگاشت-کاهش تمرکز دارند. در این مقاله، یک الگوریتم زمان­بندی ترکیبی مبتنی بر اولویت‌بندی پویا کار‌ها و محلی‌‌سازی داده در محیط نگاشت‌-کاهش به نام "HSMRPL" ارائه می‌‌شود که هدف اصلی آن افزایش نرخ محلی‌سازی داده و کاهش زمان محاسبات می‌باشد. در این الگوریتم از دو روش اولویت‌بندی پویا و شناسه محلی‌‌سازی استفاده می‌شود. برای ارزیابی الگوریتم پیشنهادی، آن‌ را با الگوریتم‌های پیش‌فرض هادوپ و به کمک محک‌های استاندارد مقایسه کردیم. نتایج حاصله نشان می‌دهد که الگوریتم پیشنهادی ما نرخ محلی‌سازی را نسبت به الگوریتم FIFO، 5/18 درصد و نسبت به الگوریتم Fair، 4/10 درصد افزایش داده است. همچنین، الگوریتم پیشنهادی ما نسبت به الگوریتم FIFO، 8/3 درصد و نسبت به Fair، 4/13 درصد سریعتر است.