بهبود خلاصه‌سازی خودکار متون فارسی با استفاده از روش‌های پردازش زبان طبیعی و گراف شباهت

نویسندگان

1 پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک)

2 دانشگاه صنعتی امیرکبیر

3 دانشگاه صنعتی امیرکبیر

doi
10.35050/JIPM010.2018.084
چکیده

بخش قابل توجهی از اطلاعات قابل دسترس در پایگاه داده­‌های متنی ذخیره شده­است که شامل مجموعه بزرگی از اسناد و  منابع مختلف (مانند مقالات خبری، کتاب­‌ها، ایمیل­‌ها و صفحات وب) است. افزایش چشمگیر این نوع اطلاعات، وجود ابزارهایی برای ارزیابی خودکار منابع متنی را بیش از هر زمان دیگری آشکار می­‌کند. در این میان خلاصه­‌سازی خودکار متون یکی از راهکارهایی است که از اتلاف وقت کاربران می­‌کاهد. خلاصه­‌سازی استخراجی به معنای انتخاب مهمترین جملات یک متن با هدف کوتاه نمودن آن است به شکلی که اطلاعات مهم متن ورودی را در بر داشته باشد. در این پژوهش با بکارگیری و ترکیب روش‌های پردازش زبان طبیعی دقت خلاصه­‌های استخراجی بهبود می‌یابد و و روشی برای  اصلاح الگوریتم‌ها و معیارهای امتیازدهی به جملات، ارائه می‌شود. در روش پیشنهادی برای  امتیازدهی به کلمات، از برچسب نقش دستوری کلمات در جمله به عنوان ضریب اهمیت کلمات استفاده می‌شود که در نتیجه با  انتخاب بهتر کلمات و جملاتی که بار محتوایی بیشتری دارند، باعث دقت خلاصه‌سازی افزایش می‌یابد. علاوه برآن، برای انتخاب جملات مناسب از متن، ازروش‌های مبتنی بر گراف شباهت بکارگرفته می‌شود به‌گونه‌ای که  با تغییر وزن جملات انتخاب شده  در پیمایش گراف، در هر گام  چالش افزونگی اطلاعات برطرف می‌شود.در نهایت نتایج بدست آمده با معیارهای استانداردی مانند «بازخوانی» و «دقت» و بر روی یک پیکره متنی استاندارد فارسی نیز ارزیابی می‌شود.