خلاصه سازی استخراجی متن با استقاده از مجموعه الگوریتم‌های خلاصه‌سازی و روش Sa-TRB

نویسندگان

1 دپارتمان فنی مهندسی دانشگاه تبریز - تبریز - ایران

2 استاد گروه مهندسی کامپیوتر - دانشکده مهندسی برق و کامپیوتر دانشگاه تبریز- تبریز- ایران

doi
10.22034/abmir.2023.20650.1035
چکیده

خلاصه‌سازی استخراجی متن یک تکنیک ضروری در پردازش زبان طبیعی است که با استخراج مهمترین جملات به تولید نسخه‌های فشرده از متن کمک می‌کند. در خلاصه‌سازی استخراجی جملاتی که حاوی اطلاعات مفید و مرتبط هستند برای خلاصه نهایی انتخاب می‌شوند. به منظور شناسایی این جملات الگوریتم‌های متفاوتی وجود دارند که عملکرد و خلاصه ایجاد شده از هرکدام بر اساس نوع متن و اندازه خلاصه مورد نیاز متفاوت است. در این مقاله روشی با نام Sa-TRB ارائه شده‌است، که برگرفته از دو الگوریتم TextRank و BERT بوده و علاوه بر استفاده از این دو روش از اشتراک جملات ایجاد شده سایر الگوریتم‌ها نیز بهره می‌برد تا دقت بالایی در انتخاب جملات خلاصه نهایی داشته باشد. مهمترین معیار برای ارزیابی عملکرد الگوریتم‌ها کیفیت خلاصه نهایی آنهاست، چنانکه هر چقدر خلاصه نهایی ایجاد شده توسط این الگوریتم‌ها به خلاصه ایجاد شده توسط انسان مشابه باشد، کیفیت خلاصه ایجاد شده بهتر است. برای به دست آوردن اندازه این تشابه از معیارهای روش ROUGE استفاده می‌شود. در نهایت با انجام آزمایش‌هایی روی دیتاست cnn-dailymail با اندازه خلاصه‌های مختلف نشان داده می‌شود که روش پیشنهادی با افزایش اندازه خلاصه مورد نیاز با وجود کاهش در معیار فراخوانی دارای دقت، امتیاز و در نتیجه کیفیت بالاتر خلاصه نهایی است، به طوری که در دو آزمایش آخر که نرخ فشردگی 20 و 25 درصد است، امتیاز روش پیشنهادی به 24.68 و 23.34 درصد رسیده است که تقریبا یک درصد از بهترین روش‌های آزمایش شده دیگر بهتر است.

کلیدواژه‌ها