تولید پیکره برچسب‌خورده واحدساز زبان فارسی با درنظر‌گرفتن ملاحظات زبان‌شناسی رایانشی آن

نویسندگان

1 پژوهشگاه ارتباطات و فناوری اطلاعات

2 پژوهشگاه ارتباطات و فناوری اطلاعات

3 پژوهشگاه ارتباطات و فناوری اطلاعات

doi
10.52547/jsdp.19.3.175
چکیده

متون نگاشته‌شده فارسی به‌طورمعمول دو مشکل ساده، ولی مهم دارند. مشکل نخست واژه‌های چندواحدی هستند که از اتصال یک واژه به واژه­‌های بعدی حاصل می­شوند. مشکل دیگر واحدهای چندواژه­ای هستند که از جداشدگی واژه‌­هایی که با هم یک واحد واژگانی را تشکیل می‌­دهند، حاصل می‌شوند. ابزار واحدساز در زبان فارسی ...