خلاصه سازی خودکار متن

آغاز فعالیت سیستم های خلاصه سازی خودکار متن به سال ۱۹۵۰ برمی گردد. در آن زمان به دلیل کمبود کامپیوترهای قدرتمند و مشکلات موجود برای پردازش زبان های طبیعی، کارهای اولیه بر روی مطالعه ی ظواهر متن مانند موقعیت جمله و عبارات اشاره متمرکز شده بود. سال ۱۹۷۰ تا۱۹۸۰ هوش مصنوعی بکار آمد[AZZ99][DEJ79][GRA81][MCK95] [SCH77][YOU85] . ایده ی AI، استخراج نمایش های دانش مانند فریم ها یا الگوها برای شناسایی موجودیت های مفهومی از متن و استخراج روابط بین موجودیت ها با مکانیزم های استنتاج بود. مشکل اصلی آن است که الگوهای تعریف شده، محدودیت هایی دارند و ممکن است به تحلیل کامل موجودیت های مفهومی منجر نشود. از اوایل۱۹۹۰ تا به حال هم روش های بازیابی اطلاعات بکار گرفته شده است[AON97] [GOL99] [GON01] [HOV97] [KUP95] [MAN99]

[SAL97] [TEU97] [YEH02]. بیشتر این روش ها بر روی سطوح ظاهری متمرکز شده و وارد حوزه های معنایی نمی شوند.

Kupiec اولین الگوریتم را در این زمینه پیشنهاد داد .[KUP95] در این روش بر اساس مقادیر ویژگی های یک جمله، احتمال حضور آن در خلاصه، تخمین زده می شود. او عمل خلاصه سازی را به صورت یک مسئله ی دسته بندی، درنظرگرفت و دسته بندی کننده های بیزین را برای تعیین جملاتی که باید در خلاصه وارد شوند، بکار برد.

Chuang و Yang چندین الگوریتم مانند درخت تصمیم و دسته بندی کننده را برای استخراج قطعات جمله پیشنهاد دادند [CHU00]. این روش های خلاصه سازی در یک حوزه خاص عملکرد خوبی دارند. اما برای یادگیری صحیح، نیازمند مجموعه های آموزشی بسیار بزرگی هستند. در سال ۱۹۹۷، Barzilay روشی برای تولید خلاصه با پیدا کردن زنجیره های لغوی معرفی کرد که به توزیع کلمه و اتصالات لغوی بین آنها برای تقریب زدن محتوا و ارائه یک نمایش از ساختار لغوی به هم پیوسته ی متن اتکا می کرد [BAR97].

از روش های آماری هم در خلاصه سازی متن زیاد استفاده شده است که از جمله آنها می توان به روش های مبتنی بر مدل موضوع [WAN09][HAR05] و روش های مبتنی بر گراف

 [MIH05][MIH04] اشاره نمود.

چنانکه شاهد هستیم علی رغم اینکه بحث خلاصه سازی از سال ها قبل مطرح شده است، اما همچنان ضعف های زیادی در این زمینه وجود دارد و کارهای بسیاری برای رسیدن به وضعیتی مطلوب در این زمینه بایستی انجام پذیرد.

امروزه با رشد چشمگیر حجم مستندات منتشر شده در وب و نیاز اساسی به نگهداری، دسته­بندی، بازیابی و پردازش ماشینی و سریع آنها توجه به پردازش زبان طبیعی و بهره­گیری از ابزارهایی نظیر خلاصه‌سازهای خودکار و مترجم‌های ماشینی، بیش از پیش خودنمایی می­کند. حجم عظیم مطالب از یک سو و محدود بودن زمان از سوی دیگر موجب شد تا محققان به دنبال راهکاری برای انتخاب درست و فشرده مطالب گردند. خلاصه‌سازی خودکار متن به عنوان هسته‌ی مرکزی طیف گسترده‌ای از ابزارهای پردازشگر متن از سال‌ها پیش همواره به عنوان یک موضوع مهم مورد بررسی و تحقیق قرار گرفته است.

خلاصه‌سازی خودکار سند، یعنی تولید یک نسخه مختصرتر از سند اصلی توسط یک برنامه رایانه‌ای به نحوی که ویژگی‌ها و نکات اصلی سند اولیه حفظ شود[MAN99]. بنابر تعریف ارائه شده در استاندارد ISO215، خلاصه “یک بازگویی مختصر از سند” می­باشد. خلاصه­سازی از دیدگاه­های مختلف دارای تقسیم­بندی­های متفاوتی می­باشند. از یک دیدگاه به دو دسته خلاصه گزینشی و چکیده­ای تقسیم می­شوند. در خلاصه­های گزینشی، متن خلاصه از کنار هم قرار گرفتن کلمات و جملات انتخابی متن مرجع بوجود می­آید؛ درحالیکه در خلاصه­های چکیده­ای، لغات تغییر می­یابند و جملات خلاصه می­توانند بازتولید گردند. دسته­بندی­های دیگری هم برای روش­های خلاصه­سازی وجود دارد که در قسمت­های بعدی به آنها پرداخته شده است.

خلاصه­سازی خودکار توسط رایانه انجام می­شود و به همین دلیل تفاوت­های زیادی با خلاصه­ای که توسط انسان تولید می­شود دارد. انسان­ها با توجه به هوش و شعور ذاتی خود قادر به درک و فهم مفاهیم موجود در متن و ارتباط بین آنها می­باشند و این در حالی است که انجام این عملیات توسط ماشین کار بسیار دشوار و پیچیده­ای می­باشد.

هدف نهایی سیستم­های خلاصه­سازی تولید خلاصه­هایی با کیفیت نزدیک به خلاصه­های انسانی می­باشد. اما برای رسیدن به این مهم چالش­های زیادی پیش رو وجود دارد. مهم­ترین مشکل در گام نخست انتخاب مناسب­ترین جملات متن اصلی می­باشد به نحوی که مطالب مهم و اصلی متن را پوشش داده، از پیوستگی و خوانایی بالایی برخوردار بوده، دارای ساختار گرامری مناسبی باشد و در عین حال فاقد افزونگی و جملات تکراری یا شبیه به هم باشد.