دوستان عزیز برای پیدا کردن سریع مطالب مورد نظر خود، می توانید از قسمت جستجوی سریع در سایت، یک یا چند کلمه کلیدی مورد نظر خود را جستجو نمایید.
یا اینکه بر روی دو آیکون سبز رنگ "طبقه بندی موضوعات" یا "جستجوی کلمات کلیدی" در سمت راست و چپ موجود در بالای سایت کلیک نمایید...
در صورت بروز مشکل در پرداخت الکترونیکی؛ میتونید ایمیلی ، پیامکی، تلفنی یا تلگرامی بگید تا فایلتون براتون ارسال بشه.
آموزش کار با Rouge - ابزار ارزیابی خلاصه سازها | تعاونی نیرومندسازی تحقیقات
طبقه بندی موضوعات
جستجوی کلمات کلیدی
چهارشنبه , ۱۷ آذر ۱۳۹۵
آخرین مطالب
خانه -> پردازش متن -> خلاصه سازی -> آموزش کار با Rouge – ابزار ارزیابی خلاصه سازها

آموزش کار با Rouge – ابزار ارزیابی خلاصه سازها

ابزار ارزیابی Rouge( A Package for Automatic Evaluation of Summaries )

ابزار Rouge معروفترین ابزار برای ارزیابی در خلاصه سازی خودکار می باشد که البته از آن در دیگر کاربردهای پردازش زبان طبیعی و بازیابی اطلاعات هم استفاده شده است. Rouge مخفف جمله ی “Recall-Oriented Understudy for Gisting Evaluation” به معنای “ارزیابی مبتنی بر یادآوری برای خلاصه” می باشد. این ابزار شامل معیارهایی برای تعیین کیفیت خلاصه ها به صورت خودکار، از طریق مقایسه آنها با خلاصه های تولید شده توسط انسان (خلاصه های ایده آل) می باشد. این معیار ها تعداد واحدهایی که بین خلاصه های سیستمی و خلاصه های انسانی هم پوشانی دارند نظیر n تایی ها، رشته ی کلمات و جفت کلمات را محاسبه می نمایند. از جمله این معیار ها به ROUGE-N، ROUGE-L، ROUGE-W و ROUGE-S می توان اشاره کرد. در ادامه به این معیار ها اشاره می کنیم.

 

 

 

معیار ارزیابی ROUGE-N

معیار ROUGE-N ، روشی است که مبتنی بر فراخوانی n تایی ها بین یک خلاصه سیستمی و مجموعه ای از خلاصه های انسانی می باشد. ROUGE-N توسط فرمول زیر محاسبه می شود

در این معادله، n بر گرفته شده از طول n تایی بوده ()  و   هم حداکثر تعداد  n تایی هایی است که هم در خلاصه ی تولید شده توسط سیستم و هم در خلاصه مرجع ( تولیده شده توسط انسان) رخداد است.

پر واضح است که معیار ROUGE-N یک معیار مبتنی بر فراخوانی می باشد چراکه  مخرج کسر معادله، مجموع کل تعداد n تایی های

است که در خلاصه های مرجع وجود دارد. معیار مشابه BLEU که در ترجمه ماشینی مورد استفاده قرار می گیرد یک روش مبتنی بر دقت می باشد. این معیار میزان انطباق یک ترجمه ماشینی را با تعدادی از ترجمه های انسانی، از طریق محاسبه ی میزان درصد n تایی هایی که بین دو ترجمه مشترک هستند ارزیابی می کند.

لازم به یادآوری است که در محاسبه ROUGE-N هرچه تعداد خلاصه های مرجع بیشتر شود ، تعداد n تایی ها هم در مخرج کسر معادله بیشتر خواهد شد که این امر معقول می باشد چراکه ممکن است چندین خلاصه خوب موجود باشد. هر زمان که تعدادی خلاصه مرجع به مجموعه خلاصه های ایده آل افزوده شود، در حقیقت فضای خلاصه های جایگزین و مطلوب افزوده خواهد شد.

در صورتی که از چندین مجموعه مرجع استفاده شود، ROUGE-N بین هر جفت خلاصه ی سیستمی و هر یک از اعضای مجموعه خلاصه های انسانی، محاسبه خواهد شد و سپس بیشترین امتیازی که بدست آمده باشد به عنوان امتیاز نهایی لحاظ خواهد شد. این موضوع به شکل زیر هم بیان می شود

در پیاده سازی ROUGE  از عملیات Jackknifing استفاده می شود.بدین ترتیب که ابتدا M تا مجموعه ی M-1 عضوی تشکیل داده می شود و سپس به عنوان ورودی به ROUGE داده می شود. میانگین امتیازاتی که به هر کدام از این مجموعه ها داده می شود به عنوان امتیاز نهایی در نظر گرفته می شود. استفاده از عملیات Jackknifing باعث می شود که بتوانیم انسان هایی که در تولید خلاصه شرکت کرده اند را ارزیابی کنیم.

معیار ارزیابی ROUGE-L: Longest Common Subsequence    …

معیار ارزیابی ROUGE-W: Weighted Longest Common Subsequence     …..

معیار ارزیابی ROUGE-S: Skip-Bigram Co-Occurrence Statistics   ….

معیار ارزیابی ROUGE-SU: Extension of ROUGE-S    ….

ارزیابی ROUGE

برای ارزیابی این ابزار، امتیازات داده شده توسط ROUGE و امتیازات داده شده توسط انسان را برای تعدادی خلاصه های سیستمی با هم مقایسه کرده اند. یک سیستم مناسب باید به خلاصه های خوب امتیاز بالا و به خلاصه های بد امتیاز پایین دهد. با استفاده از داده های DUC ، ضریب همبستگی لحظه ای پیرسون، ضریب هبستگی درجه ای اسپیرمن و ضریب همبستگی کندال بین میانگین امتیازات داده شده توسط ROUGE و امتیازات داده شده توسط انسان (امتیازی که به میزان پوشش دادن مطالب توسط خلاصه ها به آنها داده شده است) برای خلاصه های سیستمی محاسبه شده است. همچنین به منظور ارزیابی تاثیر ریشه یابی و حذف stopword ها، آزمایشی ترتیب داده شد.

آموزش کار با Rouge – ابزار ارزیابی خلاصه سازها

موارد موجود در فایل فشرده:
۱. کد ابزار Rouge که بایستی در لینوکس اجرا شود.
۲. ساختار شاخه ها جهت اجرای کد و گرفتن خروجی
۳. دستورالعمل ها و کدهای لازم جهت کار با Rouge
4. سه مقاله انگلیسی مرجع معرفی Rouge
5. مستند فارسی توضیح معیارهای ارزیابی خلاصه سازی در ابزار Rouge
6. صفحات و پیوندهای اینترنتی مفید در مورد ابزار Rouge

 

لینک دانلود دیتاست خلاصه سازی   – DUC 2003 & DUC 2007 dataset Summarizatoin

http://www.tnt3.ir/duc-2003-duc-2007-dataset-summarizatoin

 

برای مشاهده مطالب بیشتر مربوط به خلاصه سازی حتما دو لینک زیر رو ببینید:

 

کاربر گرامی

برای دانلود فایل های مورد نظرتان بایستی بر روی دکمه "افزودن به سبد خرید" کلیک نمایید .

پس از چند ثانیه ، فایل مورد نظر شما به سبد خریدتان اضافه گردیده و این دکمه تبدیل به دکمه "پرداخت" خواهد شد.

با کلیلک بر روی دکمه "پرداخت" ، وارد صفحه پرداخت خواهید شد .

با وارد کردن اطلاعات و ایمیل خود ، فایل مورد نظر به ایمیل شما ارسال گردیده و همچنین لینک دانلود فایل بلافاصله برایتان به نمایش درخواهد آمد.

– قابل پرداخت با تمام کارتهای بانکی + رمز دوم

– پشتیبانی سایت ۰۹۳۵۹۵۲۹۰۵۸ – Info@tnt3.ir – universitydatainfo@yahoo.com




سفارش ترجمه متون عمومی و تخصصیفروشگاه اینترنتی کتاب - خرید آنلاین کتاب - دانلود کتاب الکترونیکی

جوابی بنویسید

ایمیل شما نشر نخواهد شد

شش + 15 =

شما می‌توانید از این دستورات HTML استفاده کنید: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>


This site is using the Seo Wizard plugin by http://seo.uk.net/