Noisy channel
دیگر موارد کاربرد: ترجمه ماشینی، pos tagging ، تشخیص گفتار
با داشتن درخت غیرفشرده به دنبال زیردرخت فشرده اولیه هستیم
جمله کوتاه s و جمله بلند t
استفاده از فرمول های احتمال شرطی
P(s | t) = P(s) · P(t | s)
محاسبه احتمال P(s | t) برای هر زیر درخت ممکن با استفاده از پیکره
انتخاب زیر درخت محتمل تر
Decision tree
آموزش درخت بر اساس پیکره
انجام عمل shift یا reduce
آمیختن اطلاعات
آمیختن اطلاعات
Barzilay] و همکارانش، 1999[
استفاده از چندین سند
خوشه بندی جملات اسناد با استفاده از مولفه SimFinder
(Hatzivassiloglou و همکارانش ، 1999)
تجزیه جملات به عبارات
آمیختن اطلاعات
تبدیل عبارات به فرم DSYNT
یک بازنمایی وابستگی که توسط یک تجزیه گر آماری ساخته می شود
فرم DSYNT برای جمله “U.S. fighter was shot by missile.”
یافتن اشتراک بیشینه ای که همه جمله های خوشه را در برگیرد
دادن خروجی مرحله قبل به مولد زبان FUF/SURGE و گرفتن جمله خروجی
حذف کلمات اضافه
عناوین خبرگزاری ها
در ابتدای بسیاری از جملات نام خبرگزاری ذکر شده که برای ما بار معنایی ندارد
BONN, April 2 (Xinhua) --
نقل قول ها
در برخی جملات و در ابتدا ویا انتهای آن ها خبرگزاری ها خبر را از کسی و یا از جایی نقل کرده اند.
یافتن این زیرجمله ها توسط الگوی خاصی که دارند قابل انجام است
نهاد + فعل هایی از قبیل: گفت، بیان کرد، اشاره کرد و...
European Central Bank President Wim Duisenberg said