1 / 21

拼写校对及联合解码报告

拼写校对及联合解码报告. 赵安邦 2013 年 1 月. 目录. 研究背景 具体方法 框架 人工 规则拼写 校对 自动规则拼写校对 联合解码 实验及分析 维语 蒙语. 目录. 研究背景 具体方法 框架 人工 规则拼写 校对 自动规则拼写校对 联合解码 实验及分析 维语 蒙语. 研究背景. 研究背景. 不可避免. 很难避免. 研究背景. 维语中大量存在拼写不规范不一致的情况。 很多拼写错误是有明确原因的，可以寻找规律解决。 校正这些拼写错误后再翻译可以大大减少未登录词，进而提高 BLEU 值。 拼写错误在蒙语中也大量存在。.

cassady-beasley
Download Presentation

拼写校对及联合解码报告

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 拼写校对及联合解码报告 赵安邦 2013年1月

  2. 目录 • 研究背景 • 具体方法 • 框架 • 人工规则拼写校对 • 自动规则拼写校对 • 联合解码 • 实验及分析 • 维语 • 蒙语

  3. 目录 • 研究背景 • 具体方法 • 框架 • 人工规则拼写校对 • 自动规则拼写校对 • 联合解码 • 实验及分析 • 维语 • 蒙语

  4. 研究背景

  5. 研究背景 不可避免 很难避免

  6. 研究背景 • 维语中大量存在拼写不规范不一致的情况。 • 很多拼写错误是有明确原因的，可以寻找规律解决。 • 校正这些拼写错误后再翻译可以大大减少未登录词，进而提高BLEU值。 • 拼写错误在蒙语中也大量存在。

  7. 目录 • 研究背景 • 具体方法 • 判断是否是未登录词 • 拼写校对规则生成 • 联合解码 • 实验及分析 • 维语 • 蒙语

  8. 框架 • 核心思想：利用拼写校对模块产生候选，解码时对多个候选进行联合解码。

  9. 框架

  10. 判断是否是未登录词 • 在解码器读入的短语表中查找是否有这个单词，规则表存在一个trie树中，只需要查找第一层，复杂度O(lgn)。

  11. 拼写校对规则生成 • 人工规则 总结出现拼写错误的三个原因，根据这些原因和语言学知识人工写规则。

  12. 拼写校对规则生成

  13. 拼写校对规则生成 • 问题 这样抽取规则会抽取出过多的规则 • 解决 设置规则最大长度为3 设置频度阈值 • 效果 限制规则数量在1000条左右

  14. 拼写校对候选生成 • 抽取出规则后，遍历规则产生对未登录词的所有应该规则可能产生的拼写校对候选。 • 如果应用自动抽取规则，则可能产生的候选会特别多，则限制一个词最多只能使用一次规则进行变形。

  15. 联合解码 • Chiero使用CYK进行解码，而拼写校对模块只是对每个词产生多个候选，可以很简单地结合到CYK解码中。 • 实际做的时候，只需要在开始解码前，把多个候选保存在第一层的span中即可。

  16. 联合解码 • 原始CYK第一层 • 联合解码中CYK的第一层

  17. 目录 • 研究背景 • 具体方法 • 判断是否是未登录词 • 拼写校对规则生成 • 联合解码 • 实验及分析 • 维语 • 蒙语

  18. 联合解码 • 测试语料 测试语料使用实验室内部评测用的语料。新闻语料是CWMT2011的700句测试集。口语是内部测试使用的500句测试集。 • 解码器版本 ICT-Chiero 3.0

  19. 维语 • BLEU值测试 • 未登录词测试结果

  20. 蒙语

  21. 谢谢

More Related