1 / 48

机器翻译研究现状

机器翻译研究现状. 史晓东 mandel@xmu.edu.cn http://210.34.19.214 12 July 2004 于 复旦大学. 大纲. 从 863 评测谈起 机器翻译：流行的和过时的 统计机器翻译及其趋势 机器翻译和机助翻译 厦门大学统计机器翻译讨论班. 从 863 评测谈起. 去年的机器翻译评测结果：（英译汉）. 去年的机器翻译评测结果：（汉译英）. JHU Chinese-English MT score:. 我的简单评测：采用 NIST mt-eval version 10 的简单数据.

luella
Download Presentation

机器翻译研究现状

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 机器翻译研究现状 史晓东 mandel@xmu.edu.cn http://210.34.19.214 12 July 2004 于 复旦大学

  2. 大纲 • 从863评测谈起 • 机器翻译：流行的和过时的 • 统计机器翻译及其趋势 • 机器翻译和机助翻译 • 厦门大学统计机器翻译讨论班

  3. 从863评测谈起 • 去年的机器翻译评测结果：（英译汉）

  4. 去年的机器翻译评测结果：（汉译英）

  5. JHU Chinese-English MT score:

  6. 我的简单评测：采用 NIST mt-eval version 10 的简单数据 • nist sample tst: 4.0011 • neon 汉英 (a piece of shit) : 2.8849 • 华建译通英汉双向超智能版（2002）： 3.1963

  7. 评测驱动系统：不容置疑 • 自动评测让我们知道什么是最好的系统 • 但是，目前（863也好，NIST也好），国内外所有的评测数据（至少是汉英）都不完全公开。 • 难以在一个公正的平台上来重现评测结果，从而更快地促进技术进步 • 仅仅是钱的问题？ • 系统甚至迎合评测进行训练(Och 2003)

  8. 不是结论 • 就汉英系统而言，国外的已经超过国内的。USC, CMU, JHU, RWTH Aachen, IBM，哪一个都是响当当的名字 • 国内，华建？，自动化所？哈工大？，中软？东北大学？计算所？北大? 清华？ • 华建在产业化方面取得了很大的成功。国内的通病是研究气氛不太活跃。

  9. 机器翻译：流行的和过时的 • Data-driven MT, esp. SMT is now in Vogue • 传统的基于规则的系统，在学术会议上不再有人提起 • 商业化MT:虽然规则系统仍在中流地位，但SMT打着旗号咆哮崛起

  10. SMT的雄心（摘自Language Weaver 公司）

  11. 显然，事情往往不是那么简单 • SMT从40年代末Weaver就提出。1990年IBM的Brown等人才精确描述并加以实现。1996年IBM突然放弃。1999年JHU讨论班以后渐渐中兴。现在则如日中天。但是，SMT并不能解决一切问题。 • 螺旋式上升是一切事物发展的规律，新事物的成长总是伴随着对旧事物的矫枉过正

  12. SMT的优缺点 • 优点 • 无需人工干预，利用语料库直接训练得到机器翻译系统。可以利用海量语料库； • 系统开发周期短； • 由于采用语言模型，译文质量机器味少； • 缺点 • 时空开销相对大； • 需要较大的语料库，翻译结果受语料库影响很大，对训练语料库中未出现的语言现象处理不好； • 缺乏深层次理解，解决深层或长距离相关性比较困难

  13. 经典的统计机器翻译 • 基于信源信道思想的IBM模型 • IBM的Peter Brown等人首先提出 • 目前影响最大 • 几乎成为统计机器翻译的同义词

  14. IBM统计机器翻译基本方程式 • 设从源语言S翻译为目标语言T，给定s，求t • P.Brown称上式为统计机器翻译基本方程式 • 语言模型：P(t) • 翻译模型：P(s|t) • 语言模型反映流利度(fluency，达) • 翻译模型反映忠实度(adequacy，信) • 从可能的译文中求出最佳译文，称为decoding

  15. 两个模型好于单用翻译模型 • 如果直接采用翻译模型，就需要根据上下文建立复杂的上下文条件概率模型，条件变量包括翻译、词序变化等 • 如果采用两个模型，翻译模型可以相对简单： • 如翻译模型：可以不考虑上下文而只考虑单词之间的翻译概率 • 语言模型：一般采用n元模型,也可采用PCFG等

  16. 翻译模型与对齐 引入隐含变量：对齐a 对齐：建立源语言句子和目标语言句子的翻译单位之间的对应关系，以便与计算翻译概率。IBM模型中，建立的是word for word的翻译模型

  17. IBM提出了5个翻译模型 • Model 1仅考虑word for word 的互译概率 • Model 2加入了词的位置变化的概率 • Model 3加入了一个词翻译成多个词的概率 • Model 4：位置变化依赖于前一位置以及对应的译词 • Model 5：nondeficient version of Model 4

  18. IBM Model 3

  19. IBM翻译模型的参数训练 • GiZA++，Och所写 • 可以免费下载

  20. SMT decoding • 经典的算法：stack decoder, 借自语音识别。改进：A*搜索 • 贪心搜索：从一个可能性较大的翻译进行改进 • 转化为邮递员问题（TSP），用动态规划求解, Beam搜索

  21. IBM方法的问题 • 词对词的翻译：翻译三角形的最低层次 • 没有短语的概念，没有词法（taken，took，take都是不同的词汇），非对称性（只能一对多，不能多对一），n元语言模型太简单（无法描述非局部限制），......

  22. 统计机器翻译趋势：翻译三角形：Vauquois pyramid IBM model 1-5

  23. 王野翊的改进 • 背景：德英口语翻译系统 • 语法结构差异较大 • 数据稀疏（训练数据有限） • 改进：两个层次的对齐模型 • 粗对齐：短语之间的对齐 • 短语识别 • 细对齐：短语内词的对齐 • 词语聚类：基于互信息的方法 • A*搜索 • 结果 • 机器翻译的正确率提高：错误率降低了11% • 提高了整个系统的效率：搜索空间更小，速度更快

  24. Och等人的改进 • 背景：VerbMobil的一个模块 • 改进 • 语言模型：基于类的五元语法，回退法平滑 • 基于类的模型：词语自动聚类（解决数据稀疏） • 翻译模型：基于对齐模板（Alignment Template）的方法 • 模板: 类的序列 • 短语对齐：模板对齐+词汇选择 • 用双向HMM 对齐模型得到对齐模板

  25. Yamada和Knight的改进 • 基于语法的翻译模型（Syntax-based TM） ： • 输入是源语言句法树，输出是目标语言句子 • 翻译的过程：reorder,insert,translate • 每个内部结点的子结点随机地重新排列 • 在每一个结点的左边或右边随机插入一个单词 • 左、右插入和不插入的位置取决于父结点和当前结点标记 • 插入哪个词的概率只与被插入词有关，与位置无关 • 对于每一个叶结点进行翻译：词对词的翻译概率 • 输出译文句子

  26. Direct Maximum Entropy Translation Model • 基于最大熵的统计机器翻译模型 • 源于基于特征的自然语言理解（IBM的Papineni） • RWTH Aachen的Och提出 • 也称为log-linear models

  27. Direct Maximum Entropy Translation Model(2) 假设从句子f 翻译成e，h1(e,f), …, hM(e,f)分别是e、f上的M个特征函数，λ1, …,λM 是与这些特征分别对应的M个参数，那么直接翻译概率可以用以下公式给出：

  28. Direct Maximum Entropy Translation Model(3) 对于给定的f，其最佳译文e可以用以下公式表示：

  29. Direct Maximum Entropy Translation Model(4) • 取以下特征和参数时等价于IBM信源信道模型： 仅使用两个特征： • h1(e,f)=p(e) • h2(e,f)=p(f|e) • λ1＝λ2＝1

  30. Direct Maximum Entropy Translation Model(5) • 参数训练 • 最优化后验概率准则：这个判断准则是凸的，存在全局最优（但存在over-fitting风险） • 考虑多个参考译文：

  31. Direct Maximum Entropy Translation Model(6) • Och采用的一些特征函数： • Pr(e),Pr(f|e),Pr(e|f)； • 句子长度：对于产生的每一个目标语言单词进行惩罚(注意IBM模型给予短句子更多的概率)； • 其他语言模型：如一个基于类的语言模型； • 词典特征：计算给定的输入输出句子中有多少词典中存在的共现词对。 • 动词短语个数是否相符 • ....(其他语法、语义、语用特征)

  32. Direct Maximum Entropy Translation Model(7) • 经典的信源信道模型只有在理想的情况下才能达到最优，对于简化的语言模型和翻译模型，取不同的参数值实际效果更好； • 最大熵方法扩充了统计机器翻译的思路：允许选择有区别性的语言和翻译特征函数。

  33. 最大熵方法和短语对齐成了SMT系统的两大基本特征最大熵方法和短语对齐成了SMT系统的两大基本特征 • CMU的机器翻译系统 (Vogel) • JHU的机器翻译系统 (Byrne) • MIT的机器翻译系统 (Koehn)

  34. 趋势预测 • SMT的成功很大程度上来自记忆短语翻译，但是如何处理新的未出现的短语呢？ • 建立更多的数据相关性模型：如上下文依赖关系（句内和句间）特征函数的引入 • 一句话：箭尾渐渐向翻译三角形的顶端移动，或综合不同路径

  35. 我的一些想法 • 对短语的重新认识

  36. 对短语的重新认识

  37. 我的一些想法（2） • 分解+合成： 把不同的特征分层次处理：如时态的处理，可以从SMT中独立出来。 不同的语言特征应该采用不同的（概率或非概率）模型来解释，而不是采用一个混沌的一体化模型(holistic model)

  38. 我的一些想法（3） • A practical MT system is (Prof Sinha): RBMT (x%) + EBMT(y%) +KBMT(z%)+SMT(w%)=> HMT (Hybrid MT) || => MEMT • 我认为不是组合，而是融合

  39. 机器翻译与机助翻译 • 虽然SMT近期取得了很大成功，但是显然MT还有很长的路要走 • MAT对于专业翻译人员来说，更加实用，如TRADOS公司的Translator’s workbench在本地化行业中大名鼎鼎 • 但是，没有充分利用Internet

  40. 我们目前完成了一个新的辅助翻译系统 • 多引擎MT提供参考译文 • 通过对等网络在联机翻译用户之间共享翻译库，效率随着翻译用户的数量增多而提高 • 目前版本可以免费下载： http://210.34.19.214/xmcat.rar

  41. 厦门大学统计机器翻译讨论班 • 目的： • 在国内造成研究统计机器翻译的气氛 • 目前虽然GIZA++公开了训练的源代码，但是只能运行在linux平台上 • 世界上没有人公开decoder的源代码 • 因此，我们想做一个在windows平台上的公开一切源代码的SMT工具箱

  42. 主要内容 • 系统地研究SMT的国内外文献 • 在Windows平台上实现所有的主要算法，包括训练和解码，在适当的时候进行源代码公开（GPL），促进SMT的发展 • 建立一个集评测工具和评测数据的平台，使得大家可以共享和比较 • 目标：向开发最好的汉英系统前进

  43. 任务艰巨 • 但是，我们的实力和JHU的1999年SMT讨论班相差太大，显然与JHU2003讨论班也不可同日而语，因为我们都是新手 • 我们唯一的优点是没有任何包袱。 • 希望我们能努力工作、取得成功，为促进SMT在国内的研究作出微薄贡献

  44. 主要参考文献： • 刘群：统计机器翻译综述，中文信息学报，2003 • 姚天顺：机器翻译的过去和我们的再努力，2002 • JHU 2003 Worshop的文献http://www.clsp.jhu.edu/ws03/groups/translate/biblio.shtml • MT Summit IX 文献http://www.amtaweb.org/summit/MTSummit/papers.html • 我的网站：http://210.34.19.214

  45. 谢谢大家!

More Related