slide1
Download
Skip this Video
Download Presentation
基于翻译日志的统计机器翻译模型剪枝

Loading in 2 Seconds...

play fullscreen
1 / 38

基于翻译日志的统计机器翻译模型剪枝 - PowerPoint PPT Presentation


  • 102 Views
  • Uploaded on

基于翻译日志的统计机器翻译模型剪枝. 刘凯 吕雅娟 姜文斌 刘群 中科院计算所. 大纲. 研究动机 翻译解码方法 翻译日志模型剪枝 实验结果. 大纲. 研究动机 翻译解码方法 翻译日志模型剪枝 实验结果. 研究动机. 实用机器翻译系统 训练语料庞大. 研究动机. 实用机器翻译系统 训练语料庞大 翻译模型庞大. 研究动机. 实用机器翻译系统 训练语料庞大 翻译模型庞大 较大的运行成本 & 应用场景受限. 研究动机. 规则表规模 FBIS(0.2M) 规则数: 32M 大小: 1G (压缩后) LDC(1.5M) 规则数: 167M

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' 基于翻译日志的统计机器翻译模型剪枝' - sawyer-summers


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

基于翻译日志的统计机器翻译模型剪枝

刘凯吕雅娟姜文斌刘群

中科院计算所

slide2
大纲
  • 研究动机
  • 翻译解码方法
  • 翻译日志模型剪枝
  • 实验结果
slide3
大纲
  • 研究动机
  • 翻译解码方法
  • 翻译日志模型剪枝
  • 实验结果
slide4
研究动机
  • 实用机器翻译系统
    • 训练语料庞大
slide5
研究动机
  • 实用机器翻译系统
    • 训练语料庞大
    • 翻译模型庞大
slide6
研究动机
  • 实用机器翻译系统
    • 训练语料庞大
    • 翻译模型庞大
    • 较大的运行成本&应用场景受限
slide7
研究动机
  • 规则表规模
    • FBIS(0.2M)
      • 规则数:32M
      • 大小:1G(压缩后)
    • LDC(1.5M)
      • 规则数:167M
      • 大小:4G(压缩后)
    • Baidu、Bing、Google……
slide8
研究动机
  • 规则表规模问题
    • 需要大规模服务器提供服务
slide9
研究动机
  • 规则表规模问题
    • 需要大规模服务器提供服务
    • 难以移植到移动终端
slide10
研究动机
  • 规则表规模问题
    • 需要大规模服务器提供服务
    • 难以移植到移动终端
      • 国际流量漫游包月≈2000元(泰国)
slide11
研究动机
  • 可行性
    • 长尾现象
    • 大规模剪枝是可能的
slide12
研究动机
  • 解码器搜索空间有限
    • 参数固定则搜索空间固定
slide13
研究动机
  • 解码器搜索空间有限
    • 参数固定则搜索空间固定
slide14
研究动机
  • 解码器搜索空间有限
    • 参数固定则搜索空间固定
slide15
研究动机
  • 解码器搜索空间有限
    • 参数固定则搜索空间固定

找出模型搜索空间并去除搜索空间外的不必要的规则

slide16
研究动机
  • 解码器搜索空间有限
    • 参数固定则搜索空间固定

找出模型搜索空间并去除搜索空间外的不必要的规则

翻译日志!

slide17
大纲
  • 研究动机
  • 翻译解码方法
  • 翻译日志模型剪枝
  • 实验结果
slide18
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
slide19
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
slide20
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
    • Bush hold a meeting with Sharon
slide21
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
    • Bush hold a meeting with Sharon
    • Bush hold a conference with Salon
    • ……
slide22
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
    • Bush hold a meeting with Sharon
    • Bush hold a conference with Salon
    • ……

√1best

slide23
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
    • Bush hold a meeting with Sharon
    • Bush hold a conference with Salon
    • ……

√1best

slide24
翻译解码
  • 翻译例子
    • 布什 与 沙龙 举行 了 会谈
    • 解码:
    • Bush held a meeting with Sharon
    • Bush hold a meeting with Sharon
    • Bush hold a conference with Salon
    • ……

√1best

slide25
大纲
  • 研究动机
  • 翻译解码方法
  • 翻译日志模型剪枝
  • 实验
slide26
翻译日志模型剪枝
  • 利用翻译获取规则信息
slide27
翻译日志模型剪枝
  • 利用翻译获取规则信息

布什 与 沙龙 举行 了 会谈

slide28
翻译日志模型剪枝
  • 利用翻译获取规则信息

布什 与 沙龙 举行 了 会谈

1

1

1

slide29
翻译日志模型剪枝
  • 利用翻译获取规则信息

…………

slide30
翻译日志模型剪枝
  • 利用翻译获取规则信息

翻译日志

…………

slide31
翻译日志模型剪枝
  • 模型剪枝
    • 仅保留在翻译中命中的规则
    • 命中次数>0的规则
slide32
大纲
  • 研究动机
  • 翻译解码方法
  • 翻译日志模型剪枝
  • 实验
slide33
实验
  • 实验配置(汉-英)
    • 训练语料:LDC,1.5M句对
    • 语言模型:法新社+Giga新华5元
    • 翻译日志模拟语料:
      • 训练集1.5M
      • 新闻语料5.28M
      • Web语料6.06M(搜狗全网)
    • 开发测试集:
      • Dev:nist06; Tst:nist04,nist05,nist08
slide34
实验
  • 实验结果
    • 直接过滤规则表
    • Count:低于等于该使用频度的规则不被保留
slide35
实验
  • 实验结果
    • 在过滤规则表基础上重新调参
    • 能够更加接近原始规则表的效果
slide36
实验
  • 讨论
    • OOV问题
      • 解决:利用训练集获取翻译日志
    • 领域问题
      • 确实存在
        • 新闻: 34.06=>33.74
        • Web: 34.06=>32.76
slide37
结论
  • 简单动机和方法
  • 效果显著
    • 规则表大小:100%=>2.4%
    • 翻译效果:31.18=>31.03
  • 语言模型剪枝也可参照该思想
ad