1 / 15

结合语义理解的语音识别技术和深度学习技术

结合语义理解的语音识别技术和深度学习技术. 百度语音技术部 贾磊 2013.8.01. 通用语音识别服务简介. 声学训练 数据. 语言训练 数据. 个人用户 账号信息. 个人账号分享信息. 声学模型. 语言模型. 语言模型自适应. 输出分布. 输出分布. 输出分布. 任务调度模块. 网络 接口协议. 无线网络. DNN. 解码空间组织和构建. 网络 接口协议. 端点检测. 语音压缩. 解码器. 网络 接口协议. 识别结果返回. 手机本地解析. 返回识别结果 / 命令. 语音服务内容

lyre
Download Presentation

结合语义理解的语音识别技术和深度学习技术

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 结合语义理解的语音识别技术和深度学习技术 百度语音技术部 贾磊 2013.8.01

  2. 通用语音识别服务简介 声学训练 数据 语言训练 数据 个人用户 账号信息 个人账号分享信息 声学模型 语言模型 . . . 语言模型自适应 输出分布 输出分布 输出分布 任务调度模块 网络 接口协议 无线网络 DNN 解码空间组织和构建 网络 接口协议 端点检测 语音压缩 解码器 网络 接口协议 识别结果返回 手机本地解析 . . . 返回识别结果/命令 语音服务内容 … …

  3. 一套解码器支持多种应用 ( 统一入口技术) 百度搜索 好123 手机地图 百度应用 百度音乐 手机浏览器 输入法 语音助手 手机指令 统一构架交互入口 融合Grammer和 Ngram信息的解码空间 类语言模型，Grammer模型，Ngram模型 深度神经网络 模型 一遍解码 • 识别文字结果，输入query种类，指令内容解析

  4. 互联网下的语音识别的技术挑战 • 1. 网络化的识别构架 • 海量的来自各种终端的声学语料和声学模型的个性化自适应 • 海量的来自各种渠道的文本语料和语言信息的快速更新 • 4. 语义理解和语音识别紧密相关，语音识别和互联网服务紧密相关 • 5. 语音识别服务计算资源耗费严重 数据增加 算法性能提升

  5. 分布式语言模型分块高速训练(1) 倒数第二个词是W2的后缀树的直接快速抽取 语料 +索引 网络传输 递归的后缀树排序 CPU Kernel1 语料1 语料 +索引 递归的后缀树排序 基于树合并的归并排序 CPU Kernel2 语料2 语料 +索引 倒数第二个词是W2的后缀树的直接快速抽取 递归的后缀树排序 CPU Kernel3 语料3 语料 +索引 递归的后缀树排序 。。。

  6. 融合语义解析的声学空间网络 语言模型的中任意单个词 一些同义词构成的词组集合。例如：想，要，要求 一些专名集合。例如人名，地名等 一些助词。例如：吧，呢，吗等 个性化的专名和称谓 • Grammer： • 打电话给【人名】 • 发短息给【人名】说【短信内容】 • 从【地名】到【地名】怎么走 • 我想订【时间】的去【地名】的机票 • 发短信给【妈妈】说我去贵阳开会了 • 未来：统计语言模型之后 • 最大墒语言模型 • RNN • 短语模型 • - 层次短语模型 词典自跳转 词典 词条1 词条2 词条3 词条4 … … 词典自跳转 词典定义 词类定义

  7. 混合高斯模型和ＤＮＮ模型 。。。 更多隐层 。。。 。。。 。。。 图一：混合高斯模型 图二： 深度神经网络 。。。

  8. ＤＮＮ模型在百度的应用 百度在2012年9月份上线了语音搜索引擎的DNN模型, 2012年10月份和2012年12月份分别上线了百度的语音输入法和语音助手的DNN模型。平均相对误识别率相对于百度最好的GMM系统而言降低20%以上

  9. 语音识别中的DNN成功的启示 • DNN成功的原因 • 深度建模： 深度多层的网络结构 • 特征融合： 融合当前帧的更多的左右context信息 • 稀疏化的权重分布：神经元的局部记忆激活 • 海量数据训练 • GPU训练 • DNN成功的启示 • 要采用能够使用更多特征的分类器 • 要选择能够配合大数据使用的分类器 • 要采用能够随着数据量增加就轻松的scale up的分类器 • 要选择能够分布式并行化训练的分类器 • 要选择能够用算法简化结构的模型，分类器要能够压缩在线计算量 • 不片面追求优化算法的最优，更重视大数据的使用

  10. 异步SGD训练和LBFGS Down-pure SGD (on-line method) LBFGS Bache mode Robust to computer failure Possible sub-set model parameter sharing Introduce more stochasticity Asynchronous model update Much less bandwidth requirement Bache mode learning

  11. 基于二阶统计信息的DNN训练 Deep learning: 一个拥有千万个未知参数的数学优化问题。 Hassian-Free Deep Learning: (1) 神经网络的输出损失函数（交互墒，最小二乘，softmax) 是凸函数 (2) 采用高斯牛顿法近似整个神经网络的损失函数 (3) 由于G是正定的，因此构建下面的二阶辅助目标函数 (4) 共轭梯度法 优化二阶辅助目标函数 (5) 核心Trick1: Gd 核心Trick2: Mini-bache高斯牛顿估计 核心Trick3: Back-tracing 高斯牛顿法的 二阶矩阵G 如何调节？

  12. 序列化的区分度DNN学习 交互墒准则 2. 关键帧抽样和引入序列信息的序列区分度 VTB结果 Lattice结果

  13. 分布式多GPU并行DNN训练系统 树状和环装连接同时支持的网络结构 计算平台 (Deep Brain) = PC Server GPU GPU GPU GPU 。。。 • 数据分布式存储，模型集中存储 • 每个计算节点是都采用单机四核的异步SGD算法 • 跨机多GPU并行DNN训练问题的主要难度： • - 基于mini-bache的SGD算法本质上是个串行算法 • 跨机器异步SGD的机器间通讯时间远大于训练时间 • 提出一种分布式跨机多GPU并行训练新算法：结合平均SGD和异步SGD。成功解决上述问题。 • 算法效果： • 训练速度可以加速10倍以上，识别率较单机训练低于0.5点以内

  14. 人才招聘 - 相信技术的力量 1. 招聘对语音识别技术、语音合成技术、音乐处理相关技术自然语言处理技术，和机器学习技术有热情的年轻人。 2. 较好的算法或者产品研发经验，优秀的代码能力 3. jialei@baidu.com

  15. 结束… 谢谢大家

More Related