1 / 17

基于计算动词推理的 BP 神经网络训练算法研究

基于计算动词推理的 BP 神经网络训练算法研究. 答辩人：廖聪慧 指导老师：杨涛（教授）. 人工神经元简介. a1~an 为输入向量的各个分量 w1~wn 为神经元各个突触的权值 b 为偏置 f 为传递函数，通常为非线性函数。 t 为神经元输出，数学表示 t=f( WA'+b ) W 为权向量 A 为输入向量， A' 为 A 向量的转置. 人工神经元模型. 传递函数. BP 神经网络简介. BP 网络模型. BP 网络训练过程. 训练规则为：. 其中. 为学习率. P=[0 0.5 -0.2; 0.2 0.8 0.4;

ewa
Download Presentation

基于计算动词推理的 BP 神经网络训练算法研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于计算动词推理的BP神经网络训练算法研究 答辩人：廖聪慧 指导老师：杨涛（教授）

  2. 人工神经元简介 • a1~an为输入向量的各个分量 • w1~wn为神经元各个突触的权值 • b为偏置 • f为传递函数，通常为非线性函数。 • t为神经元输出，数学表示 t=f(WA'+b) • W为权向量 • A为输入向量，A'为A向量的转置 人工神经元模型 传递函数

  3. BP神经网络简介 BP网络模型

  4. BP网络训练过程 训练规则为： 其中 为学习率 P=[0 0.5 -0.2; 0.2 0.8 0.4; -0.4 0.3 -0.7; 0.5 -0.8 0.1; 0.3 0.9 -0.4; -0.1 0.4 0.9] T=[0.5,-0.2,0.8,-0.7,-0.4,0.2] BP网络训练流程图

  5. 计算动词规则 • IF lg(e) staysmall, THEN lrdecreases; • IF lg(e) increasesfrom small to medium, THEN lrdecreases; • IF lg(e) decreasesfrom medium to small, THEN lrincreases; • IF lg(e) decreasesfrom big to medium, THEN lrdecreases; • IF lg(e) increasesfrom medium to big, THEN lrdecreases; • IF lg(e) staybig, THEN lrdecreases slowly;

  6. 计算动词规则 • IF lg(e) become(small,small), THEN lrbecome(current,small); • IF lg(e) become(small,medium), THEN lrbecome(current,small); • IF lg(e) become(medium,small), THEN lrbecome(current,big); • IF lg(e) become(big,medium), THEN lrbecome(current,big); • IF lg(e) become(medium,big), THEN lrbecome(current,small); • IF lg(e) become(big,big), THEN lr slowly become(current,small);

  7. Winner-take-all原则调整η 学习率的调整方法为： 其中： 的隶属度函数：

  8. 学习率较大时结果分析 取值0.3， 取值0.1 取值0.25时，对比改进算法，自适应算法和固定学习率算法 情况1： 三种算法训练次数比较 改进算法学习率的变化 隶属值 由图可见改进算法明显优于其他两种算法 注：蓝色曲线为改进算法，红色曲线为固定学习率算法，绿色曲线为自适应算法

  9. 学习率较大时结果分析 取值0.3， 取值0.1 取值0.25时，对比改进算法，自适应算法和固定学习率算法 情况2： 三种算法训练次数比较 改进算法学习率的变化 隶属值 由图可见改进算法差于固定学习率算法，优于自适应算法 注：蓝色曲线为改进算法，红色曲线为固定学习率算法，绿色曲线为自适应算法

  10. 学习率较大时结果分析 取值0.3， 取值0.1 取值0.25时，对比改进算法，自适应算法和固定学习率算法 情况3： 三种算法训练次数比较 改进算法学习率的变化 隶属值 由图可见改进算法出现了明显的振荡 注：蓝色曲线为改进算法，红色曲线为固定学习率算法，绿色曲线为自适应算法

  11. 情况3修改参数 取值0.26， 取值0.06 取值不变时，对比改进算法，自适应算法和固定学习率算法 三种算法训练次数比较 改进算法学习率的变化 隶属值 由图可见改进算法不再振荡，对比其他两种算法又有了明显的优势 注：蓝色曲线为改进算法，红色曲线为固定学习率算法，绿色曲线为自适应算法

  12. 学习率较大时统计特性分析 将程序运行1000次，得到三种训练算法所需训练次数分布图如下： 所需平均训练次数为： =2019 =2627 则 =3676

  13. 学习率较小时结果分析 取值0.3， 取值0.1 取值0.16时，对比改进算法，自适应算法和固定学习率算法 情况4： 三种算法训练次数比较 改进算法学习率的变化 隶属值 由图可见改进算法明显优于其他两种算法 注：蓝色曲线为改进算法，红色曲线为固定学习率算法，绿色曲线为自适应算法

  14. 学习率较小时统计特性分析 将程序运行1000次，得到三种训练算法所需训练次数分布图如下： 所需平均训练次数为： =2413 =2679 则 =2586

  15. 改变参数后统计特性分析 取值0.2， 取值0.08 保持0.16不变 将程序运行1000次，得到三种训练算法所需训练次数分布图如下： 所需平均训练次数为： =2245 =3080 则 =4711

  16. 结论与展望 结论：改进算法对比其他两种算法有更高的训练 效率。虽然某些情况下改进算法会引起振荡，或 与其他两种算法的比较优势丧失，但通过调整参 数改进算法的这两个问题都可以得到较好的解决。 展望：通过理论分析得出调整相关参数的方法， 使改进算法能普遍适用于各种情况

  17. 谢谢！

More Related