1 / 22

基于局部泛化误差界的 RBF 网络训练方法研究

基于局部泛化误差界的 RBF 网络训练方法研究. 报告人：刘晓艳. 主要内容. 课题来源及背景和意义 研究现状及分析 所做的工作 遇到的问题及进一步的工作 参考文献. 课题来源及背景和意义. RBF 神经网络的结构选择中，即隐含层神经元个数的确定问题，一直是难点。合理的选择其结构会提高 RBF 神经网络的泛化能力。 局部泛化误差模型，考虑分类器在输入空间局部区域上的泛化能力。对于量化的考察对于网络的容错能力（ error-tolerance ）和泛化能力 (generalization ability) 有一定启发意义。

reidar
Download Presentation

基于局部泛化误差界的 RBF 网络训练方法研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于局部泛化误差界的RBF网络训练方法研究 报告人：刘晓艳

  2. 主要内容 • 课题来源及背景和意义 • 研究现状及分析 • 所做的工作 • 遇到的问题及进一步的工作 • 参考文献

  3. 课题来源及背景和意义 • RBF神经网络的结构选择中，即隐含层神经元个数的确定问题，一直是难点。合理的选择其结构会提高RBF神经网络的泛化能力。 • 局部泛化误差模型，考虑分类器在输入空间局部区域上的泛化能力。对于量化的考察对于网络的容错能力（error-tolerance）和泛化能力(generalization ability) 有一定启发意义。 • 神经网络的敏感性标示着这种分类器的variance特性，而经验误差的大小则是标示着分类器的bias特性，将两者有机的结合起来作为一种评价分类器泛化能力的标准可能会有很好的效果。（criteria）

  4. 敏感性用途 研究现状及分析 • 介绍局部泛化误差模型现状 • 敏感性SM (sensitivity measure) 敏感性定义及其计算 Constructive for neural network Center selection Feature/sample/weight accuracy selection

  5. 敏感性定义及其计算 • 定义：衡量网络输出对于输入或权重（或其他的参数）的扰动而改变程度的定量度量。 Sensitivity to input perturbation 对象上： Sensitivity to weight perturbation 要求激活函数对于输入是可微的并且输入扰动必须很小 Sensitivity to neuron perturbation Partial derivative sensitivity analysis 计算方式上： stochastic sensitivity analysis 考察输出变化的期望或方差概率特性

  6. 敏感性的应用 • 正是由于敏感性考察网络各参数的变化对于网络输出的影响程度，因而，基于敏感性分析来优化或调整各参数的选择即成为它的主要应用方向。

  7. 研究现状及分析 • 现存的局部泛化误差模型理论 分类问题中，目标输出的最大最小值之差至少为1，那么将该模型用于结构选择时就会出现问题。 differences between the maximum and minimum values of the target output

  8. f2 has a better Generalization capability RSM （Q1）＝a, for f1 RSM （Q2）＝a，for f2 Q1 < Q2 研究现状及分析 • 现存的局部泛化误差模型用于RBFNN的结构选择 思想：两个分类器f1，f2，如果存在Q1，使得 在相同误差界标准下，设计分类器使得它覆盖的Q邻域比较大，认为覆盖的邻域面积越大，得到的分类器的泛化能力越好。 分析：界的阈值a的取值标准难以确定，现存的方法建议a取0.25，这样在解上述二次方程时就会出现问题。

  9. 研究现状及分析 0.25 分类问题中取值大于1 1. 由于在解方程时存在矛盾之处，造成该模型用于RBFNN结构设计时存在问题。 2. 有关界的表达式，存在常数A其值是否相对过大的问题，相对于前两项如果取值过大的话，其失去意义。 3. 单纯的将经验误差作为训练RBF分类器的标准的话，存在过拟和 以及得到的分类器的泛化能力不高的缺点。

  10. 所做的工作 • 将经验误差项和敏感性项的加和做为一种新的评价分类器泛化能力的标准（QNB－Q neighborhood balance）。考察其合理性。 • 将QNB用于RBFNN的结构选择，设计网络结构。 • 用范数形式简化现有的局部泛化误差模型的分析表达式。得到一种基于范数的局部泛化误差界的分析式。

  11. QNB作为一个衡量分类器评价标准的合理性 measure for classifier complexity 图示（1）：“simple” classifier Low SM，but bad training error

  12. QNB作为一个衡量分类器评价标准的合理性 图示（2）：“complex” classifier high SM，but bad generalization capability and maybe overfitting VC维较大

  13. QNB作为一个衡量分类器评价标准的合理性 图示（3）：“good fit” classifier， what we expected Good balancebetween Training error SM

  14. QNB作为一个衡量分类器评价标准的合理性(实验)QNB作为一个衡量分类器评价标准的合理性(实验) Sensitivity measure 衡量RBFNN复杂程度 Iris dataset Ionosphere dataset

  15. Hidden number（K） QNB作为一个衡量分类器评价标准的合理性(实验)

  16. QNB用于RBFNN的结构选择(architecture selection) Algorithm: Step 1:Start with the number of the hidden neurons by 1. Step 2:Perform k-means clustering to find the location of centers for the hidden numbers. Step 3: Select the width of each neuron to be half of the maximum distance between the center itself and other neurons. Step 4: Using pseudo-inverse method to obtain the weight. Step 5: For a selected Q value, compute the current neural networks error bound by the following equation: Step 6: Find the minimum error bound, and output the corresponding hidden neuron’s number .

  17. 初步实验情况 (Iris, Q=0.1) information：4 ×150， 3 classes (Pima, Q=0.1) information：8×768， 2 classes

  18. 初步实验情况 (Wine, Q=1.5) information：13×178， 3 classes (Ionosphere, Q=1.0) information：34 ×351， 2 classes

  19. 初步实验情况 (Datazhao, Q=0.5) information：25×477， 5 classes

  20. 遇到的问题及进一步的工作 • 实验结果显示了算法的可行性，在保证分类精度的前提下，最后选择的隐含层个数比较少，网络结构比较精简。 • SM(sensitivity measure)与RBFNN的隐含单元个数之间的关系描述为：小振荡爬升。（非严格单调）这样，SM作为网络复杂程度的度量的话是比较粗的估计。QNB作为measure for classifier generalization capability的理论依据。 • 目前QNB中的两项采用的线性组合的方式，能否考虑用其他方式将这两参数信息融合后作为一个新的参量标准，用RBFNN的architecture selection如何？ • QNB能否用于对于RBFNN中心位置的选择？（Supervised learning）

  21. 参考文献 • [1]D. Shi, D.S. Yeung, J. Gao “Sensitivity analysis applied to the construction of radial basis function networks”,Neural Networks 18 (2005) 951–957 • [2] Wing W.Y.Ng, Daniel S.Yeung, Ian Cloete, “Quantitative Study on Effect of Center Selection to RBFNN Classification Performance”, 2004 IEEE International Conference on Systems, Man and Cybernetics. • [3] Wing W.Y. NG, Daniel S. YEUNG, Xi-Zhao Wang, “Localized Generalization Error and Its Application to RBFNN Training”, Proceedings of the Fourth International Conference on Machine Learning and Cybernetics, Guangzhou, 18-21 August 2005 • [4] Friedhelm Schwenker, Hans A. Kestler, Gunther Palm,“Three learning phases for radial-basis-function networks”, Neural Networks 14 (2001) 439-458. • [5]Wing W.Y. NG, Daniel S. YEUNG, Xi-Zhao Wang and I. Cloete, “A Study of the Difference Between Partial Derivative and Stochastic Neural Network Sensitivity Analysis for Applications in Supervised Pattern Classification Problems”, Proc. Of International Conference on Machine Learning and Cybernetics, pp. 4283 - 4288, 2004 • [6]Wing W.Y. NG and Daniel S. YEUNG “Selection of Weight Quantization Accuracy for Radial Basis Function Neural Network Using Stochastic Sensitivity Measure”. IEE Electronic Letters, vol. 39, pp. 787 – 789.

  22. Thanks for your attention！ 谢谢！

More Related