PCA （ principle components analysis) 网络及算法

1. PCA（principle components analysis)网络及算法 房子成 郑金斌

2. 主要内容 • 神经网络PCA的基本结构 • PCA的基本原理 • PCA算法的进一步扩展 • 研究网络遇到的问题 • PCA仿真应用

3. 第一个问题：神经网络PCA的基本结构一、单个神经元抽取最大分量第一个问题：神经网络PCA的基本结构一、单个神经元抽取最大分量

4. 输出为 • 权值修正公式： • 向量形式：

5. 二、单层网络抽取一主分量

6. 网络的输出为： • Sanger 提出如下的权值修正公式： • 向量形式： • 其中

7. 第二个问题：PCA的基本原理 • E[X]=0 • a=xTu=uTx • σ2=E[a2]=uTRxxu • φ(u)= σ2=uTRxxu • φ(u+δu) ≤ φ(u) • (δu)TRxxu≈0 (δu)Tu≈0 • (δu)T(Rxxu-λu)=0 • Rxxu=λu

8. 第二个问题：PCA的基本原理 • Λ=diag(λ0,λ1,…,λd－1) • UTRxxU=Λ

9. 第二个问题：PCA的基本原理 误差为： 原是变量x的d个分量的总方差为： 变换后的向量前m个分量的方差为： 误差e的方差为：

10. 结论： • 欲进行维数压缩，应先计算输入向量的相关矩阵Rxx的特征值和特征向量，并将特征向量单位化，按大小顺序排列。然后将原向量投影到前m个特征值对应的特征向量构成的子空间中，用x’0,x’1,…,x’m-1表示投影后的分量，则x’0具有最大方差，，与x’0不相关的方向中x’1，具有最大方差。依次类推。

11. 主成分的几何说明

12. 第三个问题：PCA算法的进一步扩展 • 一、有侧向连接自适应的PCA

13. 说明： （1）由输入到神经元0，1，…，j间是前向连接，j﹤p,p是维数，权向量为 Wj=[ωj,0(n), ωj,1(n), ωj,2(n), ωj,p-1(n),]T 他们是按Hebb规则学习的，起自增强的作用。 （2）从神经元0，1，…，j－1到第j神经元间的侧向连接起反馈作用，反馈连接权为 aj(n)=[aj,o(n) ,aj,1(n), …, aj,j-1(n)]T 他们按反Hebb规则学习的，起抑制作用。

14. j单元的输出为： yj(n)=wjT(n)x(n)+ajT(n)yj-1(n) 其中反馈信号： yj-1(n)=[y0(n), y1(n), …, yj-1(n)]T

15. 二、非线性的PCA • 线性PCA的不足： （1）常规的PCA可以用数值法求解，而基于梯度法的神经网络收敛较慢。 （2）主分量只由数据的二阶统计量——自相关阵确定，这种二阶统计量只能描述平稳的高斯分布。 （3）PCA网络不能从线性组合中把独立信号成分分离出来。

16. 非线性PCA的优势： （1）输入到输出的变换非线性的，使得神经网络更为有效。 （2）梯度法通过迭代计算，避免了非线性方程，且可以用模拟硬件电路实现。 （3）可以使用如累计量这样的高阶统计量，可以代表非高斯数据。 （4）非线性处理可以使输出更加相互独立。

17. 非线性主元的结构图

18. 非线性主元： T=G(X) G=[G1,G2, …,Gf] 第i个主元Ti为： Ti=Gi(X) 对T反变换得 Xj’=Hj(T) 重建误差：

19. 三、鲁棒PCA算法 目的： 常规的PCA当原始数据有格点（outliers)时出现较大的误差，为解决这一个问题，基于鲁棒统计方法和统计物理方法中的鲁棒PCA算法，主要研究改善主成分分析的算法鲁棒性的一种途径，以提高PCA的精度。修正的PCA算法能够在运行中自动的识别样本集中的“劣点”，从而通过迭代计算加以适当处理来排除对运算精度的影响。

20. 一是要考虑如何能够达到输出各主成分间相互独立。一是要考虑如何能够达到输出各主成分间相互独立。 • 二是考虑如何去除或减弱有限的训练样本集少量的“劣点”样本的影响从而获得准确的主方向。

21. 第四个问题：研究网络遇到的问题 • （1）GHA算法中，步长的选择与什么因素有关？ • （2）单个神经元的PCA中，为什么不采用Hebb规则？

22. 第五个问题：PCA的仿真 直线（平面）的拟合 在许多工程问题 , 特别如计算机 视觉中, 经常遇 到用一个直线(曲线) ,平面(曲面)或超平面(超曲线) 拟合给定数据的问题 , 常用的是最小二乘法(LS)， 例如给定一组数点 , 用一个直线模型 在通常的LS意义 拟合 的问题，就是找到一个估计 , 是使： 其中：

23. 如图： x2 P(i) r(i) |e| 是点 到拟合直线的纵向线段的长度， 因此上式的意义是使所有这种纵向线段的平方长度之和最小。其实，只有因变量 有误差，而 是准确的。所有测量结果都包含一定程度的误差。此时，上式确定的直线 不是最优的，最优的直线应使“与拟合直线相垂直的所有线 o x1

24. 段的平方长度之和”最小。 其中： 这就是所谓总体最小二乘法（TLS）的思想，在直线或平面拟合是，可将直线或平面分别表示为：

25. 在TLS意义上的最优拟合问题并不太复杂， 可以用具有一个神经元的网络来解。从上 式可知TLS法是使下式中的E最小。 令 则可写为

26. 式中e，R分别是数据 的均值矢量和自相关 矩阵，从 ，得E的临界点应满足。 上式是一个非线性矩阵，很难求解，这里采用一 特殊的方法来求解，首先对方程两边取期望，得

27. 代入上式并化简得： 式中 为 的协方差矩阵，由此可知,TLS问题变成寻找矩阵 的最小特征值和相应的归一化特征向量的问题，即求 的第一次成分问题 , 得的特征向量即为直线和平面的系数，对于最小特征值和相应的归一化特征向量我们可以用PCA算法来求解。