1 / 47

SOM 与侧向相互作用

SOM 与侧向相互作用. 北京师范大学 系统科学系 陈家伟 2010.7.23. 提纲. 人工神经网络介绍 SOM—— 自组织映射 SOM 与神经系统 侧向相互作用. 人工神经网络介绍（ ANN ）. 人工神经网络发展历史. 第一阶段（兴起） 1943 年， W.S.Mcculloch 和 W.Pitts 提出了 M-P 神经元模型； 1949 年， D.O.Hebb 提出突触联系可变的假设； 1957 年， Rosenblatt 提出了著名的感知机模型； 1960 年， B.Windrow 和 E.Hoff 提出了自适应线性单元。 第二阶段（低谷）

major
Download Presentation

SOM 与侧向相互作用

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. SOM与侧向相互作用 北京师范大学 系统科学系 陈家伟 2010.7.23

  2. 提纲 • 人工神经网络介绍 • SOM——自组织映射 • SOM与神经系统 • 侧向相互作用

  3. 人工神经网络介绍（ANN）

  4. 人工神经网络发展历史 • 第一阶段（兴起） • 1943年，W.S.Mcculloch和W.Pitts 提出了M-P神经元模型； • 1949年，D.O.Hebb提出突触联系可变的假设； • 1957 年，Rosenblatt提出了著名的感知机模型； • 1960年，B.Windrow和E.Hoff提出了自适应线性单元。 • 第二阶段（低谷） • 1969年，M.Minsky和S.Papert出版Perceptron一书； • 1972年，T.Kohonen 提出了自组织映射理论； • 1976年，S.A.Grossberg提出自适应共振理论（ART）； • 1982年，K. Fukushima提出了认知机模型。 • 第三阶段（热潮） • 1982年，J.J.Hopfield提出Hopfield网络； • 1984年，Hinton等人提出了Boltzmann机网络模型； • 1986年，D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法，成为至今为止影响很大的一种网络学习方法。 • 第四阶段（平稳发展）

  5. BNN与ANN

  6. 神经元模型

  7. 权重变化

  8. 经典的ANN模型 反向传播算法 Backpropagation，BP算法 感知机模型 Perceptron Self-organizing maps，SOM Hopfield 网络

  9. SOM——自组织映射

  10. 模型结构 • 输入层 • n个神经元 • 输出层 • m个神经元排成一维或二维形式空间形式； • 神经元之间全连接。 • 权重矩阵 • 全连接，wij是m*n维矩阵 • 核心机制 • 竞争：Winner take all； • 合作：lateral interaction

  11. 侧向相互作用

  12. 训练过程 • 连接权值初始化，一般随机设定 • 对网络输入模式： • 计算输入 xk 与全部输出结点权向量的距离： • 具有最小距离的输出结点获胜 ： • 调整获胜节点一节获胜节点邻域内的权重值： • 输入新的样本，继续训练。

  13. 学习效率和邻域大小 • 学习效率 随时间减小。随着训练过程的进行，权值的调整幅度越来越小。 • 邻域大小 也随着时间而收缩，当t足够大时，只训练获胜结点本身。 • 训练过程分为两个阶段： • 排序阶段：形成权值向量的拓扑排序； • 收敛阶段：提供输入空间的准确统计量。

  14. SOM的本质——保范映射 • SOM实质上是从任意维离散或连续空间V 到一维或二维离散空间A的一种保范映射。

  15. SOM的性质：输入空间的近似 对于V中的向量v，首先根据特征映射Φ 确定在输出空间A中的最佳匹配单元 S，S 的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整的权重矩阵，可以使得输出空间A近似的表示输入空间V。

  16. SOM的性质：拓扑排序 • 通过SOM算法计算的特征映射Φ是拓扑有序的，意味着网络中神经元的空间位置对应于输入模式的特定区域或特征。 • 演示 • 输入和输出都是一维的情况下，可以证明系统收敛到排序的状态。 J. A. Flanagan, Self-organization in the one-dimensional SOM with a decreasing neighborhood. Neural Networks, 2001, 14(10):1405-1417.

  17. SOM的性质：密度匹配 • 特征映射Φ反映输入分布在统计上的变化：在输入空间上X中样本以高概率抽取的区域映射到输出空间A中的更大区域，反之依然。 • 演示

  18. SOM的性质：特征选择 • 在具有非线性分布的空间中给定数据，SOM能够为逼近固有分布选择一组最好的特征。 • 演示

  19. SOM的应用 • 数据压缩 • 降维 • 聚类 • 向量量化 • 模式分类 • ……

  20. SOM与神经系统

  21. 对初级视皮层朝向敏感性的模拟

  22. 视觉初级皮层朝向敏感性

  23. 英文单词聚类

  24. 汉字的聚类

  25. Model——Acquisition of lexicon

  26. 汉字获得的SOM模型

  27. 躯体感觉皮层

  28. 感觉皮层

  29. 汉字认知的模式 • 行为实验 • 初级学习者； • 中级学习者； • 母语。 • 知觉学习模型 • Hebb学习法 • 侧向相互作用

  30. 单个汉字学习 初始状态 训练结果

  31. 左右结构的汉字训练

  32. 连接受损时的情形

  33. 侧向抑制

  34. 什么是侧向抑制

  35. 锐化 • 视觉：更容易从背景中分出对象，尤其在看物体的边角和轮廓时会提高视敏度。 • 色觉：红和绿，黄和蓝的成对拮抗效应； • 在听觉系统中，耳蜗神经纤维的侧抑制可以加强对音高的辨认。 • 在皮肤上，侧抑制有助于触点的定位。

  36. 人眼对对比度的适应 • 瞳孔：1.5~8mm，约25倍的调节能力； • 光亮的差别：暗室和阳光下的差别约100万倍。 • 调节的方法就是视网膜水平细胞的侧抑制作用。

  37. 视觉——对比度

  38. 视觉——对比度

  39. 错觉

  40. 另一类错觉

  41. 谢谢！

More Related