slide1
Download
Skip this Video
Download Presentation
神经信息学

Loading in 2 Seconds...

play fullscreen
1 / 91

神经信息学 - PowerPoint PPT Presentation


  • 88 Views
  • Uploaded on

神经信息学. 平行分布式理论框架 史忠植 [email protected] 中科院计算所. 目 录. 1. 神经计算 2. 并行分布式理论框架 3. 交互与竞争神经网络 4. 误差反向传播神经网络 5.Hopfield 神经网络. 神经 网络. 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。 神经网络从两个方面上模拟大脑:  神经网络获取的知识是从外界环境中学习得来的。  内部神经元的连接强度,即突触权值,用于储存获取的知识。. 发展 历史. 萌芽期( 20 世纪 40 年代)

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' 神经信息学' - myrilla-favian


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1

神经信息学

平行分布式理论框架

史忠植

[email protected]

中科院计算所

slide2
目 录

1. 神经计算

2. 并行分布式理论框架

3. 交互与竞争神经网络

4. 误差反向传播神经网络

5.Hopfield神经网络

slide3
神经网络
  • 一个神经网络是由简单处理元构成的规模宏大的并行分布处理器。天然具有存储经验知识和使之可用的特性。
  • 神经网络从两个方面上模拟大脑:

神经网络获取的知识是从外界环境中学习得来的。

内部神经元的连接强度,即突触权值,用于储存获取的知识。

slide4
发展历史
  • 萌芽期(20世纪40年代)

人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期,到1949年止。

1943年,心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型,简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》

 949年,心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。

slide5
发展历史
  • 第一高潮期(1950~1968)

以Marvin Minsky,Frank Rosenblatt,Bernard Widrow等为代表人物,代表作是单级感知器(Perceptron)。

可用电子线路模拟。

人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究,希望尽快占领制高点。

slide6
发展历史
  • 反思期(1969~1982)

M. L. Minsky和S. Papert,《Perceptron》,MIT Press,1969年

异或”运算不可表示

二十世纪70年代和80年代早期的研究结果

slide7
发展历史
  • 第二高潮期(1983~1990)

1982年,J. Hopfield提出Hopfield网络

    • 用Lyapunov函数作为网络性能判定的能量函数,建立ANN稳定性的判别依据
    • 阐明了ANN与动力学的关系
    • 用非线性动力学的方法来研究ANN的特性
    • 指出信息被存放在网络中神经元的联接上
slide8
发展历史
  • 第二高潮期(1983~1990)

1984年,J. Hopfield设计研制了后来被人们称为Hopfield网-Tank电路。较好地解决了著名的TSP问题,找到了最佳解的近似解,引起了较大的轰动。

1985年,UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理(PDP)小组的研究者在Hopfield网络中引入了随机机制,提出所谓的Boltzmann机。

slide9
发展历史

 1986年,并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法,较好地解决了多层网络的学习问题。(Paker1982和Werbos1974年)

自适应共振理论(ART)

自组织特征映射理论

slide10
发展历史

 Hinton 等人最近提出了 Helmboltz 机

 徐雷提出的 Ying-Yang 机理论模型

 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究,

  • 国内首届神经网络大会是1990年12月在北京举行的。
slide11
并行分布式理论框架

1986年,美国加州大学圣地亚哥分校(UCSD)Rumellhart,McClelland,Hinton:Parallel and Distributed Processing, MIT Press, Cambridge

slide12
并行分布式理论框架

PDP模型

1)一组处理单元(PE或AN)

2)  处理单元的激活状态(ai)

3)  每个处理单元的输出函数(fi)

4)  处理单元之间的连接模式

5)传递规则(∑wijoi)

6) 把处理单元的输入及当前状态结合起来产生激活值的激活规则(Fi)

7)  通过经验修改连接强度的学习规则

8)  系统运行的环境(样本集合)

slide13
神经网络的维数
  • Various types of neurons
  • Various network architectures
  • Various learning algorithms
  • Various applications
slide14
竞争层

输入层

交互与竞争IAC神经网络

自组织神经网络的典型结构

slide15
竞争学习

相似性测量_欧式距离法

slide16
竞争学习

相似性测量_余弦法

slide17
竞争学习原理

竞争学习规则——Winner-Take-All

网络的输出神经元之间相互竞争以求被激活,结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元,而其它神经元的状态被抑制,故称为Winner Take All。

slide18
竞争学习原理

寻找获胜神经元当网络得到一个输入模式向量时,竞争层的所有神经元对应的内星权向量均与其进行相似性比较,并将最相似的内星权向量判为竞争获胜神经元。

欲使两单位向量最相似,须使其点积最大。即:

slide19
竞争学习原理

从上式可以看出,欲使两单位向量的欧式距离最小,须使两向量的点积最大。即:

slide20
jj*竞争学习原理

3.网络输出与权值调整

步骤3完成后回到步骤1继续训练,直到学习率衰减到0。

slide21
j=1,2,…,m前馈神经网络

单层感知器模型

slide22
x1

oj

xn

-1

单层感知器

净输入:

输出:

slide23
x1

oj

x2

-1

输出:

单层感知器

感知器的功能

单计算节点感知器

(1)设输入向量X=(x1 ,x2)T

则由方程 w1jx1+w2jx2-Tj=0

确定了二维平面上的一条分界线。

slide24
单层感知器

感知器的功能

slide25
x1

x2

oj

x3

-1

输出:

单层感知器

感知器的功能

(2)设输入向量X=(x1,x2,x3)T

则由方程 w1jx1+w2jx2+w3jx3–Tj=0 (3.4)

确定了三维空间上的一个分界平面。

slide26
单层感知器

感知器的功能

slide27
o1

x1

W(1)

W(2)

W(3)

W(L)

o2

x2

xn

om

输入层

隐藏层

输出层

多层感知器

网络的拓扑结构

slide28
双层感知器

“异或”问题分类

多层感知器

“异或”的真值表

用两计算层感知器解决“异或”问题。

slide29
双层感知器

“异或”问题分类

多层感知器

“异或”的真值表

用两计算层感知器解决“异或”问题

slide30
双层感知器

“异或”问题分类

多层感知器

“异或”的真值表

用两计算层感知器解决“异或”问题。

slide31
双层感知器

“异或”问题分类

多层感知器

“异或”的真值表

例四 用两计算层感知器解决“异或”问题。

slide32
多层感知器

具有不同隐层数的感知器的分类能力对比

slide33
误差反向传播(BP)网路

基于BP算法的多层前馈网络模型

slide34
误差反向传播(BP)网路

基于BP算法的多层前馈网络模型

输入向量:X=(x1,x2,…,xi,…,xn)T

隐层输出向量:Y=(y1,y2,…,yj,…,ym)T

输出层输出向量:O=(o1,o2,…,ok,…,ol)T

期望输出向量:d=(d1, d2,…,dk,…,dl)T

输入层到隐层之间的权值矩阵:V=(V1,V2,…,Vj,…,Vm)

隐层到输出层之间的权值矩阵:W=(W1,W2,…,Wk,…,Wl)

slide35
对于输出层:

k=1,2,…,l

k=1,2,…,l

对于隐层:

j=1,2,…,m

j=1,2,…,m

误差反向传播(BP)网路

3.4.1 基于BP算法的多层前馈网络模型

slide36
单极性Sigmoid函数:

双极性Sigmoid函数:

误差反向传播(BP)网路

3.4.1 基于BP算法的多层前馈网络模型

slide37
输出误差E定义:BP学习算法

一、网络误差 定义与权值调整思路

将以上误差定义式展开至隐层:

slide38
BP学习算法

一、网络误差与权值调整

进一步展开至输入层:

slide39
j=0,1,2,…,m; k=1,2,…,l

i=0,1,2,…,n; j=1,2,…,m

BP学习算法

BP学习算法

式中负号表示梯度下降,常数η∈(0,1)表示比例系数。

在全部推导过程中,对输出层有j=0,1,2,…,m; k=1,2,…,l

对隐层有 i=0,1,2,…,n; j=1,2,…,m

slide40
yj

xi

对隐层,式(3.4.9b)可写为

对输出层和隐层各定义一个误差信号,令

(3.4.11a)

BP算法推导

对于输出层,式(3.4.9a)可写为

slide41
BP算法的程序实现

(1)初始化;

(2)输入训练样本对X Xp、d dp

计算各层输出;

(3)计算网络输出误差;

(4)计算各层误差信号;

(5)调整各层权值;

(6)检查是否对所有样本完成一次

轮训;

(7)检查网络总误差是否达到精

度要求。

slide42
另一种方法是在所有样本输入之后,计算网络的总误差:BP算法的程序实现

然后根据总误差计算各层的误差信号并调整权值。

slide43
多层前馈网(感知器)的主要能力

(1)非线性映射能力

多层前馈网能学习和存贮大量输入-输出模式映射关系,而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练,它便能完成由n维输入空间到m维输出空间的非线性映射。

slide44
多层前馈网(感知器)的主要能力

(2)泛化能力

当向网络输入训练时未曾见过的非样本数据时,网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。

(3)容错能力

输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。

slide45
BP算法的局限性

误差函数的可调整参数的个数 nw 等于各层权值数加上阈值数,即:

误差 E 是 nw+1 维空间中一个形状极为复杂的曲面,该曲面上的每个点的“高度”对应于一个误差值,每个点的坐标向量对应着 nw 个权值,因此称这样的空间为误差的权空间。

slide46
BP算法的局限性

误差曲面的分布有两个特点:

特点之一:存在平坦区域

slide47
BP算法的局限性

特点之二:存在多个极小点

多数极小点都是局部极小,即使是全局极小往往也不是唯一的,但其特点都是误差梯度为零。

误差曲面的平坦区域会使训练次数大大增加,从而影响了收敛速度;而误差曲面的多极小点会使训练陷入局部极小,从而使训练无法收敛于给定误差。

slide48
标准BP算法的改进

标准的BP算法在应用中暴露出不少内在的缺陷:

⑴ 易形成局部极小而得不到全局最优;

⑵ 训练次数多使得学习效率低,收敛速度慢;

⑶ 隐节点的选取缺乏理论指导;

⑷ 训练时学习新样本有遗忘旧样本的趋势。

针对上述问题,国内外已提出不少有效的改进算法,下面仅介绍其中3种较常用的方法。

slide49
α为动量系数,一般有α∈(0,1)标准BP算法的改进

1 增加动量项

2 自适应调节学习率

设一初始学习率,若经过一批次权值调整后使总误差↑,则本次调整无效,且=β(β<1 );

若经过一批次权值调整后使总误差↓,则本次调整有效,且=θ (θ>1 )。

slide50
标准BP算法的改进

3 引入陡度因子

实现这一思路的具体作法是,在原转移函数中引入一个陡度因子λ

slide51
概述

Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield教授于1982年提出,是一种单层反馈神经网络。

Hopfield网络是一种由非线性元件构成的反馈系统,其稳定状态的分析比前向神经网络要复杂得多。1984年,Hopfield设计并研制了网络模型的电路,并成功地解决了旅行商(TSP)计算难题(优化问题)。

Hello,I’m John Hopfield

Hopfield网络分为离散型和连续型两种网络模型,分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network) 。

hopfield1
离散Hopfield 神经网络
  • 网络模型表示法二
hopfield2
离散Hopfield 神经网络
  • 相关参数说明
    • 任意神经元 i与j间的突触权值为 ,神经元之间连接是对称的,神经元自身无连接.
    • 每个神经元都同其他的神经元相连,其输出信号经过其他神经元又有可能反馈给自己
    • 设Hopfield网络中有n个神经元,其中任意神经元的输入用 表示,输出 用表示,它们都是时间的函数,其中 也称为神经元在时刻t的状态。
hopfield4
离散Hopfield 神经网络
  • 离散Hopfield网络的运行规则
    • (1)串行(异步)工作方式
      • 在任—时刻,只有某—神经元 (随机的或确定的选择)依上式变化,而其他神经元的状态不变。
    • (2)并行(同步)工作方式
      • 在任一时刻,部分神经元或全部神经元的状态同时改变。
hopfield5
离散Hopfield 神经网络
  • 串行(异步)工作方式运行步骤
    • 第一步 对网络进行初始化;
    • 第二步 从网络中随机选取一个神经元;
    • 第三步 按式(2-5)求出该神经元i的输出;
    • 第四步 按式(2-6)求出该神经元经激活函数处理后的输出,此时网络中的其他神经元的输出保持不变;
    • 第五步 判断网络是否达到稳定状态,若达到稳定状态或满足给定条件则结束;否则转到第二步继续运行。
hopfield6
离散Hopfield 神经网络
  • 稳定状态
    • 若网络从某一时刻以后,状态不再发生变化,则称网络处于稳定状态
    • 网络为对称连接,即;神经元自身无连接
    • 能量函数在网络运行中不断降低,最后达到稳定
hopfield7
离散Hopfield 神经网络
  • 网络中神经元能量函数变化量

Hopfield网络状态向着能量函数减小的方向演化。由于能量函数有界,所以系统必然会趋于稳定状态 。

hopfield9
连续Hopfield 神经网络
  • 稳定性分析
    • 将下式代入得:

因为

连续Hopfield网络模型是稳定的

hopfield10
连续Hopfield 神经网络
  • 连续Hopfield网络模型的主要特性
    • 1)连续Hopfield网络的神经元作为I/O转换,其传输特性具有Sigmoid特性;
    • 2)具有时空整合作用;
    • 3)在神经元之间存在着大量的兴奋性和抑制性连接,这种联接主要是通过反馈来实现。
    • 4)具有既代表产生动作电位的神经元,又有代表按渐进方式工作的神经元,即保留了动态和非线性两个最重要的计算特性。
  • Hopfield神经网络设计的目标就是使得网络存储一些特定的平衡点,当给定网络一个初始条件时,网络最后会在这样的点上停下来
hopfield matlab
Hopfield 神经网络的MATLAB实现
  • MATLAB中Hopfield网络的重要函数和功能
hopfield matlab1
Hopfield 神经网络的MATLAB实现
  • MATLAB中与Hopfield网络有关的重要函数和功能
    • newhop( )
    • 功能 生成一个Hopfield回归网络。
    • 格式 net = newhop(T)
    • 说明 net为生成的神经网络,具有在T中的向量上稳定的点;T是具有Q个目标向量的R*Q矩阵(元素必须为-1或1)。Hopfield神经网络经常被应用于模式的联想记忆中。Hopfield神经网络仅有一层,其激活函数用satlins( )函数,层中的神经元有来自它自身的连接权和阈值。
hopfield matlab2
Hopfield 神经网络的MATLAB实现
  • MATLAB中与Hopfield网络有关的重要函数和功能
    • satlins( )
    • 功能 对称饱和线性传递函数
    • 格式 A = satlins(N)
    • A输出向量矩阵;N是由网络的输入向量组成的S*Q矩阵,返回的矩阵A与N的维数大小一致,A的元素取值位于区间[0,1]内。当N中的元素介于-1和1之间时,其输出等于输入;当输入值小于-1时返回-1;当输入值大于1时返回1。
hopfield matlab3
Hopfield 神经网络的MATLAB实现
  • 设印刷体数字由10 10点阵构成,就是将数字分成很多小方块,每个方块就对应数字的一部分,构成数字本部分的方块用1表示,空白处用-1表示。试设计一个Hopfield网络,能够正确识别印刷体的数字。

由点阵构成的数字1

由点阵构成的数字2

slide68
稳定性分析
  • 网络的稳定性是与收敛性不同的问题
  • Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理

如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵,则它是稳定的

  • 用著名的Lyapunov函数作为Hopfield网络的能量函数
lyapunov
Lyapunov函数——能量函数
  • 作为网络的稳定性度量
    • wijoioj:网络的一致性测度。
    • xjoj:神经元的输入和输出的一致性测度。
    • θjoj:神经元自身的稳定性的测度。
an k o k o k
当ANk的状态从ok变成ok′

1、ANk是输入神经元

net k k o k
ΔΕ=-(netk-θk)Δok
  • ANk状态的变化:Δok=(ok′-ok)
  • Δok=0,ΔΕ =0
  • Δok>0,ok′=1& ok=0,ok由0变到1,

netk>θk,netk-θk>0

所以,-(netk-θk)Δok<0故ΔΕ<0

  • Δok<0, ok′=0& ok=1,ok由1变到0

netk<θk,netk-θk<0

-(netk-θk)Δok<0故ΔΕ<0

结论:网络的目标函数总是下降

an k o k o k2
当ANk的状态从ok变成ok′

2、ANk不是输入神经元

an k o k o k3
当ANk的状态从ok变成ok′

无论ANk的状态是如何变化的,总有ΔΕ≤ 0

slide75
联想记忆的结构
  • 自联想
  • 异联想
    • 双联想记忆(Bidirectional Associative Memory—BAM)。
  • 双联想记忆具有一定的泛化能力
    • 它对含有一定缺陷的输入向量,通过对信号的不断变换、修补,最后给出一个正确的输出。
slide76
W

y1

WT

x1

ym

xn

输入向量

输出向量

第1层

第2层

基本的联想记忆结构
slide77
网络运行

Y=F(XW)

X=F(YWT)

X=(x1,x2,…,xn)

Y=(y1,y2,…,ym)

F为神经元的激活函数,一般可采用S形函数

slide78
λ2

λ2>λ1

λ1

1/2

激活函数——阈值函数
  • 随着λ的增加,该函数趋近于阈值为0的阈值函数。

1 if neti>0

yi= 0 if neti<0

yi if neti=0

slide79
基本BAM的稳定
  • Kosko(1987):
    • 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。
  • 当输入向量的维数与输出向量的维数相同时,W为方阵,此时如果联接矩阵W是对称的,则基本的双联存储器退化成一个Hopfield网
slide80
异联想记忆
  • 样本集:S={(X1,Y1),(X2,Y2)…,(Xs,Ys)}
  • 权矩阵
  • 网络需要对输入向量进行循环处理的情况
    • 当输入向量中含有“噪音”
    • 样本集所含的信息超出网络的容量
slide81
容量
  • Kosko(1987),一般情况下,相联存储器的容量不会超过网络最小层神经元的个数min
  • Haines和Hecht-Nielson(1988),“非均匀”网络的容量最多可以达到2min
  • R. J. McEliece、E. C. Posner、E. R. Rodemich
    • 用户随机地选择L个状态
    • 每个向量中有4+log2min个分量为1,其它为-1
    • 98%的向量成为稳定状态
hopfield tsp
Hopfield网解决TSP问题
  • 1985年,J. J. Hopfield和D. W. Tank用神经网求解TSP。试验表明,当城市的个数不超过30时,多可以给出最优解的近似解。而当城市的个数超过30时,最终的结果就不太理想了
  • n个城市间存在n!/(2n)条可能路径
  • 设问题中含有n个城市,用n*n个神经元构成网络
hopfield tsp1
Hopfield网解决TSP问题
  • dxy——城市X与城市Y之间的距离;
  • yxi——城市X的第i个神经元的状态:

1 城市X在第i个被访问

yxi=

0 城市X不在第i个被访问

  • wxi,yj——城市X的第i个神经元到城市Y的第j个神经元的连接权。
hopfield tsp2
城市名

访问顺序标示

1

2

3

4

X

0

1

0

0

Y

0

0

0

1

Z

1

0

0

0

W

0

0

1

0

Hopfield网用于解决TSP问题

例如:四个城市X、Y、Z、W

hopfield tsp3
Hopfield网用于解决TSP问题
  • 连接矩阵

wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1)

1 如果i=j

δij=

0 如果i≠j

slide87
网络的能量函数
  • 仅当所有的城市最多只被访问一次时取得极小值0。
  • A、B、C、D为惩罚因子

第1项

slide88
网络的能量函数
  • 仅当每次最多只访问一个城市时取得极小值0。

第2项

slide89
网络的能量函数
  • 当且仅当所有的n个城市一共被访问n次时才取得最小值0。

第3项

slide90
网络的能量函数
  • 表示按照当前的访问路线的安排,所需要走的路径的总长度

第4项

hopfield tsp4
Hopfield网解决TSP问题

Hopfield网解决TSP问题时显示了它强大的计算能力,若对10个城市的TSP问题来说,可能存在

n!/2n=10!/20=181440条

它能从近20万条路线中选出最好的路线,显示它的计算能力。

ad