第14届中国神经网络学术会议

1. 第14届中国神经网络学术会议 智能科学中的神经计算 史忠植 shizz@ics.ict.ac.cn http://www.intsci.ac.cn/ 中国科学院计算技术研究所

2. 内容提要 一、引言 二、神经网络 三、功能柱 四、同步问题 五、神经场 六、结束语 史忠植 神经计算

3. 科学发展大趋势美国关于NBIC会聚技术的战略研讨科学发展大趋势美国关于NBIC会聚技术的战略研讨 10多年的酝酿，1151人的参与 两次会议： 2001-05-11 NSF预备会 2001-12-03 NSF/DOC (79人) 政府及国家实验室 32人 大学 28人 企业及非政府组织 19人 2004-03 成立Converging Technologies Bar Association (CTBA) 史忠植 神经计算

4. New Society New Sciences New Education Info Bio Enhancing Human Performance Nano Cogno New Applications New Industries New Humanbeing 科学发展大趋势 史忠植 神经计算

5. 对21世纪技术创新浪潮长波的猜想 生物基因 （蛋白质） 纳米材料 数字网络 软件 新媒体 ？？？ ？？？ 脑科学 智能技术 创 新 步 伐 第一次浪潮 第二次浪潮 第三次浪潮 第四次浪潮 19902020 2050 2080 2100 史忠植 神经计算

6. 技术创新浪潮的经济长波规律 （康德拉捷夫） 石油化学 电子 航空 数字网络 软件 新媒体 蒸汽 铁路 钢 电 化学品 内燃机 水力 纺织 铁 创 新 步 伐 机械化 铁路化 电气化 电子化 数字化 第一次浪潮 第二次浪潮 第三次浪潮 第四次浪潮 第五次浪潮 1785 1845 1900 1950 1990 19992020 60年 55年 50年 40年 30年 史忠植 神经计算

7. 科学发展大趋势 21世纪:智能科学 智能科学是一门交叉学科，主要由 F 脑科学 F 认知科学 F 人工智能 等学科共同研究智能行为的基本理论和实现技术。 史忠植 神经计算

8. 神经元 史忠植 神经计算

9. McCulloch-Pitts神经元 • 现代的神经网络开始于McCulloch, Pitts（1943）的先驱工作. 在他们的经典论文里，McCulloch, Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑分析, 他们的神经元模型假定遵循有-无模型律。如果如此简单的神经元数目足够多和适当设置连接权值并且同步操作, McCulloch, Pitts证明这样构成的网络原则上可以计算任何可计算函数。这是一个有重大意义的结果，有了它标志着神经网络和人工智能的诞生. 史忠植 神经计算

10. McCulloch-Pitts神经元 史忠植 神经计算

11. Hebb学习假说 • 1949年，Hebb的书《行为组织学》,他在里面第一次清楚说明了突触修正的生理学习规则。特别的，Hebb提出大脑的连接随着生物学会不同功能任务而连续地变化的，神经组织就是由这种变化创建起来的. Hebb 继承了Ramony 和Cajal 早期的假设并引入自己的现在著名的学习假说，两个神经元之间的可变突触被突触两端神经元的重复的激活加强了。Hebb的书在心理学家中有广泛的影响，但遗憾的是对工程界却影响很少或没有。 史忠植 神经计算

12. 感知器 • Rosenblatt(1958)在他有关感知器的研究著作中提出了模式识别问题的新方法，一种新的监督学习方法.所为的感知器收敛定理使Rosenblatt的工作取得圆满的成功。他于1960年提出感知器收敛定理的第一个证明（1960）。 Widrow和Hoff介绍了最小平均平方(least mean square,LMS)算法并用它构成了Adaline(adaptive linear element).感知器和Adaline的区别在于训练过程。 史忠植 神经计算

13. 感知器 • 1969年，Minsky和Papert合作发表了颇有影响的Perceptron一书，得出了消极悲观的论点，加上数字计算机正处于全盛时期并在人工智能领域取得显著成就，70年代人工神经网络的研究处于低潮。 史忠植 神经计算

14. Hopfield 网络 • 1982年，Hoopfield用能量函数的思想形成一种具有对称连接的递归网络所执行的计算的新方法。这类具有反馈的特殊神经网络在80年代引起了大量的关注，产生了著名的Hopfield网络。尽管Hopfield网络不可能是真正的神经生物系统模型，他们包涵的原理，即在动态的稳定网络中存储信息原理的，是极深刻的。 史忠植 神经计算

15. 神经计算 • 自适应共振理论（ART） • 自组织特征映射理论 • Hinton 等人最近提出了Helmboltz 机 • 徐雷提出的Ying-Yang 机理论模型 • 甘利俊一( S.Amari) 开创和发展的基于统计流形的方法应用于人工神经网络的研究 史忠植 神经计算

16. 模式结构 Hinton提出了简单的有监督学习理论只能把神经网络引向死亡描述,提出了建立通过神经网络抽取模式结构为目标, 形成外界环境在神经网络中形成内在表示的机理作为发展人工神经网络理论的基础。 史忠植 神经计算

17. Actions from thoughts ( Nature 409, 2001 ) 智能科学 • 智能不仅要功能模拟, 而且要机理模拟 史忠植 神经计算

18. 神经元 史忠植 神经计算

19. 突触可塑性 史忠植 神经计算

20. 神经元模型 • 神经元是神经网络中基本的信息处理单元，他由下列部分组成: • 一组突触和联结，联结具有权值 W1, W2, …, Wm • 通过加法器功能，将计算输入的权值之和 • 激励函数限制神经元输出的幅度 史忠植 神经计算

21. w0 x0 = +1 x1 w1 Activation function Local Field v Input signal Output y x2 w2 Summing function Synaptic weights xm wm 神经元模型 史忠植 神经计算

22. 大脑神经系统 • 神经系统是多层次的。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。 史忠植 神经计算

23. 神经网络 史忠植 神经计算

24. 神经网络 史忠植 神经计算

25. 神经网络 史忠植 神经计算

26. 功能柱 20世纪60年代末，美国科学家发现，在大脑视觉皮层中，具有相同图像特征选择性和相同感受野位置的众多神经细胞，以垂直于大脑表面的方式排列成柱状结构———功能柱。30多年来，脑研究领域一直将垂直的柱状结构看作大脑功能组织的一个基本原则。但是，传统的功能柱研究还不能阐释视觉系统究竟是如何处理大范围复杂图像信息的。 史忠植 神经计算

27. 功能柱 中科院上海生命科学研究院神经科学研究所李朝义实验室通过对猫的视皮层的研究，发现在初级视皮层中存在一种与处理大范围复杂图形特征有关的功能结构。与目前所有已知结构不同，它不是柱状的，而是形成许许多多直径约300微米的小球，分散地镶嵌在已知的垂直功能柱中。这是在简单特征功能柱基础上所形成的第二级功能筑构，处理各种更复杂的图像信息。视觉系统可能正是通过这种神经机制，以有限的信息量把目标物从复杂的背景图像中分离出来。 史忠植 神经计算

28. 功能柱 • 1972年: Wilson-Cowan方程来描述功能柱; • 1990年: Shuster等人模拟视皮层中发现的同步振荡; • 1993年: Jansen等人提出了耦合功能柱模型产生了类EEG波形和诱发电位； • 1994年: Fukai设计了功能柱式的网络模型来模拟视觉图样的获取; • 1997年: Hansel等人根据视皮层朝向柱的结构构建了一个超柱模型，研究其中的同步性和混沌特性，并对朝向选择性的功能柱机理做出解释; • 1998年: Fransén等人把传统网络中的单细胞代换成多细胞构成的功能柱，来模拟工作记忆 史忠植 神经计算

29. 功能柱 中国科学院生物物理所 视觉信息加工重点实验室 中国科学院计算研究所 李速①齐翔林①胡宏②汪云九① 功能柱结构神经网络模型中的同步振荡现象 功能柱是一个振荡子，而且表明功能柱可以成为皮层多样化 的节律活动的发生源，EEG中的各种节律均可以在结构具有 普遍性的功能柱中找到生理基础。 史忠植 神经计算

30. 功能柱 Rose-Hindmarsh方程来描述单神经元: x: 代表膜电位， y: 表示快速回复电流， z: 描述慢变化的调整电流， Isyn表示突触电流， Istim表示外界输入 史忠植 神经计算

31. 功能柱 模型采用基于电流的突触模型，在突触前细胞的每个动作电位都将触发突触后细胞的Isyn输入。突触电流Isyn表示为: gsyn为膜电导 1,2 时间常数 Vsyn表示突触后电位 史忠植 神经计算

32. 功能柱 史忠植 神经计算

33. 同源功能柱 史忠植 神经计算

34. 异源功能柱 史忠植 神经计算

35. 功能柱 功能柱是一个振荡子，而且表明功能柱可以成为皮层多样化的节律活动的发生源，EEG中的各种节律均可以在结构具有普遍性的功能柱中找到生理基础。 史忠植 神经计算

36. 功能柱 功能柱是介于单神经元和皮层脑区之间的一种中间层次的单元，理解这种中间层次的单元的活动特点，能够为脑科学中微观现象和宏观现象的研究之间建立一座桥梁 史忠植 神经计算

37. 信息几何 • 信息几何（Information Geometry）是采用（Riemann流形上的）微分几何方法来研究统计问题的理论。 • Efron首先在统计学中采用微分几何方法（1975) • 甘利俊一（S.Amari）引入α-联络,并应用到神经网络的研究中 • zhu haiyu 等人研究了贝叶斯信息几何（Bayes Information Geometry) 史忠植 神经计算

38. 统计流形 • 概率神经网络模型（统计学习机）： • P(y|x; Θ)=Ф (y – F(x,W)) Θ∈Rn • 指数簇（Exponential families）流形人工神经网络 • 正态分布 • Boltzmann机 • 混合专家神经网络 • 弯曲指数簇流形人工神经网络 • 神经场理论 史忠植 神经计算

39. 朴素贝叶斯分类器(NBC) • Bayesian网络的简化 朴素Bayesian假设：特征向量的各分量间相对于决策变量是相对独立 • 降低计算复杂度 • 更加直观简洁 • 可能降低分类、预测精度 史忠植 神经计算

40. Fisher 分 • Fisher分： • Fisher信息矩阵I 可写为： • Fisher分映射： 史忠植 神经计算

41. 基于Fisher分朴素贝叶斯分类器(NBC) • 目标：提高NBC的分类精度 • 方向：改进属性间的条件独立性关系 • 途径：基于Fisher分重构属性集，在此基础上建立朴素贝叶斯分类器 史忠植 神经计算

42. 神经场动力学 Wilson-Cowan Amari Ermentrout-Cowan ……. 史忠植 神经计算

43. 神经场 神经场研究的出发点是信息处理系统的整体结构, 一般的系统表示为非欧氏空间( 在一定拓扑结构下形成流形 )。 研究的一个关键就是建立环境结构流形与神经流形的耦合关系, 用流形的思想、 拓扑的概念和统计推理来研究整体结构所具有的性质, 利用整体不变性质, 处理和分析表示结构与神经流形的优化逼近过程。 史忠植 神经计算

44. 一维一层 史忠植 神经计算

45. 自组织神经场动力学 presynaptic field 史忠植 神经计算

46. 拓扑映射自组织 signal space neural field • amplification • topology • patch structure (colummar structure) dynamical instability Willshaw-Malsburg Takeuchi-Amari Kohonen 史忠植 神经计算

47. Field Action Model y W2:Field Action Weight . . . Output Units . . . Hidden Units z . . . W1：Field Organization Weights . . . Input Units Field Organization Model x 神经场 史忠植 神经计算

48. 神经场 神经场理论框架, 体现整体信息处理的结构在两方面: 一方面, 表示结构的编码和模型结构通过拓扑结构进行表示, 具有层次化、 模块化的组织, 形成树型链结构,模型结构具有扩展成无限模型的性质和分维组织机理, 分解成层次化的结构。 我们试图用代数拓扑的方法来描述这种结构, 体现整体不变性质, 神经网络具有对于结构进行模型化的机理, 对于系统结构的逼近。 另一方面, 复杂的模型由简单的模型集成, 简单的模型嵌入更复杂的结构中, 信息几何研究局部和整体不变度量的关系,研究全局不变量, 即研究学习的全局优化过程。 史忠植 神经计算

49. 中俄合作研究神经计算 根据2002年7月举行的中俄总理定期会晤委员会中俄科技合作分委会第六届例会将“建立神经芯片和超级计算机研制、生产联合实验室”列入双边科技合作项目的计划, 中国科学院计算技术研究所与俄罗斯控制系统部神经计算机科学中心决定成立“中俄神经计算机及其应用联合实验室”。签字仪式于2004年4月9日在中国科学院计算技术研究所举行。 史忠植 神经计算

50. 中俄合作研究神经计算 史忠植 神经计算