模式识别理论及应用 Pattern Recognition - Methods and Application

1. IPL 武汉大学电子信息学院 模式识别理论及应用Pattern Recognition - Methods and Application 第一章 模式识别概述

2. 模式识别与神经网络 IPL 第一章 模式识别概述 内容目录 1 1.1 模式识别和模式的概念 1.2 模式识别系统 2 1.3 模式识别的主要方法 3 1.4 模式识别应用 4 1.5 有关模式识别的若干问题 5

3. 1.1 模式识别和模式的概念 • 人类具有很强的模式识别能力，时刻在完成某种模式识别的任务。 • 模式识别作为一门学科，是研究用机器完成自动识别事物的工作。 • 模式识别形成于50~60年代，它与人工智能关系密切。 • 模式识别是一门理论与应用并重的技术科学。有广泛的需求。 • 现有的理论与方法还有不足。 第一章 模式识别概述

4. 模式识别和模式的概念 概念 • Pattern recognitionis the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain) 第一章 模式识别概述

5. 模式与模式类 概念 • 样本(sample, object)：一类事物的一个具体体现，对具体的个别事物进行观测所得到的某种形式的信号。 • 模式(pattern)：表示一类事物，如印刷体A与手写体A属同一模式。B与A则属于不同模式。 • 样本是具体的事物，而模式是对同一类事物概念性的概括。 • 模式类与模式联合使用时，模式表示具体的事物，而模式类则是对这一类事物的概念性描述。 • 模式识别是从样本到类别的映射。 第一章 模式识别概述

6. 模式识别和模式的概念 概念 • Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” • a fingerprint image • a handwritten cursive word • a human face • a speech signal • …… 第一章 模式识别概述

7. 模式识别和模式的概念 概念 • 识别是时时刻刻发生的活动 • 识别（Recognition)—再认知（Re-Cognition) • 主要研究相似和分类问题 • 有监督分类 • 无监督分类 • 与其他学科的关系 • 统计学 • 人工智能 • 机器学习 • 运筹学 第一章 模式识别概述

8. 1.2 模式识别系统 信号空间 特征空间 数据获取 预处理 特征提取与选择 分类决策 分类器设计 第一章 模式识别概述

9. 模式识别系统的组成 系统 • 数据获取和预处理(data acquisition and preprocessing)：测量，采样和量化，去噪，复原 • 特征提取与选择(feature extraction and selection) • 分类决策(classification decision) 第一章 模式识别概述

10. 1.3 模式识别的方法 • 模版匹配法 • 统计方法 • 神经网络方法 • 结构方法(句法方法) 第一章 模式识别概述

11. 模版匹配 方法 • 首先对每个类别建立一个或多个模版 • 输入样本和数据库中每个类别的模版进行比较，求相关或距离 • 根据相关性或距离大小进行决策 • 优点：直接、简单 • 缺点：适应性差 • 形变模版 第一章 模式识别概述

12. 统计方法 方法 • 根据训练样本，建立决策边界(decision boundary) • 统计决策理论——根据每一类总体的概率分布决定决策边界 • 判别式分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数 • 本课程的重点内容 第一章 模式识别概述

13. 句法方法 方法 • 许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓 “基元” • 每个模式都可以由基元根据一定的关系来组成 • 基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法 • 模式的相似性由句子的相似性来决定 • 优点：适合结构性强的模式 • 缺点：抗噪声能力差，计算复杂度高 第一章 模式识别概述

14. 神经网络 方法 • 进行大规模并行计算的数学模型 • 具有学习、推广、自适应、容错、分布表达和计算的能力 • 优点：可以有效的解决一些复杂的非线性问题 • 缺点：缺少有效的学习理论 第一章 模式识别概述

15. 几种方法比较 方法 第一章 模式识别概述

16. 神经网络和统计模式识别的关系 方法 第一章 模式识别概述

17. 1.4 模式识别应用 • 文本分类 • 文本图像分析 • 工业自动化 • 数据挖掘 • 多媒体数据库检索 • 生物特征识别 • 语音识别 • 生物信息学 • 遥感 • …… 第一章 模式识别概述

18. 1.5 有关模式识别的若干问题 • 模式类的紧致性： • 集合中任意两个内点可以用光滑线连接，在该连线上的点也属于这个集合。 • 每个内点都有一个足够大的邻域，在该邻域中只包含同一集合中的点。 • 假若每个模式类都满足紧致性假设，则解决模式识别间题就不会碰到什么原则上的困难。但对于很多实际问题这个假设是不成立的。 • 只耍各个模式类是可分的，总存在这样一个空间，使变换到这个空间中的集合满足紧致性要求。 第一章 模式识别概述

19. 有关模式识别的若干问题 • 相似与分类：相似与分类问题远不像集合表达那样简单明了。集合的概念可用来表现已经分好的类，但对于怎样分类和归类则缺乏指导意义。 • 相似性度量：样本xi和 xj是Rn空间中两个点，它们间的某种距离的函数 s(xi, xj)。 • 距离: d(xi, xj)=[(xi - xj)T.(xi - xj)]1/2 • 相似性度量1: s(xi, xj)=f(d(xi, xj)) • 相似性度量2: s(xi, xj)=cos(<xi, xj>) • 分类都是带有主观性的行为，常缺乏纯客观的分类标准。 • 靠哪些特征决定相似并进行分类，取决于行为的目的和方法。 第一章 模式识别概述

20. 习题 • 试简述样本，模式和模式类等概念间的关系 • 试简述模式识别系统的主要组成部分 • 试简述先验概率，类条件概率密度函数和后验概率等概念间的关系 第一章 模式识别概述