1 / 57

人脸检测子空间方法的研究 Research on the Subspace Approach of Face Detection （申请清华大学工学硕士学位论文）

人脸检测子空间方法的研究 Research on the Subspace Approach of Face Detection （申请清华大学工学硕士学位论文）. 院（系、所）： 计算机科学与技术 专 业： 计算机应用技术 研 究 生： 应 理 航 指 导 教 师： 艾海舟（副教授）. 内容提要. 引言 子空间方法的研究 基于线性 SVM 子空间的正面人脸检测 人脸检测子空间方法在人脸跟踪中的应用 基于积分图象与 AdaBoost 方法的多姿态人脸检测 人脸检测的后处理验证方法 展望. 1.1 研究的背景与意义.

kevyn-lucas
Download Presentation

人脸检测子空间方法的研究 Research on the Subspace Approach of Face Detection （申请清华大学工学硕士学位论文）

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 人脸检测子空间方法的研究Research on the Subspace Approach of Face Detection（申请清华大学工学硕士学位论文） 院（系、所）： 计算机科学与技术 专 业： 计算机应用技术 研 究 生： 应 理 航 指 导 教 师： 艾海舟（副教授）

  2. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 1-56

  3. 1.1 研究的背景与意义 • 人脸检测（Face Detection）是指在输入图象中确定所有人脸（如果存在）的位置与大小。 • 应用：人脸识别、和谐人机界面、视觉监测、数字视频处理 2-56

  4. 1.2 人脸检测研究的综述(1) • 人脸属于三维非刚体目标 • 人脸具有结构的恒常性：眼睛、鼻子、嘴 • 人脸外观具有很强的可变性：表情、位姿、光照 • 人脸视图具有丰富而细致的模式变化：分辨率、几何变换 • 人脸模式包含的特征具有复杂性和多样性：肤色特征、椭圆轮廓、对称等 3-56

  5. 1.2 人脸检测研究的综述(2) • 评价标准 • 评价指标 • 检测正确率、错误报警率、正确率－错误报警率曲线以及处理速度 • 测试图象库 • 我们的正面人脸测试集(230幅图片，545个人脸) • CMU正面人脸测试集(130幅图片，507个人脸) • CMU多姿态人脸测试集(208幅图片，590个人脸) 4-56

  6. 1.2 人脸检测研究的综述(3) • 研究现状 • 两大类方法： • 基于人脸特征的方法： • 利用皮肤和头发的色彩、人脸轮廓、人脸头发的分布、器官特征（眼睛、嘴、鼻子等）及其分布关系等特征 • 快速，但不稳定 • 基于人脸模板的方法： • 将人脸区域看作一类模式，使用大量的“人脸”与“非人脸”样本训练、构造分类器 • 性能稳定、鲁棒性强，是目前的研究重点，但训练困难、计算量大 5-56

  7. 1.2 人脸检测研究的综述(4) • 研究现状（续） • 当前研究重点 • 降低错误报警率 • 提高速度 • 多姿态人脸的检测 6-56

  8. 1.2 人脸检测研究的综述(5) • 研究现状（续） • 最新进展 • 梁路宏的模板匹配约束的子空间方法 • 简单的模板匹配过滤检测窗口 • ANN或SVM的训练在模板匹配划分的子空间上进行 • Viola的基于积分图象与AdaBoost训练的快速人脸检测方法 • 利用积分图象计算简单的矩形特征 • AdaBoost方法训练这些矩形特征组成强分类器 • 构造层叠结构的分类器，先用简单的强分类器排除大多数非人脸窗口 • 速度大大提高 7-56

  9. 1.2 人脸检测研究的综述(6) • 研究现状（续） • 最新进展 • 微软对Viola的方法改进后的多姿态人脸检测 • 金字塔结构组合各个姿态的分类器 • 金字塔上层简单的分类器尽量排除非人脸窗口 • 多姿态人脸的检测达到实时水平 • 小结 • 子空间思想：通过简单的分类器排除非人脸窗口、减轻复杂分类器的负担的思想 8-56

  10. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 9-56

  11. 2.1 子空间方法的概述 • 子空间方法的思想 • 分阶段的子空间划分 • 在一个更小的子空间训练 • 较简单的分类器排除 大多数非人脸窗口 • 特定环境下的子空间 10-56

  12. 2.2 二阶段的子空间方法(1) • 概述 • 通过粗分类滤波器得到一个子空间 • 在子空间上训练核心分类器 • 检测时，先通过粗分类器滤波器，再用核心分类器分类 • 粗分类器滤波器 • 让绝大多数人脸通过(人脸通过率,Face Pass Rate) • 过滤大部分非人脸(非人脸过滤率,Nonface Filter Rate) • 计算简单 11-56

  13. 粗分类滤波器 训练样本 距离标准 计算复杂度 1.平均脸模板匹配 人脸样本 欧式距离 O(n) 2.M阶的PCA 人脸样本 欧式距离 O((2M+1)n) 3.线性SVM 人脸样本＋非人脸样本 最大区分间隔 O(n) 2.2 二阶段的子空间方法(2) • 粗分类器比较 12-56

  14. 2.2 二阶段的子空间方法(3) • 平均脸模板匹配、6阶(M=6)PCA、线性SVM的人脸通过率－非人脸过滤率曲线 13-56

  15. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 14-56

  16. 3.1 Support Vector Machine(1) • 概述 • 结构风险最小化(Structural Risk Minimization) • 优于经验风险最小化(Empirical Risk Minimization)的方法，如ANN 15-56

  17. 3.1 Support Vector Machine(2) • 给出样本: 核心函数为 : • 其为解决二次规划的问题: 其满足 16-56

  18. 3.1 Support Vector Machine(3) • 分类器为: • 对于高斯(Gaussian)核的非线性SVM，核函数为 • 对于线性SVM核函数为: ,则分类器可变为 其中 17-56

  19. 3.2 分类器的构造 • 基于线性SVM子空间的正面人脸检测分类器的结构 18-56

  20. 3.2.1 线性SVM的训练(1) • 样本: • 人脸样本：12,434(从815个人脸变换生成) • 非人脸样本：12,512(从156个不包含人脸的图片中生成) • 训练得到的 的图象形式 19-56

  21. 3.2.1 线性SVM的训练(2) • 人脸通过率－非人脸过滤率曲线 20-56

  22. 3.2.2 非线性SVM的训练(1) • 人脸样本: • 第一轮: 从406个基本训练图片中的706个人脸中生成 • 其他轮: 用当前分类器在73个扩展训练图片中收集漏检测的人脸，加入人脸样本集 • 好处: 可以减少非线性SVM的支持矢量的个数 21-56

  23. 3.2.2 非线性SVM的训练(2) • 非人脸样本: • 第一轮: 通过线性SVM的错误报警 • 其他轮: 用当前分类器收集错误报警，加入到非人脸样本集 22-56

  24. 3.3 实验结果(1) • 在我们的正面人脸检测测试集上的正确检测率-错误报警率曲线 23-56

  25. 算法 正确检测率 错误报警数量 速度（WPS） 线性SVM+G-SVM1 96.5% 824 6,081 线性 SVM +G-SVM1+G-SVM2+仲裁 91.2％ 69 5,853 模板匹配+SVM(梁路宏) 94.7% 815 5,874 CMU Rowley 系统 5 97.8% 1,841 9,321 系统 11 96.3% 87 5,681 3.3 实验结果(2) • 我们的测试集上的实验结果比较(平台:PIII 933CPU、256MB内存的PC机) WPS:每秒处理的窗口数目 24-56

  26. 算法 正确检测率 错误报警数量 线性SVM+G-SVM1 82.3% 322 线性SVM+G-SVM1+G-SVM2＋仲裁 75.4％ 68 模板匹配+SVM(梁路宏) 81.9% 462 CMU Rowley 系统 5 90.5% 570 系统11 86.2% 23 3.3 实验结果(3) • CMU测试集上的结果比较 25-56

  27. 在我们的测试集上的一些结果(线性SVM+G-SVM) 3.3 实验结果(4) 对图片(I) (356×281，253,256个检测窗口)用了71.0秒 26-56

  28. 在CMU正面人脸检测测试集上的一些结果 3.3 实验结果(5) 27-56

  29. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 28-56

  30. 4.1 人脸跟踪 • 利用前后帧的关联减少搜索空间 • 运动物体检测 • 时间差值变化检测 • 背景差分检测 • 光流检测 • 运动范围预测 • 特定场景下的人脸大小 29-56

  31. 4.2 门禁系统的视觉监视(1) • 算法流程 30-56

  32. 4.2 门禁系统的视觉监视(2) • 基于SVM子空间的人脸检测分类器 • 粗分类器采用通用的粗分类器 • 核心分类器则在特定环境的子空间下训练 • 初始的非人脸样本来自特定监视环境下的图象序列 • 收集新错误报警的非人脸图片集也为特定监视环境下的图象序列中的图象 31-56

  33. 4.2 门禁系统的视觉监视(3) • 实验环境 • 图象帧 • 总帧数 = 24(小时)×3600(秒/小时)×15(帧/秒) 32-56

  34. 进入人数 记录下的人数 错误记录的人数 漏掉的人数 速度 97 79(81.4%) 310 18 4.7HZ 4.2 门禁系统的视觉监视(3) • 实验结果 33-56

  35. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 34-56

  36. 5.1 Viola的方法(1) • 积分图象与矩形特征 35-56

  37. 5.1 Viola的方法(2) • AdaBoost训练方法 • 24×24的图象窗口有180,000个矩形特征 • 每个矩形特征都可以构造一个弱分类器(总可保证50%通过) • 选择有效的弱分类器构成强分类器 36-56

  38. 5.1 Viola的方法(3) • 层叠分类器 • 结构 • 训练 • 通过性能目标驱动 • 下一层的训练是在上一层分类 器划分的子空间上进行 37-56

  39. 5.1 Viola的方法(4) • 特点 • 自动选取有效特征 • 层叠分类器构造时，是通过目标驱动自动构造 • 子空间思想 • 缺点：训练速度较慢 38-56

  40. 5.2 多姿态人脸的分析 • 多姿态人脸划分 • 平面内旋转 (旋转原图) • 左右的平面外旋转 (划分视角训练不同分类器) • 上下的平面外旋转 (分类器进行包容) 39-56

  41. 5.3 多姿态人脸分类器(1) • 多姿态人脸分类器的金字塔结构与对应视角划分 40-56

  42. 人脸样本数量 初始非人脸样本数量 设计目标 检测率 错误报警率 第一层 -90~90 22,000 12,000 99% 50% 第二层 -90~-60 2,900 3,086 97% 3% -60~60 13,000 12,000 第三层 -90~-60 2,900 12,000 94% 10-6 -60~-30 3,100 3,100 -30~-20 1,700 1,600 -20~20 1,700 1,600 5.3 多姿态人脸分类器(2) • 训练情况 41-56

  43. 错误报警个数 检测率 我们的方法 196 94.2% 微软的多姿态人脸检测方法[6,7]（根据曲线估计） 190 约94％ 5.3 实验结果(1) • 在CMU多姿态人脸检测测试集上的实验结果以及与微软的结果比较 42-56

  44. 5.3 实验结果(2) • 多姿态人脸检测（不包括平面内旋转）的一些实验结果 43-56

  45. 5.3 实验结果(3) • 多姿态人脸检测（包括平面内旋转）的一些实验结果 44-56

  46. 内容提要 • 引言 • 子空间方法的研究 • 基于线性SVM子空间的正面人脸检测 • 人脸检测子空间方法在人脸跟踪中的应用 • 基于积分图象与AdaBoost方法的多姿态人脸检测 • 人脸检测的后处理验证方法 • 展望 45-56

  47. 6.1 人脸检测的后处理验证方法 • 降低错误报警 • 基于人脸模板的方法与基于人脸特征的方法相结合 46-56

  48. 6.2 人脸特征 • 特征提取困难 • 人脸的本质特征表现为： • 人脸肤色区域的相对封闭性 • 人脸区域上的眼睛等人脸特征 47-56

  49. 6.2.1 人脸特征线索(1) • 前额封闭性 48-56

  50. 6.2.1 人脸特征线索(2) • 人脸区域封闭性 49-56

More Related