face recognition by humans nineteen results all computer vision researchers should know about l.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About PowerPoint Presentation
Download Presentation
Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About

Loading in 2 Seconds...

play fullscreen
1 / 59

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About - PowerPoint PPT Presentation


  • 169 Views
  • Uploaded on

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About. 作者 : Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell 讲解人:緱丹. 文章信息. 发表刊物: Proceedings of the IEEE 发表时间: 2006 引用次数: 34. First Author.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About' - homer


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
face recognition by humans nineteen results all computer vision researchers should know about

Face Recognition by Humans Nineteen Results All Computer Vision Researchers Should Know About

作者 :Pawan Sinha, Benjamin Balas, Yuri Ostrovsky, Richard Russell

讲解人:緱丹

slide2
文章信息
  • 发表刊物:Proceedings of the IEEE
  • 发表时间:2006
  • 引用次数:34
first author
First Author
  • Pawan Sinha:Associate Professor of Vision and Computational Neuroscience, Department of Brain and Cognitive Science, MIT
  • Education:
  • M.S., PhD. Dept. of Computer Sciences, MIT
  • B.S. degree, Dept. of Computer Sciences, IIT
  • publication:http://web.mit.edu/bcs/people/sinha.shtml
first author4
First Author
  • Sinha lab homepage:

http://web.mit.edu/bcs/sinha/home.html

  • Publication:
  • Role of learning in three-dimensional form perception, Nature, 1996, 引用次数60
  • I think I know that face, Nature, 1996, 引用次数52
  • Recognizing complex patterns, Nature, 2002, 引用次数26
second author
Second Author
  • Benjamin Balas: Post-Doctoral Research Fellow, Laboratories of Cognitive Neurosciences Children's Hospital Boston & Harvard Medical School
  • Education:
  • 2002-2007 PhD. Dept. of Brain and Cognitive Sciences, MIT (GPA: 5.0/5.0)
  • 1998-2002 S.B. Dept. of Brain and Cognitive Sciences, MIT (GPA: 4.9/5.0)
  • 个人主页:http://sites.google.com/site/benjaminbalas/Home/curriculum-vitae
third author
Third Author
  • Yuri Ostrovsky:PhD candidate in Vision and Computational Neuroscience, Department of Brain and Cognitive Sciences, MIT
  • 个人主页: http://web.mit.edu/~yostr/www/
fourth author
Fourth Author
  • Richard Russell: Post-Doctoral Research Fellow,Department of Psychology Harvard University
  • 个人主页: http://www.people.fas.harvard.edu/~rrussell/index.html
slide8
文章摘要

计算机视觉一个重要的目标是要制造出一个自动的人脸识别系统,使得它的性能可以与人类的能力媲美,甚至超越人类。为了达到这个目标,对于计算机视觉的研究者们而言,了解那些通过对人类识别能力的实验分析所得的关键结论非常重要。这些结论揭示了人类视觉系统的出色性能所依赖的机制,并为人工系统超越人类的能力提供了基础条件。在这篇文章中,我们

slide9
文章摘要

给出了我们所认为最基本的19个结论,以及它们对设计智能系统的影响。我们对每一个结论都进行了简短的陈述,并提供了适当的提示,以便人们对任意一个结论进行进一步的研究。

abstract
Abstract

A key goal of computer vision researchers is to create automated face recognition systems that can equal, and eventually surpass, human performance. To this end, it is imperative that computational researchers know of the key findings from experimental studies of face recognition by humans. These findings provide insights into the nature of cues that the human visual system relies upon for Achieving its cues that the human visual system relies upon for achieving its impressive performance

abstract11
Abstract

and serve as the building blocks for efforts to artificially emulate these abilities. In this paper, we present what we believe are 19 basic results, with implications for the design of computational systems. Each result is described briefly and appropriate pointers are provided to permit an in-depth study of any particular result.

slide12
提纲
  • Motivation
  • 19 results
  • Discussion
motivation
Motivation
  • 我们希望计算机智能系统能赶上并超过人类能力。只有了解人类认知的工作机理,我们才能做的更好。
  • 知己知彼,百战不殆
slide14
提纲
  • Motivation
  • 19 results
  • Discussion
19 results
19 results
  • Recognition as a function of available spatial resolution 1~3
  • The nature of processing: Piecemeal versus holistic 4~5
  • The nature of cues used: Pigmentation, shape and motion 7~14
  • Developmental progression 15~16
  • Neural underpinnings 17~19
slide16
1/19
  • 结论1 即使在很低的分辨率下,人类依然能够认出熟悉的面孔。
  • 实验数据: 19×27 pixels 最好识别率

16×16 blocks 高识别率

7×10 pixels >50%

  • 推论:好的人脸识别率并不需要精细的面部细节
slide17
1/19

人物依次为: Michael Jordan, Woody Allen, Goldie Hawn, Bill Clinton, Tom Hanks, Saddam Hussein, Elvis Presley, Jay Leno, Dustin Hoffman, Prince Charles ,Cher, Richard Nixon

slide18
2/19
  • 结论2 抵抗退化图片的能力随着熟悉度的降低而降低
  • 实验:
  • 人类对低质量监控录像的识别率与对识别对象的熟悉程度有关
  • 相比身体结构和步态信息,面部信息更重要
  • 推论:以人类对熟悉人脸的识别能力作为基准来评估智能识别系统性能比较合适
slide19
2/19

在低分辨率监控录像中,对熟悉个体的识别,主要基于面部特征

slide20
3/19
  • 结论3 只用图片中的高频信息(图像的边缘信息)并不能得到高的人脸识别率
  • 实验:只包含轮廓信息的图片很难识别,识别率 47%(轮廓信息)VS. 90%(原始图像)
slide21
3/19

Jim Carry Kevin Costner

19 results22
19 results
  • Recognition as a function of available spatial resolution 1~3
  • The nature of processing: Piecemeal versus holistic 4~6
  • The nature of cues used: Pigmentation, shape and motion 7~14
  • Developmental progression 15~16
  • Neural underpinnings 17~19
slide23
4/19
  • 结论4 脸部特征是作为整体被进行处理的
  • 实验:
  • 尽管对一个个体而言,某些时候,单独的某一个特征(eg. 眼睛)已足够识别该个体
  • 各个特征间的几何关系以及脸部的其他区域,比特征信息更为重要
  • 推论:全局信息很重要
slide24
4/19

合成的图像影响我们正确判断两个个体,因为它影响力我们利用全局信息来识别人脸

slide25
5/19
  • 结论5 各种人脸特征中,眉毛对识别的作用最大
  • 实验:按重要性递减的顺序

眉毛 眼睛 嘴巴 鼻子

  • 原因分析:
  • 对表达感情很重要
  • 在各种干扰因素的影响下,眉毛最稳定
  • 变化最少
slide26
5/19

上排为 President Richard M.Nixon

下排为actorWinonaRyder

slide27
6/19
  • 结论6 图像结构信息独立于高度和宽度维
  • 实验:人类视觉系统并不严格依赖于眼间距离、嘴巴宽度等空间结构信息
  • 推论:也许人类视觉系统有iso-dimension ratio编码的能力,来抵抗图像在宽度和高度维上的变化
slide28
6/19

我们可轻松辨认出这些变形的人脸

19 results29
19 results
  • Recognition as a function of available spatial resolution 1~3
  • The nature of processing: Piecemeal versus holistic 4~6
  • The nature of cues used: Pigmentation, shape and motion 7~14
  • Developmental progression 15~16
  • Neural underpinnings 17~19
slide30
7/19
  • 结论7 脸型(Face-Shape)是以稍微夸张的方式进行编码的
  • 实验:对于脸型,或者脸型+pigmentation, 稍微偏离真实图像对人脸识别更有效。
  • 推论:建立一个正态分布(norm-based)的人脸子空间或者会提高识别率
slide31
7/19

A 平均女性人脸 B 待识别人脸真实图像

C 合成的稍夸张的待识别人脸

相比图像B,图像C更容易被识别正确

slide32
8/19
  • 结论8 长时间的看一张人脸会引起高程度的后效性
  • 实验:
  • 人脸后效性对旋转和尺度具有鲁棒性
  • 也许人类用不同的神经来处理不同的性别
  • 推论:人类对人脸的感知能力是一个高度可塑的过程,对于周围的不同人脸,能自适应调整自己
slide34
9/19
  • 结论9 pigmentation 信息至少和人脸的形状信息一样重要
  • Pigmentation = surface appearance,与texture和color的区别?
  • 推论:综合利用形状和pigmentation两种信息,智能系统能取得更好的效果
slide35
9/19

上排:不同形状的相同人脸,

中间:不同pigmentation的相同人脸

下排:形状、pigmentation均不同

10 19
10/19
  • 结论10 当形状信息退化时,颜色信息起到很重要的重要
  • 可能的原因:
  • 颜色提供一个区分不同个体的特异信息
  • 颜色便于对低质量图像进行分析
10 1937
10/19

a) 与使用光照信息(中图)相比,色调分布(右图)使得我们更易估计出人眼的形状和大小,左图为原始图像

b) 顺序与a)类似

c)被替换过色调的图像(左图),依然能很好的帮助人类进行识别

11 19
11/19
  • 结论11 经反色转换过的图片(eg. 照片底片)极大的削弱了人脸识别性能
  • 推论:pigmentation和阴影信息对人类识别人脸起到很大的作用
11 1939
11/19

歌曲“we are the world”照片之反片

11 1940
11/19

歌曲“we are the world”照片之原始图像

12 19
12/19
  • 结论12 光照变化影响推广型(Illumination Changes Influence Generalization)
  • 实验:
  • 人类能对新的光照条件下出现的识别对像进行正确识别
  • 人脸对光照变化的推广能力不是完美的
12 1942
12/19

给实验对象看左图后,实验对象识别右图的准确率远远高于随机猜的概率

13 19
13/19
  • 结论13 视角推广性(View-Generalization)似乎来源于时序关联性(Temporal Association)
  • 实验:
  • 时序关联性将同一个体不同的图像关联为一个有用的整体
  • 将不同个体不同视角的图像进行时序关联将会对人脸识别起到迷惑作用
13 1944
13/19

同一序列中混合不同个体的图片将会削弱人脸识别能力

14 19
14/19
  • 结论14 脸部的运动似乎对随后的识别更有利
  • 实验:
  • Rigid motion,例如通过将摄像机围绕一个不变的头部进行拍摄所得,对识别帮助很小
  • nonrigid motion,即待识别对象有表情变化或者做说话动作,对识别有很大的帮助
14 1946
14/19

将Lester的nonrigid 的运动加到Stefan的图像中,将导致把Stefan误认为Lester

19 results47
19 results
  • Recognition as a function of available spatial resolution 1~3
  • The nature of processing: Piecemeal versus holistic 4~6
  • The nature of cues used: Pigmentation, shape and motion 7~14
  • Developmental progression 15~16
  • Neural underpinnings 17~19
15 19
15/19
  • 结论15 视觉系统起始于一个初始的类人脸的模板
  • 实验:左图比右图更能吸引初生婴儿的注意力
  • 推论:类人脸模板可用于人脸检测中
15 1949
15/19

新生儿更喜欢上部偏重(top-heaviness)的图形,即上排的图形

16 19
16/19
  • 结论16 在人的儿童时期,视觉系统从基于局部进行识别逐渐过渡到基于整体。
  • 实验:识别倒置图像和正常图像
  • 随着年龄增长,识别正常图像的能力明显提高
  • 同样条件下,识别倒置图像的能力几乎不变
  • 推论:这是基于整体结构信息进行鲁棒人脸识别间接证据
16 1951
16/19

6岁、8岁、10岁儿童对正放和 倒放人脸图像的识别率

19 results52
19 results
  • Recognition as a function of available spatial resolution 1~3
  • The nature of processing: Piecemeal versus holistic 4~6
  • The nature of cues used: Pigmentation, shape and motion 7~14
  • Developmental progression 15~16
  • Neural underpinnings 17~19
17 19
17/19
  • 结论17 人类似乎有专门负责人脸识别的神经组织
  • 实验:
  • 识别倒置图像,对于人脸图像和其他物体的图像,识别率不同。
  • 大脑FFA区域,看到人脸时,反应最强
17 1954
17/19

人们对人脸图像和其他物体图像的识别率对比

18 19
18/19
  • 结论18 下颞叶皮质(inferotemporal) 对人脸的反应时间大概是120ms,说明人脸识别很大程度上是一个前向计算的过程
  • 实验:
  • 反向传导和不断迭代计算不是主要方式
  • 严重退化的图像需要不断的迭代计算
  • 推论:智能系统应该在第一时间从图像中提取足够的信息,因为初始的计算结果很难被更新
18 1956
18/19

IT区域对退化的猴子脸以及人脸都有很强的反应,但对手掌的反应很小

19 19
19/19
  • 结论19 面部特征和表情可能是被分开处理的
  • 实验:
  • 对识别对象的熟悉程度对表情识别无帮助
  • Functional brain imaging识别出负责面部特征和表情的各自的脑部区域
  • 脑损伤的患者在面部特征和表情识别上表现出选择性的功能缺失
  • 两个区域有少量的交叉
slide58
提纲
  • Motivation
  • 19 results
  • Discussion
discussion
Discussion
  • 探讨人类认知的工作机理对人脸识别研究是否有用?
  • 心理学、行为学结论的可信度?
  • 19个结论中可以给我们启示的结论?