Chapter 5 - PowerPoint PPT Presentation

Chapter 5

物體與場景知覺

• The Defense Advanced Research Projects Agency (DARPA)
• The March/2004 race (142 miles across the Mojave Desert)—1 million prize

winner

“…Now we need to teach them how to drive in traffic.”-- Gary Bradski, Intel Corporation as quote in the October 17, 2005 issue of the EE Times

• Victorville, CA, Nov 3, 2007
• 55 mile course that resemble city streets and other moving vehicles
• $2 million
• 1st place winnder averaged approximately 14 mph throughout the course
• http://www.youtube.com/watch#!v=SQFEmR50HAk&feature=related
• http://www.youtube.com/watch#!v=6SfaCkhhQT8&feature=channel

• 兩大基本問題
• 知覺組織（perceptual organization）—視覺系統如何把龐雜環境刺激組織成為「物體」？
• 圖形-背景（Figure-ground）—視覺系統如何把龐雜環境刺激中的一部分歸為「背景」，一部份歸為「圖形」?

• 網膜刺激型態未必能代表環境刺激3-D 2-D

Fig. 5-4, p. 96

哪兩張臉是同一人？

Fig. 5-7, p. 97

不同材質

陰影有無

• 對結構主義（structuralism）的反動
• 結構主義是馮特（Wundt）等人開始建立（20世紀初期）
• 知覺是由感覺因子結合而成
• 心理化學（mental chemistry）
• Max Wertheimer 覺得似動運動（apparent movement）否定了結構主義AM，所以和K.Kofka, I.Kohler從事格式塔心理學的研究
• 結構主義也不容易解釋錯覺輪廓（illusory contour）ic

• 完形律（law of Pragnanz）=law of good figure, law of simplicity刺激型態的知覺以產生最簡結構為原則

good figure

• 相近的物體會被組織在一起

Fig. 5-15, p. 100

連續律（law of good continuation）

• 傾向將可形成直線或平滑曲線的點連接起來，形成具有平滑路徑的線條型態

Fig. 5-16, p. 100

接近律（law of proximity）

• 空間鄰近的物體會被組織在一起

• 以相同方向運動的物體會被組織在一起
• 熟悉度
• 能共同構成熟悉型態的影像成分會被組織在一起

13 faces

• 共同區域（common region）
• 落入共同區域的元素會被組織在一起
• 元素連結（element connectedness）
• 連結的物體會被組織在一起
• 同步性（synchrony）
• 同時發生的視覺事件會被組織在一起

connectedness

synchrony

common region

• 定理 (law) vs. 原則 (principle) vs. 經驗法則 (heuristics)
• 經驗法則(Heuristics) vs. 算則 (algorithm)
• They are best-guess rules that do not work every time. But, when they do, they work very fast.

• 格式塔學派
• 可逆圖形（reversible figure）vase
• 圖形及背景的成立要件
• 圖形比較像東西，位於背景之前 front
• 對稱的比較可能是圖形 sy
• 佔據面積較小的比較可能是圖形 small
• 水平或垂直方位的比較可能是圖形 vertical
• 有意義的物體比較可能是圖形meaning
• 下方的比較可能是圖形，左右沒有差異Vecera et al. (2002)

Figure 5.24 A version of Rubin’s reversible face-vase figure.

back

back

Vecera 用了二種方法：

1) 判斷那一邊是圖形

2) 30秒期間，根據知覺到的圖形（非背景）是哪一個而按鍵，結果下方的有84%的時間被知覺為圖形

如何由不同觀看角度辨認物體？

結構描述（structural description）模型

將物體表徵為「部件」以及部件之間的「空間關係」

D Marr (1982)

「部件」為柱狀的，具有體積的單元

• 為數不多的幾何子（及其間的空間關係）即可用以代表大量的物體

• 因為幾何子是由非偶發特性（non-accidental property, NAP）所界定的
• 2-D影像中的特性，其實就是3-D物體的實際特性

平行性

彎曲性

這是特例

少數的組成幾何子就足以代表一個物體概念

• 但無法解釋一般人何以能區辨細節不同的物體

• 觀看角度不變性（view invariance）未必成立，所以辨認歷程將影像與儲存的各種觀看角度表徵作比較

• What is a scene ?
• 包括背景與物體（以有意義的方式安排在一起）

• The gist of a scene is perceived rapidly
• use of masks
• phenomenological method - Li (2007)
• Gists are reported very early.

為何場景的gist 那麼容易被辨認？

• 快速處理整體影像特徵（global image features)
• 某些可以快速被偵測的整體特徵與場景的類型有相關
• 自然度（naturalness）
• 有質理的區塊，波浪狀的輪廓
• 開放性（openness）
• 水平線，物體少
• 崎嶇度（roughness）
• 元素小而複雜
• 開闊度（expansion）
• 平行線向遠方匯聚
• 特徵色彩

high low

• Degree of naturalness: forest vs. street
• Degree of openness : beach vs. forest
• Degree of roughness : forest vs. beach
• Degree of expansion : railroad vs. street
• Color: blue sky; green forest

水平線條環境

垂直線條環境

• 物體的各部分往往有相同的顏色，材質等，所以具有一致性的往往來自同一物體back

Shape from shading

Figure 5.46 (a) Some of these discs are perceived as jutting out, and some are perceived as indentations. (b) Light coming from above will illuminate the top of a shape that is jutting out, and (c) the bottom of an indentation.

Light-from-above heuristics

back

場景影像特徵反映環境中的規律性（regularities）場景影像特徵反映環境中的規律性（regularities）

• 1.物理規律性（physical regularities）
• 視覺環境中垂直與水平方位的輪廓比例高投影片 58
• 格式塔定律 ”uniform connectedness”投影片 60
• Light-from-above heuristic投影片 58
• 2.意義規律性（semantic regularities)
• 與場景類型相關的場景功能性組件與安排
• 如：特定物體在特定場景中的位置有規律性

• 推論歷程以無意識方式影響知覺
• von Helmholtz (1866/1911)無意識推論理論（theory of unconscious inference）有些知覺經驗源自我們對於環境的無意識假設--可能性原則（likelihood principle）我們知覺到的物體是在造成網膜上2-D型態的所有可能性中，最有機會出現的刺激型態

知覺刺激是不明確的（ambiguous）

人類知覺透過利用環境規律性作推論來解決知覺問題

機器視覺需要能夠學習環境規律性，並能利用規律性來作推論

Boss的例子

Boss 所假設的規律性（知識）

動的東西很可能是車子

如果對方是紅燈則他應該會停下來

未能設計在Boss中的規律性

• Fig. 5.43 對於知覺組織產生反應的神經元特性

對於圖形/背景有反應的V1神經元反應模式

Figure 5.44 How a neuron in V1 responds to stimuli presented to its receptive field (green rectangle). (a) The neuron responded when the stimulus on the receptive field is figure. (b) There is no response when the same pattern on the receptive field is not figure (Adapted from Lamme et al., 1995.)

• 為何出現在V1神經元？
• 可能是脈絡調節（contextual modulation）所造成
• 來自高階視覺處理的回饋

• Sheinberg & Logothetis (1997)
• Monkey trained to pull lever in response to particular pattern

• 猴子接收到的物體刺激總是相同的，知覺意識的的改變是發生在腦
• Grill-Spector et al. (2004)
• 用ROI (region of interest)法決定每個人FFA的位置
• 用遮蔽（masking）法快速呈現人臉圖片
• 發現FFA的激發程度與受試者的主觀知覺判斷（而非物理刺激）符合

Fig. 5-39, p. 112

House vs. Face

• binocular rivalry
• PPA vs. FFA

Figure 5.40 Time-course of brain activation for trials in which Harrison Ford’s face was presented. (Grill-Spector, et al., 2004)

• 用morphing方法製作出系列刺激
• 用延遲配對（delayed matching to sample）程序來測量猴子的辨認表現

IT與PF/神經元的反應模式不同

Figure 5.43 (a) Response of a monkey IT neuron that responds better to a 100-percent dog stimulus (red line) than to a 100-percent cat stimulus (blue) during the “sample” period of the delayed-matching-to-sample task. Other combinations of dog and cat fell between these two extremes. (b) Response of PF neurons to the same stimuli. For this neuron, the response to dog is greater during the delay and text periods. (From Freedman, D. J. et al., (2003). A comparison of primate prefrontal and inferior temporal cortices during visual categorization. Journal of Neuroscience, 23, 5235-5246.)

• Image  Brain  Measured voxel activity pattern
• Image  Decoder  Measured voxel activity pattern

∥?

∥?

• Fig. 5.50
• An orientation decoder was used to analyze the voxel activity.
• -The decoder could accurately predict which orientation had been presented.

• 對於知覺組織產生反應的神經元特性

對於圖形/背景有反應的V1神經元反應模式

Figure 5.29 How a neuron in V1 responds to stimuli presented to its receptive field (green rectangle). (a) The neuron responded when the stimulus on the receptive field is figure. (b) There is no response when the same pattern on the receptive field is not figure (Adapted from Lamme et al., 1995.)

• 為何出現在V1神經元？
• 可能是脈絡調節（contextual modulation）所造成
• 來自高階視覺處理的回饋

• 格式塔心理學的貢獻偏向「描述」知覺現象
• 現代觀點重視「測量」與「機制」
• 為何視覺系統會特別對某類型的視覺刺激有反應？
• 人類知覺系統嘗試捕捉環境特性，所以往往根據環境規律性(regularities)作反應
• 規律性指規律地在很多情境下出現的環境特性
• 如一些格式塔經驗法則
• 「連續律」顯示我們周遭環境中有很多直的輪廓以及平滑的輪廓
• 「uniform connectedness」顯示物體的各部分往往有相同的顏色，材質等，所以具有一致性的往往來自同一物體

• 受試往往認為有意義的才是圖形→代表「辨認」與「圖形/背景分離」的發生順序是……

結構描述（structural description）模型

將物體表徵為「部件」以及部件之間的「空間關係」

D Marr (1982)

「部件」為柱狀的，具有體積的單元

• 部件為幾何子（geons）
• 為數不多的幾何子（及其間的空間關係）即可用以代表大量的物體

• 但無法解釋一般人何以能區辨細節不同的物體

• 觀看角度不變性（view invariance）未必成立，所以辨認歷程將影像與儲存的各種觀看角度表徵作比較

• Sheinberg & Logothetis (1997)
• Monkey trained to pull lever in response to particular pattern

• 猴子接收到的物體刺激總是相同的，知覺意識的的改變是發生在腦
• Grill-Spector et al. (2004)
• 用ROI (region of interest)法決定每個人FFA的位置
• 用遮蔽（masking）法快速呈現人臉圖片
• 發現FFA的激發程度與受試者的主觀知覺判斷（而非物理刺激）符合

Fig. 5-39, p. 112

Figure 5.40 Time-course of brain activation for trials in which Harrison Ford’s face was presented. (Grill-Spector, et al., 2004)

• 用morphing方法製作出系列刺激
• 用延遲配對（delayed matching to sample）程序來測量猴子的辨認表現

IT與PF/神經元的反應模式不同

Figure 5.43 (a) Response of a monkey IT neuron that responds better to a 100-percent dog stimulus (red line) than to a 100-percent cat stimulus (blue) during the “sample” period of the delayed-matching-to-sample task. Other combinations of dog and cat fell between these two extremes. (b) Response of PF neurons to the same stimuli. For this neuron, the response to dog is greater during the delay and text periods. (From Freedman, D. J. et al., (2003). A comparison of primate prefrontal and inferior temporal cortices during visual categorization. Journal of Neuroscience, 23, 5235-5246.)

• 知覺智慧（perceptual intelligence）
• von Helmholtz
• 無意識推論理論（theory of unconscious inference）有些知覺經驗源自我們對於環境的無意識假設--可能性原則（likelihood principle）我們知覺到的物體是在造成網膜上2-D型態的所有可能性中，最有機會出現的刺激型態
• 知覺歷程如同問題解決，但我們「自動化」地運用知覺智慧來解決知覺問題

Shape from shading

Figure 5.46 (a) Some of these discs are perceived as jutting out, and some are perceived as indentations. (b) Light coming from above will illuminate the top of a shape that is jutting out, and (c) the bottom of an indentation.

Light-from-above heuristics

Fig. 5-49, p. 117