第八章 識別 、 檢索與匹配

1. 第八章識別、檢索與匹配

2. 8.1 前言 • 8.2 統計圖形識別 • 8.3 模組式圖形識別 • 8.4 匹配演算法原理 • 8.5 影像匹配 • 8.6 三維影像重建 • 8.8 作業 • 8.4.1 動態規劃式的BSSC解法 • 8.4.2 KMP演算法 • 8.6.1 稠密式視差估測 • 8.6.2 相機校正

3. 8.2 統計圖形識別 • 貝氏決策理論 假設有二類木頭，A和B，Ａ佔P(A)的比例而B佔P(B)的比例， 。已知 。利用木頭的紋理 X 來評估該木頭的種類。 當 時， ，我們說該木頭為A類，的確很合理，但得注意一點，我們仍會犯誤判的風險，畢竟 仍有機率值。 圖8.2.1.1 P(X|A)和P(X|B)的分佈圖

4. 我們有興趣的是給一個X值，該木頭屬於A或B的機率為何？依據貝氏法則，我們有興趣的是給一個X值，該木頭屬於A或B的機率為何？依據貝氏法則， 此處 。 透過貝氏法則，　　 這個事後機率就可由事前機率P(A)、P(B)、 和 求得。 當 ， ，這時可判斷該木頭為 A，畢竟冒的風險較低，也就是 。去掉 和 的 項，當 時，我們判斷該木頭為A。 圖8.2.1.2 P(A|X)和P(B|X)的分佈圖

5. 給一紋理向量X，如果 為最大值， ，我們將該木頭分類為 。 將紋理由一維擴充到 d 維而將樹木的種類由2種擴充到 c種。 令第i類的識別器為 ，此處 X 代表木頭紋理向量 而 代表第 i 類木頭， 。 為簡化計算起見，我們作用單調遞增函數於上，得 • 圖形識別器 圖8.2.1.3 識別器示意圖

6. 8.3 模組式圖形識別 假設在模型上共可抽取出 m 個特徵向量 ，而在影像 I 上抽取出 n 個特徵向量 ，通常 。 存在一平移函數 T 將 F 移到影像的某個地方。 圖中，F經T作用後，F上的四個特徵向量皆可在 I 中找到與它們對應的最近特徵向量。我們得到的平方差和為67。不同的T會造成不同的平方差。但平方差的量度並非為很強健的量度。

7. 在一個固定的T下，F和I的特徵向量 、 為一配對，將距離函數記為 ，如此,定義聯合機率密度函數為 • 引入最大可能的觀念，我們得 • 模組匹配的精神就是在找一個T使得上式有最大值。上式中的 可定義為 令

8. 上式中 的適合用來量度內圍層的機率而 適合用於外圍層的量度

9. Harris corner • 利用一個視窗在影像上的移動，可得到強度變化情形： • 平面：往任何方向移動僅造成小變化 • 含一條邊：與邊平行的變化量小；反之則大 • 含角點或獨立點：往任何方向變化皆大

10. 爲了捕捉視窗內子影像的灰階梯度變化，令 • 我們可利用高斯函數(pp.314)來平滑雜訊的影響，令 • 可以得到視窗作用到子影像的綜合灰階梯度變化之影響，這影響可表示為

11. 我們可以說函數E是一種局部自我關聯的函數，而在函數E的矩陣式子中，矩陣M就是函數E的代表。數學上，矩陣M的兩個特徵值代表下列意義：我們可以說函數E是一種局部自我關聯的函數，而在函數E的矩陣式子中，矩陣M就是函數E的代表。數學上，矩陣M的兩個特徵值代表下列意義： • 和 皆很小：代表視窗內為平滑區 • 和 中，一大一小：代表含一邊的區域 • 和 皆很大：代表含角點的區域

12. 影響值 R=det(M)-k*(trace(M))2來決定是否小區域內有角點，判斷的準則為 • 且 ：代表平滑區 • ：代表含一邊的區域 • R>>0：代表有角點的區域 利用以上方法可以將I和F內的所有角點找出來。

13. 將　和　想像成特徵值。因為視差的關係，　只能與　 範圍內的特徵匹配到。 8.4 匹配演算法原理8.4.1 動態規劃式的BSSC解法 • BSSC(Banded String-to-String Correction)之目的為在樣本和正本之間找出最大的匹配點與匹配點的位置。 給一個例子如下： 樣本= 正本= 圖8.8的搜尋範圍就是黑色粗邊框住的範圍而得到的最佳匹配就是鋸齒形的路徑上之黑圓點集。 圖8.4.1.1 匹配結果

14. 圖8.8一共含有下列十四個運算 (1) I( )=P1 (2)R(T1)=P2 (3)R(T2)=P3 (4)D(T3)= (5)D(T4)= (6) I( )=P4 (7)R(T5)=P5 (8)R(T6)=P6 (9)D(T7)= (10)D(T8)= (11)I( )=P7 (12) I( )=P8 (13)R(T9)=P9 (14)R(T10)=P10 ab，R(a)=b的花費定為1 a = b，R(a)=b的花費定為0 • 匹配算子 取代算子R  刪除算子D  D(a)= 的花費定為1 插入算子I I( )=a的花費定為1

15. edit(Ti, Pj)表示R(Ti)=Pj的花費 edit(Ti, )表示D(Ti)= 的花費 edit( , Pj)表示I( )=Pj的花費 • 動態規劃核心式子 表示將T[1…i]轉換成P[1…j]的花費。 Edit[0, k]=k Edit[k, 0]=k • BSSC的時間複雜度為 n為正本長度，　為視差

16. i 1 2 3 4 5 6 7 8 9 10 P [i] a c a c a a a c a c J [i] 0 0 1 2 3 1 1 2 3 4 8.4.2 KMP演算法 • 樣本先進行事前處理 利用樣本中子字串(Substring)與前置字串(Prefix String)的吻合度，並記錄其吻合的長度於陣列 J [ ]中。 P[3]=a=P[1] J[3]=1 P[3…5]=aca=P[1…3] J[5]=3 P[7…10]=acac=P[1…4] J[10]=4 T[ ]=cccacacaaacaccaa • KMP字串匹配演算法 T[i] P[i]，　　　 。T[4…13] = P[1…10]。 T[5] P[1]，T[6] = P[1] T[6…8] = P[1…3] T[9] P[4]，J [4]=2 P[1…J [4]-1]=P[1]=T[9- J[4]+1…8]=T[8] 陣列J [ ]提供了一個跳躍的機制，讓匹配動作可一直往右前進。 • KMP的時間複雜度為O(m + n)

17. 8.5 影像匹配 • 形狀乃是該物體的多邊形外圍描述 (b) 魚外形之多邊形描述 (a) 魚外形 圖 8.5.1 魚外形及其多邊形描述

18. 演化：兩段鄰近的邊合併成一段邊 　　　是二段邊　和　之間的夾角 　　為　的長度。 　　　的值愈小，表示　和　愈適合合併。 (a) 第一次演化 • 匹配 (b) 第二次演化 圖 8.5.2 演化 圖 8.5.3 待匹配的兩多邊形 可能的匹配組合

19. 匹配花費(相似度的依據) 以圖8.12(a)為例。從　點出發，依照順時針的方向，紀錄段落的長度和兩連續段落間轉角的變化，就可建出圖8.12(b)的斜率空間表示圖了。將各個段落集的斜率空間表示圖建起來，並予以正規化，即可算出相似的程度，也就是可算出花費，如此一來就可透過動態規劃法完成二多邊形物件匹配的工作了。 (a) 長方形物件 (b) 斜率空間表示圖 圖 8.5.4 多邊形轉成斜率空間表示圖

20. 8.6 三維影像重建8.6.1 稠密式視差估測 • 問題定義 稠密式視差估測是在L上的所有像素中和R上的所有像素中找到一個對應。 • 二階段式的分割與克服方法 圖 8.6.1.1 稠密視差估測示意圖

21. 第一階段的分割與克服方法 1. 利用Marr-Hildreth 測邊法得到主要特徵像素集： L上第 列中的主要特徵集可表示為： ， R上第 列中的主要特徵集可表示為： ， 2. 和 的匹配工作 其中

22. 圖 8.6.1.2 和 的匹配 取代算子： 其中

23. (a) 右遮蔽花費 (b) 左遮蔽花費 圖 8.6.1.3 右遮蔽花費和左遮蔽花費示意圖 3. 加入消去法則 若兩兩匹配位置的差，形成之序列為 ，則 的視差偏移不太正常，可以予以去除。假設在 列時的平均視差偏移序列為 。若新進來的視差偏移序列為 ，則 的視差偏移可予以去除。

24. 第二階段的分割與克服方法 • 在二段匹配的子區間中， • 再進一步找出個別的像素配對 2. 利用平均視差偏移量d，可將第二階段的工作轉成BSSC問題的解決上 圖8.6.1.4 二子區間匹配 R算子： W為事前定義好的小視窗 D算子：類似於前面定義的左遮蔽花費 I算子：類似於前面定義的右遮蔽花費

25. 圖8.6.1.5 對應的BBSC搜尋空間

26. 圖8.6.1.6 輸入的二張影像 (a) 影像L (b) 影像R 圖8.6.1.8 重建後的三維 五角大廈圖 圖8.6.1.7 得到的視差圖

27. 圖 8.6.2.1 相機座標系統和影像座標系統

28. (110, 120, 230) (60, 110, 180) (90, 95, 200) (244, 250, 111) (200, 50, 100) (70, 125, 225) (180, 190, 90) (100, 175, 80) (189, 77, 31) 8.8 作業 習題一： 　　給一　　 張彩色影像，如下圖所示。 試利用八分樹式檢索法，建構一八分樹至第二層即可，並統計各節點通過之次數。 習題二： 　　提出異於8.3.3節中討論的形狀相似度表示法。