智慧型監視系統之多人人臉即時循序偵測及追蹤

智慧型監視系統之多人人臉即時循序偵測及追蹤智慧型監視系統之多人人臉即時循序偵測及追蹤 1 論文報告指導教授：張財榮報告者：沈珀楷學號：M98G0214

出處崑山科技大學電機工程系碩士論文 Student: Ying-Jie Zhang Advisor: Ming-Fang Wu Ph.D. Thesis for Master of Science July 2006 中華民國九十五年七月 2

Outline • 緒論 • 人臉偵測概述 • 人臉區域判定與特徵擷取 • 單人與多人人臉追蹤流程 • 實驗結果 • 結論與未來展望 3

1.緒論 前言研究動機與目的論文架構 4

2.人臉偵測概述 • 臉部區域偵測 • 顏色分割判斷 • 人工智慧判斷 • 樣版比對判斷 • 臉部特徵偵測 5

2.人臉偵測概述 • 顏色分割判斷 • 正規化RGB(normalized RGB)空間 • YIQ空間 • YUV空間 • 臉部特徵偵測 • 運用眼睛判斷 • 運用嘴唇判斷 • 運用鼻子判斷 • 運用形狀判斷 • 運用幾何關係判斷

3.人臉區域判定與特徵擷取 系統流程與人臉偵測流程 7

3.人臉區域判定與特徵擷取 • 膚色區域標定 • 膚色偵測 • 雜訊濾除 • 膚色區域判定 • 橢圓頭部比對 • 影像濾波 • 邊界偵測 • 橢圓遮罩偵測 8

3.2)膚色區域標定 • 膚色偵測 (a)原影像 (b)濾出膚色膚色二值化影像

3.2)膚色區域標定 • 雜訊濾除 (a)原影像 (b)侵蝕運算結果 (c)斷開運算結果

3.2)膚色區域標定 • 膚色區域判定 (a)原影像 (b)膚色區域判定結果

3.3)橢圓頭部比對 • 膚色偵測 (a) (b) • 邊界偵測 (c) (d)

3.3)橢圓頭部比對 • 橢圓遮罩偵測橢圓遮罩搜尋結果

3.人臉區域判定與特徵擷取 嘴唇特徵偵測眼睛特徵偵測及定位影像投影 14

3.人臉區域判定與特徵擷取 嘴唇特徵偵測眼睛特徵偵測及定位

3.人臉區域判定與特徵擷取 人臉特徵擷取結果其他膚色干擾圖

3.人臉區域判定與特徵擷取 影像投影 (a) (b) (c) (d) (a)二值化影像 (b)水平投影直方圖 (c)垂直投影直方圖 (d)投影結果

3.人臉區域判定與特徵擷取 有其他膚色干擾圖 18 其他膚色干擾排除圖

4.單人與多人人臉追蹤流程 • 單人＆多人人臉追蹤 • 單人人臉追蹤 • 多人人臉追蹤流程 19

4.1)單人&多人人臉追蹤流程 多人人臉追蹤流程

5.實驗結果 • 人臉判定實驗結果 • 膚色偵測 • 人臉區域定位 • 橢圓偵測 • 嘴唇與眼睛定位 • 人臉最終判定 21

5.1)人臉判定實驗結果 膚色偵測 (a) (b) (c) (d)

5.1)人臉判定實驗結果 橢圓偵測

5.1)人臉判定實驗結果 人臉最終判定

5.1)人臉判定實驗結果 人臉偵測實驗結果 25

5.1)人臉判定實驗結果 外加干擾膚色之人臉偵測結果 26

5.實驗結果 • 單人與多人人臉追蹤實驗結果 • 單人人臉追蹤結果 • 干擾膚色排除結果 • 多人人臉追蹤結果 27

5.2)單人與多人人臉追蹤實驗結果 單人人臉追蹤結果

5.2)單人與多人人臉追蹤實驗結果 干擾膚色排除結果

5.2)單人與多人人臉追蹤實驗結果 多人人臉追蹤結果

6.結論與未來展望 判斷物體是否為人臉單人與多人人臉即時偵測與追蹤易受光線大幅度變化影響建立多組資料庫 35

THANK YOU 36

備註1 正規化皮膚範圍白點排除掉 S代表膚色 37 37 膚色統計範圍圖

備註1.1NCC無法消除的部份 畫面中的黃綠色系、藍色系與白色系還是無法消除掉 38

備註2 調整結果

備註3：橢圓頭部比對 1.影像濾波 2.邊界偵測低通濾波遮罩邊緣是兩個區域之間有相當不同灰階特徵的邊界。邊界偵測一般常用Sobel方法實現消除在進行邊界偵測時的雜訊 40

備註4：嘴唇特徵偵測 紅色曲線即為上式之二次曲線方程式 41 嘴唇膚色示意圖

備註5：人臉判定錯誤圖 (a)判斷結果 (b)垂直投影直方圖 42

智慧型監視系統之多人人臉 即時循序偵測及追蹤