具預測能力及鎖定區域之 動態影像追蹤系統

1. 具預測能力及鎖定區域之動態影像追蹤系統 論文口試簡報 指導教授: 黃世演　博士 研 究 生: 何相垣 中華民國98年7月22日

2. 1. 緒 論 2.系統架構 3.理論基礎 4.實驗結果 5.結 論 大 綱

3. 緒 論(1/2) 研究動機 • 傳統的監視系統缺點： • 單一或數個攝影機連結到儲存系統，只拍攝固定範圍，監視區域有限。 • 監視區域範圍過廣而使得拍攝到的目標過小不易辨識。 • 被動的監視錄影，只能做為事後的影像蒐證，缺乏事前的預防功能。 • 人工方式搜尋事件發生的錄影片段，非常費時費力。

4. 緒 論(2/2) 研究目的 • 本研究提出利用移動目標偵測及追蹤等方法，結合可動式攝影機，建立一套動態影像追蹤監視系統。 • 監控系統能自動對影像進行分析，使其具有偵測、追蹤、以及資料檢索等功能。 • 期望能事前避免意外的發生，降低事件的傷害程度，減少監控人員的負擔。

5. 系統架構 系統流程方塊圖：

6. 影像擷取及前置處理 • 影像擷取 • 影像大小640×480像素 影像格式為RGB色彩空間 • 色彩空間轉換 • RGB色彩空間 → 灰階影像(Gray Image) • 雙線性內插法 • 影像大小640×480像素 → 160×120像素 (1) (2) E E A A B B β P(x,y P(x,y ) ) F F α P P ' ' (x,y (x,y ) ) C C D D 原始影像 原始影像 轉換影像 轉換影像

7. 移動目標偵測 K=1 移動目標偵測流程圖： K=2 K=3

8. 混合高斯模型 對影像中的每一個點的像素值變化情形，建立多個高斯分佈背景模型，新進的像素點再依據背景模型來判斷是否為移動像素點。 假設序列影像Ｉ在任意時間點ｔ中，某個像素點可將之定義如下： 對於任意時間點 像素值之高斯機率，可表示如下： • 其中Ｋ代表高斯分佈之個數； 為ｔ時刻第ｉ個高斯分佈之權重值； • 及為ｔ時刻第ｉ個高斯分佈之平均值和變異數； • 為高斯機率函數，表示如下: (3) (4) (5)

9. 參數更新 新進的像素點 依序比對所建立的Ｋ個高斯分佈來做匹配： 更新Ｋ個高斯分佈的權重值: • 其中為 學習率； • 當 匹配第ｉ個高斯分佈時 ，反之則 ； 更新與像素點 匹配相符的高斯分佈之參數： • 其中 ； (6) (7) (8) (9)

10. 雜訊濾除 • 二值化運算 • 形態學運算 • 膨脹(Dilation)、蝕刻(Erosion)、展開(Opening)、閉合(Closing) • 區塊面積分析 • 8相鄰標籤 • 框選目標 • 幾何形心座標計算

11. 移動目標追蹤 取得特徵資訊 後端介面 移動目標追蹤 移動目標追蹤流程圖：

12. ( ) ˆ ˆ x , y Offset ( ) x , y 幾何形心座標位移 • 將移動目標的幾何形心座標 往上位移，作為目標物的位置 ，取代傳統計算膚色、橢圓輪廓等技術。 (10) (0,0) Top Offset Height Height Bottom 幾何形心座標位移示意圖

13. 預測階段 修正階段 利用量測值 修正預測狀態 預測系統狀態值及誤差矩陣 計算卡爾曼增益 更新誤差矩陣 系統初始參數 量測值 卡爾曼濾波器 • 預測移動目標下一個時間點可能出現的座標位置 • 預測及偵測更新兩者做遞迴運算： • 預測階段:預測下一個時間點的系統狀態值及誤差。 • 修正階段:依測量得到的資料來對卡爾曼濾波器的各項參數做調整。

14. 預測階段 • 系統設定的狀態變數： • 目前修正後的狀態值 預測下一個時間的狀態值 ： • 目前修正後的誤差矩陣 預測下一個時間的誤差矩陣 ： • 其中A為轉換矩陣； • Ｑ為系統雜訊誤差矩陣； (11) (12) (13)

15. 修正階段 • 卡爾曼增益: • Ｒ為量測雜訊誤差矩陣； • Ｈ為量測值與預測狀態之間關係矩陣； • 修正預測的狀態值 ： • 為量測值 • 更新誤差矩陣 ： (14) (15) (16)

16. 預測 座標 目前 座標 ( 時間 T+1 ) 鎖定區域 • 當下一個時間點移動目標之預測座標位置，進入鎖定區域範圍時，系統立即驅動攝影機轉動追蹤。 • 減少驅動攝影機轉動的次數，以縮短延遲等待時間。 640×480 鎖定區域 320×240 移動目標 ( 時間 T ) 視野範圍鎖定區域示意圖

17. 時間 T+1 時間 T 追蹤目標 座標轉換 • 當目標在實際場景移動ｘ公分，與攝影機的垂直距離為ｄ公分，依幾何關係攝影機需往垂直或水平旋轉θ角，座標角度轉換表示如下： • 採用RS-232 通訊介面，對攝影機送出指令控制鏡頭追蹤移動目標。 (17) θ 移動目標 d x 移動目標與攝影機關係圖

18. 特寫圖片 錄影及擷取影像特徵資訊 • 當攝影機開始追蹤移動目標時，系統同時進行錄影及擷取特徵資訊 。 • 系統每隔預先設定時間，攝影機會對移動目標進行放大特寫拍攝儲存 。 系統追蹤人物移動錄影片段

19. 監視影像搜尋 • 可從特寫圖片取得移動目標的臉部區域特徵資訊，以提供日後的查詢與佐證。 • 系統將所儲存的特寫圖片當作一個時間點標籤，調閱監視影像時，可先快速瀏覽特寫圖片。 • 若要觀看某特寫圖片的前後監視影像，僅需從該特寫圖片的時間點開始播放監視影像即可，有效減少瀏覽監視影像的時間。 特寫圖片

20. SONY EVI – D70 NI PCI-1411 PC 實驗結果(1/6) 系統之硬體架構： • 本系統以 LabVIEW 圖控程式語言開發完成。 • 以三個高斯分佈建構混合高斯模型，學習率設定為0.08。 • 區塊面積大於125像素才被認定為前景目標。 • 平均每張影像幀運算時間為0.06秒。

21. 實驗結果(2/6) 移動目標偵測演算法效能比較 • 從測試影像偵測結果挑出 • 60張影像幀 。 • 將演算法分離的前景區域 • 跟手動分割的理想前景區域 • (Ground Truth) 做比較。 演算法效能評估結果 • 測試影像序列 (B) 單一高斯模型 (C) 混合高斯模型 • SGM GMM

22. 實驗結果(3/6) 卡爾曼濾波器測試 • 在影像大小640×480像素範圍，模擬80組連續移動測試座標點 • 藍色實線叉號: • 測試座標 • 紅色虛線正方點: • 預測座標

23. 實驗結果(4/6) • 預測誤差結果： • 比較預測座標跟測試座標，其平均誤差為10.26個像素。 • 在幾個變動範圍較大的測試座標點中，其最大誤差為45.71個像素。 卡曼濾波器預測誤差結果

24. 實驗結果(5/6) 移動目標偵測Demo影片：

25. 實驗結果(6/6) 移動目標追蹤Demo影片：

26. 結 論 • 本系統提出以單一攝影機為基礎，強化監視系統的實用性，對移動目標做即時追蹤並儲存特寫影像。 • 使用卡爾曼濾波器進行移動座標預測，可有效追蹤移動目標。 • 設定鎖定區域策略，可大幅減少攝影機轉動的次數，以提升追蹤移動目標之效能。 • 以拍攝特寫畫面做為時間點標籤，可快速調閱監視影像，有效減少瀏覽監視影像時間 。

27. 未來方向 發展對多個移動目標物 進行偵測及追蹤 加入陰影偵測演算法 濾除陰影干擾 未來研究方向 對特寫圖片人臉辨識分析 判斷異常人物入侵 辨識人體姿態以應用在居家 照護偵測緊急情況的發生

28. 報 告 結束 恭請指導 Thank You for your attention!

29. 附錄.1 • 移動目標偵測實驗結果

30. 附錄.2 • 移動目標追蹤實驗結果