1 / 28

Human skeleton tracking from depth data using geodesic distances and optical flow

Human skeleton tracking from depth data using geodesic distances and optical flow. 作者 : Loren Arthur Schwarz ⁎, Artashes Mkhitaryan , Diana Mateus , Nassir Navab 出處 : Image and Vision Computing 30 (2012) 217–226 報告者 : 巫佳哲 日期 :2013/10/15. Outline. Introduction

eliza
Download Presentation

Human skeleton tracking from depth data using geodesic distances and optical flow

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Human skeleton tracking from depth data using geodesic distances and optical flow 作者: Loren Arthur Schwarz ⁎, ArtashesMkhitaryan, Diana Mateus, Nassir Navab 出處: Image and Vision Computing 30 (2012) 217–226 報告者:巫佳哲 日期:2013/10/15

  2. Outline • Introduction • Human full-body tracking method • Experiments and results • Conclusion

  3. 1. Introduction • 人類的手勢是一種自然的通訊方式，能夠傳達複雜的訊息。 • 使用手勢互動與電腦輔助系統，有很大的好處，例如醫療手術室。

  4. 為了能夠即時追蹤人類全身姿態，基於攝影鏡頭的動作追蹤系統，通常需要一個人穿上繁瑣的標記或套裝。為了能夠即時追蹤人類全身姿態，基於攝影鏡頭的動作追蹤系統，通常需要一個人穿上繁瑣的標記或套裝。 • 即使使用多台攝影機，此任務仍是具有挑戰性的。 • 最近的技術進步在開發新穎的深度相機上，即時三維場景的掃描，不需要多相機系統。

  5. Time of Flight (ToF) camera and Kinect A: ToF camera with two infrared flashes and optics at the center. B: ToF amplitude image. C: ToF depth image with color-coded depth in centimeters. D: Kinect device with an infrared projector, an infrared camera and an RGB camera. E: Kinect RGB image. F: Color-coded Kinect depth image.

  6. 典型的TOF深度相機在原理的基礎上，需要複雜的硬體，因此價格昂貴。典型的TOF深度相機在原理的基礎上，需要複雜的硬體，因此價格昂貴。 • 微軟的Kinect設備出現，深度成像提供給人們研究，因此出現許多新穎的計算機視覺應用

  7. 本文提出了一種方法，使一個人的追蹤全身運動的深度影像，適用於手勢的互動。本文提出了一種方法，使一個人的追蹤全身運動的深度影像，適用於手勢的互動。 • 依靠數據訓練為人類姿態估計，因此，僅限於一組特定的動作，本文的方法可以追蹤一般看不見的運動。

  8. 上半部為去背景的深度影像。 • 下半部為測地距離的影像。

  9. 2.Human full-body tracking method • 序列 • D為深度影像，I為強度影像 • size • TOF相機於相同的傳感器可以同時採集兩個影像。 • Kinect使用兩個獨立的攝影機的深度和RGB影像。

  10. 人體追蹤方法的示意圖

  11. Method outline • 深度影像前處理 • 從深度數據建構圖形 • 建構測地距離的地圖 • 解剖標誌的定位 • 利用光流消除歧異 • 骨架擬合解剖標誌

  12. 去背景的深度影像，有一隻手臂在身體的前面。去背景的深度影像，有一隻手臂在身體的前面。 • 測地距離影像。 • 在前一個frame獲得的手臂分割影像。 • 從前一個frame到當前frame的光流場。 • 去除不希望存在的邊的測地距離影像。

  13. 3. Experiments and results • 本文評估身體追蹤方法使用一個TOF相機和微軟Kinect設備 • 該TOF相機是個PMD視覺CamCube，強度和深度影像的分辨率為204×204像素。 • 該Kinect追蹤的深度和RGB影像，分辨率為640×480像素。

  14. 本文進行了以下兩組實驗： • TOF數據 • Kinect的數據

  15. 採用中值濾波器進行前處理，減少雜訊。 • 使用Horn-Schunck的方法計算光流場和每一個空間流場元件的低通濾波。 • Kinect在數據上的性能較低，因此給予更高的分辨率從而提高複雜性於圖形中計算。

  16. 紀錄全身姿勢的ground truth，使用基於標記的光學動作追蹤系統ART Dtrack 2。 • 與TOF相機同步的動作追蹤系統，並找到其座標。

  17. 動作追蹤系統提供了正確的三維位置K=16的身體各個關節的骨架模型。動作追蹤系統提供了正確的三維位置K=16的身體各個關節的骨架模型。 • 計算每個frame中這些身體關節的估計位置和真實位置之間的歐幾里得距離，錯誤度量標準

  18. TOF深度影像姿態估計的結果 • 上半部為典型序列，只有手的移動。 • 下半部序列涉及全身運動。

  19. 所有測試序列平均值，本文的方法實現了距離的誤差 =70.1mm，其標準差為9.8mm。

  20. 本文的方法在Kinect數據上的評估效能以open-sourceNITEframework做為參考，因為它提供了一個骨架追蹤演算法，。本文的方法在Kinect數據上的評估效能以open-sourceNITEframework做為參考，因為它提供了一個骨架追蹤演算法，。 • 為了達到這個目的，紀錄NITE的骨架預測於每一個frame的深度圖和強度圖。

  21. NITE骨架模型

  22. NITE的骨架模型中，與Kinect的骨架結構不同，只包含 個關節。 • 這些關節位置的表示 • 為了測量關節位置，使用本文的方法預測偏差，手動創建了符合兩個人體模型之間的匹配。

  23. 本文定義的距離誤差於Kinect的實驗 • 所有基於Kinect的測試序列平均值，本文的方法取得一個距離誤差 =108.4mm。 • 該值高於TOF的實驗，因為在兩個使用的人體模型中沒有明確的對應到身體關節。

  24. Kinect深度影像姿態估計的結果 • 左圖A為涉及手臂和全身運動序列。 • 右圖B為NITE骨架模型於15個關節的距離誤差分布。

  25. TOF深度影像 • 與深度影像重疊的黃色骨架，為預測估計的骨架 • 藍色骨架為偵測到的骨架。

  26. Kinect深度影像 • 與深度影像重疊的黃色標記和藍色骨架。 • 骨架預測(藍色)與相對應的NITE骨架預測(紅色)

  27. 4. Conclusion • TOF和Kinect實驗評估的數據顯示，本文的方法可以追蹤各種全身運動，包括自我遮蔽。

  28. END THANK YOU

More Related