Human skeleton tracking from depth data using geodesic distances and optical flow

作者 : Loren Arthur Schwarz , Artashes Mkhitaryan, Diana ⁎Mateus, Nassir Navab出處 : Image and Vision Computing 30 (2012) 217–226報告者 : 巫佳哲日期 :2013/10/15

2

Outline

1. Introduction2. Human full-body tracking method3. Experiments and results4. Conclusion

3

1. Introduction

• 人類的手勢是一種自然的通訊方式，能夠傳達複雜的訊息。• 使用手勢互動與電腦輔助系統，有很大的好處，例如醫療手術室。

4

• 為了能夠即時追蹤人類全身姿態，基於攝影鏡頭的動作追蹤系統，通常需要一個人穿上繁瑣的標記或套裝。• 即使使用多台攝影機，此任務仍是具有挑戰性的。• 最近的技術進步在開發新穎的深度相機上，即時三維場景的掃描，不需要多相機系統。

5

• Time of Flight (ToF) camera and Kinect A: ToF camera with two infrared flashes and optics at the center. B: ToF amplitude image. C: ToF depth image with color-coded depth in centimeters. D: Kinect device with an infrared projector, an infrared camera and an RGB camera.E: Kinect RGB image. F: Color-coded Kinect depth image.

6

• 典型的 TOF 深度相機在原理的基礎上，需要複雜的硬體，因此價格昂貴。• 微軟的 Kinect 設備出現，深度成像提供給人們研究，因此出現許多新穎的計算機視覺應用

7

• 本文提出了一種方法，使一個人的追蹤全身運動的深度影像，適用於手勢的互動。• 依靠數據訓練為人類姿態估計，因此，僅限於一組特定的動作，本文的方法可以追蹤一般看不見的運動。

8

• 上半部為去背景的深度影像。• 下半部為測地距離的影像。

9

2.Human full-body tracking method

• 序列• D 為深度影像， I 為強度影像• size• TOF 相機於相同的傳感器可以同時採集兩個影像。• Kinect 使用兩個獨立的攝影機的深度和 RGB影像。

10

• 人體追蹤方法的示意圖

11

• Method outline– 深度影像前處理– 從深度數據建構圖形– 建構測地距離的地圖– 解剖標誌的定位– 利用光流消除歧異– 骨架擬合解剖標誌

12

A. 去背景的深度影像，有一隻手臂在身體的前面。B. 測地距離影像。C. 在前一個 frame 獲得的手臂分割影像。D. 從前一個 frame 到當前 frame 的光流場。E. 去除不希望存在的邊的測地距離影像。

13

3. Experiments and results

• 本文評估身體追蹤方法使用一個 TOF 相機和微軟 Kinect 設備• 該 TOF 相機是個 PMD 視覺 CamCube ，強度和深度影像的分辨率為 204×204 像素。• 該 Kinect 追蹤的深度和 RGB 影像，分辨率為 640×480 像素。

14

• 本文進行了以下兩組實驗：– TOF 數據– Kinect 的數據

15

• 採用中值濾波器進行前處理，減少雜訊。• 使用 Horn-Schunck 的方法計算光流場和每一個空間流場元件的低通濾波。• Kinect 在數據上的性能較低，因此給予更高的分辨率從而提高複雜性於圖形中計算。

16

• 紀錄全身姿勢的 ground truth ，使用基於標記的光學動作追蹤系統 ART Dtrack 2 。• 與 TOF 相機同步的動作追蹤系統，並找到其座標。

17

• 動作追蹤系統提供了正確的三維位置 K=16 的身體各個關節的骨架模型。

• 計算每個 frame 中這些身體關節的估計位置和真實位置之間的歐幾里得距離，錯誤度量標準

18

• TOF 深度影像姿態估計的結果– 上半部為典型序列，只有手的移動。– 下半部序列涉及全身運動。

19

• 所有測試序列平均值，本文的方法實現了距離的誤差 =70.1mm ，其標準差為9.8mm 。

20

• 本文的方法在 Kinect 數據上的評估效能以open-source NITE framework做為參考，因為它提供了一個骨架追蹤演算法，。

• 為了達到這個目的，紀錄 NITE 的骨架預測於每一個 frame 的深度圖和強度圖。

21

• NITE 骨架模型

22

• NITE 的骨架模型中，與 Kinect 的骨架結構不同，只包含 個關節。• 這些關節位置的表示• 為了測量關節位置，使用本文的方法預測偏差，手動創建了符合兩個人體模型之間的匹配。

23

• 本文定義的距離誤差於 Kinect 的實驗

• 所有基於 Kinect 的測試序列平均值，本文的方法取得一個距離誤差 =108.4mm 。• 該值高於 TOF 的實驗，因為在兩個使用的人體模型中沒有明確的對應到身體關節。

24

• Kinect 深度影像姿態估計的結果• 左圖 A 為涉及手臂和全身運動序列。• 右圖 B 為 NITE 骨架模型於 15 個關節的距離誤差分布。

25

• TOF 深度影像• 與深度影像重疊的黃色骨架，為預測估計的骨架• 藍色骨架為偵測到的骨架。

26

• Kinect 深度影像• 與深度影像重疊的黃色標記和藍色骨架。• 骨架預測 (藍色 ) 與相對應的 NITE 骨架預測 (紅色 )

27

4. Conclusion

• TOF 和 Kinect 實驗評估的數據顯示，本文的方法可以追蹤各種全身運動，包括自我遮蔽。

28

ENDTHANK YOU