모바일 햅틱 디스플레이를 위한 렌더링 시스템 Rendering System for Mobile Haptic Display

1. 모바일 햅틱 디스플레이를 위한 렌더링 시스템Rendering System for Mobile Haptic Display 2007. 5. 22. 이채현 xlos@postech.ac.kr Haptics and Virtual Reality Laboratory POSTECH

2. Motivation Limited Workspace of a Haptic Device • 현재 널리 사용되는 대부분의 햅틱 디바이스 • 고정된 장치 • 제한적인 작업 공간(workspace) 사용자가 느낄 수 있는물체 크기의 한계 POSTECH Haptics and Virtual Reality Lab.

3. MotivationHaptic Devices for Large Virtual Environment • 다양한 대형 가상환경용 햅틱 디바이스의 개발 • 좁은 작업 공간의 한계를 극복 • 대형 가상환경에서 사용가능 • 안정성, 물체의 세부 특징 재현, 고강도 재현, 재사용성 면에서 문제 (c) HapticGEAR- exoskeleton type (Hirose et al, 2001) (a) GROPE - manipulator type (Brooks Jr et al, 1990) (b) SPIDAR – tensioned string (Buoguila et al, 2000) POSTECH Haptics and Virtual Reality Lab.

4. Motivation Mobile Haptic Interface • 이동형 햅틱 디바이스의 개발 (Nitzsche et al, 2001) • 고정된 햅틱 디바이스 밑에 모바일 로봇 설치 • 사용자의 움직임에 따라 모바일 로봇을 이동 • 사용자는 고정된 햅틱 디바이스의 작업 공간보다큰 물체를 느낄 수 있음 • Primitive모델만 로딩 가능 • 모션 플래닝 알고리즘을 위한 실험용 MHI (Barbagli et al, 2004) • Pioneer2DX와 Nomad XR4000 사용 • 모바일 로봇을 항상 물체 표면의 법선 벡터 방향과 수직하게 이동 • 물체의 표면이 울퉁불퉁하거나, 복잡한 모델의 경우 적용이 힘듦 Mobile Haptic Interface (MHI) 실험용 MHI POSTECH Haptics and Virtual Reality Lab.

5. Goals of this Research • 연구의 최종 목표 • 대형 환경에서 사용 가능한 모바일 햅틱 디스플레이를 개발 • 상하이동장치를 추가하여 햅틱 피드백 범위를 최대화 • 다중 사용자용 MHD시스템 개발 • 본 논문에서의 범위 • 포스텍 R&A 연구실에서 개발한 모바일 로봇에 적합한 MHD 시스템 개발 • 사용자를 위한 모션 플래닝 알고리즘 • 햅틱 렌더링 및 비주얼 렌더링 • 복잡한 모델 로딩 가능 • 모바일 로봇이 사용자에게 미치는 힘 분석 MHD의 개념도 Prototype of MHD POSTECH Haptics and Virtual Reality Lab.

6. Contents • System Configuration • Robot Motion Planning Algorithm • Kinematics • Force Analysis • Mobile Haptic Display - Overview • Conclusion Haptic Interface Point (HIP) POSTECH Haptics and Virtual Reality Lab.

7. System ConfigurationHardware • 사용자와 모바일 로봇의 위치 추적 • IS-900 트래커 사용 (InterSense Inc.) • 모바일 로봇 • 세 개의 전방향성(omnidirectional) 바퀴로 구성된 모바일 로봇 자체 제작 (by POSTECH R&A Lab) • 햅틱 디바이스 • PHANToM Premium 1.5 사용 (SensAble Technologies, Inc.) • 비주얼 디스플레이 • Head Mounted Display 사용 (i-VISOR) IS900 트래커 PHANToM Premium 1.5 MHD시스템 전방향성 바퀴 i-VISOR POSTECH Haptics and Virtual Reality Lab.

8. Motion Planning AlgorithmGoals of Motion Planning Algorithm • 로봇 모션 플래닝의 목표 • 햅틱 디바이스의 HIP를 안정적인 작업 공간으로 이동 • 사용자와 모바일 로봇간 충돌 방지 • 모바일 로봇이 사용자의 주변에서 이동 PHANToM Premium 1.5 • 안정적인 작업 공간 • PHANToM Premium 1.5가 주어진 힘을 정확하고 확실하게 전달할 수 있는 영역 Maximum Workspace Usable Workspace Workspace of PHANToM Premium 1.5 (top view) POSTECH Haptics and Virtual Reality Lab.

9. Motion Planning AlgorithmConfiguration Space • 형상공간(Configuration Space)의 구성 • x, z, Φ로 이루어지는 3차원 공간 • 로봇은 한 점으로 표현 • 사용자는 원기둥으로 표현 z Φ x POSTECH Haptics and Virtual Reality Lab.

10. Target pose of the mobile robot Motion Planning AlgorithmTarget Pose of the Mobile Robot • 매 순간의 로봇의 목표 위치와 방향 • HIP의 위치가 안정 영역으로 오도록 설정 • 사용자와 HIP가 일직선이 되는 곳 • 항상 사용자를 바라보도록 방향 설정 • 로봇과 사용자의 거리는 사용자의 팔의 길이 + 로봇의 반지름을 유지 POSTECH Haptics and Virtual Reality Lab.

11. Motion Planning AlgorithmPseudo Code π’ = 30 if d < radius of user π’ = 0 if π < π’ SubTarget = target else SubTarget = Rot (user, π’) PCurrent_robot_position change SubTarget to satisfy distance (user, SubTarget) == d’ go to SubTarget robot d π user d’ target • π’ = predefined degree • d’ = human arm length + robot radius POSTECH Haptics and Virtual Reality Lab.

12. robot target robot d π d π user d’ user target target robot π d’ d user Motion Planning AlgorithmAlgorithm Description MHD Work space 사용자 Configurationspace POSTECH Haptics and Virtual Reality Lab.

13. Motion Planning AlgorithmDirection Set • 로봇이 매 순간 사용자를 바라보도록 설정 mobile robot b a user v1 Φ? v2 POSTECH Haptics and Virtual Reality Lab.

14. Motion Planning AlgorithmSimulation • Simulator.avi POSTECH Haptics and Virtual Reality Lab.

15. Motion Planning AlgorithmEvaluation • 모바일 로봇이 사용자를 쫓아갈 수 있는 영역 분석 • 모션 플래닝 알고리즘을 적용 • 모바일 로봇은 항상 최고 속도를 낼 수 있다고 가정 • 1초 뒤에 사용자가 움직였을 때 모바일 로봇이 쫓아갈 수 있는 영역을 표시 모바일 로봇이 따라갈 수 있는 사용자의 영역 사용자의 현재 위치 모바일 로봇의 현재 위치 POSTECH Haptics and Virtual Reality Lab.

16. EvaluationResults of Angular Velocity Change (a) 0.5m/s 20degree/s (b) 45degree/s (c) 90degree/s (d) 120degree/s (e) 150degree/s (f) 200degree/s POSTECH Haptics and Virtual Reality Lab.

17. EvaluationResults of Line Velocity Change (a) 0.5m/s 90degree/s (b) 0.4m/s (c) 0.3m/s (d) 0.2m/s (e) 0.1m/s POSTECH Haptics and Virtual Reality Lab.

18. z y y x x z KinematicsCoordinate Definition • 좌표계 사이의 변환(transformation)을 유도 • WorldTRobot , WorldTTool : World좌표계에서 모바일 로봇과 HIP의 위치를 계산 • RobotTWorld : World좌표계에서의 속도벡터를 Robot좌표계로 변환 • PHANToMTWorld : World좌표계에서의 힘벡터를 PHANToM좌표계로 변환 IS900 z x 5 Sensor 2 Tool y φ x y x 3 z z y z 1 y y x Robot Robot x 4 PHANToM z World POSTECH Haptics and Virtual Reality Lab.

19. z y y x x z KinematicsTransformation IS900 z x Sensor y φ x z y z y y x Robot x z World Θ3 Tool x Θ2 y z Θ1 Robot PHANToM POSTECH Haptics and Virtual Reality Lab.

20. KinematicsHIP Position Calculation • 최종 변환 유도 논문 32 쪽 참조 POSTECH Haptics and Virtual Reality Lab.

21. KinematicsHIP Position Calculation Error • HIP의 실제 위치와 계산된 위치의 오차 • HIP의 위치에 센서를 설치 • 모바일 로봇과 햅틱 디바이스를 랜덤하게 움직이며 1초 간격으로 데이터를 수집 • 경우에 따라 최대 -40 mm ~ 40 mm 정도의 오차 발생 HIP 위치에 설치된 센서 POSTECH Haptics and Virtual Reality Lab.

22. z y y x x z Kinematics CalibrationReformulate the Transformation (1) IS900 z x Sensor y φ x z y z y y x Robot x z World Θ3 Tool x Θ2 y z Θ1 Robot PHANToM POSTECH Haptics and Virtual Reality Lab.

23. Kinematics CalibrationReformulate the Transformation (2) POSTECH Haptics and Virtual Reality Lab.

24. z y x Sensor 좌표계 z Robot 좌표계 y x Kinematics CalibrationData Sampling & Least Square Solution • 총 100개의 데이터를 수집 • 모바일 로봇의 위치와 방향, 햅틱 디바이스의 joint angle들을 무작위로 설정 • Least Square Solution • F가 최소가 되게 하는 SRx, SRy, SRz, RPx, RPy, RPz값을 찾음 y PHANToM 좌표계 z x POSTECH Haptics and Virtual Reality Lab.

25. Kinematics CalibrationResult & Discussion y • Y축의 오차는 눈에 띄게 감소했지만, x와 z축의 오차는 오히려 조금 증가했음 • Sensor좌표계와 Robot좌표계가 일치 하지 않아서 생기는 문제로 추론됨 World 좌표계 x z z Sensor 좌표계 x z y y Robot 좌표계 x Sensor 좌표계 Robot 좌표계 ψ • Sensor와 Robot 좌표계 사이의 각도 차이를 고려해 주어야 한다. POSTECH Haptics and Virtual Reality Lab.

26. Haptic RenderingForce Command • FT = HIP에 작용하는 힘 벡터 • FR = 모바일 로봇에 작용하는 힘 벡터 • TP = 햅틱 디바이스에 작용하는 토크 벡터 논문 42 쪽 참조 • DT = FT에 의해 움직인 HIP의 변위 • DR = FR에 의해 움직임 모바일 로봇의 변위 • DP = TP에 의해 회전한 햅틱 디바이스 joint angle들의 변위 자코비안의 정의에 따라, HIP에 작용된 전체 일의 양은 동일함으로, 자코비안 행렬을 나누면, 모바일 로봇의 위치를 시간에 대한 함수로 볼 수 있다면, By Virtual Proxy Algorithm POSTECH Haptics and Virtual Reality Lab.

27. Force AnalysisForce Affected by The Mobile Robot • 배경 • 이론상 모바일 로봇을 완벽히 위치제어하고, 모바일 로봇과 햅틱 디바이스 사이의 댐핑(damping)이 0이라면, 모바일 로봇의 움직임이 HIP에 미치는 힘은 없다. (Nitzsche et at, 2003) • 실제로는 모바일 로봇을 완벽히 위치 제어하지는 못함 • 실험 • HIP의 위치에 힘 센서를 설치 • HIP에 기록되는 힘을 이용하여 모바일 로봇이 HIP에 미치는 힘을 분석 Nano17 힘 센서 HIP의 위치에 설치된 힘 센서 POSTECH Haptics and Virtual Reality Lab.

28. Force AnalysisResults x z 벽 MHD 모바일 로봇이 움직이지 않는 경우 Commanded Force Recorded Force 모바일 로봇이 움직이는 경우 POSTECH Haptics and Virtual Reality Lab.

29. Position & orientation Position & orientation 100Hz 190Hz Graphics Force 1000Hz 60Hz Velocity 10Hz Mobile Haptic DisplaySystem Overview Tracker Server IS-900 Processor Head Mounted Display IS-900 Tracker Wired Laptop Wireless LAN (UDP) User Mobile Robot POSTECH Haptics and Virtual Reality Lab.

30. Mobile Haptic DisplaySoftware POSTECH Haptics and Virtual Reality Lab.

31. Mobile Haptic DisplayPOSTECH PODI ver.0.8 • 모바일 로봇은 사용자를 피해 잘 이동함 • HIP는 대부분 안정적인 작업 공간 안에 위치함 • 복잡한 돌고래 모델에도 잘 적용됨 • 사용자는 햅틱 디바이스를 통해 실제 크기의 돌고래를 느낄 수 있음 • 사용자는 HMD를 통해 입체적인 화면을 전달받을 수 있음 사용자가 PODI를 사용하는 모습 HMD를 통해 사용자에게 전달되는 화면 POSTECH Haptics and Virtual Reality Lab.

32. Conclusion • 모바일 햅틱 디스플레이를 위한 시스템 구성 • 모바일 햅틱 디스플레이를 위한 소프트웨어 구성 • 모션 플래닝 알고리즘 개발 • 모바일 로봇이 햅틱 디바이스가 내는 힘에 미치는 영향 분석 • Future Work • 상하이동장치 추가 • HIP위치 추적 개선 • Texture 추가 • 협업 환경에서의 햅틱 피드백 효과 분석 POSTECH Haptics and Virtual Reality Lab.