เรียบเรียงโดย น.ต. วัช รพงษ์ เข็ม เพ็ชร รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ

1. Optic Flow-Based navigation System FOR unmanned air vehicleระบบการนำร่องด้วยวิธี Optical flow-based สำหรับอากาศยานไร้คนขับ เรียบเรียงโดย น.ต.วัชรพงษ์ เข็มเพ็ชร รองหัวหน้าแผนกจัดดำเนินงาน กองซ่อมบริภัณฑ์ กรมช่างอากาศ

3. โครงสร้างของ UAV โดยทั่วไป Flight Controller UAV Dynamics ตำแหน่ง GPS ทิศทาง IMU สิ่งกีดขวาง RADAR เร็ว+สูง Pt-St Feedback Control

4. ข้อจำกัดของการใช้ INS + GPS +Radar • มีขนาดใหญ่ น้ำหนักมาก ไม่สามารถใช้กับ UAV ขนาดเล็กได้ • จะใช้พลังงานไฟฟ้ามาก • GPS ไม่สามารถใช้งานได้เมื่ออยู่ภายในอาคาร หรือพื้นที่อับสัญญาณ ข้อดีของ Visual Based Navigation • Passive Sensor(camera) • น้ำหนักเบา • ให้ข้อมูลที่สามารถนำไปประยุกต์ใช้งานอื่นๆได้ • สามารถไปได้ทุกที่

5. Type of Visual Navigation • Map-based Navigation Systems: เริ่มต้นจากการให้หุ่นยนต์ศึกษาเส้นทางและสถานที่สำคัญโดยข้อมูลที่ได้จากถูกนำมาสร้างภาพ 2D จากนั้นผู้ใช้จึงกำหนดเป้าหมายที่จะไป • Map-building Navigation Systems :วิธีการเดียวกับวิธีการข้างต้นแต่ข้อมูลที่ได้มาสร้างเป็นภาพ 3D • Mapless Navigation Systems :วิธีการนี้ไม่จำเป็นต้องศึกษาเส้นทางก่อนเพียงแต่ใช้เทคนิคทางคณิตศาสตร์และ 3D ในการคำนวณหาภาพถัดไปส่วนใหญ่ใช้วิธี Optical Flow-Based ในการคำนวณภาพ

6. จุดกำเนิดของ Optical Flow

7. โครงสร้างของ Optical Flow-BasedUAV Vision Module Control Module

8. Vision Module • Optical Flow Computationทำหน้าที่ในการแปลงภาพ 2 มิติมาสร้างให้เป็นภาพ 3 มิติที่สัมพันธ์กับสภาวะจริง • Optical Flow Interpretation ทำหน้าที่ในการนำภาพที่ได้จาก ขั้นตอนแรกไปปรับปรุงใช้งานจากการหมุนของภาพที่ได้ เทียบกับอัตราเร็วเชิงมุม(Angular Rate)ของภาพก่อนหน้า และการปรับขอบของภาพให้เข้ากัน

9. Predictation-based Optical Flow with Adaptive Path

10. Structure From Motion(SFM) 3D motion estimation and obstacles detection • Geometrical Transformation

11. Perspective-central Projection • Geometrical Transformation • Optical Flow Differential

12. ส่วนประกอบของฮาร์ดแวร์ส่วนประกอบของฮาร์ดแวร์ GPS Antenna WiFi Antenna X-3D-BL Microcontroller Vision System Navigation Sensor

13. Hardware Achitecture

14. การบินทดสอบVelocity Control OF-based Velocity as accurate as GPS data (วีดีโอ)

15. การบินทดสอบPosition Control OF-based Position Height and Horizontal more accurate than GPS

16. Indoor Experiment (วีดีโอ) ในการทดสอบนี้ได้ทำการทดสอบในงานแสดงนานาชาติ Tokyo Big Sight

17. Experiment Result : IndoorPosition and Height Autonomous Flight Auto Flight มีความ stable มากกว่า Manual Flight

18. Applications • Object Tracking • Automatic Vertical Take-off and Landing(VTOL) • อุปกรณ์สืบค้นในโรงงานไฟฟ้านิวเคลียร์ • การจับรถถัง หรือยานพาหนะ • University of Technology of Compiegne, France • Chiba University, Japan • Massachusetts Institute of Technology, USA University

19. คำถามและข้อเสนอแนะ ?

20. Video • vision-based precise auto-landing: http://www.youtube.com/watch?v=rbmsivw5luk • optic flow based autonomous indoor flight: http://www.youtube.com/watch?v=Zt2WisDjUY0 • Visual Servoing of a Miniature Rotorcraft UAV for Moving Ground Target Tracking: http://www.youtube.com/watch?v=-IpbOd-UuG4 • velocity trajectory tracking using optic flow: http://www.youtube.com/watch?v=Zp12GjZzjt4 • moving target tracking: http://www.youtube.com/watch?v=6obHavVvJyk • vision-based hovering: http://www.youtube.com/watch?v=9I8BXtbrDQM • Fully autonomous flight of a rotorcraft MAV using optic flow: http://www.youtube.com/watch?v=6U0IhPlYXKw • spiral trajectory tracking by an autonomous quadrotor micro air vehicle: http://www.youtube.com/watch?v=r4eOUDA3JJo • waypoint navigation of a small rotorcraft micro air vehicle: http://www.youtube.com/watch?v=Lo9qJz69uuQ

21. บรรณานุกรม • FaridKendoul, Isabelle Fantoni, KenzoNonami."Optic Flow-Based Vision System for Autonomous 3D Localization and Control of Small Aerial Vehicles".University of Technology of Compiegne, 60200 Compigne, France. • Terry Cornall, Greg Egan.”Optical Flow methods applied to unmanned air vehicles”.Monash University, Clayton 3800 Victoria, Australia. • Francisco Jes´us Bonin Font. “An Inverse-Perspective-based Approach to Monocular Mobile Robot Navigation”.Universitat de les IllesBalears, 2012 • Francisco Bonin-Font, Alberto Ortiz and Gabriel Oliver. “Visual Navigation for Mobile Robots: a Survey”. Department of Mathematics and Computer Science, University of the Balearic Islands,Palma de Mallorca, Spain. • Jiangjian Xiao, Changjiang Yang, Feng Han, and Hui Cheng."Vehicle and Person Tracking in UAV Videos".Sarnoff Corporation. • RandolfMenzel, Karl GeiGer, Lars Chittka, JasDanJoerges, Jan Kunze and Uli Muller.”The Knowlwdge Base of Bee Navigation”. Berlin, Germany. • Dacke, M. and Srinivasan, M. V. (2007). Honeybee navigation: distance estimation in the third dimension. J. Exp. Biol. 210, 845-853. • “FastAppearance Based Mapping”.www.robots.ox.ac.uk /~mobile/wikisite/pmwiki/pmwiki.php?n=Main.FABMAP

22. การบินทดสอบPosition ControlOptical Flow and Image Displacement

23. การบินทดสอบPosition Controlภาพที่เกิดจาก Integrate Displacement ภาพจากกล้องวีดีโอเมื่อทดสอบ Position Control ภาพที่เกิดจาก integrate displacement สำหรับ position feedback Poor image quality and textureless environment

24. 3 Nested Kalman Filters(3NKF) • 1St KF ปรับปรุงคุณภาพ และความเข้มแสงของภาพ เพื่อสร้างภาพ 3 มิติ • 2Nd KF ปรับปรุงการหมุนของภาพ • 3Rd KF ปรับปรุงการเปลี่ยนแปลงของภาพจาก ความเร็วของภาพที่เปลี่ยนไป

25. Block Matching Technique • Sum of Absolute Difference(SAD) • Nominal Displacement • Shape of Path Transformation

26. Differential Algorithm • Observed Brightness • State Vector of X by brownian process

27. Optical Flow Mapless Method • Optical flow คือ vector field ซึ่งแสดงถึงทิศทางและขนาดของการเปลี่ยนแปลงความเข้ม(intensity)จากภาพหนึ่งกับภาพอื่นๆ เพื่อเทียบเคียงกันถึงแม้จะมีมุมของภาพ หรือแสงที่ต่างกัน • brightness constant constraint(BCC) and smoothness constraint (u,v) = optical flow vector (Ix,Iy)=image intensity gradient It=temporal change

28. Perspective Projection Model Translation velocity Rotation Image coordinate of P Object

29. Optical Patterns Fig.3 Motion Z axis Distinct max magnitude of divergence Divergence and curl plot hotter colors=greater magnitude Fig.4 pitching motion

30. Fig.5 Rotational Field an Curl Curl=max at rotation axis Fig.6 Combine rotation and translation

31. Ground Control Station • Display Flight • Send Navigation Command take-off, landing, hovering • GPS and INS = Position and Velocity • AHRS = Attitude • Vision-based • คำนวณหา ความเร็ว, ความสูง และตำแหน่ง จากภาพ เทียบกับ IMU • ความเร็ว, ความสูง, ตำแหน่ง ที่คำนวณได้จาก Vision-based และจาก GPS/INS จะถูกนำมาเปรียบเทียบกันที่ Ground Control Station เพื่อทดสอบความแม่นยำ

32. ผลการทดสอบ Velocity Control • ความสามารถการ hovering flight และ velocity trajectory tracking(forward, backward, sideward) เพื่อทดสอบการ sfm algorithm (ความเร็ว สูง) • Take off->hover->trajectory • ผลการทดสอบ ความเร็ว การนำทางโดย vision และ gpsตรงกัน

33. ทดสอบความสามารถของ trajectory(position,height, velocity, orientation) • Take off->hovering->auto landing

34. ได้ทำการแสดงในงาน Tokyo big sight international exhibition