1 / 19

影像視覺配合紅外線偵測系統取物之應用

影像視覺配合紅外線偵測系統取物之應用. 指導教授：謝銘原 學 生：莊沛語. 研究方向. 機器人視覺辨識夾取. 大綱. 摘要 簡介 視覺伺服設備 RGB 色彩空間 YCbCr 色彩空間 特定顏色擷取 目標物鎖定 紅外線距離感測器. 摘要. 運用視覺視為人的眼睛，拍下的環境影像用於影像追蹤及視覺伺服運用。 本研究以視覺搭配紅外線距離感測器 協助 控制機器手臂自主取物，機械手臂具有 5 個自由度，藉由 CMOS 攝影機及 紅外 線距離偵測目標物再進一步得到距離及座標點的相關訊息。

zamir
Download Presentation

影像視覺配合紅外線偵測系統取物之應用

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 影像視覺配合紅外線偵測系統取物之應用 指導教授：謝銘原 學 生：莊沛語

  2. 研究方向 • 機器人視覺辨識夾取

  3. 大綱 • 摘要 • 簡介 • 視覺伺服設備 • RGB色彩空間 • YCbCr色彩空間 • 特定顏色擷取 • 目標物鎖定 • 紅外線距離感測器

  4. 摘要 • 運用視覺視為人的眼睛，拍下的環境影像用於影像追蹤及視覺伺服運用。 • 本研究以視覺搭配紅外線距離感測器協助控制機器手臂自主取物，機械手臂具有5個自由度，藉由CMOS攝影機及紅外線距離偵測目標物再進一步得到距離及座標點的相關訊息。 • 藉由攝影機及紅外線距離偵測引導機器手臂達到追蹤、取放目標物之功能。而當目標物移動時，機器手臂系統視覺將及時調整目標物影像參數，隨時改變追蹤與夾取目標物的軌跡。

  5. 簡介 • 機器人更被視為未來幫助人類提高生活水準的重要目標。以視覺做為機器人控制與人互動的研究，更是機器人的研究的重點之一，如何控制機器人手臂達到最簡易、最準確的結果，也是多年以來的研究目標。 • 1975 年，MIT 的Robots 發表了第一部具有視覺感測器且能識別與定位簡單積木的機器人系統。1979 年，美國機器人協會定義機器人為：一部用來移動物料、零件及工具的多功能可程式化的工作機器，是一部使用預先編排動作以完成多項工作的特殊設備[1]。 • 1989 年，Liang等人提出適應性自我校正的眼在手機械手臂系統，提供更有效率的攝影機校正技術[2]。 • 1999 年，Yau等人提出不需要校正攝影機，即可快速計算出物體相對深度的演算法，稱為主動立體視覺系統(active stereo vision system)[3]。 • J. Stuckler等人以單顆攝影機找到目標物後，利用雷射測距儀測出目標物的距離，接著將機械手移到接近目標物的位置，接著經由紅外線感測器進行偵測並進行微調機械手的朝向及位置，最後成功夾起飲料罐[7]。

  6. 視覺伺服設備 為了實現攝影機架構搭配紅外線感測的視覺伺服系統的整合應用， 硬體上可分化成三個主要元件如下表1..影像伺服系統設備，配合電腦搭載影像和紅外線距離感測器判斷系統，影像輸入設備，輸入影像並對影像資料做出引導機械手臂動作的判定。 表1.影像處理設備

  7. RGB色彩空間 RGB模型中，色彩是以其紅、綠、藍的主要頻譜成分來顯現。 一般RGB模型廣泛用於彩色的攝影機及監視器。例如螢幕之陰極射線管三槍投射於螢光幕產生RGB光線以合成各種顏色。 如圖1，是RGB色彩空間模型，其中R代表紅色(Red)，B代表藍色(Blue)，G代表綠色(Green)，黑色在原點，白色為離黑色最遠之頂點，其他三個頂點分別是青色、紫紅和黃色。 圖1. RGB色彩空間模型

  8. YCbCr色彩空間 • 彩色空間為YCbCr色彩空間主要成份Y亮度(Luminance)和Cb藍色(Blueness)、Cr紅色(Redness)，其中 Y 是由彩色轉換成灰階影像的灰階值，主要是依據人類的眼睛對RGB 三原色（紅、綠、藍）。 • YCbCr對亮度的分離性高，方便和彩度分開操作，廣泛的應用在影像處理中，RGB轉換成YCbCr色彩空間如式(1)所示，下圖3. 到下圖5.顯示出將下圖2.經過色彩空間轉換之後的結果，並分別表示Y、Cb、Cr三個色板。 式(1) 圖2.原始影像 圖3.Y色板 圖5.Cr色板 圖4.Cb色板

  9. 特定顏色擷取 • 當色彩空間轉換完成之後，可以得到我們想要抓取顏色之Cb、Cr值，然後分別設定Cb、Cr的閥值，顏色之Cb、Cr值落在閥值範圍內，即是我們所要的顏色並將它分割出來與背景分離。 • 如圖6，以Cb值<=122、Cr值>=155為閥值，濾出影像上的紅色部分，下圖7與圖下8為顏色分割之結果。表2.為YCbCr顏色對照表。 表2.為YCbCr顏色對照表。 圖7. CbCr分割 圖6. 原始影像圖 圖8. 分割結果

  10. 目標物鎖定 • 過影像處理後，即可以準確抓到所要的目標物。鎖定目標物的用意在於要取得目標物的上、下、左、右四邊的邊界，利用一個小的矩形將目標物框起來，如圖9所示。並且由四個邊界點的座標值計算目標物的中心位置。其中 X1為左邊界值，X2 為右邊界值， Y1為上邊界值，Y1 為下邊界值，中心點P目標物中心位置座標為2式： 圖9. 目標物鎖定

  11. 紅外線距離感測器 sharp IR 視類比是距離感測器以下圖10. (Analog Distance Sensor)[9] ，使用紅外線訊號來量測物體距離，檢測距離從 10cm-80cm。利用此距離感測器感測物體距離。 為了讓紅外線感測器能做掃描，我們將紅外線感測器裝於機器手臂上，控制機器手臂旋轉可讓紅外線感測器呈現如雷達般掃描，同時紅外線感測器會即時偵撤距離等資訊，此時即可得知環境物體分佈情況，我們即可得知前方物體距離及邊界...等資訊 如下圖11。 圖10. 紅外線距離感測器 圖11. 紅外線旋轉掃描

  12. 機器人運動學 • 機器手臂的順向運動學中，輸入機器手臂每個關節的旋轉角度，推算出機器手臂操作的位置與方向。而機器手臂的逆向運動學，即是輸入機器手臂末端操作器的座標，反推算出機器手臂各關節所需要的旋轉角度。 • 在順向運動式中，各軸旋轉角度確定後，推算出的機器手臂末端的位置與方向具有唯一性，但逆向運動式卻有可能產生多重解。出現多重解時，如何選擇解並沒有一定的標準，不過通常可以將機器手臂各關節移動量最少的解視為最適合的解。 • 推算逆向運動式可分為二類：封閉式解(closed form solutions) 與數值解(numericalsolutions)。其中封閉式解又可分為代數(algebraic)法與幾何(geometric)法。此二種方法的求解過程很類似，只在於趨近法不同的差別。數值解有一再重複的特性，因此使用數值趨近法解逆向運動式，通常會比封閉式的解法還慢。由於本文的反運動式中只需求解五個變，因此採用封閉式解法中的代數法求解反運動式。

  13. 實驗結果 • 本文採用的是Robotis公司的AX-18A ROBOTARM、羅技公司的Webcam C170視訊鏡頭以及sharp GPD12 紅外線距離感測器，利用RS232傳送輸出動作控制訊號給機械手臂，以達到視覺伺服控制機器手臂的效果。 • 另外使用Microsoft Visual C# 2005搭配OpenCV函數庫設計視覺伺服控制系統介面。在主控端電腦(PC)中，先由CMOS攝影機擷取，影像解析度為320×240影像，經由影像處理、到紅外線距離感測環境、及反運動式…等演算法求得目標角度，傳至目的端CM-510產生驅動機器手臂的命令，以控制機器手臂之運動。其中下圖12.系統架構下圖13.與下圖14.為實驗設備。 圖12.系統架構圖

  14. 圖13.實驗設備 實驗結果 圖14. 實驗設備

  15. 在實驗進行之前，先擷取紅色積木色塊作YCbCr分析如下圖15.，針對紅色積木作CbCr值分析以便輸入過濾閥值，下圖16.為此次的CbCr值分布圖，其下圖17. Cb直方圖 ，而下圖18. 為Cr直方圖。 實驗結果 圖15. 紅色積木 圖16. CbCr分布圖 圖17. Cb直方圖 圖18. Cr直方圖

  16. 實驗結果 圖19.實驗流程圖

  17. 實驗結果

  18. 結論 • 本文提出一個簡易自主視覺伺服系統，採用於Robotis，公司的AX-18A ROBOTARM機器手臂，以及一部攝影機和紅外線距離感測，組成一套視覺伺服機器手臂系統。在實驗中透過攝影處理選目標物並求出目標物其中心座標，透過紅外線感測器適當的判斷及調整，引導機器手臂尋找目標物並且夾取動作。從實驗結果來了解，攝影機架構自主視覺伺服系統確實能夠及時抓取特定顏色的目標物，並引導手臂執行抓取動作。 • 使用紅外線距離感測器（IR Sensors）進行判斷並提供機器人之視覺輔助之控制，使機器人可以進行各項動作。雖然追蹤目標物時仍然範圍為有限，掃描到死角...等，問題若能規劃出掃描為基礎的搜尋追蹤演算法，可大幅提高目標物搜尋時的效率。

  19. 參考文獻 [1] A.Currie, The History Of Robotics, [Online].Available:http://cache.ucr.edu/~currie/roboadam.htm. [2] Liang, P., Chang, Y. L., and Hackwood, S., “Adaptive Self-Calibration of Vision-Based Robot System, ” IEEE Trans. On System, Man, and Cybernetics, Vol. 19, No. 4, pp. 811-824, 1989. [3] Yau, W. Y. and Wang, H., “Fast Relative Depth Computation for an Active Stereo Vision System, ” Real-Time Imaging, Vol. 5, pp. 189-202, 1999. [4] D. Xiao, K. Ghosh, N. Xi and T. J. Tarn, “Sensor-based Hybrid position/force control of a robot manipulator in an uncalibrated environment,” IEEE Trans. Robot. Automat., vol. 8, NO. 4, pp. 635-645, July 2000. [5] 莊順德，以姿態動作分析實現人形機器人互動控制之研究，南台科技大學電機工程系碩士論文，2011。 [6] C. Y. Lin and Y. P. Chiu, “The DSP based catcher robot system with stereo vision,” in Proceedings of the 2008 IEEE/ASME International Conference on Advanced Intelligent Mechatronics, pp.897-903, July 2-5, 2008. [7] J. Stuckler and S. Behnke, “Integrating indoor mobility, object manipulation,and intuitive interaction for domestic service tasks,” in International Conference on Humanoid Robots, pp.506-513, Dec. 7-10, 2009. [8] 林士傑，以視覺為基礎之餵食機器人，國立中央大學資訊工程研究所碩士 論文，2007。 [9] 高立煒，結合視覺與紅外線感測之機器人自我定位及路徑規劃系統，國立中正大學電機工程碩士 論文，2008。

More Related