Augmented reality applications on smart phone - a shooting game of virtual objects

1. Augmented reality applications on smart phone - a shooting game of virtual objects 擴增實境在智慧型手機上之應用 - 虛擬物件的射擊遊戲 蔡至韋 林祐綸 指導教授:劉興民 Department of Computer Science and Information Engineering, National Chung Cheng University, Taiwan Introduction 擴增實境（Augmented Reality，AR）是一門可以讓現實與虛擬空間進行互動的技術，因為行動裝置的效能提升而使得AR在智慧型行動裝置上的應用越來越多，AR不只是只能在電腦上運行。 EX:藉由行動裝置的便利性，使用者可以隨時隨地透過AR技術取得更多商品的資訊，不只是圖片和文字，而是可以真正看到商品的樣子。這樣可以加深使用者對此商品的印象。 而我們這次利用智慧型手機當作平台，使用手機上的開發工具，設計一個在Android上的射擊遊戲用來測試AR在手機上的可運行度，使用手機和AR物件的即時互動加上結合網路功能可進行連線對戰，達到更多的娛樂效果。 PartII: 又細分成手機端跟Server端，手機端上利用了較多Andar上的程式去實作AR的功能，將虛擬物件和mark配對之後，當鏡頭照到mark時會出現虛擬物件在螢幕上。 物件使用OBJloader將本來存在手機上SD card 的物件檔讀入程式以便之後可以直接繪製 接下來利用手機本身的螢幕的sensor取得使用者點擊的位置，之後使用了color Picking的技巧，利用剛剛取得的使用者點擊位置的像素，用像素的參數值來判斷使用者是否有擊中該虛擬物件，在此我們利用了三個顏色來作為物件的顏色。 三個不同顏色→ 的物件 Development Tools 我們這次主要在手機上設計程式，最基層的是使用JAVA 的 Android開發Library，之後AR的架構是由 AndarLibrary 負責執行，Andar是以圖中下面基層的Library所構成的整合式Library，虛擬物件的繪製是 OPENGLES繪製，Mark的偵測是由Artoolkit完成，Camera是用來控制行動裝置上的鏡頭。 Server端上使用java的Socket Programming，用來達成手機和Server的通訊，而封包格式有兩種，一種是用來設定裝備的參數，另一種是判斷成遊戲進行時的攻擊，為了效能考量我們決定使用Thread來分別進行封包傳送到Server上，如此一來效能可以提升也不會拖慢主程式遊戲的速度，然後依照封包上面之參數達成血量的變化，血量是由Server進行管理控制。 Result 遊戲開始遊玩之前，需在自己身上放置mark用來當作敵人的攻擊目標，之後進入到GUI畫面，這裡可以設定你想要的裝備和角色，之後直接進入遊戲。遊戲開始之後使用者必須想辦法把敵人的血量歸零，才能獲得勝利。 Methodology 我們將整個程式分成兩個部分: 1.手機的GUI部分 2.遊戲功能實作 PartI: 手機的GUI部分主要都是由Android的函式庫去實作，主要目的是為了增加遊戲的娛樂性，包裝以AR為主軸的遊戲。 使用了許多的ImageButton 當作按鈕用來選擇物件，和ImageSwitcher 動態顯圖達到視覺效果，和內建的音效播放函式庫，讓使用者玩的時候更有有娛樂的效果。 將Mark放置在身上 雙人對戰畫面 Conclusion 目前AR在手機上的瓶頸還是在效能上，硬體好壞和網路好壞可能會影響遊戲的即時性， 而且手機上的繪圖晶片還是不比PC的效能，所以繪製3D物件上可能還是沒有很好的效果。較複雜的圖可能會有延遲之現象。 而網路方面，行動網路跟wifi網路也會影響我們遊戲的即時性，封包傳輸速度之議題。而手機都是使用無線網路，所以在此議題上可以再作討論。 Reference 1.AndAR (http://code.google.com/p/andar/) 2.Color picking (http://www.lighthouse3d.com/opengl/picking/index.php3?color1) 3.Android Reference (http://developer.android.com/reference/packages.html) ↑使用者提示介面 ↑遊戲勝負畫面 ↑選擇裝備