A Basic Drum Set Based on Augmented Reality 擴增實境爵士鼓組 顏菽岑 Advisor: Shing-Min Liu

1. A Basic Drum Set Based on Augmented Reality 擴增實境爵士鼓組 顏菽岑 Advisor: Shing-Min Liu Department of Computer Science and Information Engineering, National Chung Cheng University, Taiwan WebCamara ARMarker Keyboard Introduction 每一位鼓手心目中一定很嚮往可以在家裡練鼓，價錢是第一個問題，一套爵士鼓價位從幾萬元到數十萬不等，使得一般鼓手在購買器材相當困難。即使你有錢買一整套爵士鼓放在屋內，就算鄰居沒有抗議，家裡的人也會因為噪音問題而不堪其擾。因為噪音問題，而有電子鼓的產生，但是價位仍然是主要問題，便宜的三萬多，好一點的甚至六、七萬元。 在這個專題實驗中，希望能夠透過擴增實境（Augmented Reality），利用Marker做鼓的位置，以Webcam偵測Marker，模擬真實的爵士鼓，使得鼓手可以方便練習，不再受到那麼多限制。 Model 1.開啟webcam 2.偵測marker 3.在marker處畫出圖案(供使用者敲擊) 4.判斷是否擊中marker 5.若擊中，發出鼓聲並使圖案變色 ◎過程中若偵測到鍵盤輸入，則發出大鼓音效。 Methodology 目前是使用5個marker加一個鍵盤，所以總共有6種音效。先對攝影機資訊、marker資訊、音效檔資訊做初始化，接著紀錄每個marker的位置，使用openGL在每個marker的地方繪製一個物體(供使用者方便敲擊) 。 當使用者敲擊此marker時，因為marker會被鼓棒遮蔽住，在攝影機所得到的畫面中會偵測不出此marker，所以當未發現此marker時，判斷此鼓(marker)被擊中，而擊中時，因為marker的位置是固定的，所以我們可以在先前所得到的marker位置處繪製不同顏色的物體，讓使用者可以從畫面中知道自己擊中那些marker ，即得知自己敲了那些鼓。 當判斷出marker被擊中時，使用openAL發出原先錄製的鼓的音效，讓使用者有聽覺以及視覺雙重感受。 真實的爵士鼓，大鼓是用腳踩，但是攝影機畫面有限，不太可能同時拍到手的動作以及腳的動作，所以我使用另一個輸入工具，就是鍵盤！當偵測到鍵盤輸入時，使用openAL撥放大鼓音效。 • Conclusion • 雖然利用擴增實境（Augmented Reality）的技術可以模擬出爵士鼓的感覺，但是還是有一些缺陷，像是音色、力道等資訊，較困難模擬出來，所以當練習使用是一個不錯的工具，但是如果要拿來一些較正式的用途，像是表演或者錄音等，還是使用真實的爵士鼓能有較好的效果。 • Reference • OpenGL http://www.opengl.org/ • OpenAL http://connect.creativelabs.com/openal/default.aspx • ARToolKit http://www.hitl.washington.edu/artoolkit/