音楽に合った舞踊動作の自動生成

音楽に合った舞踊動作の自動生成 基礎工学部情報科学科竹村研究室二宮啓

目的音楽に合った舞踊を自動生成する手法を開発し、エンターテイメントに応用する

応用例 アニメーション制作ツールに実装舞踊ロボットに搭載音楽プレイヤーに搭載

関連研究 Kimらの手法*1(SIGGRAPH 2003) ・動きを細かく分割し、グラフを構成・グラフ中を遷移することで、　リズムに合った舞踊を生成 Alankusらの手法*2 ・リズムに合う動きの探索方法を改良・遺伝的アルゴリズムを使用　　 *1Tae hoon Kim, Sang Il Park, and Sung Yong Shin. Rhythmic-motion synthesis based on motion-beat analysis. ACM Trans.Graph., Vol. 22, No. 3, pp. 392–401, 2003. *2Gazihan Alankus, A. Alphan Bayazit, and O. Burchan Bayazit. Automated motion synthesis for dancing characters. Computer Animation and Virtual Worlds, Vol. 16, No. 3-4, pp. 259–271, 2005.

関連研究 白鳥・中澤らの手法*3(EUROGRAPHICS2006) 　・音楽のリズムと盛り上がりを考慮した舞踊動作の自動生成欠点　・使っているデータが不十分　・手法の有効性が未検証本研究で行ったこと　・モーションキャプチャを用いたデータの取得　・白鳥らの手法の実装と最適化　・取得したデータを用いて生成した舞踊の評価実験 *3Takaaki Shiratori, Atsushi Nakazawa, and Katsushi Ikeuchi. Dancing-to-Music character animation. Computer Graphics Forum, Vol. 25, No. 3, pp. 449–458,2006.

アプローチ 音楽に合った舞踊では、音楽と動作のリズムが合っている音楽と動作のリズムを解析し、音楽のリズムに合う動作を抽出する

手法の概要 音楽データ舞踊データの取得リズム解析・セグメント分割リズム解析リズムマッチング動きDB 接続可能性の調査動きの候補・・・動きの接続・・・舞踊動作

舞踊データの取得 モーションキャプチャを用いて取得　・９人の踊り手の舞踊のデータを取得　・マーカの遮蔽によるデータのエラーを修正

動きのリズム解析 舞踊のリズム・動きが止まるタイミングと　音楽のリズムのタイミングが相関する*4 ・動きの強さが極小になる位置をリズム位置とする角速度 *4T. Shiratori, A. Nakazawa, and K. Ikeuchi. Detecting dance motion structure through music analysis. In Automatic Face and Gesture Recognition, 2004. Proceedings. Sixth IEEE International Conference on, pp. 857–862, 2004.

音楽解析 リズムの検出　・Gotoらの手法*5を用いて検出　・音の強さのピークと音楽のリズムが相関音楽のセグメント分割　・楽曲中の繰り返しパターンの検出*6 　・繰り返しパターンによるセグメント分割 Aメロ Bメロサビ Aメロ Bメロサビ seg1 Seg2 seg3 seg4 seg5 seg6 *5M. Goto. An audio-based real-time beat tracking system for music with or without drum-sounds. Journal of New Music Research, Vol. 30, No. 2, pp.159–171, 2001. *6Muyuan Wang, Lie Lu, and Hong-Jiang Zhang. Repeating pattern discovery from acoustic musical signals. In Multimedia and Expo, 2004. ICME '04. 2004 IEEE International Conference on, Vol. 3, pp. 2019–2022 Vol.3, 2004.

舞踊生成 動きの候補を抽出　音楽セグメントとリズムが合う動きを抽出音楽セグメントリズム似ている似ている動きデータベースにある全ての動きを調べる動きデータB 動きデータA 動きDB 動きの候補・・・・・・

舞踊生成 動きの接続可能性を調べる　姿勢が大きく違う動きはつなげられない動きの候補全ての動きの候補を調べる動きをつなげて出力　自然につなぐためにスプライン補間を行う・・・・・・

評価実験 提案手法の有効性を検証するのが目的　提案手法で生成した舞踊のリズムと　音楽のリズムが合っていることを確かめる１０人を対象に評価実験　を５曲の音楽について作り、　合計１０個の舞踊をランダムな順番で見せ、「舞踊のリズムと音楽のリズムがあっているか」　を５段階で評価した１．提案手法による舞踊２．無作為に選んだ舞踊

実験結果 「リズムに合っているか」の評価の平均評価全ての曲で、提案手法が上回っている分散分析を行った結果、 p=0.00026<<0.01となり、統計的に有意な差がある

生成結果１ 音楽“Jerk It Out”に合わせて生成した舞踊最初はビート入りの音楽だけが流れていて、グラディエントで舞踊のビデオが入る

生成結果２ 音楽“Jerk It Out”に合わせて生成した舞踊

まとめ・今後の課題 音楽に合った舞踊動作の生成手法を提案　・モーションキャプチャでデータを取得した　・従来研究よりも良い舞踊が生成できた・評価実験で統計的に有意な結果を得た今後の課題・印象を表わす特徴量の導入　・動きのつなぎ目の改良　・計算時間の短縮

ご静聴ありがとうございました

補足　生成結果の比較 リズムが合っているかの比較音楽に合わせて生成した舞踊無作為に選んだ舞踊

補足　つなぎ目の問題 動きのつなぎ目で不自然になる例

補足　手法の最適化 vpm形式からBVH形式に変更　・白鳥らの手法では、モーションキャプチャデータ　　として、vpm形式のデータを使用している　・vpm形式はあまり一般的ではない　・本研究では汎用性の高いBVH形式を使用した vpm形式とBVH形式ではデータの表し方が違う　・白鳥らの手法を全て書き換えた

テンプレ 見出し　・箇条書き

音楽に合った舞踊動作の自動生成 基礎工学部情報科学科竹村研究室二宮啓

手法の概要 音楽データ舞踊データの取得リズム解析・セグメント分割リズム解析リズムマッチング動きDB 接続可能性の調査・・・動きの接続・・・

音楽に合った 舞踊動作の 自動生成