1 / 30

確率 スペクトル包絡に基づく NMF 基底 生成 モデル を用いた 混合 楽音解析

第 89 回音楽情報科学研究発表会. 確率 スペクトル包絡に基づく NMF 基底 生成 モデル を用いた 混合 楽音解析. 神戸大学工学 研究科 ◎中鹿 亘，滝口哲也，有木康雄. 研究背景. 音楽検索や音楽加工など. 音楽信号処理の高い関心 コンピュータの著しい発展 音楽 信号の爆発的な増加 自動採譜技術の期待 一般ユーザの音楽活動支援 様々な音楽アプリケーション へ応用可能. 研究内容. 音高、発音開始時刻、音価、強度など（調やテンポは推定しない ）. 複数の楽器 による ポリフォニー 音楽を解析. いずれも非常に難しい問題. 楽音解析 ( ≒自動採譜 )

eavan
Download Presentation

確率 スペクトル包絡に基づく NMF 基底 生成 モデル を用いた 混合 楽音解析

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第89回音楽情報科学研究発表会 確率スペクトル包絡に基づくNMF基底生成モデルを用いた混合楽音解析 神戸大学工学研究科 ◎中鹿 亘，滝口哲也，有木康雄

  2. 研究背景 音楽検索や音楽加工など • 音楽信号処理の高い関心 • コンピュータの著しい発展 • 音楽信号の爆発的な増加 • 自動採譜技術の期待 • 一般ユーザの音楽活動支援 • 様々な音楽アプリケーションへ応用可能

  3. 研究内容 音高、発音開始時刻、音価、強度など（調やテンポは推定しない） 複数の楽器によるポリフォニー音楽を解析 いずれも非常に難しい問題 • 楽音解析(≒自動採譜) • 楽音パラメータを推定 • 研究対象 • 混合楽音の解析

  4. [1] P. Smaragdis, 2003 従来の楽音解析手法 X W H アクティビティ行列 観測スペクトル 基底行列 発音時刻などの情報を含む 音高の情報を含む • 非負行列因子分解(NMF)による手法[1] • 非負行列Xを、２つの非負行列W, Hの積に分解 • 音楽信号のスペクトログラムをNMFで分解

  5. 教師なしNMFによる楽音解析の問題点 教師なしNMFで解析 スペクトルが倍音成分のみ ⇒音高が求まる スペクトルが混在している ⇒音高が求まらない アクティビティH 基底W 教師なしNMFでは、機械的に分解しているので 意図しない基底が表れてしまう 問題点

  6. 教師ありNMFによる楽音解析の問題点 アクティビティ行列 既知 観測スペクトル 基底行列 解析精度は高いが… 全ての楽器機種、全ての音高について 基底を用意するのは現実的ではない 問題点 • 教師ありNMF…基底行列が既知であると仮定 • 基底行列を予め学習しておく

  7. 研究の動機 楽器カテゴリの特徴量から，楽器の基底を全て表現できないか？ piano4 piano1 piano2 piano3 ？ “ピアノ”の特徴量 • 教師なしNMFの問題点：意図しない基底が表れてしまう • 教師ありNMFの問題点：全ての基底を用意するのは非現実的

  8. 楽器カテゴリの特徴量 スペクトル包絡に着目 確率的な表現をする 確率的なスペクトル包絡，確率スペクトル包絡 （PSE）を考える あらゆる音階の スペクトル ある音階の 微小に変動するスペクトル PSE • 音階に依存しない特徴量にしたい… • スペクトルの変動を吸収したい…

  9. 提案手法の流れ 学習信号 テスト信号 スペクトログラム スペクトログラム 楽器カテゴリの特徴を表す確率スペクトル包絡 音階ごとのスペクトルを求める 教師ありNMFと遺伝アルゴリズムを組み合わせて曲を解析 教師なしNMF 教師ありNMF PSEs 確率スペクトル包絡の学習 拡張ガウシアンプロセス 遺伝アルゴリズム MIDI 学習ステージ 解析ステージ

  10. 提案手法の流れ（学習ステージ） 学習信号 テスト信号 スペクトログラム スペクトログラム 楽器カテゴリの特徴を表す確率スペクトル包絡 音階ごとのスペクトルを求める 教師ありNMFと遺伝アルゴリズムを組み合わせて曲を解析 教師なしNMF 教師ありNMF PSEs 確率スペクトル包絡の学習 拡張ガウシアンプロセス 遺伝アルゴリズム MIDI 学習ステージ 解析ステージ

  11. 教師なしNMFによるスペクトル抽出 ⇒ ⇒ アクティビティ行列 NMF 学習データ ⇒ 基底行列 スペクトログラム • 基底行列からスペクトルピークを抽出 スペクトルピークの集合Dを 確率スペクトル包絡の学習に用いる スペクトルピーク集合 • 学習信号のスペクトログラムを教師なしNMFで分解

  12. [2] E. Snelson and Z. Ghahramani, 2006 確率スペクトル包絡の学習 • 拡張ガウシアンプロセス(SPGP+HS[2]) • ガウス分布に従った確率過程 • 任意の関数曲線を分散込みで近似できる 通常のガウシアンプロセスでは，分散値をうまく推定できない ⇒ スペクトルピーク集合 SPGP+HS ガウシアンプロセス ＝ 確率スペクトル包絡 拡張ガウシアンプロセスでピーク集合を近似

  13. 提案手法の流れ（解析ステージ） 学習信号 テスト信号 スペクトログラム スペクトログラム 楽器カテゴリの特徴を表す確率スペクトル包絡 音階ごとのスペクトルを求める 教師ありNMFと遺伝アルゴリズムを組み合わせて曲を解析 教師なしNMF 教師ありNMF PSEs 確率スペクトル包絡の学習 拡張ガウシアンプロセス 遺伝アルゴリズム MIDI 学習ステージ 解析ステージ

  14. （予備知識１）スペクトル基底の生成過程 確率スペクトル包絡 調波フィルタ ⇒ 任意の音階の 音を作り出せる ランダム生成 生成されたスペクトル基底 スペクトル包絡 ⇒ 変動するスペクトルを作り出せる 確率スペクトル包絡からスペクトル基底を生成

  15. （予備知識２）基底行列の評価 = 基底行列とアクティビティ行列の積 • “良い”基底行列なら… • と • は，ほぼ同じ 評価行列 テストデータ （観測スペクトログラム） • “良くない”基底行列なら… • は，異なる • と 評価行列 テストデータ テストデータとの距離を，評価値として用いることができる 教師ありNMFによって評価行列を求める

  16. 遺伝アルゴリズムによる基底の探索 テストデータに適応するように基底行列を進化させる ランダムに基底行列を生成 確率(p1)で基底行列を２つ選択して一様交叉 確率(1-p1)で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  17. 遺伝アルゴリズムによる基底の探索 • 評価値が高い基底行列が • 選ばれやすい テストデータに適応するように基底行列を進化させる ランダムに基底行列を生成 確率(p1)で基底行列を２つ選択して一様交叉 確率(1-p1)で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  18. 遺伝アルゴリズムによる基底の探索 • 確率スペクトル包絡から基底行列を複数生成 確率スペクトル包絡 基底行列１ 基底行列2 基底行列3 テストデータに適応するように基底行列を進化させる ランダムに基底行列を生成 確率p1で基底行列を２つ選択して一様交叉 確率p2で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  19. 遺伝アルゴリズムによる基底の探索 • （i）基底行列を２つ選択 • （ii）基底行列を一様交叉 基底行列１ 基底行列2 交叉基底 基底行列１ 基底行列2 ⇒次世代基底の１つ テストデータに適応するように基底行列を進化させる ランダムに基底行列を生成 確率(p1)で基底行列を２つ選択して一様交叉 確率p2で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  20. 遺伝アルゴリズムによる基底の探索 • （i）基底行列を1つ選択 • （ii）一部の基底ベクトルをランダム生成 基底行列2 基底行列2 変異基底 音階が変わらないようにする 調波フィルタ 確率スペクトル包絡 テストデータに適応するように基底行列を進化させる ランダムに基底行列を複数生成 確率(p1)で基底行列を２つ選択して一様交叉 確率(1-p1)で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  21. 遺伝アルゴリズムによる基底の探索 • 交叉／突然変異を繰り返し，次世代基底集合を作る 前世代基底集合 次世代基底集合 テストデータに適応するように基底行列を進化させる ランダムに基底行列を複数生成 確率(p1)で基底行列を２つ選択して一様交叉 確率(1-p1)で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  22. 遺伝アルゴリズムによる基底の探索 • 最終的に得られた基底行列集合の中で，最も評価値の高い基底行列を用いて教師ありNMFを実行した結果が解析結果 テストデータに適応するように基底行列を進化させる ランダムに基底行列を生成 確率(p1)で基底行列を２つ選択して一様交叉 確率(1-p1)で基底行列を１つ選択して一部突然変異 基底行列が一定数集まれば次の世代に交代 2. ～4. を繰り返す

  23. 評価実験 実験 実験 • 未学習データへの予測精度をみる実験 • 単一楽器（piano1）のみを用いて確率スペクトル包絡を学習 • 異なる環境で録音された曲をMIDI推定 ①piano1で演奏，②piano2で演奏，③piano3で演奏 ④残響レベル40で演奏，⑤残響レベル100で演奏 • 比較手法 ①教師ありNMF(piano1のみ学習) ②教師ありNMF(それぞれの環境で学習） ③教師なしNMF • 複数の楽器を含む音楽信号を解析する実験 • ピアノとヴァイオリンの２種類の楽器を用いて曲を推定 • 比較手法…教師ありNMF(ピアノとヴァイオリンを予め学習）

  24. 実験１の結果 自動採譜による音符の正解率

  25. 解析結果例（実験１） 正解データ Piano1で演奏 Piano2で演奏

  26. 実験２の結果 ヴァイオリン ピアノ 正解データ 遺伝アルゴリズムの初期 教師ありNMFの結果 上段：ヴァイオリン 下段：ピアノ 遺伝アルゴリズムの最終

  27. まとめと考察 • スペクトルの確率表現で楽音推定を行う • 確率的なスペクトル包絡表現により，一つの楽器カテゴリを表現しうるスペクトルをカバーする • 楽器ごとのスペクトル包絡を，拡張ガウシアンプロセスを用いて確率的に表現する • 遺伝アルゴリズムと教師ありＮＭＦを組み合わせ，最も尤もらしい基底・アクティビティを推定する • 考えられる全ての基底を与える必要がなく，基底をコンパクトに表現できる • 複数の楽器が混ざっていても解析可能 • 今後の課題 • 確率的な基底行列とＮＭＦを用いて，最尤法により曲を解析

  28. ご清聴ありがとうございました

  29. ガウシアンプロセスの学習結果 Piano 1476Samples / 72 Notes 403 Iterations Violin 584Samples / 36 Notes 101 Iterations

  30. （付録A）擬似逆行列を用いた教師ありNMF • 以下の手順でアクティビティ行列Hを求める • 擬似逆行列を用いて計算する • 負の要素をゼロにする • 正規化する

More Related