基底の反復生成と教師あり NMF を用いた信号解析

1. 基底の反復生成と教師ありNMFを用いた信号解析基底の反復生成と教師ありNMFを用いた信号解析 第12回音声言語シンポジウム 34 X W H アクティビティ行列 アクティビティ行列 ○中鹿亘，滝口哲也，有木康雄 （神戸大） 観測スペクトル 観測スペクトル 基底行列 基底行列 はじめに [1] P. Smaragdis, 2003 • 非負値行列因子分解(NMF)による楽音解析[1] • 現在最も主流になっている楽音解析手法 • 音楽音響信号のスペクトログラムをNMFによって分解 • 研究背景 • 音楽信号処理の高い関心 • 自動採譜技術の期待 • 近年，音楽コンテンツが爆発的に増加している • NMF…非負行列Xを，２つの非負行列W，Hの積に分解するアルゴリズム • 音楽アプリケーションなど，様々なアプリケーションへ応用可能 • 楽音解析 • ≒自動採譜 • 音響信号(wav)から楽譜信号(midi)への変換 • 複数の音が混ざり合う信号から，個別の音を推定する逆問題 ・この行列が未知 　⇒教師なしNMF ・この行列が既知 　⇒教師ありNMF • この分解アルゴリズムを音楽信号に適用 発音時刻などの情報を含む データベース • 録音物(wavデータ)から楽譜(midiデータ)へ，自動的に変換する 基本周波数の情報を含む 提案手法 学習ステージ 従来手法の問題点 教師なしNMFによる楽音解析の問題点 • 研究の動機 • 教師なしNMFの問題点：意図しない基底が現れてしまう • 教師ありNMFの問題点：全ての基底を用意するのは非現実的 ⇒　確率的な生成モデルから，カテゴリ内の基底を全て生成できないか？ 楽器や音素など スペクトルが倍音成分のみ ⇒音高が求まる 分散と平均で表されるスペクトル包絡 ⇒　本研究では確率スペクトル包絡 （PSE) と呼ぶ あらゆる音高の スペクトル ある音高の 微小に変動するスペクトル 全ての楽器，全ての音高について基底を用意すると 教師なしNMFでは、機械的に分解しているので PSE スペクトルが混在している データの数が膨大 意図しない基底が現れてしまう • 提案手法の流れ • 学習ステージと解析ステージに分かれる ⇒音高が求まらない 教師ありNMFによる楽音解析の問題点 確率スペクトル包絡からランダムにスペクトルを生成 予め基底を学習させる Test signals Learning signals STFT STFT 楽器ごとの学習用スペクトルを求める Basis vectors generation unsupervised NMF supervised NMF 教師ありNMFによって曲を解析 既知 確率スペクトル包絡の学習 Gaussian Process Distance Calculation 観測スペクトログラムとの距離を計算 Iteration PSEs 比較的精度は高いが， 全ての基底を用意するのは 現実的ではない Separated sources 学習ステージ 解析ステージ [2] E. Snelson and Z. Ghahramani, 2006 ３．確率スペクトル包絡の学習 通常のGPとSPGP+HSの違い • ガウシアンプロセス(GP)で　確率的なスペクトル包絡を近似 １．教師なしNMFにより基底行列を計算 • 学習信号のスペクトログラムを教師なしNMFで分解 ガウス分布に従った確率過程 任意の関数曲線を分散込みで近似できる GP カテゴリごとに学習信号を用意する 学習信号は単旋律 K(x,x’)はRBFカーネル カテゴリ c 平均曲線 分散曲線 アクティビティ行列 us-NMF 学習データ スペクトログラム 基底行列 ピーク抽出 SPGP +HS 任意の周波数　　における予測値　　は スペクトルピークの集合Dを用いて計算される GP 求めたいもの ２．基底行列からスペクトルピークを抽出 • 倍音とその強度のペア(f,y)を全て抽出 本研究では，分散曲線を精度よく近似するため ガウシアンプロセスを拡張したSPGP (sparse pseudo-input Gaussian process) +HS [2] を用いる スペクトルピーク集合 • 2010 Toru Nakashika, Ariki Laboratory, Kobe University.

2. 80 100 75 80 90 70 75 70 80 65 65 60 60 100 70 55 55 90 50 60 80 50 45 70 40 50 45 60 0 2 4 6 8 10 12 40 50 40 40 0 0 2 2 4 4 6 6 8 8 10 10 12 12 0 2 4 6 8 10 12 80 75 70 65 60 55 50 45 40 0 2 4 6 8 10 12 • ２．調波フィルタを掛けてスペクトルを生成 • 調波フィルタはスペクトルの基本周波数を決める • 音高の異なる複数の調波フィルタを掛ける • ３．テストデータに対し教師ありNMFを実行 • テストデータのスペクトログラムをNMFの入力とする • 擬似逆行列より，アクティビティ行列を直接求める • 確率スペクトル包絡から生成された基底行列を使用 • １．確率スペクトル包絡から　　ランダムにスペクトル包絡を生成 • ガウシアンプロセスの予測値　　　　　を用いる • カテゴリごとに確率スペクトル包絡が存在 • 非負擬似正規分布に基づいてランダム生成 … テストデータ 擬似逆行列を用いた教師ありNMFによる アクティビティ行列を算出するまでの流れ 解析ステージ 1. 擬似逆行列を計算 3. 正規化 調波フィルタ 調波フィルタは，任意の音高　　について， 混合ガウシアンコンポーネントで計算される スペクトログラム 正規分布を基準軸で折り返した確率密度関数 2. 非負空間へ射影 ランダム基底行列 ピッチ付与 H(p) アクティビティ行列 カテゴリC1 ランダム生成 s-NMF H 生成された基底スペクトル 生成されたスペクトル包絡 確率スペクトル包絡 非負擬似正規分布は，非負値をとるスペクトルの生成に相応しい １．～３．へ データベース 解析結果 • ４．選択的アルゴリズムによる最適解探索 • 観測スペクトログラムと，WHの距離を計算 • １．～３．を繰り返し，距離が最も最小となる(W,H)を解析結果とする カテゴリC2 評価実験 生成された基底スペクトル 生成されたスペクトル包絡 確率スペクトル包絡 Note Number Time • 解析結果 • ①piano1で演奏した解析結果の例 • 実験結果 • 各手法による自動採譜の正解率 正解データ 提案手法 • 実験１：未学習データへの予測精度をみる実験 • 提案手法により，12秒程度の曲を解析 • 学習，テスト共にMIDIデータを演奏し，録音 • 単一楽器(piano1)のみを用いてPSEを学習 • 様々な環境下で録音された曲を解析し，提案手法の頑健性をみる • 比較手法 ：全音符数 ：挿入誤り数 ：削除誤り数 ①piano1で演奏④残響レベル40で演奏 ②piano2で演奏⑤残響レベル100で演奏 ③piano3で演奏 　　　①教師ありNMF1(piano1のみ学習） 　　　②教師なしNMF (参考)教師ありNMF2(それぞれの環境で録音した基底を学習） 教師なしNMF 教師ありNMF 提案手法では，他の手法に比べて頑健性があることが分かる 提案手法では，教師ありNMFとほぼ同じ結果が得られた バイオリン • 実験２：複数の楽器を含む音楽信号を解析する実験 • ピアノとヴァイオリンの２種類の楽器を用いて曲を解析 • 比較手法 確率スペクトル包絡の学習結果 ピアノ …教師ありNMF(ピアノとヴァイオリンを予め学習） カテゴリによって確率スペクトルが異なっている ⇒楽器カテゴリの特徴を確率スペクトル包絡によって捉えることが可能 提案手法 教師ありNMF 教師ありNMFと近い結果が得られた 使用したデータ：RWCデータベースより RWC-MDB-C-2001No. 43: Sicilienne op.78 / Faure, Gabriel ピアノ（C4） ヴァイオリン（E4） Note Number Time オリジナル 正解データのピアノロール 確率スペクトル包絡から生成されたスペクトルの例 解析結果 ピアノ ヴァイオリン 生成された スペクトル オリジナルと似たスペクトルを生成できている ⇒教師ありNMFと同程度以上の性能を持つ • 2010 Toru Nakashika, Ariki Laboratory, Kobe University.