1 / 31

第５回音声ドキュメント処理ワークショップ ( 2011/3/7 )

Confusion Network を用いた CRF による音声認識誤り訂正. 第５回音声ドキュメント処理ワークショップ ( 2011/3/7 ). 神戸大学工学部情報知能工学科 中谷良平，滝口哲也，有木康雄. 研究背景. 音声認識精度 ニュースなどの正しい書き言葉→およそ 95 ％ 学会講演音声などの自由な話し言葉→およそ 80 ％ 話し言葉でストレスのない音声認識を行うために、さらなる音声認識精度の向上が期待される. 従来の音声認識. Acoustic Model. Language Model. Search. Feature Extraction.

alfonso-gilbert
Download Presentation

第５回音声ドキュメント処理ワークショップ ( 2011/3/7 )

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Confusion Networkを用いた CRFによる音声認識誤り訂正 第５回音声ドキュメント処理ワークショップ (2011/3/7) 神戸大学工学部情報知能工学科 中谷良平，滝口哲也，有木康雄

  2. 研究背景 • 音声認識精度 • ニュースなどの正しい書き言葉→およそ95％ • 学会講演音声などの自由な話し言葉→およそ80％ • 話し言葉でストレスのない音声認識を行うために、さらなる音声認識精度の向上が期待される

  3. 従来の音声認識 Acoustic Model Language Model Search Feature Extraction Input speech

  4. 従来の音声認識の問題点 • 問題点１ • 　　スムージングにより不自然なN-gramが発生してしまう • 問題点２ • N-gramが自然でも、文章として不自然な場合がある 　例） 　　　　冷蔵庫の中に、目薬を入れてある。 　　　　冷たいものが食べたくなったからだ。 • 従来の音声認識では、言語モデルとして自然なbigram、trigramを学習する • 例）「神戸/大学」、「研究/を/する」

  5. 問題点の解決法 • 問題点１ : スムージングによる問題 ⇒あらかじめ不自然なN-gramを学習しておく • 問題点２ : N-gramではわからない不自然さ ⇒bi/trigramよりも広範囲の文脈情報（長距離文脈情報）を取り入れる

  6. 提案手法 • 長距離文脈情報を用いたCRFによる音声認識誤り訂正 • 自然/不自然なN-gramをCRFを用いて学習する • あらかじめ各単語には正誤ラベリングを行っておく • 素性のひとつとして長距離文脈情報を追加することで、音声ドキュメントの話題を考慮する • 誤りと識別された語をConfusion Networkを用いて訂正する

  7. Confusion Network • CRFによる誤り検出を用いてConfusion Setから正解を探す • 誤り訂正を行うための仮説集合としてConfusion Networkを用いる • Word Latticeをクラスタリング、圧縮することで得られる • またその過程で各リンクには信頼度が付与される

  8. CRF (Conditional Random Field)（1/2） • 誤り検出モデルに用いる 渡し は 神戸 から 来 た ECCCCC • 学習には単語列に正誤ラベルが貼られたものが必要 • 正誤それぞれの特徴を学習するために、多くの素性を自由に追加できる ⇒自然なN-gramとともに不自然なN-gramが学習可能

  9. CRF (Conditional Random Field)（2/2） fa : 素性関数　Z(x) : 分配関数 • 学習データ (xi , yi) について条件付確率の対数尤度 　を最大にするように計算する 入力 x について、ラベル yが付与される確率

  10. CRFの学習 • 正解部分，誤り部分を特徴づける素性の重みを学習 • 特徴的な素性→重み大 例：「神戸/県」：明らかに誤りだとわかる →誤り部分のみでよく出現 • 特徴的でない素性→重み小 例：「これ/は」：ここだけでは正解か誤りかを識別できない →正解、誤りのどちらでも出現 • 素性を柔軟に設計できる 　　⇒長距離文脈情報も素性として取り入れられる

  11. 長距離文脈情報 • 長距離文脈情報 • 周辺の認識結果単語を参照したときに、識別対象単語が不自然でないかという情報 音声 会話 大根 話者 対話 • 出現単語の自然さを意味スコアとして算出する • bi/trigramよりも広範囲の文脈情報を考慮できる • 動詞、形容詞、名詞に意味スコアを与える

  12. 意味スコアの算出 • 周辺の単語集合 c(w) との類似度を求める K 単語 w wi 音声 会話 大根 話者 対話 • 周辺の単語の c(w) 内での類似度の平均を計算する • 正規化を行い、それを意味スコア SS(w) とする • sim(w,c(w)) の計算には LSA (Latent Semantic Analysis) を用いる

  13. LSA (Latent Semantic Analysis) (1/3) • LSAは大量のテキストにおける単語の共起関係を統計的に解析することで、学習データに直接の共起がない単語間の類似度についても求めることができる 巨大でスパース LSA 次元圧縮 出現頻度 • 次元圧縮により、関連性の強い単語は同一次元に圧縮される

  14. LSA (Latent Semantic Analysis) (2/3) • N 個の文書から作る単語文書行列 W の要素 wij としてtf-idf を用いる • tf : 単語の出現頻度 • idf : 単語の逆出現頻度 • nij : 文書 cj における単語 ri の出現頻度 • | cj | : 文書 cj に含まれる単語の総数 • dfi : 単語 riが出現する文書の総数 • idfi は単語 ri の単語重みと考えることができ、多くの文書で出現する単語では小さく、特定の文書でしか出現しない単語では大きくなる

  15. LSA (Latent Semantic Analysis) (3/3) • 語彙数を M とすると Wは M×N のスパースな行列になる • 特異値分解により、特異値の大きなものから Rだけ用いて近似を行う c1・・・ cj・・・ cN v1T・・・ vjT・・・ vNT W U S VT r1 ・ ・ ・ ri ・ ・ ・ rM u1 ・ ・ ・ ui ・ ・ ・ uM R×R R×N M×R M×N • 単語 ri と文書 cj の類似度は以下のように求める • この値が 1 に近いほど類似度が高く、-1 に近いほど類似度が低くなる

  16. 提案手法の流れ • 従来の音声認識器によりConfusion Networkを出力 • 長距離文脈情報としての意味スコアの付与 • 書き起こし文書を用いて正誤ラベリング • CRFによる誤り検出モデルの学習 • Confusion Network上での音声認識誤り訂正

  17. 提案手法の流れ • 従来の音声認識器によりConfusion Networkを出力 • 長距離文脈情報としての意味スコアの付与 • 書き起こし文書を用いて正誤ラベリング • CRFによる誤り検出モデルの学習 • Confusion Network上での音声認識誤り訂正 「私達は」 0.77 0.30 C C E C “私”：0.8 “-”：0.9 “は”：0.5 “価値”：0.5 0.65 E “が”：0.4 “達”：0.3 C 0.01 0.01 E E “渡し”：0.2 “い”：0.1 “が”：0.2 “-”：0.1 E E 学習

  18. 音声認識誤り訂正（1/2） • Confusion Networkの候補からCRFをもとに正解を探す “私”：0.8 “-”：0.9 “は”：0.5 “価値”：0.5 “が”：0.4 “達”：0.3 “渡し”：0.2 “い”：0.1 “が”：0.2 “-”：0.1 私　–　価値　は CCEC 訂正 • この最尤候補列に対して誤り検出を行う

  19. 音声認識誤り訂正（2/2） • Confusion Networkの候補からCRFをもとに正解を探す “私”：0.8 “-”：0.9 “は”：0.5 “価値”：0.5 “が”：0.4 “達”：0.3 “渡し”：0.2 “い”：0.1 “が”：0.2 “-”：0.1 私　–　達　は 訂正完了 CCCC • 「価値」を第二候補である「達」と置き換えて誤り検出を行う

  20. 評価実験 • 比較対象 • CN-best : 信頼度最大の単語列（ベースライン） • NonSemantic : 提案手法の素性として意味スコアを用いない場合 • Proposed method : 提案手法 • Oracle : Confusion Network上の正解単語を全て選んだ場合（上限）

  21. 評価指標 SUB DEL INS • 認識：「渡し　　豊橋　に　へ　行く」 • SUB : 置換誤り • DEL : 削除誤り • INS : 挿入誤り • 単語誤り率（WER） • 正解：「私　は　豊橋　に　行く」

  22. 実験条件（1/2） • コーパス • 日本語話し言葉コーパス（CSJ） • 様々な講演音声を収録したコーパス • 音声認識器 • Julius-4.1.4 • 音響モデル：CSJ講演音声953講演から学習 • 言語モデル：CSJ書き起こし文書2,596講演から学習

  23. 実験条件（2/2） • 誤り検出モデル • 学習 • CSJの150講演 • 評価 • CSJの13講演 • 学習に用いた素性 • 表層単語unigram，bigram，trigram • Confusion Network上の信頼度 • 意味スコア

  24. 実験結果 • 意味スコアを用いない場合でも3.53ポイントの改善 • 意味スコアを追加した提案手法は3.71ポイントの改善 誤り種類別の評価と単語誤り率

  25. まとめ • まとめ • Confusion Networkを用いてCRFによる誤り訂正を行った • 素性として意味スコアを導入した • 提案手法によって単語誤り率で3.71ポイント改善 • 意味スコアは主に削除誤りに有効 • Oracleと比べて改善の余地が多く残っているのは削除誤り • 今後の課題 • 誤り検出精度の改善 • 品詞情報の追加、パラメータ推定法の変更など • 未知語検出手法への応用

  26. ご清聴ありがとうございました

  27. 改善例(1/2) 不自然なN-gramの改善

  28. 改善例(2/2) • N-gramで改善できなかった誤りが周辺のトピックから訂正できた • 意味的に不自然な誤りの改善 • イルカの特徴に関する講演で

  29. 提案手法の流れ Correct Recognition Result Learning Corresponding Confusion Network Speech Recognition Calculate Semantic Score Speech Data Labeling Learning of error tendency by CRF Latent Semantic Analysis Large Corpus Error Detection Model Maximum likelihood words of Confusion Network Confusion Network Calculate Semantic Score Input Speech Error Correction Speech Recognition Confusion Network Recognition Result

  30. 入力音声：“私 達 は” 従来の音声認識技術 単語ラティス N-best • 　私 価値 は • 　私 価値 が　 • 　渡し 価値 は • 　渡し 達 は • 　私 い が “が” “は” “価値” “私” “が” “達” “い” “渡し”

  31. 従来手法 • パーセプトロンアルゴリズムを用いた誤り訂正モデル • 音声認識結果を仮説集合(N-bestなど)として出力し、対応する書き起こしデータと比較する • 正解部分で現れやすいN-gram → α は正の方向へ • 誤り部分で現れやすいN-gramを学習する → α は負の方向へ • 学習した誤り訂正モデルを用いて誤認識を訂正する

More Related