2011 3 7
Download
1 / 31

第5回音声ドキュメント処理ワークショップ ( 2011/3/7 ) - PowerPoint PPT Presentation


  • 73 Views
  • Uploaded on

Confusion Network を用いた CRF による音声認識誤り訂正. 第5回音声ドキュメント処理ワークショップ ( 2011/3/7 ). 神戸大学工学部情報知能工学科 中谷良平,滝口哲也,有木康雄. 研究背景. 音声認識精度 ニュースなどの正しい書き言葉→およそ 95 % 学会講演音声などの自由な話し言葉→およそ 80 % 話し言葉でストレスのない音声認識を行うために、さらなる音声認識精度の向上が期待される. 従来の音声認識. Acoustic Model. Language Model. Search. Feature Extraction.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about ' 第5回音声ドキュメント処理ワークショップ ( 2011/3/7 )' - alfonso-gilbert


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
2011 3 7

Confusion Networkを用いた

CRFによる音声認識誤り訂正

第5回音声ドキュメント処理ワークショップ (2011/3/7)

神戸大学工学部情報知能工学科

中谷良平,滝口哲也,有木康雄


研究背景

  • 音声認識精度

    • ニュースなどの正しい書き言葉→およそ95%

    • 学会講演音声などの自由な話し言葉→およそ80%

    • 話し言葉でストレスのない音声認識を行うために、さらなる音声認識精度の向上が期待される


従来の音声認識

Acoustic Model

Language Model

Search

Feature Extraction

Input speech


従来の音声認識の問題点

  • 問題点1

  •   スムージングにより不自然なN-gramが発生してしまう

  • 問題点2

  • N-gramが自然でも、文章として不自然な場合がある

     例)

        冷蔵庫の中に、目薬を入れてある。

        冷たいものが食べたくなったからだ。

  • 従来の音声認識では、言語モデルとして自然なbigram、trigramを学習する

    • 例)「神戸/大学」、「研究/を/する」


問題点の解決法

  • 問題点1 : スムージングによる問題

    ⇒あらかじめ不自然なN-gramを学習しておく

  • 問題点2 : N-gramではわからない不自然さ

    ⇒bi/trigramよりも広範囲の文脈情報(長距離文脈情報)を取り入れる


提案手法

  • 長距離文脈情報を用いたCRFによる音声認識誤り訂正

    • 自然/不自然なN-gramをCRFを用いて学習する

      • あらかじめ各単語には正誤ラベリングを行っておく

    • 素性のひとつとして長距離文脈情報を追加することで、音声ドキュメントの話題を考慮する

    • 誤りと識別された語をConfusion Networkを用いて訂正する


Confusion network
Confusion Network

  • CRFによる誤り検出を用いてConfusion Setから正解を探す

  • 誤り訂正を行うための仮説集合としてConfusion Networkを用いる

    • Word Latticeをクラスタリング、圧縮することで得られる

    • またその過程で各リンクには信頼度が付与される


Crf conditional random field 1 2
CRF (Conditional Random Field)(1/2)

  • 誤り検出モデルに用いる

渡し は 神戸 から 来 た

ECCCCC

  • 学習には単語列に正誤ラベルが貼られたものが必要

  • 正誤それぞれの特徴を学習するために、多くの素性を自由に追加できる

    ⇒自然なN-gramとともに不自然なN-gramが学習可能


Crf conditional random field 2 2
CRF (Conditional Random Field)(2/2)

fa : 素性関数 Z(x) : 分配関数

  • 学習データ (xi , yi) について条件付確率の対数尤度

 を最大にするように計算する

入力 x について、ラベル yが付与される確率


CRFの学習

  • 正解部分,誤り部分を特徴づける素性の重みを学習

    • 特徴的な素性→重み大

      例:「神戸/県」:明らかに誤りだとわかる

      →誤り部分のみでよく出現

    • 特徴的でない素性→重み小

      例:「これ/は」:ここだけでは正解か誤りかを識別できない

      →正解、誤りのどちらでも出現

  • 素性を柔軟に設計できる

      ⇒長距離文脈情報も素性として取り入れられる


長距離文脈情報

  • 長距離文脈情報

    • 周辺の認識結果単語を参照したときに、識別対象単語が不自然でないかという情報

音声

会話

大根

話者

対話

  • 出現単語の自然さを意味スコアとして算出する

  • bi/trigramよりも広範囲の文脈情報を考慮できる

  • 動詞、形容詞、名詞に意味スコアを与える


意味スコアの算出

  • 周辺の単語集合 c(w) との類似度を求める

K 単語

w

wi

音声

会話

大根

話者

対話

  • 周辺の単語の c(w) 内での類似度の平均を計算する

  • 正規化を行い、それを意味スコア SS(w) とする

  • sim(w,c(w)) の計算には LSA (Latent Semantic Analysis) を用いる


Lsa latent semantic analysis 1 3
LSA (Latent Semantic Analysis) (1/3)

  • LSAは大量のテキストにおける単語の共起関係を統計的に解析することで、学習データに直接の共起がない単語間の類似度についても求めることができる

巨大でスパース

LSA

次元圧縮

出現頻度

  • 次元圧縮により、関連性の強い単語は同一次元に圧縮される


Lsa latent semantic analysis 2 3
LSA (Latent Semantic Analysis) (2/3)

  • N 個の文書から作る単語文書行列 W の要素 wij としてtf-idf を用いる

    • tf : 単語の出現頻度

    • idf : 単語の逆出現頻度

  • nij : 文書 cj における単語 ri の出現頻度

  • | cj | : 文書 cj に含まれる単語の総数

  • dfi : 単語 riが出現する文書の総数

  • idfi は単語 ri の単語重みと考えることができ、多くの文書で出現する単語では小さく、特定の文書でしか出現しない単語では大きくなる


  • Lsa latent semantic analysis 3 3
    LSA (Latent Semantic Analysis) (3/3)

    • 語彙数を M とすると Wは M×N のスパースな行列になる

      • 特異値分解により、特異値の大きなものから Rだけ用いて近似を行う

    c1・・・ cj・・・ cN

    v1T・・・ vjT・・・ vNT

    W

    U

    S

    VT

    r1

    ri

    rM

    u1

    ui

    uM

    R×R

    R×N

    M×R

    M×N

    • 単語 ri と文書 cj の類似度は以下のように求める

    • この値が 1 に近いほど類似度が高く、-1 に近いほど類似度が低くなる


    提案手法の流れ

    • 従来の音声認識器によりConfusion Networkを出力

    • 長距離文脈情報としての意味スコアの付与

    • 書き起こし文書を用いて正誤ラベリング

    • CRFによる誤り検出モデルの学習

    • Confusion Network上での音声認識誤り訂正


    提案手法の流れ

    • 従来の音声認識器によりConfusion Networkを出力

    • 長距離文脈情報としての意味スコアの付与

    • 書き起こし文書を用いて正誤ラベリング

    • CRFによる誤り検出モデルの学習

    • Confusion Network上での音声認識誤り訂正

    「私達は」

    0.77

    0.30

    C

    C

    E

    C

    “私”:0.8

    “-”:0.9

    “は”:0.5

    “価値”:0.5

    0.65

    E

    “が”:0.4

    “達”:0.3

    C

    0.01

    0.01

    E

    E

    “渡し”:0.2

    “い”:0.1

    “が”:0.2

    “-”:0.1

    E

    E

    学習


    音声認識誤り訂正(1/2)

    • Confusion Networkの候補からCRFをもとに正解を探す

    “私”:0.8

    “-”:0.9

    “は”:0.5

    “価値”:0.5

    “が”:0.4

    “達”:0.3

    “渡し”:0.2

    “い”:0.1

    “が”:0.2

    “-”:0.1

    私 – 価値 は

    CCEC

    訂正

    • この最尤候補列に対して誤り検出を行う


    音声認識誤り訂正(2/2)

    • Confusion Networkの候補からCRFをもとに正解を探す

    “私”:0.8

    “-”:0.9

    “は”:0.5

    “価値”:0.5

    “が”:0.4

    “達”:0.3

    “渡し”:0.2

    “い”:0.1

    “が”:0.2

    “-”:0.1

    私 – 達 は

    訂正完了

    CCCC

    • 「価値」を第二候補である「達」と置き換えて誤り検出を行う


    評価実験

    • 比較対象

      • CN-best : 信頼度最大の単語列(ベースライン)

      • NonSemantic : 提案手法の素性として意味スコアを用いない場合

      • Proposed method : 提案手法

      • Oracle : Confusion Network上の正解単語を全て選んだ場合(上限)


    評価指標

    SUB

    DEL

    INS

    • 認識:「渡し  豊橋 に へ 行く」

    • SUB : 置換誤り

    • DEL : 削除誤り

    • INS : 挿入誤り

    • 単語誤り率(WER)

      • 正解:「私 は 豊橋 に 行く」


    実験条件(1/2)

    • コーパス

      • 日本語話し言葉コーパス(CSJ)

      • 様々な講演音声を収録したコーパス

    • 音声認識器

      • Julius-4.1.4

      • 音響モデル:CSJ講演音声953講演から学習

      • 言語モデル:CSJ書き起こし文書2,596講演から学習


    実験条件(2/2)

    • 誤り検出モデル

      • 学習

        • CSJの150講演

      • 評価

        • CSJの13講演

      • 学習に用いた素性

        • 表層単語unigram,bigram,trigram

        • Confusion Network上の信頼度

        • 意味スコア


    実験結果

    • 意味スコアを用いない場合でも3.53ポイントの改善

    • 意味スコアを追加した提案手法は3.71ポイントの改善

    誤り種類別の評価と単語誤り率


    まとめ

    • まとめ

      • Confusion Networkを用いてCRFによる誤り訂正を行った

      • 素性として意味スコアを導入した

      • 提案手法によって単語誤り率で3.71ポイント改善

        • 意味スコアは主に削除誤りに有効

        • Oracleと比べて改善の余地が多く残っているのは削除誤り

    • 今後の課題

      • 誤り検出精度の改善

        • 品詞情報の追加、パラメータ推定法の変更など

      • 未知語検出手法への応用



    改善例(1/2)

    不自然なN-gramの改善


    改善例(2/2)

    • N-gramで改善できなかった誤りが周辺のトピックから訂正できた

    • 意味的に不自然な誤りの改善

      • イルカの特徴に関する講演で


    提案手法の流れ

    Correct Recognition Result

    Learning

    Corresponding

    Confusion

    Network

    Speech

    Recognition

    Calculate

    Semantic

    Score

    Speech

    Data

    Labeling

    Learning

    of error tendency

    by CRF

    Latent

    Semantic

    Analysis

    Large Corpus

    Error Detection Model

    Maximum likelihood words

    of Confusion

    Network

    Confusion

    Network

    Calculate

    Semantic

    Score

    Input

    Speech

    Error Correction

    Speech

    Recognition

    Confusion

    Network

    Recognition Result


    入力音声:“私 達 は”

    従来の音声認識技術

    単語ラティス

    N-best

    •  私 価値 は

    •  私 価値 が 

    •  渡し 価値 は

    •  渡し 達 は

    •  私 い が

    “が”

    “は”

    “価値”

    “私”

    “が”

    “達”

    “い”

    “渡し”


    従来手法

    • パーセプトロンアルゴリズムを用いた誤り訂正モデル

      • 音声認識結果を仮説集合(N-bestなど)として出力し、対応する書き起こしデータと比較する

        • 正解部分で現れやすいN-gram → α は正の方向へ

        • 誤り部分で現れやすいN-gramを学習する → α は負の方向へ

      • 学習した誤り訂正モデルを用いて誤認識を訂正する


    ad