1 / 18

1 國立臺灣師範大學資訊工程系 2 中央研究院資訊科學所

實證探究多種鑑別式語言模型於語音辨識之研究 Empirical Comparisons of Various Discriminative Language Models for Speech Recognition. 賴敏軒 1 , 黃邦烜 1 , 陳冠宇 2 , 陳柏琳 1. 1 國立臺灣師範大學資訊工程系 2 中央研究院資訊科學所. 大綱. 研究動機 各種鑑別式語言模型 (Discriminative Language Models) 之介紹 基於邊際資訊 (Margin-based) 之鑑別式語言模型 實驗結果與分析 結論及未來展望.

chiko
Download Presentation

1 國立臺灣師範大學資訊工程系 2 中央研究院資訊科學所

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 實證探究多種鑑別式語言模型於語音辨識之研究Empirical Comparisons of Various Discriminative Language Models for Speech Recognition 賴敏軒1, 黃邦烜1, 陳冠宇2, 陳柏琳1 1 國立臺灣師範大學資訊工程系 2 中央研究院資訊科學所

  2. 大綱 • 研究動機 • 各種鑑別式語言模型(Discriminative Language Models)之介紹 • 基於邊際資訊(Margin-based)之鑑別式語言模型 • 實驗結果與分析 • 結論及未來展望

  3. 研究動機 (1/2) • 自動語音辨識(Automatic Speech Recognition, ASR) • 最大事後機率(Maximum a Posteriori, MAP)語言解碼法則使用統計式聲學模型(Acoustic Model)及語言學模型(Language Model) 語言模型 聲學模型 N-gram HMM

  4. 研究動機 (2/2) • 藉由鑑別式語言模型來重新排序(Reranking) Top1 S=-423.6 WER=12.12% Top2 S=-430.7 WER=6.06% Top3 S=-433.6 WER=9.09% … Top28 S=-459.3 WER=3.03% … TopN S=-477.5 WER=12.12% 基礎語音 辨識器 Top28 S=-459.3 WER=3.03% ... Top2 S=-430.7 WER=6.06% … Top3 S=-433.6 WER=9.09% … Top1 S=-423.6 WER=12.12% TopN S=-477.5 WER=12.12% … 鑑別式 語言模型 重新排序

  5. 鑑別式語言模型的參數定義 • 鑑別式語言模型訓練的參數定義 • 為訓練語料的集合，其中 為 中最低錯誤詞序列 • 對每條候選詞序列 定義D+1維的語言特徵向量 • 定義一組D+1維的特徵權重參數向量 單連詞 雙連詞 log[P(W)P(W|x)] wp wq ... wjwm wt wpwk ... wlwm -2602.62 0 1 語言特徵向量 1 0.01 0.12 -0.25 -0.03 1 3 2 0 0.78 0.52 特徵權重參數向量 … … … …

  6. 各種鑑別式語言模型介紹(1/2) • 各種鑑別式語言模型

  7. 各種鑑別式語言模型介紹(2/2) • 各種鑑別式語言模型在不同面向之比較

  8. 基於邊際資訊的資料選取(1/2) SLME • 基於邊際資訊的資料選取 • 選取較具重要性的訓練資料，降低訓練的時間與提升辨識的正確性 • Ex: 最大邊際估測法則(Large-Margin Estimation, LME)、柔性邊際估測法(Soft-Margin Estimation, SME) • 最大化邊際估測法則 • 分離邊際 • 支援集 • 目標函數 分離邊際 +ε 0

  9. 基於邊際資訊的資料選取(2/2) SLME • 柔性最大化邊際估測法則 • 支援集 • 錯誤集 • 目標函數 • 柔性邊際估測法則 • 支援集 • 目標函數 φ SSME 分離邊際 分離邊際 +ε +ε 0 0 -ξ

  10. SMDLE +γ1 基於邊際資訊之鑑別式語言模型 0 • 基於邊際資訊之鑑別式語言模型(Margin-based Discriminative Language Model, MDLM) • 分離邊際 • 支援集 • 目標函數 Score +γ2 0 +γ3 0 考慮到所有候選詞序列(Candidate Hypotheses)與 參考詞序列(Reference Word Hypothesis)之間的關係 SMDLE SMDLE

  11. 實驗設定 • 語音辨識實驗之語料 • 本論文實驗語料皆來自公視新聞，從2001年至2003年間由中研院資訊所口語小組(SLG)與公共電視(PTS)合作錄製 • 聲學模型訓練語料 • 公視新聞2001年至2002年外場採訪記者語料，共30,632句(約23小時) • 語言模型訓練語料 • 訓練語料來自2001年至2002年中央通訊社的文字新聞語料，包含了約一億五千萬個中文字，經斷詞之後約有八千萬詞

  12. 實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3)實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3) • 各種鑑別式語言模型基礎實驗結果(CER(%)) • 使用單連詞與雙連詞為語言特徵

  13. 實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3)實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3) • 各種鑑別式語言模型訓練走勢圖

  14. SMDLE +γ1 0 實驗結果與討論：基於邊際資訊之鑑別式語言模型(1/3) Score • 基於邊際資訊之鑑別式語言模型 • 四種不同定義的支援集 +γ2 +γ3 0 0 SMDLE SMDLE

  15. 實驗結果與討論：基於邊際資訊之鑑別式語言模型(2/3)實驗結果與討論：基於邊際資訊之鑑別式語言模型(2/3) • 基於邊際資訊之鑑別式語言模型 • 四種不同定義的支援集 • 擁有最低辨識錯誤率的候選詞序列皆當作參考候選詞序列

  16. 實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3)實驗結果與討論：各種鑑別式語言模型之相關實驗(1/3) • 與其它現有鑑別式語言模型之比較

  17. 結論及未來展望 • 各式鑑別式語言模型的確可以更進一步地輔助N連語言模型，有效地降低辨識錯誤率 • 我們所提出的基於邊際資訊之鑑別式語言模型相較於其他各式語言模型，不論是在訓練集、發展集以及測試集皆有最低的辨識錯誤率 • 未來，我們的研究將著重於探討各式語言特徵加入於鑑別式語言模型使用 • 除此之外，我們也有興趣於特徵選取對於鑑別式語言模型的影響，期望發展出一套特徵選取的方式，以降低鑑別式語言模型訓練過程的時間需求；更希望進一步地改善鑑別式語言模型而獲得更好的辨識結果

  18. 謝謝大家

More Related