1 / 12

ChaIME: 大規模コーパスを 用いた統計的仮名漢字変換

CICP 中間報告. ChaIME: 大規模コーパスを 用いた統計的仮名漢字変換. 奈良先端大 松本研（ D1 ）小町守 （協力 : 京都大学 森さん・ Y! Japan 徳永さん） Special Thanks to 浅原さん・工藤さん 2008 年 2 月 27 日（水）. 開発の動機. Web の拡大→ユーザ入力文書増大 新語や新表現の変換はストレスフル. 2. 開発の背景. Web データを処理したいがタグつきデータ・辞書がない（特にフリーで使えるもの） 祝 NAIST-jdic リリース Google 日本語 N グラム

draco
Download Presentation

ChaIME: 大規模コーパスを 用いた統計的仮名漢字変換

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. CICP中間報告 ChaIME: 大規模コーパスを用いた統計的仮名漢字変換 奈良先端大 松本研（ D1 ）小町守 （協力:京都大学森さん・Y! Japan 徳永さん） Special Thanks to 浅原さん・工藤さん 2008年2月27日（水）

  2. 開発の動機 • Webの拡大→ユーザ入力文書増大 • 新語や新表現の変換はストレスフル 2

  3. 開発の背景 • Web データを処理したいがタグつきデータ・辞書がない（特にフリーで使えるもの） • 祝 NAIST-jdic リリース • Google日本語Nグラム • 辞書やコーパスに正しく情報（品詞・単語境界）振るのは（一般の人には）難しい • （できるだけ）品詞情報を用いないで処理したい • NLPにおける文節とIMEにおける文節の違い 3

  4. 開発の目的 • 大規模コーパスによる統計的仮名漢字変換 • できるだけ人手をかけないでメンテナンス • Google 日本語 N グラム • Webコーパス5億文 • Wikipedia・etc… • 品詞情報を用いない頑健な仮名漢字変換 • 大規模コーパスだから表記の情報だけでもけっこう行けるはず 4

  5. 統計的仮名漢字変換 • 森ら（1998）の提案 • P(x|y) の降順に変換可能文字列 (x1, x2, …) を提示する • x: 文, y: 入力 • 　＝P(y|x)P(x)の降順に提示する • P(y|x): 確率的仮名漢字モデル • P(x): 確率的言語モデル（単語ngram） 仮名漢字モデル 言語モデル × 5

  6. 言語モデル • 文を単語列　　　　　　　　　　と見なすngram言語モデル（i<1は文頭、i=h+1は文末） • Google 日本語Nグラムデータ（200億文）から表記の1-2グラムを計算して使用 • 異なり1グラム数:250万 • 異なり2グラム数:8,000万 6

  7. 仮名漢字モデル • 確率は読みが振られたコーパスから最尤推定 • 毎日新聞95年分1年に MeCab で分かち書き・読みを付与して使用 コーパス 中の頻度 7

  8. デモ • http://ash.naist.jp/~mamoru-k/chaime/ • N-best 探索（前向きDP後ろ向きA*サーチ）が書けなかったのでビームサーチ（ビーム幅200） • 未知語に対する洗練されたモデルが必要 • 3グラム以上は使っていない（言語モデルが巨大、1-2グラムだけですでに1.7GB） • 生成モデルでは単語履歴などの素性を追加していくのが困難

  9. 関連ソフトウェア（１） • Anthy http://anthy.sourceforge.jp/ • HMM → MEMM による識別モデル（の亜種） • 文節分割された読みつきコーパスから学習 • 表記の素性を用いていない • 文法体系が難しい（文節・品詞の判断） • Social IME http://social-ime.com/ • 複数人による辞書共有機能 • アルゴリズムは Anthy と同じ

  10. 関連ソフトウェア（２） • AjaxIME http://ajaxime.chasen.org/ • MeCab-skkserv による連文節仮名漢字変換 • 読みが振られたコーパスから変換コストを推定 • コーパスが小さい・素性がスパース • Sumibi http://www.sumibi.org/ • 単語分かち書きによる仮名漢字変換 • 生コーパスから連接コストを推定（言語モデル） • 辞書にない単語の変換ができない • 連文節変換ではない

  11. 今後の予定 • N-best の探索を書く • 未知語モデルを入れる • 単語2グラムでクラスタリングをする（クラスタ2グラム） • クラスタ2グラムで単語分割・仮名漢字変換を動かす • 識別モデルに移行？ 14

  12. 謝辞と宣伝 • 本プロジェクトの一部は奈良先端科学技術大学院大学 Creative and International Competitiveness Project (CICP 2007) の支援を受けています • 他のCICPプロジェクト（音楽情報・言語教育）を含めたポスター&デモがスプリングセミナー2日目（3月7日）にあります。学生は人気投票に参加できませんが、セミナー受講者と教員は投票できるらしいですよ

More Related