アノテーションされた結果の人手分析 − ポストアノテーションと事例クラスタリング − 飯田龍 ( 東京工業大学 )

アノテーションされた結果の人手分析−ポストアノテーションと事例クラスタリング−飯田 龍 (東京工業大学) 2014年03月21日 @ 北大

研究背景: アノテーションと機械学習に基づく研究 • 形態素・構文解析のような基盤処理から，情報抽出や機械翻訳などの応用処理まで • CoNLL，TREC, NTCIR，個別に作成されたコーパスとその共有 • よくある論文の内容 • 既存研究のこの点を改善するには，○○のような手がかりを導入すればよいと考えられ，この仮説に基づいて定量的に良くなるのかをアノテーションされたコーパスを使って調べてみよう • 実験結果を得て，タスクに応じた評価尺度で評価 • 適当に誤り事例を調査: なんとなくこんな理由で間違っているんじゃないかと考察 おしまい

今回の問題提起: 誤り分析の在り方 • アノテーションなど，問題の準備における研究は進んでいるのに，問題を解いた後の手順についてはそれほど整理・共有できていない • ある問題についてどういう誤り分析をやるべきか? • 誤りの観点をどう決め，どのように分類するのか? • どのくらい調査する? • なぜ誤り分析を重要視するのか • 解いた人しかどの事例を間違ったのかを把握できない場合がほとんど（手法の再実装が必要となる） • 誤り分析の結果から次に何をやるべきかが見える場合がある

今回の問題提起: 誤り分析の在り方 どういう観点・分類が良いかは急にはわからないが，研究者が調べた結果を共有して，それを調べたらいい • アノテーションなど，問題の準備における研究は進んでいるのに，問題を解いた後の手順についてはそれほど整理・共有できていない • ある問題についてどういう誤り分析をやるべきか? • 誤りの観点をどう決め，どのように分類するのか? • どのくらい調査する? • なぜ誤り分析を重要視するのか • 解いた人しかどの事例を間違ったのかを把握できない場合がほとんど（手法の再実装が必要となる） • 誤り分析の結果から次に何をやるべきかが見える場合がある自動的にアノテーションして結果を公開しよう

「ポストアノテーション」という考え方 • ポストアノテーション • 評価実験の結果に対するアノテーション • プレアノテーション • 問題作成の準備として行う通常のアノテーション

ポストアノテーションの例: その1 • 例) 形態素解析 • e.g. 川崎 / が / センター / を / 守る • 例) 係り受け解析 • e.g. 私の / 母の / 指輪を / 姉が / ゆずりうけた。正解: 名詞-固有名詞-人名-姓出力: 名詞-固有名詞-組織差分と誤りの分類をアノテーション分類: 固有名の曖昧性差分と誤りの分類をアノテーション分類: AのBのCの係り受け

ポストアノテーションの例: その2 ゼロ照応解析 (飯田ら 2012) • 暫定的に6種類に分類 • 分類: 談話の顕現性に基づいて解析可能 • 分類：選択選好の知識が必要新進党の小沢一郎幹事長1は十五日午前、当地で開かれた「アジア・太平洋指導者円卓会議」で基調報告。（φ1ガ）昨年の新進党結成の背景や目的などを説明した。現職の党首は脱落し、羽田孜副党首と小沢一郎幹事長による事実上の一騎打ちに――。新進党1の党首公選から目が離せなくなってきた。今回の党首選挙は、（φ1ガ）昨年十二月十日に結成されて以来、初めての公選である。

ポストアノテーションの例: その2 ゼロ照応解析 (飯田ら 2012)(Cont’d) • 分類: 常識的な知識の利用香港1の輸出入の拠点、ビクトリア港を隔てた九龍半島と香港島の両側でいま、埋め立て工事が急ピッチで進められている。（φ1ガ）中国に返還される一九九七年に開港予定の新空港関連の鉄道や道路、商業用地を確保する工事で、これらを含めたプロジェクトの総額は二兆円にのぼる。知識: 1997年に香港がイギリスから中国に返還いつもは動きすぎて墓穴を掘ることの多い琴錦1が、この日は一気の出足だけを心に決めてかかっていた。逆に迷ったのは若乃花2の方だった。... 「（φ2ガ）考え過ぎてしまった。（φ2ガ）相手の足首のことは忘れよう、忘れようと思ったんだけどね」。それが中途半端な立ち合いにつながった。いつも相手の機先を制する若乃花2なのに、（φ2ガ）フワッと立って、（φ2ガ）胸で受けてしまった。そこへ（φ1ガ）最高の出足で突っ込み、（φ1ガ）左右を差す。あとは（φ1ガ）右からおっつけるような形で一直線に前へ。知識: 相撲の場面におけるやり取り

ポストアノテーションの効果 • 分析者によってポストアノテーションするラベルの粒度や内容は異なる • 複数の異なるラベル間の共通性はあるはず • それらを統合・修正してアノテーションされた結果を見てみると，どのような問題を考えるべきかが見えてくる • 異なったとしても，それらを公開されているコーパスにアノテーションし，研究者間で共有することは重要 • 他者が付けたラベルやその事例集合を見ることで，分析の方法を学ぶことができる • 言語学者のNLP分野への貢献もこの部分で特に起こるはず

事例クラスタリング • ポストアノテーションは問題を解いた後の分析だが，問題を解く前でも事例の人手分析は可能 • 素性設計後，もしくはその素性に基づいて学習した結果（素性の重み）に基づいてクラスタリング • クラスタに含まれるアノテーション済みのラベルの純度（同じラベルが含まれる割合）を調査することで，素性設計の妥当性を調査

クラスタリングに基づく分析のイメージ • 2値分類の問題を想定 • e.g. 先行詞候補がゼロ代名詞の先行詞となる(○) / ならない (x) • N次元の素性空間でクラスタリング(右図は便宜上2次元空間) • C1に含まれる×の事例はどのようなものかを調査 素性集合の定義を更新 C2 C1 × × × ○ × × × ○ × × ○ ○ ○ × × ○ × × ○ × ○ ○ × ○ ○ × ○ ○

懸念事項: 評価データを調査することについて • Q: オープンテスト（未知のデータに対する評価）ではなくなるのでは? • A: 誤りを見ずに結論を出すよりは良い．CoNLLなど同じ問題に対して継続的にデータ作成を行う文化があるのなら，誤り分析を明示的に行い，うまく解けない問題について特にデータを収集・アノテーションを行えば良い．

まとめ • 課題: 自動解析前/後の人手による事例分析結果の共有 • ポストアノテーション • 事例クラスタリング • 今後の課題 • 考え方がもし共有されるのなら，どのようなフォーマットでポストアノテーションを行っていくべきかを決める必要あり

アノテーションされた結果の人手分析 − ポストアノテーションと事例クラスタリング − 飯田 龍 ( 東京工業大学 )