BioIE のための 自然言語処理技術

1. BioIE のための自然言語処理技術 東京大学　辻井研究室 JST研究員　鶴岡 慶雅

2. Outline • 言語処理資源 • GENIAコーパス • 言語処理ツール • 最大エントロピー法 • バイオテキスト用品詞タガー • バイオテキスト用専門用語タガー • HPSGパーザ • 応用 • MEDLINEからの遺伝子・疾患関係の抽出

3. 言語資源の構築 • 言語処理研究のためのリソース • ドメイン知識 • コーパスベースの技術のための学習データ • システムの汎用性を評価するめの評価データ • 現在開発中のリソース • GENIA リソース • オントロジー：ドメイン固有概念を体系化 • コーパス：概念の実テキスト上での表現

4. GENIAコーパスの概要 • MEDLINE アブストラクト 4,000件 • ヒト血球細胞における転写因子に関する論文（Human, Blood cells, Transcription factors） • XML形式 • 現在開発中のコーパス（赤字は公開中） • 専門用語とその意味（Kim et al 2003） • 品詞（Tateisi et al 2004） • 構文木 • 照応（Institute of Infocomm Research, Singapore）

5. DNA virus cell_type GENIA専門用語コーパス The peri-kappa B site mediates human immunodeficiency virus type 2 enhancer activation in monocytes … • GENIAオントロジーに基づく意味クラスを付与 • 規模 • アブストラクト 2,000件 • 用語数 92,723語 • 総異なり数 36,568語

6. GENIA品詞コーパス DT NN NN NN VBZ JJ NN NN NN CD NN NN IN NNS The peri-kappa B site mediates human immunodeficiency virus type 2 enhancer activation in monocytes … • 個々のトークンに品詞タグを付与 • 規模 • アブストラクト 2,000件 • 20,544文 • 50,1054単語（Penn Treebank の約半分）

7. S VP VP PP NP NP ADJP GENIA構文木コーパス • Penn TreeBank の基準に基づき木構造を付与 • 規模 • アブストラクト 200件 • 12月までに500件 • 年度末に1500件（15,000文、Penn Treebankの約3分の1） CD3-episilon expression is controlled by a downstream T lymphocyte-specific enhancer element

8. Outline • 言語処理資源 • GENIAコーパス • 言語処理ツール • 最大エントロピー法 • バイオテキスト用品詞タガー • バイオテキスト用専門用語タガー • HPSGパーザ • 応用 • MEDLINEからの遺伝子・疾患関係の抽出

9. 最大エントロピー法による機械学習 • Log-linear model 素性関数 素性の重み • 不等式制約による最大エントロピー法(Kazama and Tsujii 2003) • 　Gaussian prior と似たような効果 • 　学習結果（パラメータ）がスパースになるためモデルサイズが小さい • 　実行時速度・プログラムサイズの点で高い実用性

10. 品詞タグ付け The peri-kappa B site mediates human immunodeficiency DT NN NN NN VBZ JJ NN virus type 2 enhancer activation in monocytes … NN NN CD NN NN IN NNS • 新聞記事などに対しては高精度のタガーが利用可能 • Brill’s tagger, TnT tagger, MX POST, etc. • 約97% • 汎用タガーはMEDLINEでは精度がでない

11. TnT tagger (Brants 2000)によるタグ付け誤り例 … and membrane potential after mitogen binding. CC NN NN IN NN JJ … two factors, which bind to the same kappa B enhancers… CD NNS WDT NN TO DT JJ NN NN NNS … by analysing the Ag amino acid sequence. IN VBG DT VBG JJ NN NN … to contain more T-cell determinants than … TO VB RBR JJ NNS IN Stimulation of interferon beta gene transcription in vitro by NN IN JJ JJ NN NN IN NN IN

12. GENIAコーパスでの TnT tagger の精度 • いくつかのタグを同一視して評価 実質的には９４％前後？

13. GENIA tagger • 確率モデル • Maximum Entropy Markov Model (MEMM) 分類問題なので最大エントロピー法で機械学習

14. 学習 • 素性 • 訓練コーパス • Wall Street Journal (WSJ) • 39,832文 • GENIA corpus • 18,508文

15. タグ付け精度 • GENIA tagger （参考）TnT tagger 特化した場合と比較して ほとんど精度低下なし 特化した場合よりも 0.2 ~ 0.4 ポイント程度精度低下

16. 固有表現認識(NER) • 文の中で, 固有表現(人名, 地名, ..., タンパク質名などの情報抽出にとって重要なオブジェクト）が現れている場所を認識しそのタイプを判定する “Thus, CIITA not only activates the expression of class II genes but recruits another B cell-specific coactivator to increase transcriptional activity of class II promoters in B cells.” DNA PROTEIN DNA CELL TYPE

17. IOB tagging 個々の単語に対するタグ付けタスクとして捉える: ( IOB tagging; Ramshaw and Marcus 1995) Number of glucocorticoid receptors in lymphocytes … O O B-PROTEIN I-PROTEIN O B-CELLTYPE B-X: タイプXの固有表現の始まり I-X: タイプXの固有表現の中 O: それ以外

18. 部分単語列判定モデル W1 W2 W3 W4 • 可能な部分単語列を分類するタスクと考える • MEMMやCRFなどでは扱えない素性を導入できる • ただし １文あたり単語数の２乗個の分類　⇒　多すぎる • 効率的な学習 • named entity の一部になる確率が低い単語を含む部分単語列を除外　⇒　学習可能に

19. 学習 • 素性 • 学習器 • Maximum entropy model • LMVM • cutoff = 0 • Gaussian prior = 1000 • 訓練データ： • 2000 abstracts • shared task の training set • 1/10 を development set として利用

20. テストセットでの精度 • Shared task at Coling 2004 BioNLP workshop

21. 語彙項目 HPSGパージング • HPSG • 少ない文法規則 • 大量の語彙項目 • 項構造を出力 • 文法 (Miyao et al. 2004) • 確率モデル • Log-linear • コーパスから学習 HEAD: verb SUBJ: <> COMPS: <> Subject-head schema HEAD: verb SUBJ: <noun> COMPS: <> Head-modifier schema HEAD: noun SUBJ: <> COMPS: <> HEAD: verb SUBJ: <noun> COMPS: <> adv HEAD: MOD: verb slowly walked Mary

22. Phrase structure s vp vp np pp dt np vp vp pp np DT NN VBZ VBN IN PRP The company is run by him

23. Predicate-argument structure s vp vp np pp arg2 arg1 mod dt np vp vp pp np DT NN VBZ VBN IN PRP The company is run by him

24. 述語・項構造を利用した情報検索

25. Parsing MEDLINE by Enju • Enju の GENIA Treebank での精度評価

26. Outline • 言語処理資源 • GENIAコーパス • 言語処理ツール • 最大エントロピー法 • バイオテキスト用品詞タガー • バイオテキスト用専門用語タガー • HPSGパーザ • 応用 • MEDLINEからの遺伝子・疾患関係の抽出

27. 対象テキスト • MEDLINEアブストラクト 150万件 • 疾患と遺伝子の関係を記述していそうな論文 • MeSH Term による絞込み • “Disease Category” AND (“Amino Acids, Peptides, and Proteins” OR “Genetic Structures”) • パージング • HPSGパーザを利用して全ての文を解析 • 実行環境：　PCクラスタ（100 processors with GXP） • 時間： 約10日間

28. テキストに記述されている疾患・遺伝子関係 　These results suggested that targeted disruption of Cyp19 caused anovulation and precocious depletion of ovarian follicles 　Furthermore, AML cells with methylated　p15(INAK4B) tended to express higher levels of DNMT1 and 3B.

29. 学習データ • 遺伝子・疾患の共起に対して専門家が「関係あり／なし」のアノテーション All foals with OLWS were homozygous for the Ile118Lys EDNRB mutation, and adults that were homozygous were not found. Dominant radial drusen and Arg345Trp EFEMP1 mutation. The 5 year overall survival (OS) and event-free survival (EFS) were 94 and 90 +/- 8%, respectively, with a median follow-up of 48 months. These data may indicate that formation of parathyroid adenoma in young patients is related to a mechanism involving EGFR. ：

30. 述語・項構造を利用した素性 • These results suggested that targeted disruption of Cyp19causedanovulation and precocious depletion of ovarian follicles. • Furthermore, AML cells with methylated p15(INAK4B) tended to express higher levels of DNMT1 and 3B. ARG1 ARG2 disease/gene gene/disease X

31. 疾患・遺伝子関係抽出精度 • 学習／評価データ：　2,253文 • 10-fold cross validation

32. DGA explorer

33. まとめ • バイオテキスト用品詞タガー • PTBとGENIAコーパスを利用して学習 • Precision: 97％ • バイオテキスト用専門用語タガー • F-score: 70.8% • Enju on the GENIA treebank • LP/LR: 82.8% / 81.5% • MEDLINEからの遺伝子・疾患関係の抽出 • F-score: 73%

34. 公開ソフトウェア・リソース • GENIA • 専門用語コーパス • 品詞コーパス • 構文木コーパス • 照応コーパス（公開予定, シンガポール大） • 品詞タガー • 専門用語タガー（予定） • HPSGによるパーズ結果（MEDLINE１０万件） • Enju（HPSGパーザ） • MEDUSA（項構造を利用した情報検索システム） • LiLFeS