Example-based Machine Translation without Saying Inferable Predicate

1. Example-based Machine Translation without Saying Inferable Predicate Eiji Aramaki***,Sadao Kurohashi***， Hideki Kashioka**,Hideki Tanaka*** * University of Tokyo ** ATR *** NHK

2. Translation Examples 五月初めに to be held カナダで in Canada 開かれた conference 会議で for negotiations 議論されました EBMT Framework EBMT using Structural Translation Examples Input カナダで (Canada) 開かれた (be held) 会議で (conference) For each phrase in an input, a plausible TE is retrieved Output conference └held └in Canada English phrases are combined to generate output

3. Purpose INPUT ： カナダで 開かれる 会議で Redundant (Canada) (be held) (conference) OUTPUT:a conference heldin Canada HUMAN : a conference in Canada 観光シーズンを 迎えた北海道では Failure INPUT ： (tourism season) (start) (Hokkaido) OUTPUT: in Hokkaido greetedtourism season HUMAN : in Hokkaido as the tourism season Learning Inferable Expression Predicate

4. Outline • Verb phase (VP) aligned corpus • How to build VP-aligned-corpus • Investigation of VP-aligned-corpus • Method • Experiment • Conclusion

5. VP-aligned-corpus • Motivation • Verb-phrase translation is difficult ⇒To learn how to translate verb-phrases, we annotated verb-phrases and their correspondences. • Process • Estimate alignment automatically • Modify alignment by hand • Target • NHK-News-Corpus

6. ＮＨＫ-News-Corpus • NHK is a Japanese broadcasting corporation • Japanese articles are translated to be natural as English news ⇒ not parallel corpus 田植えフェスティバル石川県輪島市で外国の大使や一般の参加者など千人あまりが急な斜面の棚田で田植えを体験する催しが行われました。 Ambassadors and diplomats from 37 countries took part in a rice planting festival on Sunday in small paddies on steep hillsides in Wajima, central Japan. 輪島市白米町には（しろよねまち）千枚田と呼ばれる（せんまいだ）大小二千百枚の棚田が急な斜面から海に向かって拡がっています。 About one-thousand people gathered at the hill, where some two-thousand 100 miniature paddies, called Senmaida, stretch toward the Sea of Japan. 田植え体験は農作業を通して米作りの意義などを考えていこうという地球環境平和財団の呼び掛けで開かれたもので、海外三十四ヵ国の大使や書記官、それに一般の参加者ら合わせておよそ千人が集まりました。 The event was organized by the private Foundation for Global Peace and Environment. 田植えに使われた苗は去年の秋、天皇陛下が皇居で収穫された稲籾から育てたものです。 The rice seedlings are grown from grain harvested by the Emperor at the Imperial Palace in Tokyo last autumn. 参加者たちは裸足になって水田に足を踏み入れ地元に伝わる田植え歌に合わせて慣れない手つきで苗を植えていました。 Barefoot participants waded into the paddies to plant the seedlings by hand while singing a local folk song about the practice of rice planting. きょうの輪島市は雲が広がったもののまずまずの天気となり、出席された高円宮さまも海からの風に吹かれながら田植えに加わっていました。 地球環境平和財団では今年の夏休みに全国の子どもたちを対象に草刈りや生きものの観察会を開く他、秋には稲刈体験を行なう予定にしています。

7. ＮＨＫ-News-Corpus • Some phrases has no parallel expressions in the other language. 田植えフェスティバル石川県輪島市で外国の大使や一般の参加者など千人あまりが急な斜面の棚田で田植えを体験する催しが行われました。 Ambassadors and diplomats from 37 countries took part in a rice planting festival on Sunday in small paddies on steep hillsides in Wajima, central Japan. 輪島市白米町には（しろよねまち）千枚田と呼ばれる（せんまいだ）大小二千百枚の棚田が急な斜面から海に向かって拡がっています。 About one-thousand people gathered at the hill, where some two-thousand 100 miniature paddies, called Senmaida, stretch toward the Sea of Japan. 田植え体験は農作業を通して米作りの意義などを考えていこうという地球環境平和財団の呼び掛けで開かれたもので、海外三十四ヵ国の大使や書記官、それに一般の参加者ら合わせておよそ千人が集まりました。 The event was organized by the private Foundation for Global Peace and Environment. 田植えに使われた苗は去年の秋、天皇陛下が皇居で収穫された稲籾から育てたものです。 The rice seedlings are grown from grain harvested by the Emperor at the Imperial Palace in Tokyo last autumn. 参加者たちは裸足になって水田に足を踏み入れ地元に伝わる田植え歌に合わせて慣れない手つきで苗を植えていました。 Barefoot participants waded into the paddies to plant the seedlings by hand while singing a local folk song about the practice of rice planting. きょうの輪島市は雲が広がったもののまずまずの天気となり、出席された高円宮さまも海からの風に吹かれながら田植えに加わっていました。 地球環境平和財団では今年の夏休みに全国の子どもたちを対象に草刈りや生きものの観察会を開く他、秋には稲刈体験を行なう予定にしています。

8. 田植えフェスティバル石川県輪島市で外国の大使や一般の参加者など千人あまりが急な斜面の棚田で田植えを体験する催しが行われました。田植えフェスティバル石川県輪島市で外国の大使や一般の参加者など千人あまりが急な斜面の棚田で田植えを体験する催しが行われました。 田植えフェスティバル石川県輪島市で外国の大使や一般の参加者など千人あまりが急な斜面の棚田で田植えを体験する催しが行われました。 Ambassadors and diplomats from 37 countries took part in a rice planting festival on Sunday in small paddies on steep hillsides in Wajima, central Japan. Ambassadors and diplomats from 37 countries took part in a rice planting festival on Sunday in small paddies on steep hillsides in Wajima, central Japan. 輪島市白米町には（しろよねまち）千枚田と呼ばれる（せんまいだ）大小二千百枚の棚田が急な斜面から海に向かって拡がっています。 輪島市白米町には（しろよねまち）千枚田と呼ばれる（せんまいだ）大小二千百枚の棚田が急な斜面から海に向かって拡がっています。 About one-thousand people gathered at the hill, where some two-thousand 100 miniature paddies, called Senmaida, stretch toward the Sea of Japan. About one-thousand people gathered at the hill, where some two-thousand 100 miniature paddies, called Senmaida, stretch toward the Sea of Japan. 田植え体験は農作業を通して米作りの意義などを考えていこうという地球環境平和財団の呼び掛けで開かれたもので、海外三十四ヵ国の大使や書記官、それに一般の参加者ら合わせておよそ千人が集まりました。 The event was organized by the private Foundation for Global Peace and Environment. 田植えに使われた苗は去年の秋、天皇陛下が皇居で収穫された稲籾から育てたものです。 The rice seedlings are grown from grain harvested by the Emperor at the Imperial Palace in Tokyo last autumn. 参加者たちは裸足になって水田に足を踏み入れ地元に伝わる田植え歌に合わせて慣れない手つきで苗を植えていました。 Barefoot participants waded into the paddies to plant the seedlings by hand while singing a local folk song about the practice of rice planting. きょうの輪島市は雲が広がったもののまずまずの天気となり、出席された高円宮さまも海からの風に吹かれながら田植えに加わっていました。 きょうの輪島市は雲が広がったもののまずまずの天気となり、出席された高円宮さまも海からの風に吹かれながら田植えに加わっていました。 地球環境平和財団では今年の夏休みに全国の子どもたちを対象に草刈りや生きものの観察会を開く他、秋には稲刈体験を行なう予定にしています。 地球環境平和財団では今年の夏休みに全国の子どもたちを対象に草刈りや生きものの観察会を開く他、秋には稲刈体験を行なう予定にしています。 Alignment Estimation • DP matching Sentence alignment using translation dictionaries • Extract 1-to-1 sentence pairs • Parse and Phrasal alignment [Aramaki et al., 2003] 田植え体験は農作業を通して米作りの意義などを考えていこうという地球環境平和財団の呼び掛けで開かれたもので、海外三十四ヵ国の大使や書記官、それに一般の参加者ら合わせておよそ千人が集まりました。 The event was organized by the private Foundation for Global Peace and Environment. 田植えに使われた苗は去年の秋、天皇陛下が皇居で収穫された稲籾から育てたものです。 The rice seedlings are grown from grain harvested by the Emperor at the Imperial Palace in Tokyo last autumn. 参加者たちは裸足になって水田に足を踏み入れ地元に伝わる田植え歌に合わせて慣れない手つきで苗を植えていました。 Barefoot participants waded into the paddies to plant the seedlings by hand while singing a local folk song about the practice of rice planting.

9. Alignment Modification • We modified alignment by hand (5,500 sentence-pairs) (1) VP or not VP:= phrase includes a verb or an adjective that has an argument (2) For VP, its corresponding phrases VP has no corresponding phrases

10. Investigation of Corpus Where does a Japanese phrase corresponds in English? Condensed Alignment Pattern 1149 Others 5682 カナダで (Canada) at a trade conference 開かれた (be held) in Canada 通商会議で (trade conference)

11. C’ C VP P P’ Investigation of Corpus • VP-φ often occurs with Condensed Alignment Pattern (or CAP) Where does a Japanese phrase corresponds in English? Condensed Alignment Pattern 1149 Others 5682 If a in a CAP is always inferable ⇒We can achieve a compact translation by omitting the . VP カナダで (Canada) at a trade conference 開かれた VP (be held) in Canada 通商会議で (trade conference)

12. C’ C VP P P’ VP in CAP is inferable • We randomly extracted 80 CAPs, checked whether s are inferable or not VP

13. C’ C VP P P’ VP in CAP is inferable • We randomly extracted 80 CAPs and checked whether s are inferable or not VP

14. P (Parent)-CONTEXT カナダで 開かれた 会議で ～ (Canada) (be held) (conference) at a conference in Canada … C カナダで P’ at a conference (Canada) 開かれた VP (be held) C’ in Canada P 会議で (conference)

15. C (Child)-CONTEXT 肺の病気に かかった 男性の ～ (lung disease) (suffer) (man) the man with a lung disease … 肺の P’ the man (lung) C 病気に (disease) かかった VP (suffer) C’ with a lung disease P 男性の (man)

16. PC-CONTEXT 各国から 派遣された 救助チームの ～ (countries) (sent) (rescue team) rescue teams form countries … C 各国から (countries) P’ rescue teams 派遣された VP (sent) C’ from counties P 救助チームの (rescue team)

17. C’ C VP P P’ VP in CAP is inferable • We randomly extracted 80 CAPs and checked whether s are inferable or not VP

18. Outline • Verb phase aligned corpus • Method • Experiments • Conclusion

19. カナダで in Canada (Canada) 開かれた (be held) at a conference 会議で (conference) Basic Idea • Incorporate CAPs into translation examples Alignment Translation Examples カナダで in Canada (Canada) 開かれた カナダで in Canada (Canada) (be held) at a conference 会議で (conference) 会議で at a conference (conference) X X • Generalize TEs P-CONTEXT ⇒ Generalize C C-CONTEXT ⇒ Generalize P

20. C’ in Singapore C シンガポールで (Singapore) VP 開かれた (be held) P P’ at a conference 会議で (conference) C’ in London C ロンドンで (London) VP 開かれた (be held) P P’ at a conference 会議で (conference) Automatic Classification Divide CAPs into 2 fragments and count frequencies

21. Fragment Frequency Fragments which include “開く(held)”

22. freq(C) > freq(P) x Ｃ ⇒ C-CONTEXT freq(P) > freq(C) x Ｃ ⇒ P-CONTEXT Otherwise ⇒ PC-CONTEXT Automatic Classification Divide CAPs into 2 fragments and count frequencies freq(C) =4 freq(P) =17 2 2

23. Translation Examples (=CAP) in Canada X 開かれた (be held) X ＊会議で ( ＊ conference) Translation Framework Input Translation Examples 東京で (Tokyo) 東京 Tokyo (Tokyo) 開かれた (be held) 会議で (conference) Output at a conference in Tokyo

24. Outline • Verb phase aligned corpus • Method • Experiments • Conclusion

25. Preparation for Experiments • Extract 30,000 1-to-1 sentence pairs • Automatically estimate phrasal alignments • Extract and classify 4,219 CAPs

26. Experiments Judgments of CAP Classifications are subjective task. ⇒ Evaluation by full Translation using generalized CAPs • Translation • Direction: Japanese-English translation • Test-set: 240 lead (top)-sentences of NHK-News-Corpus • Evaluation: BLEU-score (4 references)

27. Methods & Results • Methods • BASELINE ： EBMT without CAPs • CAPMT ： EBMT using CAPs • CAPMT+ ： EBMT using generalized CAPs

28. Example

29. Example

30. Outline • Verb phase aligned corpus • Method • Experiments • Conclusion

31. Conclusion • VP-aligned-Corpus • How to build the corpus • Investigations of the corpus • Method for translations without saying inferable predicate • Future work • A human translates inferable expressions with a certain context • We have to deal with larger context