1 / 22

Word Sense Disambiguation-based Sentence Similarity

Word Sense Disambiguation-based Sentence Similarity. Chukfong Ho, Masrah Azrifah Azmi Murad Department of Information System University Putra Malaysia. Rabiah Abdul Kadir , Shyamala C. Doraisamy Department of Multimedia University Putra Malaysia. Coling 2010. Outline. Abstract

alanna
Download Presentation

Word Sense Disambiguation-based Sentence Similarity

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Word Sense Disambiguation-based Sentence Similarity Chukfong Ho, MasrahAzrifah AzmiMurad Department of Information System University Putra Malaysia Rabiah Abdul Kadir, Shyamala C. Doraisamy Department of Multimedia University Putra Malaysia Coling 2010

  2. Outline • Abstract • Introduction • Related Work • Sentence Similarity • Experimental Design • Results and Discussion • Conclusion

  3. Abstract • 先前的研究對於兩句話的相似度以最接近的meanings作比較，但其中meanings不全是代表語句中真正的含意。 • 這一篇論文提出整合修改一個現今突出的語意相似度模組並使用消歧義增加相似度評估。

  4. Introduction • 探討兩大論點 • 使用Corpus-based measure 與 Knowledge-based measure 產生的效果比較。 • 使用消歧義(word sense disambiguation)在量測句子相似度的影響度

  5. Related Work • 相關研究大至上分為三大類 • corpus-based-methods. • knowledge-based-methods. • Hybridbased-methods.

  6. Sentence Similarity SemanticText Similarity (STS) model (Islam and Inkpen, 2008). 作者準備的model由上述修改而成

  7. Sentence Similarityfor string similarity measure • 計算對象:two words(最高=1) • a , b :分別是兩句話長度(刪除stop words後) • l (x):x的長度 • i , j :字串中字元位址 • LCS:最長相同子字串 • (Islam, Aminul, and Diana Inkpen. 2008.)

  8. Sentence Similarityfor string similarity measure

  9. Sentence Similarityfor Adopted word similarity measure • l :wi和wj之間在Wordnet中語義距離。 • t :表示兩個sense關係(數字)(上位語(hypernyms)/下位語(hyponym)/同位語(synonym)/x包含在y的語義關係(holonym)(x和y為英文字串))。 • 透過經驗法則設定:α=0.9,β=0.85,γ=12。 • Based on Wordnet2.1 • 此model:YP(Yang and Power.2005) • 作著修改YP部分為MYP(改變其length )。

  10. word similarity measure 問題 • 舉例dog 和 cat 作比較: • 句1:The dog barked all night. • 句2:What a cat she is！ 第一句的dog:”a member of genus Canisthat has been Meanwhile by man since prehistoric times” 第二句的cat:”a spiteful woman’s gossip” dog 和 cat在這兩句真正語義距離為7，但一般最短路徑狀態下距離為4，造成頗大的差距。

  11. Sentence Similarityfor WSD-STS • Baseline:STS • a,b: 個別為a和b語句長度。 • δ :a , b 之間出現相同的字數。 • :前:最高的match score後:取兩sense距離較近的。 • c : 所有語義配對。 • STS 的 採用corpus-based 計算，本篇改用knowledge-based -> MYP 。

  12. Sentence Similarityfor WSD-STS • 最終將兩句話語義相似度分數和字面相似度相加除以二(正規化(兩者最大值皆為1))為最終分數。

  13. Experimental Design • 資料: • (Li et al., 2006)建構65對人工評分產生的標準實驗資料語句，抽取於Collin CobuildDictionary。 • 從其中選擇相似度分數介於0.01到0.96的30對當作實驗資料

  14. Experimental Design • 實驗過程: • 利用stanfordparser 處理這30對語句，並標上詞性。 • StructuralSemanticInterconnections (SSI) • 是一個線上WSD系統:找出特定詞性的真正語義。 • 除去30對語句中的stop words • Stop words:本篇baseline定義在BNC語料庫中出現次數前100名的字皆算停止字。 • 剩下的字用Natural Language Toolkit 作還原，但如果還原前的字可以在wordnet查詢到並且與還原後的語意不同就保留不還原。

  15. Experimental conditions • OLP-STS: 只計算兩句語句中重複出現的字，所以在公式(6)的 不需要計算。 • SPD-STS: 上述系統加上最短路徑(YP)的評估。 • WSD-STS:將SPD-STS的YP 改成 MYP。

  16. Results and Discussion • Hnman similarity 當作benchmarks以及各實驗中不同文字配對的相似度分數

  17. Results and Discussion • Pearson correlations 0.7~0.99即算高度相關 • WSD-STS和SPD-STS皆優於STS代表knowledge-base 比 corpus-base好用。 • OLP-STS 和 STS 作比較沒顯著差異代表corpus-base幫助不大。

  18. Results and Discussion • 檢查使用不同stop wordslist,WSD-SPD的影響程度，發現差異並不大(不會造成實驗公平度問題)。

  19. Results and Discussion • 如果將全部wordsense使用SSI結構語義互連系統解WSD，也不盡然是最佳的，SSI系統有提供信心分數(介於30%~100%)，當信心分數低於百分之70%時，出現錯誤會升高，所以將低於70%部分利用原來的word sense similarity。

  20. Results and Discussion • 由此圖可見SPD 和 WSD 分別在WSD-SPD使用上差不多各為一半時效果最佳。 SPD WSD

  21. Results and Discussion SPD-STS • 橫軸Weight:word similarity 所佔權重，string similarity:1–Weight • 以圖看來word similarity(70%),string similarity(30%)效果最佳 • 但是也不可以只使用word similarity 因為:只有比較名詞動詞而且詞性相同才能作比較。 WSD-SPD WSD-STS

  22. Conclusion • 由實驗結果得知 knowledge-base 比較 corpus-base 的baseline STS 都較佳，比較意外SPD-STS意外的高。 • 未來不僅僅是處理名詞和動詞還需要加入形容詞和副詞。

More Related