1 / 22

Extracting Semantic Orientations of Words Using Spin Model

Extracting Semantic Orientations of Words Using Spin Model. Hiroya Takamura, Takashi Inui, Manabu Okumura ACL 2005. Related Work (1). Turney and Littman (2003): IR “word NEAR good”, “word NEAR bad” Hatzivassiloglou and McKeown (1997): conjunctive expression “A and B”, “C but D”.

anahid
Download Presentation

Extracting Semantic Orientations of Words Using Spin Model

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Extracting Semantic Orientations of Words Using Spin Model Hiroya Takamura, Takashi Inui, Manabu Okumura ACL 2005

  2. Related Work (1) • Turney and Littman (2003): IR “word NEAR good”, “word NEAR bad” • Hatzivassiloglou and McKeown (1997): conjunctive expression “A and B”, “C but D”. • Kobayashi et al. (2001): boot-trapping, Japanese

  3. Related Work (2) • Kamps et al. (2004): shortest paths, WordNet • Hu and Liu (2004): similar to shortest paths, bootstrapping • Wiebe (2000): learning, adjectives • Reloff et al.(2003): nouns

  4. Ji(i+1) J(i-1)i si+1 si-1 si (-) (+) ? (+) Spin Model (1) • 電子自旋模型，系統裡有 N個電子，相鄰電子間會互相影響。 • 以最簡單的模型為例： • si=1 或者 –1 • 能量(Hamiltonian)：E = - J(i-1)isi-1si, Jij>0, 偏好相鄰同向；Jij<0, 偏好相鄰不同向；Jij=0,無相互作用

  5. Spin Model (2) • 將模型套用到詞彙的情緒傾向判定： • 相鄰電子：兩個有關係的詞彙 • 電子自旋方向：情緒詞彙的極性，正旋=Positive，逆旋=Negative • 同向或異向偏好：兩個情緒詞彙傾向同極或異極

  6. Spin Model: 論文中使用的公式 能量公式： Boltzmann分佈： 問題： (A) Z(W) 需大量計算 (B) β (inverse-temperature) 會嚴重影響結果

  7. 解決使用Spin Model的問題 (A) • 利用簡單函數Q(x:θ)逼近P(x|W) • free energy F = mean energy Q – entropy Q • 選取使F最小的θ值。

  8. 推導出平均場方程 mean field equation (1) • 假設最後的Q為各個組成電子的Q相乘： • 則可推導出Free energy F： Ku: 因為短距離排斥力和長距離吸引力的相互競爭造成流體不同於固體的物理性質，讓我們知道要計算含有這些相互作用力的分配函數可以利用如平均場近似法來進行。

  9. 推導出平均場方程 mean field equation (2) • Lagrange Multiplier:

  10. 使用Spin Model預測情緒字彙的極性 • 建立Lexical Networks • 計算情緒字彙的極性 • 預測正確的β值

  11. 建立Lexical Networks (1) • 使用少量seeds和字典 (字義) • 定義 W = (wij)，兩情緒字彙之同極或異極偏好： • lij : the link between word i and word j • d(i) : the degree of word i

  12. 建立Lexical Networks (2) • 建立三種lexical networks: • Gloss network (G) • Gloss-thesaurus network (GT): synonyms (SL), antonyms (DL), and hypernyms (SL) • Gloss-thesaurus-corpus network (GTC): conjunctive expression, and and but.

  13. 計算情緒字彙的極性 • 假設有少量已知的seeds及它們的極性： • 加上 xi − ai：如果與已知的極性不同，會有penalty。 • 公式10的值是一個大的正值，則判定為Positive；若是小的負值，則判定為Negative。

  14. 預測正確的β值 (1) • 定義pseudo leave-one-out error rate： • [x]: x若為負，則[x]=1，否則[x]=0 • 問題：若無大量資料，此值不可靠，因此以magnetization m代替，參考此值預測β值：

  15. 預測正確的β值 (2) • 在高溫時，電子的自旋方向是亂數分佈 (paramagnetic phase, m趨近於0) • 低溫時，大部份的自旋方向相同(ferromagnetic phase, m不等於0) • 已知在某一中間溫度，ferromagnetic phase會突然轉成paramagnetic phase，稱為phase transition。

  16. 實驗結果

  17. 驗證β值的正確性

  18. 正確率與xi的關係

  19. 與別人的實驗比較 (1) • Kamps et al. (2004)

  20. 與別人的實驗比較 (2) • Hu and Liu (2004)

  21. 錯誤分析 • 不確定的字義：great loss or sacrifice • 缺乏句子結構的資訊：arrogance = overbearing pride evidenced by a superior manner toward the weak • 處理片語 – 通常無法由字典的解釋得到情緒資訊：brag = show off

  22. Conclusion and Future Work • 提出判斷情緒字彙極性的方法：Spin Model • 可判斷字典裡沒有的字的極性 • 相信此模型可擴展到計算語言學的其他問題上 • 未來可結合syntactic information • 未來可結合active learning • 未來可擴展到multi-state model並測試其效能 • 未來可結合web上的大量資料

More Related