基于维基百科的中文命名实体识别与消歧
This presentation is the property of its rightful owner.
Sponsored Links
1 / 18

基于维基百科的中文命名实体识别与消歧 PowerPoint PPT Presentation


  • 79 Views
  • Uploaded on
  • Presentation posted in: General

基于维基百科的中文命名实体识别与消歧. 于淼 2012.11.3. 维基百科介绍 ( 现场上网展示 ). 解释型页面 重定向页面 消除歧义页面 分类 信息框. 维基百科介绍. 中文页面: 508,865 篇条目 英文页面: 4,021,627 篇条目 支持 282 种语言,共突破 2100 万个条目. 维基百科数据库的建立. JWPL 开源工具包 11 个表,包含了维基页面几乎所有的信息 数据库的访问 繁简转换 去除噪音. 基于维基百科的命名实体识别. 维基百科中页面的第一段是对条目的概括性描述

Download Presentation

基于维基百科的中文命名实体识别与消歧

An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -

Presentation Transcript


5095606

基于维基百科的中文命名实体识别与消歧

于淼

2012.11.3


5095606

维基百科介绍(现场上网展示)

  • 解释型页面

  • 重定向页面

  • 消除歧义页面

  • 分类

  • 信息框


5095606

维基百科介绍

中文页面:508,865篇条目

英文页面:4,021,627篇条目

支持282种语言,共突破2100万个条目


5095606

维基百科数据库的建立

JWPL开源工具包

11个表,包含了维基页面几乎所有的信息

数据库的访问

繁简转换

去除噪音


5095606

基于维基百科的命名实体识别

维基百科中页面的第一段是对条目的概括性描述

中国移动通信集团公司(简称“中国移动通信”或“中国移动”)是2000年4月20日成立的中国国有重要骨干企业

李宁(1963年3月10日-),壮族人,生于广西柳州,中国退役体操运动员,企业家

中国是位于亚洲东部的一个地理或国家区域,最早是泛指炎黄子孙在中原建立的国度[4],至现代国际体系成形后才开始作为国家的通称。


5095606

基于维基百科的命名实体识别

“是”后面的核心名词反应了条目的属性

机构、企业家、区域有利于我们判断一个条目是人名、地名还是机构名

抽取维基百科页面的定义特征作为一种额外的知识加入基于CRF的命名实体识别中


5095606

抽取维基百科定义特征

1.将维基百科页面的第一段用词法分析工具进行分词并做词性标注

2.抽取第一段第一句话中定义性动词后的最后一个名词

3.若无定义性动词,则抽取第一段最后一句话最后一个名词


5095606

维基百科定义特征示例


5095606

将维基百科特征加入CRF

利用AC算法进行正向最大匹配,若词序列是维基百科中的条目则将它的定义特征作为维基特征,若不存在于维基百科中则维基特征置为null


5095606

基于维基百科的命名实体识别

此后tO此后tnullO

国家nO国家nnullO

经贸委jO经贸委jnullO

主任nO主任nnullO

盛nrB-PER盛nr经济师B-PER

华人nrI-PER华人nr经济师I-PER

多次mO多次mnullO

在pO在pnullO

公开aO公开anullO

场合nO场合nnullO

讲话vO讲话vnullO


5095606

基于维基百科的命名实体识别

实验

数据来源:863命名实体评测2004年

训练集:17102句

测试集:2000句


5095606

基于维基百科的命名实体识别


5095606

基于维基百科的命名实体消歧

命名实体存在歧义问题

华盛顿

华盛顿州 (地名)

华盛顿总统 (人名)

维基百科中的消歧页面

华盛顿(Washington)通常是指:

乔治.华盛顿,美国第一任总统

华盛顿哥伦比亚特区,美国首都

华盛顿州,美国西北部的州之一


5095606

基于维基百科的命名实体消歧

用CRF训练维基百科语料

测试集的词序列进行正向最大匹配维基的消歧词条

计算词序列与消歧页面的文档相似度(VSM)

选出top3相似度最大的维基词条

将相似度*P(人名或地名或机构名|词条)

等9个特征加入CRF训练

利用上下文信息构建双层CRF


5095606

基于维基百科的命名实体消歧

布隆伯格 华盛顿哥伦比亚特区

飞赴华盛顿州 华盛顿州

华盛顿 丹泽尔.华盛顿 华盛顿哥伦比亚特区

推销 华盛顿郡 华盛顿镇

自己 华盛顿湖

的 华盛顿镇

想法 乔治.华盛顿

相似度(华盛顿州)*P(人名|华盛顿州)

相似度(华盛顿州)*P(地名|华盛顿州)

相似度(华盛顿州)*P(机构名|华盛顿州)

。。。

相似度(华盛顿镇)*P(机构名|华盛顿镇)


5095606

基于维基百科的命名实体消歧

国际乒联于日前公布最新世界排名,男单方面德国波尔续居首位

波尔

地名(南苏丹的都市)

人名(德国的乒乓球运动员)

德国 乒乓球 男单


5095606

基于维基百科的命名实体消歧

实验


5095606

谢谢大家!


  • Login