位置:成果数据库 > 期刊 > 期刊详情页
利用语义词典Web挖掘语言模型的无指导译文消歧
  • ISSN号:1000-9825
  • 期刊名称:《软件学报》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]哈尔滨工业大学计算机科学与技术学院,黑龙江哈尔滨150001
  • 相关基金:Supported by the National Natural Science Foundation of China under Grant No.60435020(国家自然科学基金);the National High-Teeh Research and Development Plan of China under Grant Nos.2006AA01Z150, 2006AA010108(国家高技术研究发展计划(863))
中文摘要:

为了解决困扰词义及译文消歧的数据稀疏及知识荻取问题,提出一种基于web利用n-gram统计语言模型进行消歧的方法.在提出词汇语义与其n-gram语言模型存在对应关系假设的基础上,首先利用Hownet建立中文歧义词的英文译文与知网DEF的对应关系并得到该DEF下的词汇集合,然后通过搜索引擎在Web上搜索,并以此计算不同DEF中词汇n-gram出现的概率。然后进行消歧决策.在国际语义评测SemEval-2007中的Multilingual Chinese English Lexical Sample Task测试集上的测试表明,该方法的Pmar值为55.9%,比其上该任务参评最好的无指导系统性能高出12.8%.

英文摘要:

In order to solve the problem of data sparseness and knowledge acquisition in translation disambiguation and WSD (word sense disambiguation), this paper introduces an unsupervised method, based on the n-gram language model and web mining. It is supposed that there exists a latent relationship between the word sense and n-gram language model. Based on this assumption, the mapping between the English translation of Chinese word and the DEF of Hownet is established and the word set is acquired. Then the probabilities of n-gram in the words set are calculated based on the query results of a searching engine. The disambiguation is performed via these probabilities. This method is evaluated on a gold standard Multilingual Chinese English Lexical Sample Task dataset. Experimental results show that the model gets the state-of-the-art results (Pmar=55.9%) and outperforms 12.8% on the best system in SemEval-2007.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《软件学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国科学院软件研究所 中国计算机学会
  • 主编:赵琛
  • 地址:北京8718信箱中国科学院软件研究所
  • 邮编:100190
  • 邮箱:jos@iscas.ac.cn
  • 电话:010-62562563
  • 国际标准刊号:ISSN:1000-9825
  • 国内统一刊号:ISSN:11-2560/TP
  • 邮发代号:82-367
  • 获奖情况:
  • 2001年入选中国期刊方阵“双百期刊”,2000年荣获中国科学院优秀科技期刊一等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国数学评论(网络版),波兰哥白尼索引,德国数学文摘,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:54609