位置:成果数据库 > 期刊 > 期刊详情页
一种基于搭配的中文词汇语义相似度计算方法
  • ISSN号:1003-0077
  • 期刊名称:中文信息学报
  • 时间:2013.1.31
  • 页码:7-14
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院计算技术研究所智能信息处理重点实验室,北京100190, [2]中国科学院大学,北京100049, [3]全国科学技术名词审定委员会,北京100717
  • 相关基金:国家自然科学基金资助项目(60573063,60573064,60773059,61035004);国家863计划资助项目(2007AA012325);国家社科基金重点资助项目(10AYY003).
  • 相关项目:基于云计算的海量数据挖掘关键技术研究
中文摘要:

词汇间的语义相似度计算在自然语言处理相关的许多应用中有基础作用。该文提出了一种新的计算方法,具有高效实用、准确率较高的特点。该方法从传统的分布相似度假设“相似的词汇出现在相似的上下文中”出发,提出不再采用词汇在句子中的邻接词,而是采用词汇在二词名词短语中的搭配词作为其上下文,将更能体现词汇的语义特征,可取得更好的计算结果。在自动构建大规模二词名词短语的基础上,首先基于tgidf构造直接和间接搭配词向量,然后通过计算搭配词向量间的余弦距离得到词汇间的语义相似度。为了便于与相关方法比较,构建了基于人工评分的中文词;12语义相似度基准测试集,在该测试集中的名、动、形容词中,方法分别得到了0.703、0.509,0.700的相关系数,及100%的覆盖率。

英文摘要:

The word similarity measure plays a basic role in many NLP related applications. In this paper, we propose a novel and practical method for this purpose with acceptable precision. Guided by the classic distribution hypothesis that "similar words occur in similar contexts", we suggest the collocations in two-word noun phrases can serve as better contexts than the adjacent words because the former are more semantic related. By using automatic built large-scale noun phrases, we firstly construct tf-idf weighted words vectors containing direct and indirect collocations, and then take their cosine distances as desired semantic similarities. In order to compare with related approa ches, we manually design a benchmark test set. On the benchmark test set, the proposed method achieves the correlation coefficients of 0.703, O. 509, and 0.700 on nouns, verbs, and adjectives, respectively, at a coverage 100%.

同期刊论文项目
期刊论文 72 会议论文 63 获奖 10 专利 7 著作 3
同项目期刊论文
期刊信息
  • 《中文信息学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编:孙茂松
  • 地址:北京海淀中关村南四街4号中科院软件所
  • 邮编:100190
  • 邮箱:jcip@iscas.ac.cn
  • 电话:010-62562916
  • 国际标准刊号:ISSN:1003-0077
  • 国内统一刊号:ISSN:11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:9136