位置:成果数据库 > 期刊 > 期刊详情页
基于词向量和EMD距离的短文本聚类
  • ISSN号:1671-9352
  • 期刊名称:《山东大学学报:理学版》
  • 时间:0
  • 分类:TP391.1[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:大连理工大学信息检索研究室,辽宁大连116023
  • 相关基金:国家自然科学基金资助项目(61572102,61602078,61562080);国家高技术研究发展计划(863)资助项目(2006AA012151);辽宁省自然科学基金资助项目(201202031,2014020003);教育部留学回国人员科研启动基金和高等学校博士学科点专项科研基金资助课题(20090041110002);中央高校基本科研业务费专项资金资助
中文摘要:

短文本聚类在数据挖掘中发挥着重要的作用,传统的短文本聚类模型存在维度高、数据稀疏和缺乏语义信息等问题,针对互联网短文本特征稀疏、语义存在奇异性和动态性而导致的短文本聚类性能较差的问题,提出了一种基于特征词向量的文本表示和基于特征词移动距离的短文本聚类算法。首先使用Skip—gram模型(Continuous Skipgram Model)在大规模语料中韧I练得到表示特征词语义的词向量;然后利用欧式距离计算特征词相似度,引入EMD(Earth Mover,SDistance)来计算短文本间的相似度;最后将其应用到Kmeans聚类算法中实现短文本聚类。在3个数据集上进行的评测结果表明,效果优于传统的聚类算法。

英文摘要:

Short text clustering plays an important role in data mining. The traditional short text clustering model has some problems, such as high dimensionality,sparse data and lack of semantic information. To overcome the shortcomings of short text clustering caused by sparse features ,semantic ambiguity ,dynamics and other reasons, this paper presents a feature based on the word embeddings representation of text and short text clustering algorithm based on the moving distance of the characteristic words. Initially, the word embeddings that represents semantics of the feature word was gained through training in large-scale corpus with the Continous Skip-gram Model. Furthermore, use the Euclidean distance calculation feature word similarity. Additionally, EMD (Earth Mover's Distance) was used to calculate the similarity between the short text. Finally, apply the similarity between the short text to Kmeans clustering algorithm implemented in the short text clustering. The evaluation results on three data sets show that the effect of this method is superi- or to traditional clustering algorithms.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《山东大学学报:理学版》
  • 北大核心期刊(2011版)
  • 主管单位:中华人民共和国教育部
  • 主办单位:山东大学
  • 主编:刘建亚
  • 地址:济南市经十路17923号
  • 邮编:250061
  • 邮箱:xblxb@sdu.edu.cn
  • 电话:0531-88396917
  • 国际标准刊号:ISSN:1671-9352
  • 国内统一刊号:ISSN:37-1389/N
  • 邮发代号:24-222
  • 获奖情况:
  • 国内外数据库收录:
  • 美国化学文摘(网络版),美国数学评论(网络版),波兰哥白尼索引,德国数学文摘,中国中国科技核心期刊,中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),英国英国皇家化学学会文摘
  • 被引量:6243