位置:成果数据库 > 期刊 > 期刊详情页
大规模短文本的不完全聚类
  • ISSN号:1003-0077
  • 期刊名称:中文信息学报
  • 时间:2011.1.1
  • 页码:54-59
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院计算技术研究所,北京100190, [2]国家计算机网络应急技术处理协调中心,北京100029
  • 相关基金:国家自然科学基金重点资助课题(60933005 60903139); 国家973资助课题(2007CB311103); 国家242专项资助项目(2009F108 2009A19 2009A91)
  • 相关项目:Web搜索与挖掘的新理论和新方法—支持舆情监控的Web搜索与挖掘的理论与方法研究
中文摘要:

聚类分析是数据挖掘的一个重要手段,人们可以通过聚类发现信息中潜在的热点或规律。至今,已经有大量聚类算法被研究和提出。随着互联网的日益普及,查询日志、Twitter等短文本信息逐渐在人们生活中起着越来越重要的作用。这类短文本信息数量巨大,通常可达到千万乃至亿级,现有的聚类算法在对这类大规模短文本信息进行聚类分析时往往显得异常无力。该文通过对实际应用中的短文本信息进行实验分析,发现了这类数据类别所具有的"长尾现象",并由此提出了不完全聚类思想,可以有效地提高这类短文本信息的聚类性能。

英文摘要:

Clustering is an unsupervised classification of patterns(observations,data items,or feature vectors) into groups(clusters).So far,many clustering algorithms have been proposed.With the rapid development of internet,short texts such as query logs and Twitter messages play a more and more important role in our daily life.Most existing clustering methods are hard to be applied in dealing with this kind of information due to the huge scale of data.This paper reveals the long tail distribution of this kind of information,and proposes an incomplete clustering algorithm.The experimental results show that the proposed method can cluster the short texts effectively and efficiently.

同期刊论文项目
期刊论文 17 会议论文 21 获奖 2
同项目期刊论文
期刊信息
  • 《中文信息学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编:孙茂松
  • 地址:北京海淀中关村南四街4号中科院软件所
  • 邮编:100190
  • 邮箱:jcip@iscas.ac.cn
  • 电话:010-62562916
  • 国际标准刊号:ISSN:1003-0077
  • 国内统一刊号:ISSN:11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:9136