位置:成果数据库 > 期刊 > 期刊详情页
基于信息论的潜在概念获取与文本聚类
  • 期刊名称:李晓光、于戈、王大玲、鲍玉斌,基于信息论的潜在概念获取与文本聚类,软件学报,19(9),2276-2
  • 时间:0
  • 分类:TP18[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:[1]辽宁大学信息学院,辽宁沈阳110036, [2]东北大学信息科学与工程学院,辽宁沈阳110004
  • 相关基金:Supported by the National Natural Science Foundation of China under Grant Nos.60703068, 60573090(国家自然科学基金)
  • 相关项目:面向新一代搜索引擎的用户动机推演模型的研究
中文摘要:

针对词、潜在概念、文本和主题之间的模糊关系,提出一种基于信息论的潜在概念获取与文本聚类方法,方法引入了潜在概念变量和主题变量,根据信息论中熵压缩编码理论,定义了一个全局目标函数,给出一种类似于确定性退火算法的求解算法,用以获得概念层次树以及在不同层次概念上的文本聚类结果,是一种双向软聚类方法.方法通过基于最短描述长度原则的概念选择方法,最终确定概念个数和对应的文本聚类结果.实验结果表明,所提出的方法优于基于词空间的文本聚类方法以及双向硬聚类方法.

英文摘要:

To emphasize the fuzzy relation among words, latent concepts, text and topics, an information theory based approach to latent concept extraction and text clustering is proposed. Latent concept variable and topic variable are introduced to reveal such relation, and a global objective function is defined in the theme of rate-distortion theory. An anneal-like algorithm is designed to extract the hierarchical tree of latent concept, and to group the texts under corresponding concept hierarchy at the same time. Furthermore, it determines the number of concept and text clustering result with a concept selection method based on minimal description length criteria. It is a soft co-clustering method and outperforms the ones based on the word space, and current text hard co-clustering method based on latent concept by experiments.

同期刊论文项目
期刊论文 31 会议论文 7 著作 1
同项目期刊论文