位置:成果数据库 > 期刊 > 期刊详情页
一种高性能的两类中文文本分类方法
  • ISSN号:0254-4164
  • 期刊名称:《计算机学报》
  • 时间:0
  • 分类:TP18[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:[1]清华大学计算机科学与技术系智能技术与系统国家重点实验室,北京100084, [2]国家知识产权局,北京100088
  • 相关基金:本课题得到国家“八六三”高技术研究发展计划项目基金(2001AA114210-03)、2003韩-中青年科学家交流项目及国家自然科学基金(60321002.60520130299)资助.
中文摘要:

提出了一种高性能的两类中文文本分类方法.该方法采用两步分类策略:第1步以词性为动词、名词、形容词或副词的词语作为特征,以改进的互信息公式来选择特征,以朴素贝叶斯分类器进行分类.利用文本特征估算文本属于两种类型的测度X和Y,构造二维文本空间,将文本映射为二维空间中的一个点,将分类器看作是在二维空间中寻求一条分割直线.根据文本点到分割直线的距离将二维空间分为可靠和不可靠两部分,以此评估第1步分类结果,若第1步分类可靠,做出分类决策;否则进行第2步.第2步将文本看作由词性为动词或名词的词语构成的序列,以该序列中相邻两个词语构成的二元词语串作为特征,以改进互信息公式来选择特征,以朴素贝叶斯分类器进行分类.在由12600篇文本构成的数据集上运行的实验表明,两步文本分类方法达到了较高的分类性能,精确率、召回率和F1值分别为97.19%,93.94%和95.54%.

英文摘要:

Text filtering for topic-sensitive information is one of the important applications in text categorization. To effectively filter out the topic-sensitive information from Chinese text collections is a technical challenge. This paper presents a high performance method employing a twostep strategy to classify texts. In the first step, authors regard the words with parts of speech verb, noun, adjective and adverb as candidate features, perform feature selection on them in terms of the improved mutual information formula, and classify the input texts with a naive Bayes classifier. A portion of texts which are currently thought of being unreliable in categorization are identified, forming a fuzzy area between categories. In the second step, authors regard the bigrams of words with parts of speech verb and noun as candidate features, use the same feature se- lection and classifier to deal with the texts in the fuzzy area. The experiments on a test set consisting of 12600 Chinese texts show that this method achieves a high performance. The precision, recall and F1 is 97.19%, 93.94% and 95. 54% respectively.

同期刊论文项目
期刊论文 84 会议论文 9
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433