位置:成果数据库 > 期刊 > 期刊详情页
一种面向文本分类的特征迁移方法
  • ISSN号:1004-9037
  • 期刊名称:《数据采集与处理》
  • 时间:0
  • 分类:TP18[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:山西大学计算机与信息技术学院,太原030006
  • 相关基金:国家自然科学基金(60975035,61273291)资助项目;山西省回国留学人员科研基金(2012008)资助项目.
中文摘要:

传统的文本分类方法假设训练集与测试集中的特征词服从相同的概率分布,但在实际应用中,以上假设存在偏差,会影响到最终的分类结果。针对这一情况,本文采用迁移学习,通过计算特征词的迁移量对训练集中向量空间模型进行修正,最终使训练集与测试集中特征词的分布概率趋于一致。将提出的方法应用于中文垃圾邮件过滤与中、英文网页分类中,在CHI统计特征选择基础上进行特征迁移,实验结果表明新方法可以有效消除特征词分布的差异性,使文本分类的各项指标明显提高。

英文摘要:

Traditional text classification methods assume that feature words in the training set and test set follow the same probability distribution. Nevertheless, deviations exist in a practical application, which can affect the final classification results. To solve the problem, a feature transfer learning algorithm for text categorization is proposed. By calculating the transfer volume and amending the vector space model in the training set, the distribution probability of feature words can be reconciled for the training set and test set. Experiments on Chinese spam filtering and web page classification data sets demonstrate that the proposed method can eliminate the dissimilarity of distributions of feature words, and improve the va rious indexes of test classification evidently.

同期刊论文项目
期刊论文 122
同项目期刊论文
期刊信息
  • 《数据采集与处理》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国电子学会 仪器仪表学会 信号处理学会 中国一汽仪表学会 中国物理学会 微弱信号检测学会 南京航空航天大学
  • 主编:贲德
  • 地址:南京市御道街29号
  • 邮编:210016
  • 邮箱:sjcj@nuaa.edu.cn
  • 电话:025-84892742
  • 国际标准刊号:ISSN:1004-9037
  • 国内统一刊号:ISSN:32-1367/TN
  • 邮发代号:28-235
  • 获奖情况:
  • 中国科技论文统计源用刊,2007年被评为江苏省优秀期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:8148