位置:成果数据库 > 期刊 > 期刊详情页
Stemming和Lemmatization对英文文本聚类的影响研究
  • ISSN号:1000-7490
  • 期刊名称:《情报理论与实践》
  • 时间:0
  • 分类:TP311.13[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]南京大学信息管理学院,江苏南京210093
  • 相关基金:教育部人文社会科学重点研究基地重大项目“基于智能信息处理的知识挖掘技术及应用研究”(项目编号:08JJD870225);南京大学研究生科研创新基金资助项目“中英双语文本聚类技术及其应用研究”(项目编号:2011CW12)的成果之一
中文摘要:

词干化、词形还原是英文文本处理中的一个重要步骤。本文利用3种聚类算法对两个Stemming算法和一个Lemmatization算法进行较为全面的实验。结果表明,Stemming和Lemmatization都可以提高英文文本聚类的聚类效果和效率,但对聚类结果的影响并不显著。相比于Snowball Stemmer和Stanford Lemmatizer,Porter Stemmer方法在Entropy和Pu-rity表现上更好,也更为稳定。

英文摘要:

Stemming or lemmatization is a key step in English text processing.Utilizing 3 clustering algorithms,this paper makes a comprehensive experiment on 2 stemming algorithms and 1 lemmatization algorithm.The experimental results show that both Stemming and Lemmatization can improve the effevtiveness and efficiency of English text clustering,but have little influence on clustering results.Compared with Snowball stemmer and Stanford lemmatizer,Porter stemmer has a better performance and is more stable in Entropy and Purity.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《情报理论与实践》
  • 北大核心期刊(2011版)
  • 主管单位:中国兵器工业集团公司
  • 主办单位:中国国防科学技术信息学会 中国兵器工业集团第二一零研究所中国兵器工业第二一0研究所
  • 主编:王忠军
  • 地址:北京2413信箱10分箱
  • 邮编:100089
  • 邮箱:ita@onet.com.cn
  • 电话:010-68961793 68963306
  • 国际标准刊号:ISSN:1000-7490
  • 国内统一刊号:ISSN:11-1762/G3
  • 邮发代号:82-436
  • 获奖情况:
  • 国内外数据库收录:
  • 中国中国人文社科核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:26785