位置:成果数据库 > 期刊 > 期刊详情页
异种语料融合方法:基于统计的中文词法分析应用
  • ISSN号:1003-0077
  • 期刊名称:《中文信息学报》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院计算技术研究所智能信息处理重点实验室,北京100190, [2]北京交通大学计算机与信息技术学院,北京100044
  • 相关基金:国家自然科学基金资助项目(60873167 60736014); 中央高校基本科研业务费专项资金项目(2009JBM027)
中文摘要:

基于统计的中文词法分析往往依赖大规模标注语料,语料的规模和质量直接影响词法分析系统的性能。高覆盖率、高质量的语料资源非常有限,而且适用于不同领域的语料往往具有不同的分词和词性标注标准,难以直接混合使用,从而导致既有资源未能充分利用,分词精度下降等问题。针对该问题,该文提出了简单有效的异种语料的自动融合方法,并通过实验验证了提案方法的有效性、较强的实用性以及对多种语料融合的可扩展性。

英文摘要:

Large scale manually annotated corpora are usually used in research on statistical Chinese lexical analysis.The scale and quality of corpora affect the performance of statistical lexical analysis directly.Corpora in high quality and high rate of coverage are very valuable but limited,and it is very difficult to combine corpora of different domains directly since they are different in segmentation and part of speech(POS) tagging standards.These problems make it difficult to utilize existing resources and prevent the performance improvment in Chinese lexical analysis.To address this issue,this paper presents a simple but effective strategy to optimize the performance and domain adaptability of Chinese lexical analysis by merging different domains' corpora automatically.Our experiments verify the validity,the stronger practicability,and the scalability to multiple corpora of the proposed method.

同期刊论文项目
期刊论文 77 会议论文 94 专利 4 著作 2
期刊论文 17 会议论文 23 专利 6
同项目期刊论文
期刊信息
  • 《中文信息学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编:孙茂松
  • 地址:北京海淀中关村南四街4号中科院软件所
  • 邮编:100190
  • 邮箱:jcip@iscas.ac.cn
  • 电话:010-62562916
  • 国际标准刊号:ISSN:1003-0077
  • 国内统一刊号:ISSN:11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:9136