位置:成果数据库 > 期刊 > 期刊详情页
基于长度递减与串频统计的文本切分算法
  • ISSN号:1000-0135
  • 期刊名称:《情报学报》
  • 时间:0
  • 分类:H315.9[语言文字—英语] TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]大连理工大学系统工程研究所,大连116024
  • 相关基金:国家自然科学基金资助项目(项目编号:70271046).
中文摘要:

提出了一种基于汉字串频度及串长度递减的中文文本自动切分算法。采用长串优先匹配法,不需要词典,不需要事先估计字之间的搭配概率,不需要建立字索引,利用串频信息可以自动切分出文本中有意义的汉字串。该算法能够有效地切分出文本中新涌现的通用词、专业术语及专有名词,并且能够有效避免具有包含关系的长、短汉字串中的短汉字串的错误统计。实验表明,在无需语料库学习的情况下,该算法能够快速、准确地切分出中文文档中出现频率大于等于支持度阈值的汉字串。

英文摘要:

This paper puts forward a new algorithm about automatic Chinese text segmentation based on Chinese charaeters string frequency and length descending. It can automatically distinguish meaningful Chinese characters string in text based on processing longer string first and string frequency information without the help of dictionary, without the help of acquiring the probability between words in advance and without the help of Chinese character index, This algorithm can effectively distinguish new universal words, specialized terms and proper nouns, and it can effectively avoid statistical error about the shorter string which is belonged to a longer one. Experiment results show that this algorithm can rapidly and exactly distill words which frequency is larger than predefined value without the help of text corpus studying beforehand and dictionary.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《情报学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国科学技术情报学会 中国科学技术信息研究所
  • 主编:戴国强
  • 地址:北京复兴路15号
  • 邮编:100038
  • 邮箱:qbxb@istic.ac.cn
  • 电话:010-68598273
  • 国际标准刊号:ISSN:1000-0135
  • 国内统一刊号:ISSN:11-2257/G3
  • 邮发代号:82-153
  • 获奖情况:
  • 1992年全国优秀科技期刊评比二等奖,1997年中国科协优秀科技期刊三等奖,被国外4种检索工具录用
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国人文社科核心期刊,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:19778