位置:成果数据库 > 期刊 > 期刊详情页
融合词频特性及邻接变化数的微博新词识别
  • ISSN号:1671-9352
  • 期刊名称:山东大学学报(理学版)
  • 时间:2015
  • 页码:6-10
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]昆明理工大学信息工程与自动化学院计算机系、云南省计算机技术应用重点实验室,云南昆明650500
  • 相关基金:国家自然科学基金资助项目(61462055,61462054,61175068,61363044)
  • 相关项目:专家检索资源获取与学习排序方法研究
中文摘要:

大量的新词伴随着微博的快速发展而产生,这些新词具有传播速度快及与其他词组合方式灵活的特点,而且在进行分词处理时容易被切分为不同的字符串。提出了一种融合词频特性及邻接变化数的微博新词识别方法。该方法首先对大规模的微博语料进行分词,然后将在两停用词间的相邻字串两两组合,根据组合后的字串频率统计取得新词候选串,再通过组合成词规则进行筛选获得候选新词,最后通过词的邻接域变化特性去除垃圾串获得新词。利用该方法在COAE 2014评测任务上进行了新词的发现实验,准确率达到36.5%,取得了较好的成绩。

英文摘要:

Along with the rapid development of Weibo,a lot of newwords have appeared. These words have characteristic that spread fast and flexible combination with other words. They are easy to be cut apart into different string in segmentation processing. Therefore a newword recognition method that combines word frequency characteristics and accessor variety was proposed. The first step was to segment the large scale Weibo sentences into words,and then combine the two adjacent strings between stop words. The newword candidate strings could be obtained according to the string frequency of the combination. After the filtration through the word formation rules,the candidate newwords would be found. Finally,through the characteristics of the word accessor variety,the garbage string was removed to get the newwords. Experiments of newword recognition on COAE 2014 task 3 showthat the accuracy can reach 36. 5% and this method has a good performance.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《山东大学学报:理学版》
  • 北大核心期刊(2011版)
  • 主管单位:中华人民共和国教育部
  • 主办单位:山东大学
  • 主编:刘建亚
  • 地址:济南市经十路17923号
  • 邮编:250061
  • 邮箱:xblxb@sdu.edu.cn
  • 电话:0531-88396917
  • 国际标准刊号:ISSN:1671-9352
  • 国内统一刊号:ISSN:37-1389/N
  • 邮发代号:24-222
  • 获奖情况:
  • 国内外数据库收录:
  • 美国化学文摘(网络版),美国数学评论(网络版),波兰哥白尼索引,德国数学文摘,中国中国科技核心期刊,中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),英国英国皇家化学学会文摘
  • 被引量:6243