位置:成果数据库 > 期刊 > 期刊详情页
Web数据反馈的搭配抽取方法
  • 期刊名称:哈尔滨工业大学学报
  • 时间:0
  • 页码:281-285
  • 语言:中文
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]哈尔滨工业大学语言语音教育部-微软重点实验室,哈尔滨150001, [2]微软亚洲研究院,北京100080
  • 相关基金:国家自然科学基金重点资助项目(60736044);国家科技发展计划探索类资助项目(2006AA01Z150).
  • 相关项目:下一代信息检索研究
中文摘要:

为了提高搭配(Collocation)抽取的精度,提出一种新的互联网数据的搭配抽取方法.传统的搭配抽取统计方法都是基于语料库的,常受到语料库规模的影响和制约,而在互联网数据中蕴含着丰富的知识和信息,基于Web的词汇相关性度量方法,充分利用搭配在谷歌中的页面数模拟其对应语料库的词频数,并分别选取共现频率、互信息、卡方检验3种经典统计关联度量方法.实验结果表明召回率、精确率均好于对应的基于语料库的方法,这说明互联网中大量数据应用于自然语言处理各种任务的可行性.

英文摘要:

To improve the precison of collocation extraction, this paper proposes a new method based on Internet data. For the constraint by the corpus scale for traditional collocation extraction approach based on linguistic corpus, we acquire collocations from Web, which contains plenty of information and knowledge. Three classical association measures of co-occurrence frequency, mutual information and X^2-test are used to automatically extract the collocation. Based on the experimental results, the benchmarks show that the performance of this new Web-based approach is superior to that of traditional approach in both precision and recall. Thus the data from Internet may be applied in many NLP applications.

同期刊论文项目
期刊论文 117 会议论文 76 专利 12 著作 3
同项目期刊论文