位置:成果数据库 > 期刊 > 期刊详情页
基于多策略的维吾尔文网页识别方法
  • ISSN号:1003-0077
  • 期刊名称:《中文信息学报》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院新疆理化技术研究所,新疆乌鲁木齐830011, [2]新疆民族语音语言信息处理重点实验室,新疆乌鲁木齐830011, [3]中国科学院大学,北京100049, [4]新疆师范大学计算机科学技术学院,新疆乌鲁木齐830054
  • 相关基金:国家自然科学基金(61662081);新疆维吾尔自治区青年科技创新人才培养工程项目-面向维汉机器翻译的维吾尔语命名实体识别研究(2014711006);新疆维吾尔自治区青年科技创新人才培养工程项目-维汉机器翻译模型关键技术研究(2014721032);新疆维吾尔自治区自然科学基金-基于多特征融合的复杂形态语言建模研究(20152J18034);中科院战略性先导科技专项-新疆少数民族信息处理(XDA06030400)
中文摘要:

经过对大量维吾尔文网站的调查与分析,该文从多语种混合网页中针对维吾尔文网页识别进行了研究,这对维吾尔语信息处理工作起着关键作用。首先该文探讨了维吾尔文不规范网页的字符编码转换规则及原理,以此对不规范维吾尔文字符进行了相应的处理,之后介绍了基于修改的N-Gram方法和基于维吾尔语常用词特征向量的两种方法,其中后者融合了维吾尔文常用候选词语料库及向量空间模型(Vector Space Model)。使用三种不同类型的维吾尔文网页文本作为本研究的数据集,在此基础上验证了该文提出的网页识别方法,以及采用不同的方法进行了网页识别的实验。实验结果表明,基于N-Gram的方法对正文较长的新闻或论坛网页的识别性能最佳,反而基于常用词特征向量的方法对短文本的网页识别性能优越N-Gram。所提方法对维吾尔文网页识别的整体性能达到90%以上,并验证了这两种方法的有效性。

英文摘要:

This paper studies the web-page identification task for Uyghur. It first develops the the character encoding conversion rules for non-standard Uyghur characters in the webpages. Then, two identification approaches are described: one is the modified N-Gram method (MNG) method and the other is that a feature vector method (utilizing the frequent Uyghur words via an VSM ). The experimental datasets constitute of three different types of Uyghur web-pages. The results show that N-Gram based approach performs better in identifying web-pages with long texts as in news site and forum, while the feature vector approach out-performes in web-pages of short text. Combining these two methods yields above 90% F1 score in the experiment.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《中文信息学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编:孙茂松
  • 地址:北京海淀中关村南四街4号中科院软件所
  • 邮编:100190
  • 邮箱:jcip@iscas.ac.cn
  • 电话:010-62562916
  • 国际标准刊号:ISSN:1003-0077
  • 国内统一刊号:ISSN:11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:9136