位置:成果数据库 > 期刊 > 期刊详情页
面向增量同生主题的维吾尔文爬虫的研究
  • ISSN号:1001-3695
  • 期刊名称:计算机应用研究
  • 时间:2014.11
  • 页码:3269-3272
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]新疆大学电气工程学院,乌鲁木齐830047
  • 相关基金:国家自然科学基金资助项目(61163026,60865001)
  • 相关项目:视频图像中不良文本的识别与过滤-维吾尔语系
中文摘要:

针对传统的主题爬虫对网页信息缺乏在知识层面上的处理和理解的问题进行了研究,提出了一种面向增量同生主题的维吾尔文爬虫,通过建立一个增量主题词库优化传统的主题模型,来描述维吾尔文关键词的应用语境及场景,提高了计算网页相关度的准确率。用改进的IC主题敏感算法来预测子页面优先级,过滤无关的网页地址。依据上述方法编写爬虫系统,用构建的维吾尔文语料库进行实验,表明了基于此模型的爬虫具有更好的稳定性和准确度。

英文摘要:

According to the traditional topic crawler lacks of processing and understanding to Web information in the knowledge level,this paper proposed a Uyghur crawler face to incremental contemporaneous topic.It set up an incremental topic words li-brary to improve the topic model,to describe the application scenarios and context of the keywords.It improved the accuracy of Web relevancy.It calculated the priority of the page with the improved sensitive IC_PageRank algorithm and filtered the irrele-vant Web URL.On the basis of the above methods it made the crawler system.It did experiments based on the building of Uyghur corpus,the results show that the crawler based on this model has better stability and accuracy.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机应用研究》
  • 北大核心期刊(2011版)
  • 主管单位:四川省科学技术厅
  • 主办单位:四川省计算机研究院
  • 主编:刘营
  • 地址:成都市成科西路3号
  • 邮编:610041
  • 邮箱:arocmag@163.com
  • 电话:028-85210177 85249567
  • 国际标准刊号:ISSN:1001-3695
  • 国内统一刊号:ISSN:51-1196/TP
  • 邮发代号:62-68
  • 获奖情况:
  • 第二届国家期刊奖百种重点科技期刊,国内计算技术类重点核心期刊,国内外著名数据库收录期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,波兰哥白尼索引,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:60049