位置:成果数据库 > 期刊 > 期刊详情页
基于扩展主题特征库的领域主题爬虫
  • ISSN号:1000-7024
  • 期刊名称:《计算机工程与设计》
  • 时间:0
  • 分类:TP311.52[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]武汉大学计算机学院,湖北武汉430072
  • 相关基金:国家自然科学基金项目(61272109)
中文摘要:

在领域主题爬虫中,为提高网页爬取的效率和准确性,将扩展主题特征库(extended topic feature library,ETFL)引入进爬虫的网页过滤算法中。将网页抽象为标签块节点集,通过主题特征库扩展算法对静态特征项进行扩充生成扩展主题特征库,利用网页主题特征项提取算法从页面中抽取出特征项,在爬虫抓取网页的过程中,通过基于扩展主题特征库的网页相关性判断方法对页面进行过滤。该算法弥补了传统的基于静态关键词项的网页过滤算法对页面语义层次处理的缺失。实际项目运行结果表明,在领域主题爬虫中引入扩展主题库能够有效提高网页抓取精度,具有较高可用性。

英文摘要:

To improve the efficiency and accuracy of Web crawling in focused crawler,extended topic feature library was intro-duced into Web page filtering algorithm.Web page was abstracted as a set of label block nodes,static feature items were expan-ded to generate extended topic feature library using topic feature library extension algorithm,and Web page topic feature item ex-traction algorithm was used to extract feature items from pages.During the process of crawler fetching documents,Web pages were filtered using Web page relevance decision method based on extended topic feature library.The algorithm makes up the va-cant problem of semantic processing in traditional Web page filtering algorithm based on static keyword items.Results of applica-tion in actual proj ects show that the introduction of extended topic feature library into focused crawler can improve the accuracy of Web scraping,and it possesses higher availability.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机工程与设计》
  • 北大核心期刊(2011版)
  • 主管单位:中国航天科工集团
  • 主办单位:中国航天科工集团二院706所
  • 主编:汤铭瑞
  • 地址:北京142信箱37分箱
  • 邮编:100854
  • 邮箱:ced@china-ced.com
  • 电话:010-68389884
  • 国际标准刊号:ISSN:1000-7024
  • 国内统一刊号:ISSN:11-1775/TP
  • 邮发代号:82-425
  • 获奖情况:
  • 中国科学引文数据库来源期刊,中国学术期刊综合评价数据库来源期刊,中国科技论文统计与分析用期刊
  • 国内外数据库收录:
  • 波兰哥白尼索引,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:45616