位置:成果数据库 > 期刊 > 期刊详情页
面向大学领域的聚焦爬虫设计与实现
  • ISSN号:0253-2395
  • 期刊名称:山西大学学报(自然科学版)
  • 时间:2015
  • 页码:223-234
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]武汉大学计算机学院软件工程国家重点实验室,湖北武汉430072, [2]湖北大学计算机与信息工程学院,湖北武汉430062
  • 相关基金:国家自然科学基金(61202100;61272110); 国家留学基金([2013]3018); 软件工程国家重点实验室开放基金(SKLSE2012-09-20)
  • 相关项目:社会网络语义模型及语义搜索关键问题研究
中文摘要:

如何从海量的Web资源中获取有用的信息是Web研究领域的重要研究内容。针对特定领域信息的获取,目前主要采用聚焦爬虫策略。该策略只爬取与主题相关的页面,忽略不相关页面。但目前的聚焦爬虫技术在爬行效率和页面质量两个方面仍存在一定的不足。因此,本文主要从这两个方面进行改进,并在此基础上设计和实现了一个面向大学领域的聚焦爬虫系统。该系统采用基于改进的Context Graphs方法的搜索策略和基于支持向量机(SVM)的目标页面分类器方法获取有用的资源。实验结果表明该系统在爬虫结果的收益率和准确率上分别提高了10%和8%。

英文摘要:

How to obtain useful information from massive Web resource is crucial in the field of Web research.The main method to obtain domain-specific resources on Web is the strategy of focused crawler and this strategy only traverses pages related to the topic while neglects those irrelevant ones.However,the present strategy of focused crawler has deficiency in crawling efficiency and page quality.This article tries to make some improvements in the strategy from these two aspects,based on which we design and implement a university-oriented focused crawler system.The system uses a search strategy based on improved Context Graphs and a target page classifier based on Support Vector Machine(SVM)to acquire useful resources.The experimental results show that the system increases the harvest and accuracy of the crawling result by 10% and 8%respectively.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《山西大学学报:自然科学版》
  • 北大核心期刊(2011版)
  • 主管单位:山西省教育厅
  • 主办单位:山西大学
  • 主编:杨斌盛
  • 地址:太原市坞城路92号
  • 邮编:030006
  • 邮箱:xbbjb@sxu.edu.cn
  • 电话:0351-7010455
  • 国际标准刊号:ISSN:0253-2395
  • 国内统一刊号:ISSN:14-1105/N
  • 邮发代号:22-42
  • 获奖情况:
  • 边疆七年获山西省一级期刊荣誉(1993-1999)
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),英国动物学记录,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:5651