位置:成果数据库 > 期刊 > 期刊详情页
一种基于P2P技术的分布式微博爬虫系统
  • ISSN号:1671-7775
  • 期刊名称:《江苏大学学报:自然科学版》
  • 时间:0
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]南京邮电大学计算机学院,江苏南京210003, [2]南京邮电大学计算机技术研究所,江苏南京210003
  • 相关基金:国家自然科学基金资助项目(61373006,61502247)
中文摘要:

微博正逐步成为公共信息传播的主要媒体,高效地获取微博数据则显得至关重要,分析微博数据有助于研究者及时了解舆情信息.由于传统网页爬虫无法获取完整的微博信息,微博API又有诸多限制,因此针对新浪微博,设计了一种基于P2P技术的微博爬虫系统.该系统避免了新浪API的功能和连接限制,使用基于模拟登录的网页爬虫,根据用户的地理位置信息划分任务,实现连续高效的数据采集.通过与其他架构的试验比较,证明本系统具有良好的性能,能为舆情分析提供数据支持.

英文摘要:

Microblog is becoming the main media to spread public information. Analyzing microblog data can contribute to timely knowing public information for researchers. Therefore, it is important to effectively collect microblog data. To solve the problems that the traditional web clawer could not inquire whole information and the API had lots of restrictions,a distributed crawler system was designed based on P2 P for SINA microblog. The crawler was based on simulated login technology and assigned tasks according to user position information to efficiently collect data continuously. The comparison results with other structures show that the proposed system has good performance to provide adequate data.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《江苏大学学报:自然科学版》
  • 北大核心期刊(2011版)
  • 主管单位:江苏省教育厅
  • 主办单位:江苏大学
  • 主编:袁寿其
  • 地址:江苏省镇江梦溪园巷30号
  • 邮编:212003
  • 邮箱:xbbj@ujs.edu.cn
  • 电话:0511-84446612
  • 国际标准刊号:ISSN:1671-7775
  • 国内统一刊号:ISSN:32-1668/N
  • 邮发代号:28-83
  • 获奖情况:
  • 原“机械电子部优秀科技期刊二等奖,江苏省高校学报优秀期刊一等奖,江苏省优秀科技期刊奖,江苏省期刊方阵优秀期刊,华东地区优秀期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),英国农业与生物科学研究中心文摘,波兰哥白尼索引,德国数学文摘,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:8727