位置:成果数据库 > 期刊 > 期刊详情页
基于CheerIO的MEAN Stack气象数据网络爬虫研究
  • ISSN号:1000-1298
  • 期刊名称:《农业机械学报》
  • 时间:0
  • 分类:TP391.4[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:北京林业大学精准林业北京市重点实验室,北京100083
  • 相关基金:国家自然科学基金项目(41371001); 北京林业大学青年教师科学研究中长期项目(2015ZCQ-LX-01)
中文摘要:

为全面、即时搜集分散于互联网上游离的气象数据,满足各行业、各领域、各学科科研部门的数据需求,提出使用Google MEAN Stack全栈技术开发基于Cheer IO的高效定向爬虫,充分利用Node.js高性能I/O的特性,实现气象信息的快速搜集。同时将技术栈与地理信息系统技术、数据可视化技术以及云计算技术相结合,通过地理信息系统的数据存储、查询、自动制图、统计分析等功能对信息进行分析和处理,在阿里云平台上构建了一个能抓取并存储海量数据、提供实时气象数据的应用系统,提供便捷的检索、查询功能,有较强的实用性。本文结合气象数据爬虫的解决方案,对MEAN Stack数据爬虫的开发框架、项目架构以及爬虫核心技术(抓取目标策略、网页分析算法、多线程并发运算等)进行了深入分析研究与实现。

英文摘要:

To collect the meteorological data dispersed in various industries,fields and disciplines in a comprehensive and real-time way,and meet the needs of scientific research departments for data,an efficient directional crawler was developed based on Google 's full-Stack technology called MEAN( Mongo DB + Express + Angular JS + Node. js) Stack and an fast flex Javascript Document Object Model module called Cheer IO,the functions such as fast-gathering weather information,information analysis and processing by data storage,query,automatic mapping,statistical analysis,forecasting of GIS were realized. An application system deployed on Alicloud server which can real-timely update and forecast meteorological data was created,and it can also provide practical functions of massive data storage,convenient search and query. An efficient and practical web application system was built,which not only provided effective solutions for scattered online data collection but show people date intuitively by using HTML5 data visualizing technology. In actual project,it offered a great number of data support and example to the weather-related fields,such as forestry and preventive medicine. GIS data visualization is a constantly evolving concept,whose borders are expanding fast. At the age of the internet,especially in the globalization of information,the long-term value of data has been gained more and more recognition and affirmation from small companies to national political decision-making. It should be recognized what really it is and how it can help us.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《农业机械学报》
  • 中国科技核心期刊
  • 主管单位:中国科学技术协会
  • 主办单位:中国农业机械学会 中国农业机械化科学研究院
  • 主编:任露泉
  • 地址:北京德胜门外北沙滩一号6号信箱
  • 邮编:100083
  • 邮箱:njxb@caams.org.cn
  • 电话:010-64882610 64867367
  • 国际标准刊号:ISSN:1000-1298
  • 国内统一刊号:ISSN:11-1964/S
  • 邮发代号:2-363
  • 获奖情况:
  • 荣获中国科协优秀期刊二等奖,1997~2000年连续4年获中国科协择优资金,被列入中国期刊方阵,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国化学文摘(网络版),英国农业与生物科学研究中心文摘,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:42884