位置:成果数据库 > 期刊 > 期刊详情页
基于网络爬虫的水利信息检索系统的设计与实现
  • ISSN号:1674-9405
  • 期刊名称:《水利信息化》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术] TV21[水利工程—水文学及水资源]
  • 作者机构:[1]河海大学计算机与信息学院,江苏南京211100, [2]南京大学计算机软件新技术国家重点实验室,江苏南京210093
  • 相关基金:国家自然科学基金面上项目(61370091);水利部公益性行业科研专项(201501022);河海大学中央高校基本科研业务费项目(2013/B16020141);南京大学计算机软件新技术国家重点实验室开放课题项目(KFKT2017B05)
中文摘要:

随着水利信息化进程的快速发展,与水利信息相关的互联网资源不断增多,面对如此巨量和复杂形式的水利信息数据,依靠人工检索、分析的方式已难以满足行业应用的需求。随着大数据信息技术的逐步深入研究,设计与实现可应用于水利信息获取的网络爬虫,成为解决水利信息检索与分析问题的基础。设计应用主题网络爬虫技术的水利信息检索系统,通过水利主题信息爬取,数据格式转化与整理,规范化写入数据库等步骤,实现网络水利数据到格式化数据库数据的自动转化。该系统的实现为多数据源信息的交叉验证与网络应急数据的获取,提供新的思路与可行方案。

英文摘要:

With the rapid development of water resource informatization process,the Internet data about water information is growing.Facing complexity and quantity of water information,searching and analyzing with manual work couldn’t satisfy the need of water conservancy industry.Based on the development of big data research,designing and emplying web crawler on water information has been the foundation of solution for water information search and analyzing problem.This paper designs a water information retrieval system based on focused web crawler,which could automatically transform the online water information to formatted database data by online crawling about water information,data transforming and formatting and properly writing data into database.The proposed system offers a novel and practical solution for cross-validating information from multiple data source and achieving online data for emergency usage.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《水利信息化》
  • 主管单位:水利部
  • 主办单位:南京水利水文自动化所
  • 主编:蔡阳
  • 地址:南京市雨花台区铁心桥大街95号
  • 邮编:210012
  • 邮箱:slxxh@mwr.gov.cn
  • 电话:025-52898331
  • 国际标准刊号:ISSN:1674-9405
  • 国内统一刊号:ISSN:32-1819/TV
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 被引量:864