位置:成果数据库 > 期刊 > 期刊详情页
Hadoop分布式集群的自动化容器部署研究
  • ISSN号:1001-3695
  • 期刊名称:《计算机应用研究》
  • 时间:0
  • 分类:TP399[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:上海海事大学信息工程学院,上海201306
  • 相关基金:国家自然科学基金资助项目(61202370);上海市教委科研创新项目(14YZ110);中国博士后科学基金资助项目(2014M561512)
作者: 李杰, 刘广钟
中文摘要:

针对Hadoop集群部署过程繁琐复杂、耗时费力、运维难度大,且不利于快速扩展的问题,提出一种结合Docker容器技术部署集群的解决方法。该方法把Ambari及其运行环境和配置构建成Docker镜像,并把多节点容器的运行和Hadoop集群的部署过程写成Shell脚本,只需一条命令,即可实现集群的自动化部署。实验结果表明,该方法简单可靠并极大地提高了集群部署的效率。因此,对海量数据的处理和分析具有重要的推动作用。

英文摘要:

The deployment of hadoop cluster is complicated, time-consuming and difficult, and is not conducive to the rapid expansion of the cluster. In order to solve these problems, the paper proposed a new solution of combining docker container based on fast, simple and flexible deployment of cluster. Docker images built with ambari and its operating environment and configuration. Write shell script with the multi-node container and process of hadoop deployment. With one command, it could realize the cross platform of arbitrary nodes Hadoop cluster' s automation installation and deployment. Experiments show that the proposed scheme is simple and reliable and can greatly improve the efficiency of cluster deployment. As a result, the pro- posed scheme has an important role in promoting the processing and analysis of mass data.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机应用研究》
  • 北大核心期刊(2011版)
  • 主管单位:四川省科学技术厅
  • 主办单位:四川省计算机研究院
  • 主编:刘营
  • 地址:成都市成科西路3号
  • 邮编:610041
  • 邮箱:arocmag@163.com
  • 电话:028-85210177 85249567
  • 国际标准刊号:ISSN:1001-3695
  • 国内统一刊号:ISSN:51-1196/TP
  • 邮发代号:62-68
  • 获奖情况:
  • 第二届国家期刊奖百种重点科技期刊,国内计算技术类重点核心期刊,国内外著名数据库收录期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,波兰哥白尼索引,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:60049