位置:成果数据库 > 期刊 > 期刊详情页
SDD-1改进算法在Hive中应用
  • ISSN号:1000-5900
  • 期刊名称:《湘潭大学自然科学学报》
  • 时间:0
  • 分类:TP323[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]江苏大学计算机科学与通讯工程学院,江苏镇江212013, [2]江苏省交通技师学院电气与信息工程系,江苏镇江212006
  • 相关基金:国家自然科学基金项目(61072002)
中文摘要:

针对Hive在处理连接查询时所存在的执行时间长和带宽资源消耗大等问题,提出了一种基于数据预处理和双半连接的SDD-1改进算法.首先,引入预处理技术,在各分布节点对原始数据进行归并排序,以减少汇聚节点的数据映射次数,加快数据处理执行速度;其次,采用基于行和列的双半连接技术,进一步缩减在不同节点间的数据传输量,减少带宽资源消耗.仿真实验表明,相比原始的Hive连接算法,改进算法在元组数达到5000和8000时,可使查询速度提升10%,有效缩短查询的处理和响应时间,该改进算法可方便地应用到其他云计算平台上.

英文摘要:

To solove the existence of the long execution time and bandwidth resource consumption and other issues when dealing with queries in Hive system, this paper presented based on data preprocessing and double half connected SDD-1 improved algorithm. Firstly, the introduction of pre-processing technology, the distribution of nodes in each merge sort the raw data in order to reduce the number of data aggregation node mapping, speed up data processing speed of execution; Secondly, the use of semi-connection technology based on double rows and columns, and further reduction in different data transfer between nodes, reducing bandwidth consumption. The simulation results show that, compared to the original Hive join algorithm, the improved algorithm in the number of tuples to 5 000 and 8 000, can make the query speed increased by 10 %, shorten the processing and query response time, application of the improved algorithm can be convenient to other cloud computing platform.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《湘潭大学自然科学学报》
  • 北大核心期刊(2011版)
  • 主管单位:湖南省教育厅
  • 主办单位:湘潭大学
  • 主编:黄云清
  • 地址:湖南湘潭市
  • 邮编:411105
  • 邮箱:jxtus@xtu.edu.cn
  • 电话:0731-58292143
  • 国际标准刊号:ISSN:1000-5900
  • 国内统一刊号:ISSN:43-1066/N
  • 邮发代号:42-33
  • 获奖情况:
  • 全国优秀科技期刊,湖南省一级期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:4425