位置:成果数据库 > 期刊 > 期刊详情页
基于SDN的MapReduce带宽优化设计
  • ISSN号:1001-3695
  • 期刊名称:《计算机应用研究》
  • 时间:0
  • 分类:TP393.02[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]华中科技大学电子信息与通信学院,武汉430074
  • 相关基金:国家科技支撑计划资助项目(2012BAH93F01) ; 华中科技大学自主创新研究基金资助项目(2015MS037); 国家自然科学基金资助项目(60803005)
中文摘要:

在实际Hadoop系统中,如何使作业完成时间最短成为了一个NP完全问题,导致这个问题的主要原因是MapReduce计算过程中大量的数据从Map节点向Reduce节点进行迁移,容易造成网络拥塞,使得数据迁移时间过长。软件定义网络(SDN)实现了路由控制和数据转发的分离,同时使交换机能够对网络中的数据进行灵活处理,使控制器能够知晓全局网络拓扑结构,其集中式管理模式为Hadoop进行性能优化带来了可能性。利用SDN对网络的灵活控制,让Map中间值在OpenFlow交换机上进行数据合并,减少数据流量和数据迁移时间,提高Hadoop工作效率。

英文摘要:

In practical Hadoop systems, how to make the jo b com pletion tim e shorter is the NP com plete problem . The m ainreason for this problem is the long tim e in the process of massive data transm ission fro m the M ap node to the R educe node,which is caused by the netw ork congestion. Software defined n e tw orking com pletely strips out the con trol plane from sw itch andm igrate it in to the c o n tro lle r, enabling the switches to handle the data in netw ork and the con trollers to know global n e tw o rk,w h ich provides the p o s s ib ility o f the MapReduce netw ork op tim ization in the OpenFlow netw ork structure. The paper proposeda m ethod on m erging the M ap interm ediate data on the OpenFlow sw itch to reduce the tim e fo r data transm ission through thefle x ib le control on netw ork o f SDN.

同期刊论文项目
期刊论文 23 会议论文 5 专利 3
同项目期刊论文
期刊信息
  • 《计算机应用研究》
  • 北大核心期刊(2011版)
  • 主管单位:四川省科学技术厅
  • 主办单位:四川省计算机研究院
  • 主编:刘营
  • 地址:成都市成科西路3号
  • 邮编:610041
  • 邮箱:arocmag@163.com
  • 电话:028-85210177 85249567
  • 国际标准刊号:ISSN:1001-3695
  • 国内统一刊号:ISSN:51-1196/TP
  • 邮发代号:62-68
  • 获奖情况:
  • 第二届国家期刊奖百种重点科技期刊,国内计算技术类重点核心期刊,国内外著名数据库收录期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,波兰哥白尼索引,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:60049