位置:成果数据库 > 期刊 > 期刊详情页
基于递归随机抽样的Hadoop配置优化
  • ISSN号:1000-3428
  • 期刊名称:计算机工程
  • 时间:0
  • 页码:-
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]上海理工大学光电信息与计算机工程学院,上海200093, [2]上海现代光学系统重点实验室,上海200093
  • 相关基金:国家自然科学基金资助项目(61170277;61472256); 上海市教委科研创新重点基金项目(12zz137); 沪江基金资助项目(C14002)
  • 相关项目:基于对等网络的云计算资源共享模型及其关键技术的研究
中文摘要:

结合大数据的特点,提出以标签云改进方案来快速识别网络热搜词,同时考虑到传统的数据仓库在查询、存储结构化数据方面的优势,在目前学者提出的数据仓库与Hadoop平台结合的基础上,提出了协作模式中与以往不同的数据迁移方式,即使用数据中间件,并通过相同数量记录导入Hadoop的时间比较,得出文中所提的数据迁移方法较Sqoop方法更具优势的结论。

英文摘要:

Based on the characteristics of big data,the paper proposes quickly recognizing top search queries by the tag cloud. It also introduces the advantages of the traditional data warehouse in query and storage structure,and puts forward a different method of data transfer from the traditional ones in the collaboration mode,which is based on the combination of data warehouse and Hadoop platform. The data middle ware is used,and a comparison between the time taken for the same quantity of records to be introduced into Hadoop shows that the method proposed is superior to Sqoop.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机工程》
  • 北大核心期刊(2014版)
  • 主管单位:中国电子科技集团公司
  • 主办单位:华东计算技术研究所 上海市计算机学会
  • 主编:游小明
  • 地址:上海市桂林路418号
  • 邮编:200233
  • 邮箱:ecice06@ecict.com.cn
  • 电话:021-64846769
  • 国际标准刊号:ISSN:1000-3428
  • 国内统一刊号:ISSN:31-1289/TP
  • 邮发代号:4-310
  • 获奖情况:
  • 1999~2000、2001~2002年度信息产业部优秀期刊奖,2003-2004、2005-2006年度信息产业部电子精品科技...,2007-2008、2009-2010年度工业和信息产业部电子精...,012年度中国科技论文在线优秀期刊一等奖,2013年度中国科技论文在线优秀期刊二等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),波兰哥白尼索引,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:84139