位置:立项数据库 > 立项详情页
Map/Reduce数据处理平台中内存级数据缓存技术研究
  • 项目名称:Map/Reduce数据处理平台中内存级数据缓存技术研究
  • 项目类别:青年科学基金项目
  • 批准号:61202075
  • 申请代码:F020304
  • 项目来源:国家自然科学基金
  • 研究期限:2013-01-01-2015-12-31
  • 项目负责人:梁毅
  • 依托单位:北京工业大学
  • 批准年度:2012
中文摘要:

Map/Reduce数据处理平台是数据中心海量数据处理领域的最新技术进展。降低应用运行时海量数据读取开销,提高应用执行效率,是确保Map/Reduce平台服务质量的关键。内存级数据缓存技术是数据中心提升数据访问效率的一类典型技术。然而,既有的数据缓存研究成果难以适应Map/Reduce平台数据基于计算节点分布存储以及数据本地化处理的新特征,而针对Map/Reduce平台的数据缓存研究尚属空白。本项目拟发展面向Map/Reduce数据处理平台的内存级数据缓存技术;以提升应用执行效率为目标,针对Map/Reduce平台新的数据存储与处理模式,着重对数据访问特征分析方法、数据预取与替换、数据重放置以及缓存感知的Map/Reduce任务调度等关键技术展开研究,并通过原型系统对研究成果进行分析和验证,为在Map/Reduce平台引入内存级数据缓存提供切实可行的理论基础和技术方案。

结论摘要:

英文主题词Map/Reduce;data caching;workload analysis;replacement strategy;job scheduling


成果综合统计
成果类型
数量
  • 期刊论文
  • 会议论文
  • 专利
  • 获奖
  • 著作
  • 1
  • 0
  • 0
  • 0
  • 0
相关项目
期刊论文 10 会议论文 3
梁毅的项目