Map/Reduce数据处理平台是数据中心海量数据处理领域的最新技术进展。降低应用运行时海量数据读取开销,提高应用执行效率,是确保Map/Reduce平台服务质量的关键。内存级数据缓存技术是数据中心提升数据访问效率的一类典型技术。然而,既有的数据缓存研究成果难以适应Map/Reduce平台数据基于计算节点分布存储以及数据本地化处理的新特征,而针对Map/Reduce平台的数据缓存研究尚属空白。本项目拟发展面向Map/Reduce数据处理平台的内存级数据缓存技术;以提升应用执行效率为目标,针对Map/Reduce平台新的数据存储与处理模式,着重对数据访问特征分析方法、数据预取与替换、数据重放置以及缓存感知的Map/Reduce任务调度等关键技术展开研究,并通过原型系统对研究成果进行分析和验证,为在Map/Reduce平台引入内存级数据缓存提供切实可行的理论基础和技术方案。
英文主题词Map/Reduce;data caching;workload analysis;replacement strategy;job scheduling