云存储平台技术是当今计算机互联网行业的热点研究内容。虽然对于适应高读操作、低写操作(written once, read often, never modified, rarely deleted)的云存储平台相关的技术已经逐步成熟并在一些领域内得以广泛应用,但对于有着高并发写操作需求的云存储技术并未得到深入研究和发展。如何能提高云存储平台的数据分布平衡性,如何提高节点自适应,特别是如何能让平台适应大量的高并发写操作,都是云存储技术发展亟需解决的难题。本项目针对基于改良的chord模型的数据布局和提取技术、基于paxos双通道写操作机制技术以及弹性粒度锁技术进行研究。以期实现适应高并发写操作的云存储平台,并最终落实理论研究,构建实际应用平台。不但有巨大的示范作用,还可以在实践上得到实测数据和反馈,检验和强化研究成果。通过本项目的研究我国在云存储技术领域可以达到国际领先水平。
Cloud Storage;Mobile Cloud Storage;Load Balance;Data Center;Flow-level Scheduling
当前云计算的发展已日趋成熟,云计算应用越来越受用户青睐。作为云计算的一个主要分支,云存储技术的发展极为迅猛。本项目主要针对云存储相关技术及云存储底层的数据中心基础设施相关内容展开研究工作。 首先,我们依照项目预定研究计划,重点针对云存储平台核心技术展开研究。主要研究进展包括搭建基于局域网加速的工作组云存储服务系统,设计高效的云存储系统负载均衡算法,构建移动云存储系统及结合云存储的虚拟化云服务平台。 (1)构建面向工作组的云存储服务系统原型,主要功能是为用户提供云存储服务,帮助用户备份文件资料、管理文件修改版本、实时同步文件等。 (2)针对当前开源云存储系统中Chunk Server负载均衡算法的缺陷,提出对权值调整增量的改进,通过将服务器性能和用户连接数这两种因素进行量化处理,并在此基础上重新定义权值,给出新的计算方法。 (3)构建一套面向Android移动客户端的云盘系统。并在云存储平台基础上进一步构建一个面向高校,科研机构等社会组织的免费开源的高稳定性在线虚拟化云平台,以此作为云计算科研实验平台。 其次,我们从云存储应用及平台的研究过渡到底层支撑云存储的数据中心基础架构的研究。重点研究数据中心内部面向多资源环境的数据流调度,以及基于deadline的数据流调度。 (1)当前的多资源环境下的数据流调度方法大多只关心为数据流提供公平的服务分割。而为了实现这一调度目标,这些调度方法通常会导致极大的资源浪费。为解决这一问题,我们提出以公平性和效率为综合调度目标的新型调度方法,该方法通过降低公平性的约束来提高资源利用率和调度效率。 (2)在多资源的环境下为数据流提供公平服务的同时,如何进一步满足数据流的deadline需求是一个值得研究的问题。为此,我们提出基于deadline的新型数据流调度算法,通过引入时间戳标记来识别数据流的deadline,再通过引入调度器来依次调度不同数据流的数据包。 项目的主要研究成果包括发表及录用学术论文17篇,其中包括TPDS,IEEE Network、TCOM等国际著名期刊;设计并实现“筋斗云盘”云存储系统原型一套,获得2014年全国高校云计算应用创新大赛二等奖;获得国际学术会议IUCC 2015的Best Paper Award。