由于用户节点在互联网上数量巨大,且存储和带宽资源丰富,如何对其进行合理使用,对存储领域的发展有着重要意义。本课题对基于用户节点自组织协作的分布式存储系统关键技术进行了深入研究,主要研究内容如下一.节点状态分析和聚合问题。通过对节点历史信息的挖掘,提取出不同尺度的节点生命发展状态特征,并用无监督学习的方法,有效划分节点行为状态的模态社区类;二.节点状态预测算法。采用混合高斯模型(GMM),从多信息源的角度为节点生成状态预测器,并基于AdaBoost对多元决策函数进行有效融合,提高节点状态预测的正确率;三.用户节点参与分布式存储系统的建模、管理和维护问题。根据不同模态社区类间时域状态特性,提出多模态节点的协作存储模型,并在可运营分布式存储系统中进行仿真和应用,用以降低实际应用中运营服务节点的通信代价和存储代价,提高系统的服务能力,同时,为存在用户节点参与的P2P网络存储应用开发一个实验平台。
Clustering;N-gram;availability prediction;distributed storage;cloud simulator
由于用户节点在互联网上数量巨大,且存储和带宽资源丰富,如何对其进行合理使用,对存储领域的发展有着重要意义。本课题从几个方面对基于用户节点自组织协作的分布式存储系统关键技术进行了深入研究。首先,课题研究了节点状态分析和聚合问题。在研究中通过对节点历史信息的挖掘,提取出不同尺度的节点生命发展状态特征,并用无监督学习的方法,有效划分节点行为状态的模态社区类;另外,提出节点势能映射和聚合技术,对具有可协作性的节点进行聚合,为具有延迟敏感特性的存储、分发等服务提供可靠资源。其次,课题还研究了适用于分布式环境的节点状态预测算法。该算法采用N-gram、马尔科夫等模型,从多信息源融合的角度为节点生成多种状态预测器,预测和分析节点可用性状态,与当前已有最优算法相比,显著提高节点状态预测的正确率,对分布式存储、P2P流媒体分发等相关系统均有较大应用价值。课题还研究了用户节点参与的分布式存储系统的建模和管理问题。根据不同用户行为特征,提出基于用户聚合协作的存储模型,定义并分析了不同应用场景下的协作算法,用以降低实际应用中服务节点的通信代价和存储代价,提高系统的服务能力。最后,课题开发了一个结合节点自组织协作、满足多种服务类型的广域环境下的虚拟化实验平台,支持包括分布式网络存储、内容分发、流媒体服务等多种应用仿真,与已有的云计算仿真器相比,具有应用形式灵活、融合多种P2P协议、以及易扩展等优势,目前已开源。