位置:成果数据库 > 期刊 > 期刊详情页
一种基于预分块和滑动窗口的重复数据消除方法
  • ISSN号:1001-0920
  • 期刊名称:控制与决策
  • 时间:0
  • 页码:1157-1162
  • 分类:TP309.3[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]电子科技大学计算机科学与工程学院,成都611731, [2]成都信息工程学院网络工程学院,成都610225
  • 相关基金:国家自然科学基金项目(60873075,60973118); 教育部培育基金项目(708078)
  • 相关项目:高可靠系统软件确保若干技术的研究
中文摘要:

针对现有重复数据消除方法中提高压缩比和降低元数据开销之间的矛盾,提出了一种基于预分块和滑动窗口的重复数据消除方法并建立了性能分析通用模型.该方法首先对数据对象进行基于内容的预分块,再对数据变动区域和非变动区域采用不同的分块策略,从而在分块大小预期值较大时,仍能获得较高的压缩比并降低了元数据开销.真实数据集上的实验结果表明,该方法的平均压缩比高于现有最优值,而平均时间开销显著降低.

英文摘要:

To address the contradiction between improving compression ratio and reducing metadata cost, a deduplication method based on pre-chunking and sliding window is proposed. A universal performance-analyzing model is also given. In this method, the data objects are pre-chunked based on content, then different chunking strategies are used on the data changing regions and the non-changing regions respectively. A satisfying compression ratio and lower metadata cost can be achieved with a relatively larger expected chunk size. The experimental results on real data show that the average compression ratio of the method is higher than the current optimal value, and the average time cost is reduced significantly.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《控制与决策》
  • 北大核心期刊(2011版)
  • 主管单位:中华人民共和国教育部
  • 主办单位:东北大学
  • 主编:张嗣瀛 王福利
  • 地址:沈阳市东北大学125信箱
  • 邮编:110004
  • 邮箱:kzyjc@mail.neu.edu.cn
  • 电话:024-83687766
  • 国际标准刊号:ISSN:1001-0920
  • 国内统一刊号:ISSN:21-1124/TP
  • 邮发代号:8-51
  • 获奖情况:
  • 1997年被评为辽宁省优秀编辑部,1999年期刊影响因子在信息与系统类期刊中排名第二位
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:32961