位置:成果数据库 > 期刊 > 期刊详情页
基于文件拆分和缓存预测的日志文件传输算法
  • ISSN号:1008-5599
  • 期刊名称:《电信工程技术与标准化》
  • 时间:0
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]北京邮电大学网络与交换技术国家重点实验室,北京100876, [2]东信北邮信息技术有限公司,北京100191
  • 相关基金:国家973计划项目(No.2013CB329100,2013CB329102); 国家自然科学基金(No.61271019,61101119,61121001,61072057,60902051); 长江学者和创新团队发展计划资助(No.IRT1049)
中文摘要:

当今的云计算平台和大型网站在运行时都会产生大量的日志文件,这些日志文件一般都具有收集分析的价值,所以在日志文件的收集过程中就出现了大日志文件的传输问题。本文要解决的问题就是如何使日志文件能够快速的传输到接收端。为此本文在研究了当前已经有的大数据传输办法之后,针对日志文件提出了与传输协议无关的新算法:文件拆分和预测算法。该算法主要由两部分组成:首先对日志文件进行拆分,拆分成包含描述性信息的文件和包含数据的文件,消除了文件中的冗余信息;然后在传输过程中通过预测接收端缓存的数据来达到消除传输过程中的冗余信息的目的。经过实验检验,本文设计的算法能够将实际传输的数据量降低90%以上。

英文摘要:

As networks and transmission are becoming increasingly important for computational science,we are working on proposing a journal file transmission algorithm.This new algorithm focusing on optimizing the performance of journal file transmission is independent of transport protocols.Our approach includes two components: the file splitting and buffer memory prediction.The file splitting performs file compression and redundancy elimination,and the buffer memory prediction avoids transferring the redundant data.Experimental results verify that the journal file transmission algorithm can effectively eliminate the redundancy in the journal file and reduce the amount of data transmission by 9.0%.

同期刊论文项目
期刊论文 183 会议论文 167 获奖 6 著作 1
同项目期刊论文
期刊信息
  • 《电信工程技术与标准化》
  • 主管单位:中国移动通信集团公司
  • 主办单位:中国移动通信集团设计院有限公司
  • 主编:梅海涛
  • 地址:北京市海淀区丹棱街甲16号302室
  • 邮编:100080
  • 邮箱:tetas@cmdi.chinamobile.com
  • 电话:010-52696688-7308/7310
  • 国际标准刊号:ISSN:1008-5599
  • 国内统一刊号:ISSN:11-4017/TN
  • 邮发代号:82-942
  • 获奖情况:
  • 国内外数据库收录:
  • 被引量:4245