论文部分内容阅读
随着互联网的发展,越来越多的应用需要通过网络在异地存储备份数据,但是,由于广域网具有高带宽高延迟的特性,而通用的传输协议没有针对该特性进行优化,无法完全适应广域网数据传输的需求。此外,备份数据相邻备份周期的版本通常具有高度相似性,如何高效检测出相同部分,仅传输差异部分,从而缩短备份窗口和节省网络流量,是一个重要问题。最后,企业应用中,需要将系统设置在网关节点中,如何对通用网络数据流进行传输优化,也是一个重要的问题。本毕设从七层网络模型角度入手,在表示层和传输层对以上三个问题进行了数据传输的加速。毕设自上而下分为三个改进部分,分别是表示层的重复数据删除模块,乱序流解压缩模块,和传输层的UDP传输优化模块。在重复数据删除模块中,系统借鉴了传统字节缓存算法中使用rabin滑动窗口算法对数据流进行不定长分块的方案,同时,系统基于网络异地备份应用中两个相邻备份窗口的相同文件通常只有细微改变的特征,提出将rabin指纹分块检测出的多个连续重复指纹块用一个二级指纹块代替的算法,进一步缩减网络流量。在乱序流解压缩模块,由于底层采用乱序提交数据包的方式,无法采用传统流压缩中对前向所有数据流建立数据字典的方式,毕设基于越早传输的数据越有可能已经收到的观测,采用对前向第m个数据包之前的连续n个数据包建立数据字典的方式,保证了解压缩的实时性,避免了该模块由于等待所有前向数据到来成为系统的瓶颈。在UDP传输优化模块,系统摒弃了传统的TCP传输协议,而采用了UDP协议,从而避免了高带宽高延迟广域网中使用TCP协议造成的过多延迟,同时,系统实现了简单的差错控制算法并设计了带宽检测算法,保证了传输数据的可靠性和高效性。综上,毕设对三个部分进行了优化,每个部分有机结合,最终提高了广域网存储加速系统的综合性能。最后,毕设搭建了一套验证系统,并进行了测试验证,从实验结果分析,该系统能够较大地提高异地存储数据的传输速度。