基于局部相似性的无损压缩方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dande
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,电子信息技术的飞速发展推动了全球进入大数据时代。数据压缩作为一种主流冗余消除技术,可以消除系统冗余数据,节省存储空间开销,被广泛应用于存储系统中。现有传统无损压缩方法主要采用“滑动窗口”的方法来检测冗余数据,然而滑动窗口大小限制了冗余查找范围,使得不同窗口内的冗余数据因相距较远而无法消除。与传统无损压缩技术不同,数据去重技术以块级或文件级的粒度消除冗余数据。重复数据块可以通过指纹匹配进行识别,避免了传统无损压缩方法中复杂的字节比较。然而数据去重技术只能检测并消除完全重复的数据,对于非重复但是相似数据块中的冗余无法消除。研究表明,将数据去重技术与传统无损压缩相结合,利用数据去重消除重复数据,再采用相似性检测方法识别相似数据,最后通过传统无损压缩消除相似冗余,可以有效提升传统压缩性能。但现有相似性检测方法多需要进行大量计算,造成了一定的时间开销,影响了整体压缩吞吐量。为此,提出了一种基于局部相似性的无损压缩方法。该方法将数据去重技术与传统无损压缩技术有效结合,提升了传统无损压缩方法的压缩率以及压缩效率。基于局部相似性的压缩方法充分利用数据去重技术来(1)加速冗余数据全局消除(2)挖掘数据局部性将重复数据块相邻数据块视作相似数据块,通过将相似数据聚类来压缩消除这部分冗余,有效简化相似性检测的计算,提升了整体压缩的压缩速率。实验结果表明,基于局部相似性的无损压缩方法可以提升传统无损压缩方法的压缩率20%~71%,同时加速压缩速率17%~183%,有效提升了传统无损压缩的压缩性能。
其他文献
本试验应用301日龄罗曼(Lohmann)褐壳蛋鸡200羽,随机分2组进行了复合绿色饲料添加剂的应用技术研究。试验组添加蛋鸡用复合绿色饲料添加剂,对照组不添加。试验结果表明:1. 通过49
太阳能热发电易于和储热系统相结合,因此储热技术在太阳能光热发电中应用较为普遍,通过储热系统,能够使电站平稳输出电力,是目前国内外的发展重点。但是受到太阳自转及天气的
近年来,随着全球化的发展,不同国家、地区之间的沟通交流不断深化。这就需要一种共同的交流语言,从实际应用上来看,英语在全球范围内有着广泛的应用。基于这样的时代背景,我
诗歌英译的过程和翻译主体因素对传递意境深有影响。翻译主体的审美经验介入,在目标语主流诗学的影响下直接作用于诗歌的审美移植和诗性传递,翻译主体应该减少对翻译客体的主
地面目标往往随机排列密集分布,雷达波束内不可避免地存在多个目标,为采用一维距离像进行地面目标识别带来了困扰。本文将波束内多目标距离像的相互关系划分为四种情况,在采
<正>近几年来,随着社会主义市场经济的深入和迅速发展,广告业也得到了迅速恢复和发展.据有关统计资料表明:1988年全年广告营业额达15亿多元,发展到1996年,全国广告营业额为13
恶性肿瘤已严重威胁人类的健康与生命,发展高效的肿瘤诊断和治疗技术对于降低恶性肿瘤的致死率,提高患者的生活质量具有重要意义。随着纳米技术的发展,纳米材料在肿瘤的诊断
供热系统的水力失调是困扰供热行业多年的问题,本文提出用二次网分布式楼前混水系统来解决系统的水力失调。通过实际工程案列表明:该系统有效解决了系统的水力失调,使热用户
试验采用疑似鸡传染性腺胃炎病鸡的腺胃组织匀浆,经除菌处理后人工接种健康雏鸡,并进行了系统的动态病理学观察。结果表明:人工感染病例和自然病例的病理变化基本相同,其主要
随着无线移动通信技术高速发展,3GPP LTE成为第四代移动通信领先标准,该标准以高速度传输速率、高负载及频谱利用率高等优势占领全球4G市场。由于频谱资源作为移动通信中最稀