【摘 要】
:
面对数据呈现爆炸式增长且大多数是小文件的现状,传统存储技术已经不能满足大数据的存储需求。分布式文件系统TFS(Taobao File System,淘宝文件系统)的出现,在一定程度上解决
论文部分内容阅读
面对数据呈现爆炸式增长且大多数是小文件的现状,传统存储技术已经不能满足大数据的存储需求。分布式文件系统TFS(Taobao File System,淘宝文件系统)的出现,在一定程度上解决了海量小文件存取的难题。但由于TFS文件系统使用主块和扩展块进行数据存储,存在着DataServer服务器空间利用率不高问题;同时TFS采用Erasure Code算法代替数据备份多份的机制,存在着数据失效恢复开销较大等问题。因此针对TFS扩展块优化和Erasure Code算法优化的研究,为解决海量小文件的有效存取有着重要的意义。本文在对TFS扩展块优化和Erasure Code算法优化进行了深入分析与研究的基础上,针对DataServer服务器空间利用率不高问题,打破了传统主块与扩展块界限,设计了一种在DataServer划分主块和扩展块阶段只考虑分配主块空间,仅当需要用到扩展块时,才将主块拆分为多个扩展块使用的改进方法。针对数据块备份多次以及数据失效恢复开销较大的问题,本文设计了一种Erasure Code算法的改进方法,将校验块划分为全局校验块和局部校验块,避免了传统数据失效恢复时需要按编组内数据块数量来读取块数据,通过读取少于数据块数量的块数据进行恢复操作,达到有效地减少数据失效恢复时的网络传输和读取开销,更大程度地提高TFS的存储性能。本文对改进后的TFS进行了性能、模拟数据存取与失效恢复过程的测试,结果表明,扩展块优化可以提高Data Server服务器空间利用率,Erasure Code算法优化可以减少数据失效恢复的网络传输和读取开销,能够达到预期的效果。
其他文献
随着计算机技术和网络技术的飞速发展,信息化管理的思想已逐渐渗透到医疗卫生行业领域。医院信息系统(HIS)就是利用计算机技术和网络技术,为医院所属各部门提供病人诊疗信息和
随着汽车电子技术的不断发展,现场总线技术被越来越广泛的应用于汽车网络。但是,至今仍没有一个通信网络可以完全满足未来汽车的有关成本和性能的所有要求。因此,仍将继续采
自主虚拟人是虚拟环境中由计算机生成,具有自主行为控制和自动画表现能力,可对环境变化及时作出合理反应,用于模拟现实世界里人类的行为和特征的仿人软件智能体。自主虚拟人
无线传感器网络作为一种全新的信息获取和处理技术,随着低耗能电子和射频技术的发展,其技术已在国防军事、空间探索、环境监测、反恐抗灾等诸多领域得到广泛应用。但是对于大多
浅层语义分析的目的是分析出句子中谓词(可以是动词或名词等)的语义角色成分,包括施事者、受事者、时间、地点等。作为浅层语义分析的一种实现方式,语义角色标注(Semantic Ro
图像作为一种信息载体,由于其直观、信息量大等特点,得到了广泛的应用。但是,图像在生成或传输的过程中由于种种原因,常常受到噪声的污染。因此,为了能够避开噪声的干扰提取
随着互联网特别是电子商务规模的不断发展,系统中的用户和项目的数据量都在迅速增长。推荐系统可以为用户提供个性化的推荐,因此得到了广泛的应用。协同过滤凭借其简单合理的
随着社会与科学技术的快速发展,人们需求的数据量正呈现爆炸性的增长,对海量数据的存储提出了更高的要求。在海量存储设备的层次存储体系中,光盘库作为海量存储设备中的二级
社会化媒体在网络信息异常充斥的时代对信息流动和交互起到了非常大的推动作用,基于社会网络构架的机制是社会化媒体之所以能够进行广泛而快速的信息流动和传播的机制和源泉,
近几年来,人脸检测已经成为计算机模式识别中比较热门的研究课题,公安犯罪管理,身份认证,视频通话等等,在各个领域都有着很重要的应用,国内外的相关研究工作也越来越多。人脸