高性能小文件应用文件系统Sfs设计与实现

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lele3383
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
长期以来,计算机其他部件如CPU,内存等性能快速提升,而磁盘由于其固有的机械运动的限制,性能已难以提高,成为制约系统性能的瓶颈。而在一些特定的应用场景如web应用环境中,保存在web服务器上的文件数量特别多(千万至亿),单个文件比较小(KB级别),现有的文件系统在这类应用中也存在着明显不足。如何更高效地组织管理web服务器上的小文件,提升小文件的I/O性能一直是学术界和产业界研究的热点。本文针对现有文件系统对小文件存储优化作了较为深入的分析和研究,设计并实现了适应小文件应用环境的文件系统Sfs。论文的主要工作如下:1.对当前IT发展趋势作了概要性的分析,提出了在当前互联网和云时代存储面临的迫切需求和严峻挑战;2.分析研究现有文件系统的主要结构和部分实现细节,尤为关注其针对小文件的性能优化策略。论文中不仅分析了Linux内核支持的如Ext2、Ext3、Xfs、Reiserfs等本地文件系统,同时更涉及了当今世界著名互联网企业和开源项目组针对其业务特点而设计的存储方案,如Facebook的Haystack,淘宝的Tfs等;3.详细描述了针对小文件应用环境设计的服务器文件系统Sfs。在磁盘布局方面,Sfs摒弃了传统文件系统按固定大小划分磁盘块的做法,采用磁盘划分卷,卷中动态分块的策略,以适应应用环境中各种大小文件的存储需求;尽量简化文件元数据,简化后的元数据减少了文件读写时的I/O交互次数,也可以在内存中缓存尽量多的文件元数据;在文件系统接口设计上,Sfs提供简单但高效的API,利于文件系统的处理效率,同时为Sfs设计了小对象内存池,进一步优化文件系统处理效率;4.自行设计文件系统测试工具,分别测试文件系统I/O吞吐率和IOPS,以验证在小文件应用环境中Sfs的有效性。测试结果表明,通过更合理的设计和简化的实现,Sfs在处理小文件时有着更好的I/O吞吐性能和更高的IOPS。
其他文献
数据库管理系统可能会因一些不可预知的软硬件故障影响事务的正确执行甚至破坏数据库,降低它的可靠性和可用性。数据库系统的备份与恢复部分正是要解决这些问题。本课题以“
虚拟机实时迁移是虚拟化技术的一个重要特征,对于近年来不断兴起的数据中心的负载均衡和灾难恢复有非常重大的意义。通过虚拟机的实时迁移,把虚拟机从源物理主机硬件平台迁移
对图像分割算法的研究巳有几十年的历史,借助各种理论至今已提出了上千种各种类型的分割算法。由于尚无通用有效的分割理论,因此现已提出的分割算法大都是针对具体问题的,并
实时数据库是其事务和数据都可以具有定时限制的或显式的定时限制的数据库系统。系统的正确性不仅依赖于逻辑结果,而且还依赖于逻辑结果产生的时间。在实时数据库系统中集成
根据CNNIC一月份发布的《第29次中国互联网络发展状况统计报告》显示,截至2011年12月底,中国网民规模突破5亿,达到5.13亿,全年新增网民5580万。互联网普及率较上年底提升4个百分
随着信息技术的飞速发展,人们需要能够准确、快速和便捷地获得大量数据并能从中迅速提取出有用的信息.近年来,随着微电子技术飞速发展,嵌入式计算机正在深入应用到工业、农业
随着黑客入侵事件的日益猖獗,人们发现只从防御的角度构造安全系统是不够的。入侵检测技术对计算机和网络资源的恶意使用行为进行识别和响应,不仅检测外部入侵行为,同时也监
Web Services是计算机IT技术的第三次革命.Web services技术在现有的各种异构平台上,构筑了一个通用的,与平台无关语言无关的技术层,不同平台上的应用依靠这个技术层来实施相
数据仓库技术是数据库技术的一个研究方向,能够有效的管理传统数据库产生的历史数据,并向各种决策支持应用如联机分析处理、数据挖掘等提供有力数据支持,适应了企业用户对数
数据流分析是一种程序静态分析技术,它能从程序代码中收集程序的语义信息,并通过代数的方法确定变量的定义和使用。通过数据流分析,可以不必实际运行程序就能够发现程序运行