PPDSS存储系统设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:hongyun64
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Internet的高速发展,各种形式的新型应用层出不穷。特别是以Web2.0为代表的新一代互联网应用,给传统的数据存储模式带来了极大的挑战。以往的Internet服务几乎都基于Client/Server模式,资源集中存储在服务器端。随着存储内容的急剧增长,单靠服务器已无法满足同样海量的互联网用户的访问需求。结合近年来流行的对等计算(P2P)技术,我们开发了基于专有存储服务器的、面向Internet用户的数据存储服务。通过在广域网部署的少量存储服务器,形成了可靠的结构化覆盖网络(DHT),向用户提供可保证的资源查找服务。存储服务器负责文件分片副本的存储与分发,通过少量的副本冗余即可保证数据的可靠存储,避免了数据的单点故障,提供了极高的可用性。引入自适应的副本冗余管理算法,智能地控制副本的数量,引导副本向临近用户的存储服务器迁移,更能适应未来的移动互联网业务。通过让下载同一文件的用户构成P2P覆盖网络,利用它们的边缘带宽向其它客户提供上传服务,有效地减轻了Server的压力。即使面对海量的用户的请求,系统也能应付,保证了良好的可扩展性。为了保证存储服务器的高性能与高可靠性,网络IO采用非阻塞的异步处理机制,基于epoll的Reactor框架。系统中存在大量的定时器,在Reactor框架中实现了高效的定时器管理。磁盘IO的处理采用Linux aio来实现,在其之上构建了高效的磁盘缓存机制。通过UDP套接字实现了Chord查找算法。本系统分为服务器(ChunkServer)与客户端(Client),ChunkServer以Linux 2.6为开发平台,采用C++作为开发语言,运用面向对象的程序设计思想开发完成。如再加强对实际网络中的异常情况处理的话,可以作为基础的存储平台在Internet部署并向广大用户提供可靠的存储服务。为了减轻存储服务器的服务压力和增加系统的吞吐量,我们原创性地设计并实现了基于分片放大能力的存储服务器直接邻居节点选择算法(PA-DNNS)。通过选取分片放大能力较大的peer,允许他们直接连上存储服务器下载分片再通过它们将分片快速分散到系统中,能有效地改善peer的下载体验,特别是在内容新上线时。通过建模分析与实验验证,该算法确实能够有效地改善文件的整体分发效率,增加了系统的吞吐量。
其他文献
随着Internet的飞速发展,越来越多的信息和服务通过Web发布,使得Web上的业务服务应用日趋复杂、访问量骤增。由于Web用户请求具有高并发、强突发的特点,对Web服务器的处理性
随着气象业务的不断发展,对于自动站雨量数据的处理和管理的需求日益增加。大量雨量数据与空间信息联系密切。如何高效、直观的处理雨量数据,是一个亟待解决的问题。由于GIS
无线自组网(Ad Hoc网)因具有独立性、拓扑结构动态变化等特点,在一些不便预先铺设网络设施的诸多应急通信中得到了广泛应用。然而,由于其网络拓扑变化以及节点的移动,导致路
运动目标跟踪方法的研究和应用是计算机视觉的一个重要分支,现日益广泛应用于科学技术、国防建设、医药卫生以及国民经济的各个领域,有着不可估量的发展前景。由于被跟踪目标
在互联网飞速发展的时代,传统专家系统的局限使得基于Web的专家系统开始被研究和应用,这是专家系统必然的发展方向,但是现有的基于Web的专家系统的开发却面临缺乏相应的合适
软件定义网络(software defined network)通过控制面和转发面的分离解耦,为动态配置网络和控制网络提供了丰富的可编程性,是近年来发展势头十分强劲的一种新兴网络架构。而传
与传统的车辆检测器相比,基于视频图像处理与视觉技术的车辆检测器具有处理速度快、安装维护便捷且费用较低、可监视范围广、可获取更多种类的交通参数等诸多优点,因而近年来
P2P技术日益成熟、网络带宽不断增加和终端系统服务能力的逐渐加强,端系统的服务能力占总体服务能力的重要一部分。近年来,这些资源如何得到充分利用,并在面向Internet的大规
随着虚拟现实和3D可视化仿真技术的发展,物理仿真开始广泛应用在电影,动画,游戏,计算机辅助设计,甚至军事模拟等领域。物理仿真引擎用于快速开发可视化物理仿真系统。在可视
落叶松根系为树形分枝结构,主要由初生根、次生根、初生根一次侧根、次生根一次侧根组成。各级根系之间具有明显的自相似性,本文基于L-系统理论构建落叶松根系生长模拟模型,