分布式视频流存储容错系统的设计与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jsdhxmb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当今,视频监控系统越来越多地应用于日常生活中,它带来便捷的同时,也引出了海量视频流数据的存储需求。分布式存储系统能够很好的满足这一需求,而且由于故障发生的可能性,容错必须体现在系统的设计中。对比国内外典型的分布式存储系统架构,不难发现系统可用性、数据可靠性与一致性、系统高效性,往往是此类系统所要解决的问题。因此,本文以此为背景,通过相关知识点与理论的学习,设计并开发出了分布式视频流存储容错系统,其特点主要有:1.应用RS纠删码;系统在整个存储空间扁平化的基础上,提出了数据块与卷的语义,将流式存储转换为块式存储,并通过具体的纠删码方案决定数据块的放置方式,从而使得数据的纠删码容错得以实现。2.提出混合冗余容错策略;系统将被频繁访问的元数据视为“热”数据,采用副本形式存储;将视频流数据视为“冷”数据,采用纠删码方式存储。从而在加速元数据访问的同时,提高了存储空间的利用率。3.采用时间戳对比机制;不仅保证了系统各个模块间数据操作的一致性,由于对访问数据量与次数的减少,因而避免了单点效应。4.实行基于最终一致性的操作方案;系统将多步骤指令视为事务,以非阻塞式方式执行指令队列,使得系统可用性与一致性之间达到了平衡。5.提出文件块版本号恢复机制与最优数据恢复模型;通过减少不必要的数据恢复和确定最优数据恢复的顺序,使得在很一定程度上提高了数据恢复的效率。另外,为了更好地实现可扩展性,系统采用了分层次的设计架构,实现了从网络到业务处理,再到文件系统的过渡。而且,为平衡CPU与磁盘I/O的速度,系统采用Epoll+线程池的编程框架,将阻塞的纠删码与磁盘读写操作分别交给相应的线程与线程池完成。通过测试,结果表明本文设计并开发的分布式视频流存储容错系统,不仅能够正确地存储与管理海量视频流数据、保证数据可靠、增强系统可用性与可扩展性,而且结合相应的优化策略,在一定程度上提高了系统的效率。因此,本文对分布式视频流存储容错系统的开发与研究具有重要意义。
其他文献
随着物联网的高速发展,无线射频识别(Radio Frequency Identification,RFID)技术的应用范围越来越广泛,快速多样化的发展对RFID技术的适应性、灵活性及可维护性有了更高的要求,RF
每年,数以万计学术论文的发表使得论文的规模达到了空前的高度。科研人员如何在众多的学术论文中找出感兴趣的论文成为困扰他们的一个棘手问题。早期,研究者主要运用传统的协
旋翼飞行机器人由于其垂直起降、定点悬停、低空低速飞行的飞行特性成为架空电力线路巡检的有效手段。电力杆塔作为输电线路最核心部分,对其图像数据采集的效果决定了整个巡检
云存储技术的发展使将文件存储在云端的人们的数量变得越来越大。人们将数据存储在云端的目的是为了节约存储设备的花费。那么如何保证数据在云存储中的隐私性和完整性就成了
词义归纳利用聚类技术自动从未标注语料中获取多义词的词义,从而大大提高语言工作者的工作效率。因此,词义归纳成为当今计算语言研究中一个最重要的课题。本文基于CLP2010提
光刻机系统中,工件台控制系统作为重要的子系统之一,完成工件台的控制和硅片的曝光过程控制。位于测量区的工件台需要与上下片系统、调平调焦系统进行协同工作,完成载片、卸片、
随着当今科技的进步与发展、网络规模在不断壮大,网络的这些特性(如分布性、复杂性、异构化和不合作化)越来越明显,这就加大了网络管理的难度;同时,人们提高了对网络服务质量的要
多功能一体机作为一种集打印、扫描、复印、传真等功能于一身的办公设备。因其节约成本、节省空间、提高工作效率的强大优势,迅速受到企业及家庭用户的青睐。近年来随着一体机
随着企业信息化建设的深入,山西移动同其他大型企业一样,面临来自管理支撑、技术架构和运营管理多维度的转型压力,客观上需要设计新一代企业信息架构以促进业务流程再造和业
随着信息技术的发展,网络的普及,各种各样的信息资源充斥着网络。随着微博的推广,微博的用户在以每年数以亿计的速度增长。每个用户信息包含几十条的属性,应该如何划分微博用