论文部分内容阅读
当今,视频监控系统越来越多地应用于日常生活中,它带来便捷的同时,也引出了海量视频流数据的存储需求。分布式存储系统能够很好的满足这一需求,而且由于故障发生的可能性,容错必须体现在系统的设计中。对比国内外典型的分布式存储系统架构,不难发现系统可用性、数据可靠性与一致性、系统高效性,往往是此类系统所要解决的问题。因此,本文以此为背景,通过相关知识点与理论的学习,设计并开发出了分布式视频流存储容错系统,其特点主要有:1.应用RS纠删码;系统在整个存储空间扁平化的基础上,提出了数据块与卷的语义,将流式存储转换为块式存储,并通过具体的纠删码方案决定数据块的放置方式,从而使得数据的纠删码容错得以实现。2.提出混合冗余容错策略;系统将被频繁访问的元数据视为“热”数据,采用副本形式存储;将视频流数据视为“冷”数据,采用纠删码方式存储。从而在加速元数据访问的同时,提高了存储空间的利用率。3.采用时间戳对比机制;不仅保证了系统各个模块间数据操作的一致性,由于对访问数据量与次数的减少,因而避免了单点效应。4.实行基于最终一致性的操作方案;系统将多步骤指令视为事务,以非阻塞式方式执行指令队列,使得系统可用性与一致性之间达到了平衡。5.提出文件块版本号恢复机制与最优数据恢复模型;通过减少不必要的数据恢复和确定最优数据恢复的顺序,使得在很一定程度上提高了数据恢复的效率。另外,为了更好地实现可扩展性,系统采用了分层次的设计架构,实现了从网络到业务处理,再到文件系统的过渡。而且,为平衡CPU与磁盘I/O的速度,系统采用Epoll+线程池的编程框架,将阻塞的纠删码与磁盘读写操作分别交给相应的线程与线程池完成。通过测试,结果表明本文设计并开发的分布式视频流存储容错系统,不仅能够正确地存储与管理海量视频流数据、保证数据可靠、增强系统可用性与可扩展性,而且结合相应的优化策略,在一定程度上提高了系统的效率。因此,本文对分布式视频流存储容错系统的开发与研究具有重要意义。