论文部分内容阅读
近年来,随着计算机网络、传输技术的迅速发展,视频监控相关技术也随之快速发展。社会经济的发展使得各行业对视频监控应用需求与日俱增。需求呈现以下几个显著的特点:应用领域越来越广、监控规模越来越大、清晰度要求越来越高、监控数据保存时间越来越长。进入21世纪后,监控技术更是向数字化、网络化、智能化与移动化等方向发展:数字化是指信息流从模拟状态到数字状态的转变,其改变了系统的结构与运行方式;网络化实现了网络系统软/硬件资源、任务以及负载的共享;智能化主要体现在智能化控制、事件的分析与处理以及智能管理上;移动化是随着无线网络以及移动设备的普及必然的发展趋势。视频监控的特点与发展方向都对存储提出了更高的要求,相较于一般数据存储,视频监控对存储容量的要求是海量存储、对存储的稳定性要求是要保证不断写入状态中数据的安全完整。目前,Internet已经成为社会结构的一个基本组成部分,网络被广泛应用于社会的各个方面。作为网络基本组成部分的计算机发展迅猛:CPU的速度持续提升,2011推出的CPU有10亿个晶体管、每秒可执行1千亿条指令;个人PC机将达到原高性能服务器的处理能力;高性能计算机运用先进的数据存储技术并拥有1GHz以上的时钟频率。计算机性能的全面提高使通过网络实现海量视频数据的分布式存储成为可能。云存储与分布式存储一样,都采用了集结网络中大量闲散的存储能力协同存储的方式。所以应用云存储能够有效利用网络中高性能的计算机资源解决海量视频数据的存储问题。视频监控海量存储一方面给存储带来难题,另一方面也对实时传输提出了更高要求。为了实现不同地理位置的用户对视频数据的快速访问,本文采取视频数据的压缩编码、分布式存储、多副本放置、改进流媒体传输协议等措施保证服务质量。论文的研究工作主要有以下几个方面:(1)研究网络视频监控、分布式系统、云存储、副本放置问题以及视频流应用协议的国内外现状。(2)对分布式存储技术进行了深入研究,分析了分布式存储的分类与发展以及Hadoop技术,提出了基于Hadoop的云存储管理系统,设计了系统中各层次的功能,详细阐述了文件的加入与删除算法。(3)详细分析已有的副本放置与副本管理策略,并在此基础上提出了基于局部分簇优化的副本树策略,实现了对网络中大量无结构副本的集中的结构化管理。实验表明该结构在节点失效时敏感度较低、副本冗余量较少。(4)对比RTP、RTSP、RSVP流媒体协议的特点,提出了多路径RSVP资源预留协议,将RSVP协议从依靠路由器维护路径状态保证传输改为依靠多路径预留保证传输,这样可以有效改善数据传输时路由器对路径状态的维护开销较大而导致可扩展性较差的问题。实验表明多路径预留策略明显减少了路由器的维护开销,并在一定程度上改善了网络拥塞或者节点崩溃导致的延迟问题。(5)针对高考视频监控数据管理的具体需求,设计了基于云存储的高考视频监控数据分布式管理系统,并对架构各个层次的功能进行详细设计。本文的创新点主要有:(1)设计了基于分簇优化的副本树放置策略,对网络中的访问请求做出分析计算后,得到初始的副本放置节点集合,对节点进行局部分簇优化后建立副本树,在部分节点失效时,能够更好的维护系统的稳定性。(2)提出了资源预留协议RSVP的改进方案MS-RSVP(multi-state RSVP):针对资源分布不均与带宽制约时出现反复协商完成预留的问题、可扩展性较差问题,在端到端之间建立多个能提供特定服务质量的状态,减少路由器对路径状态的维护开销,在网络不稳定时,缩短了延迟等待时间。(3)设计了高考视频监控数据分布式管理系统—SNVM(System of Network VideoManagement)。该系统实现了视频监控数据的远程监控处理、分布式存储、备份等关键功能。针对多级监控下容易出现的单点失效问题,提出了一种同级互连并多点备份的方法,提高了系统的鲁棒性。