论文部分内容阅读
当前,智慧城市成为信息时代城市建设的一个基本目标,智能视频安防监控是其中重要一环。视频监控系统已广泛使用于各行各业,监控视频数据已成为一类典型的大数据,传统的视频收集与回放已不能满足人们对视频监控的需求,我们希望从视频图像提取出有效的信息,提供有效的治安防控业务信息,因此,如何对监控视频大数据进行高效的处理成为一个重要研究课题。本文首先深入分析了Hadoop框架中的三个重要组成部分,即分布式存储系统HDFS、分布式计算框架MapReduce和分布式数据库HBase,并总结了目前一些常用的基于内容的视频处理方法,说明了目前离线视频处理方法的瓶颈和不足。在分析视频处理特点的基础上,提出并实现了一种基于Hadoop MapReduce计算框架的分布式离线视频处理方法,通过设计Hadoop视频处理相关方法、接口,使Hadoop MapReduce可以像处理文本文件和二进制文件那样处理视频数据,解决了Hadoop MapReduce不能直接处理视频数据的问题,这样,开发人员在基于Hadoop对视频数据进行并行处理时,就可以将更多精力集中在视频处理的核心算法上。同时,针对视频处理时间与视频复杂度相关这一特点,本文对Hadoop HDFS的数据分布进行了重分布设计与实现,使Hadoop MapReduce在进行此类监控视频大数据处理时,系统整体性能有进一步优化。在此基础上,论文对Hadoop MapReduce的数据类型进行了进一步的分析和设计,并基于此实现了离线视频数据处理系统,集成了分布式视频转码、分布式视频摘要和分布式人员检索三个应用。测试结果表明,利用本系统完成海量视频数据处理所需时间开销大大减少,通过对HDFS的数据分布进行重分布优化,减少了系统I/O,进一步提高了Hadoop MapReduce处理视频应用的效率。