基于SPARK框架的视频分析技术

来源 :中国石油大学(华东) | 被引量 : 0次 | 上传用户:coldblast
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着云平台以及相关技术的进步发展,人们开始将越来越多的工作交付计算机集群来处理。其中比较有代表性的就是对海量视频数据的处理,诸如Hadoop,Storm这些框架都为这方面的工作提供了面向大规模数据的并行化支持方案。Apache Spark作为一种较晚推出的分布式框架,不仅能和传统的Hadoop集群实现良好的兼容,其自身还有很强的扩展性。Spark将大量的运算放入内存中执行,极大的提高了运算效率,其下的子系统Spark Streaming具有将流式数据转化为批处理的独特运行方式,因此本文提出了一种基于Spark框架的视频数据分析方法。视频数据的分析方法多种多样,本文对视频数据进行处理的方式主要为关键帧的提取。本文归纳了目前较为常见的关键帧提取算法,提出了一种面向监控视频数据的关键帧提取方法,利用优化的帧平均法和混合高斯模型进行背景初始化和背景更新操作,之后通过对运动目标的分析选取关键视频片段,从中提取相应的数帧作为关键帧。将关键帧提取算法以并行化方式部署到系统中。对于算法的MapReduce化,以及视频数据分割后的运动一致性问题提出了解决方案。随后探讨了向DStream中输入数据的方式以及Hadoop HDFS与Spark Streaming之间的支持关系。最后,在实验环节,本文通过实验数据的对比,提出了对Spark Streaming配置参数的一些优化方案。并且设置了实验,对于算法在本地执行和在Spark框架下执行的时间效率进行了对比和评估,验证了算法并行化的可行性以及在应对较大数据量时的高效性,也同时验证了该框架良好的可扩展性。
其他文献
Turbo码和低密度奇偶校验码(LDPC码)都是性能逼近香农限的实用好码。而作为Turbo码和LDPC码共同的子集,不规则重复累积码(IRA码)码既具有Turbo码的低编码复杂度特性,又具有LD
背景与目的食管鳞状细胞癌(esophageal squamous cell carcinoma,ESCC)在中国每年新诊断病例约有25万而且世界上食管癌病死率最高的国家也为中国。我国食管癌总发病率为22.14
机会传感网络是一种不需要源节点和目标节点之间存在完整路径,利用节点移动带来的相遇机会实现通信的自组织网络。若机会传感网络中某个节点失效,造成整网连通性被严重破坏或
银行的业务中,针对小额贷款的项目相对较少,且借款手续复杂,针对这个问题,P2P网络借贷随之而起。P2P网络借贷主要由以下两大优势,一是借款迅速,二是利率高。本文主要针对P2P
从新兴的互联网行业,到传统的航空航天工业,具有高扩展性与高可靠性的分布式存储技术正在逐步取代传统的集中式存储技术。然而,受限于客户端网络接口带宽,分布式文件系统数据
现有的外存图计算系统中,设计重点集中在以通用的方式对各类应用进行处理,在执行时通过对图数据的完整遍历完成计算的迭代过程。但实际上图应用中往往不需要对图数据进行完整
聚类技术普遍应用于各领域中用来探索数据的有用模式。现有的聚类算法主要是针对相同属性类型的数据,然而实际中产生的大多是由数值属性与分类属性联合刻画的混合型数据。所
文件系统是操作系统内核的重要组成部分,是操作系统用于管理信息存储和信息访问的重要模块。从系统角度看,文件系统的功能是对文件存储设备的空间进行组织和分配,负责文件存
历史以来地震对人类是一种极大的的自然灾害,地震的发生经常给人们带来严重的后果及损失。地震的预测也是长久以来困扰着人们的难题,随着科技的不断发展,我们离地震的预测越
海勒根那是内蒙古自治区新时期以来出现的一位关注现实的作家,是蒙古族汉语小说创作的新生力量。海勒根那以其文学才情和无限的想象力写下了诸多熠熠生辉的作品,作品所获得的