论文部分内容阅读
为了实现海量视频数据的高效并行处理,将视频数据集解耦合实现任务的高并行度,通过Spark读取数据流的同时获取关键帧的方式解决了解耦视频数据引起数据倍增问题,并对图片特征数据进行优化,进而在Spark上实现了具有高可扩展性并行处理海量视频数据的框架。在天河二号云平台上进行部署实验,实验结果表明,随着处理节点个数增加,本框架可以获得近线性的加速比。