基于双流卷积神经网络的压缩视频分类研究

来源 :内蒙古大学 | 被引量 : 0次 | 上传用户:zeibao123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前传统的视频分类方法是基于人工提取的特征,这种方法在早期任务中取得了较为优秀的性能,但传统方式非常依赖特征提取算法以及特定任务的知识,因此,目前已过渡到基于深度学习的方式。解决该问题的传统深度学习算法是基于双流卷积神经网络结构,将网络分为空间流与时序流,分别使用视频帧和密集光流输入网络,获得最终分类标签。但传统方式存在一定弊端,即以密集光流作为特征,该特征目前的提取算法计算量庞大,且极其耗时,无法满足现实任务需要。而目前绝大多数视频的存储和传输都采用了压缩格式,研究表明基于压缩域的方法能够极大地提高处理速度。此外,传统的双流卷积网络中两支流均是独立训练,而没有考虑时序流与空间流之间的联系。本文针对以上问题提出相应的改进算法,具体内容如下:(1)本文在时序流部分避免计算密集光流,而是采用压缩域中的特征——运动矢量(Motion Vectors,MVs)作为特征,通过该种方式大大减少特征提取的时间。此外目前一些流行的算法虽然也使用MVs作为特征,但仅仅使用原始MVs,导致准确率极低,本文针对该问题,提出一种基于压缩视频的运动场累积的运动增强策略以提升其性能,通过累积后的MVs,在时序上信息得到增强,即使用本文策略增强MVs的运动信息以及连续性。(2)基于不同时间分辨率的融合策略,即针对空间流和时序流采用不同的时间分辨率,以更为针对性学习每支流特征,同时在网络结构中将不同阶段的时序流特征融合到空间流特征中以得到更为有效的特征。此外,为进一步提高性能,本文对其部分3D卷积核进行修改以获得更大的时序空间感受野。(3)基于空间高层特征的运动增强模型,该策略主要思想是基于知识蒸馏的方式,将空间信息融合到时序流中,使其可以学习到时空特征,此外,在实验阶段针对该策略中的不同超参数进行实验,展示了在公开数据集上的结果,并进一步可视化特征图,分析了实验结果。实验表明,通过本文的策略可以大大提升MVs的准确率且在没有使用光流的情况下保证了识别精度。
其他文献
随着世界创新驱动的发展,科技技术受到前所未有的关注。尤其近年来,随着专利申请数量的增多,互联网平台涌现大量的非结构化专利文本数据。这些数据中蕴含很多科技技术发展关键指标,如何从专利文本数据中有效地挖掘指标,为专利对比评估和企业技术评估提供参考依据是本文研究的重点。因此,本文提出面向领域的指标挖掘方法研究与系统实现,具体工作如下:通过调研国内外专利文本数据研究和文本指标词挖掘研究现状,结合其他学者对
21世纪以来我国改革开放政策持续贯彻落实,社会主义市场经济发展突破到前所未有的高度,信息技术的发展也如火如荼,复杂多样的发展环境使得我国广播电视业的发展不仅拥有了新的发展动力,也面临着空前的挑战。2002年党的十六大提出发展文化产业以及进行文化体制改革后,我国广播电视业的发展出现了翻天覆地的变化,经历着“从无到有,从有到盛,从盛到新,从新到高质量发展”的转型过程,但是在产业化加速发展的背景下,我国
抖音短视频正在成为众多用户的日常生活分享平台和信息获取渠道,由此也催生出大量有关海外生活和文化的视频内容,形成了特殊的短视频景观,影响和塑造着国内受众的异域文化认知体系。本文以抖音海外生活类短视频为研究对象,以景观社会理论为依据,综合文化研究、人文地理学等多学科视角,分析了短视频景观化的趋势和成因,探讨海外生活类短视频景观化现象形成的背景,通过对12987条短视频样本进行内容分析,得出海外生活类短
在这个互联网来临的新时代,新媒体行业有着肉眼可见的飞速发展,新媒体技术也不断发展,党和政府为了更好地传递消息并和受众进行良性互动,诸多主体尝试向新媒体领域涉足。回看2009年的下半年,隶属于湖南省桃源县的官方政务微博"桃源网",它的出现标志着政务类微博自此走向繁荣发展的道路。本文选取“中国消防”官方微博为代表来进行消防类政务微博的研究,以话语建构方式为基础,通过个案分析法和内容分析法,从内容分析下
在互联网时代时政类新闻的受众逐渐被新媒体分解、引流,传播率大大降低。为了改变这一现状,传统主流媒体积极创新新闻生产和传播方式,发展融合新闻产品。在众多融合新闻产品中,短视频成为移动传播的重要形态。各大主流电视媒体纷纷推出系列短视频节目,并且将时政新闻报道剪辑成短视频投放在大量新媒体平台上,时政新闻短视频成为主流媒体争夺话语权、引导舆论的积极探索。本文以短视频类融媒产品为例,运用内容分析法和问卷调查
共情传播研究着眼于探究信息传播过程中共情的产生过程和传播特性,以及共情传播的影响和作用。本文通过深入辨析共情这一心理学范畴概念的内涵,结合传播学理论基础和学者们对共情传播的概念界定,将共情传播解释为传播者在传播过程中采用一些策略或方式使传播对象产生与传播内容共情的效果。在疫情这一突发重大公共卫生事件的背景下,共情传播在新闻报道中的运用和影响更为显现。本文以央视《新闻联播》疫情报道为例,探究其共情传
伴随着移动互联网的高速发展,新闻资讯行业全方位升级重塑,新闻资讯平台成为进入移动互联网的重要入口。四大门户网站纷纷上线移动新闻客户端,抢占移动终端市场,聚合类资讯APP作为移动新闻客户端的一种,以市场细分、智能分发的特点在市场站稳脚跟。今日头条作为聚合类资讯APP的典型代表,在市场起步阶段,把握市场空缺、抓住社会化阅读的契机,依靠算法技术进行内容分发。以其个性化的推荐方式、多元化的传播媒介实现智能
读图时代的到来,让我们在网络社交中形成了独特的交流风格。当下的网络社交活动离不开表情包的参与,它承担的不仅是简单的表情符号意义,还是网络世界中一种新的符号表意方式。“萌文化”的出现,让热衷于互联网的青年群体受到这些文化所携带的情感和视觉的冲击,也推动了“萌系”表情包在微信平台上的传播。在年轻人的语言中,“萌”被赋予了以“可爱”为中心的丰富意义,他们在进行网络人际传播时,将“萌系”表情包运用其中,以
近年来,深度学习由于其出色的表现在计算机视觉,语音识别,情感分析等研究领域都取得了十分优异的成绩,大量的关于深度学习的应用出现在我们的日常生活中,为丰富我们的生活提供了许多的便利。但是最新的一些研究工作证实,在各个领域表现出色的深度学习模型非常容易受到攻击者的影响,当攻击者在输入样本中增加一个十分微小的扰动就可以导致深度学习模型给出错误的分类结果。但到目前为止,在对抗环境下对深度学习脆弱性的研究主
聚类是机器学习领域处理数据的重要方法,在众多学术领域中被广泛地应用。例如,目标用户的群体划分、不同产品的价值组合、探测发现异常值等。在这些场景下的数据的密度通常都是不均匀的,因此在这样的数据集上进行的聚类,要求聚类算法适合非均匀密度数据集。但传统的聚类算法在非均匀密度数据集上的聚类效果并不理想,并且传统聚类算法对参数依赖严重。针对上述问题,论文提出了一种基于图像分割模型的密度聚类算法DCABISM