【摘 要】
:
近年来5G技术发展成熟,移动设备中相机配置越来越高,人们更愿意拍摄视频上传到网络上,互联网上视频数量持续急速增长,因此迫切需要高效的视频处理方法来满足海量视频处理的需求。视频分类技术是根据视频中内容自动判断视频所属类别的技术,是视频处理领域的重要组成部分,是计算机视觉领域的基础研究课题,对视频分类技术进行研究是必要的,同时视频分类技术也可以被广泛应用到生活中的各个领域,所以对视频分类任务的研究正在
论文部分内容阅读
近年来5G技术发展成熟,移动设备中相机配置越来越高,人们更愿意拍摄视频上传到网络上,互联网上视频数量持续急速增长,因此迫切需要高效的视频处理方法来满足海量视频处理的需求。视频分类技术是根据视频中内容自动判断视频所属类别的技术,是视频处理领域的重要组成部分,是计算机视觉领域的基础研究课题,对视频分类技术进行研究是必要的,同时视频分类技术也可以被广泛应用到生活中的各个领域,所以对视频分类任务的研究正在被越来越多的研究者所关注。深度学习方法在图像处理领域获得成功之后,越来越多的研究者将深度学习方法应用到其他多媒体信息处理的研究中。虽然目前深度学习在图像处理方面取得了重大成就,但是它在视频处理中的研究还不够深入,视频数据与图像数据的差异使得视频处理的研究仍然面临巨大的挑战。因此,本文以双流视频分类模型为准线模型,从视频分类任务的两个主要研究难点:特征提取和特征融合方面入手,分别提出基于注意力机制改进的深度特征提取及可学习权重的深度特征融合方法,以提高视频分类精度。本文研究的的主要创新点有:1、本文从提高特征的表达能力的目标出发,引入多尺度注意力机制强化特征的提取阶段,来获得质量更高的分类特征。将特征提取网络分为四个阶段,在特征提取网络的每个阶段特征图输出后加入多尺度注意力模块,强化各层次输出中信息量大的特征,抑制冗杂特征,并通过逐层注意力不断加强注意力作用效果,这样获得的特征重点突出,有更强的表征能力,分类准确度也更高。2、本文从传统双流视频分类模型分别独立提取时空流特征而忽略了时空流特征之间的联系这一点出发,建立时空流之间联系来达到以时空流的紧密关系促进特征提取的目的。在Simonyan等人提出的双流视频动作识别模型中,时空流特征分别进行提取,忽略了视频数据中时空信息的高度相关性。本文基于紧凑的双线型池化结构设计可插入的时空流连接模块,建立起时空特征提取流之间的联系,更好地整合了两个流的信息,用一个流的特征去增强另一个流的特征学习,最终提高特征的质量。3、本文设计算法学习时空特征的融合权重。在对不同种类的视频进行分类时其静态特征和动态特征对分类结果的影响程度不同,应用固定权重进行时空特征融合融合会限制网络的分类表现。本文设计了可学习权重的时空流特征融合方法,获得了更好的分类效果。
其他文献
概率论与数理统计课程是我国高校理工科和经管类专业学生的基础课和必修课,以往教学方法下,学生会出现概念难以理解、方法难以掌握等问题,而疫情防控初期的大规模纯线上教学中又出现了网络(系统)卡顿、教师不适应线上教学、学生上网课时注意力不集中、教学评价模式单一、学生听课状态无法保障及教学效果不理想等问题。针对概率论与数理统计课程线上线下教学过程中存在的问题,提出三位一体的线上线下教学模式,为后疫情时代的课
随着全球卫星导航系统GNSS(Global Navigation Satellite System)技术日益成熟,GNSS已成为室外定位的最佳选择,在测绘、航空、航海、交通、气象等诸多环境中广泛应用。但在室内环境中,由于信号的遮挡,存在GNSS不可用的问题,因此,在室内环境中如何进行有效的定位,是一个亟待解决的问题。不同于以往足部式穿戴微惯导设备或者手持智能手机进行定位导航,本课题聚焦于穿戴更为方
世纪之交的几次局部战争中,无人机体现出极高的军事价值,成为各国军方研究的热点之一。近年来,通信技术的进步以及人工智能的应用,促进了无人机集群技术的发展,使得未来无人机集群化、有人/无人协同作战成为可能,推动着战争模式的根本性转变。融合导弹与无人机特性而设计的小型作战用无人机,为现代低成本高收益的作战模式提供了一种有效手段。本文以小型无人机为研究对象,针对多无人机在协同打击过程中的协同到达问题进行研
目标检测作为图像理解和计算机视觉的一个分支,是大量视觉任务的必要前提,当前也是机器学习领域中的一个热门方向。目标检测被广泛应用于许多的领域上,例如道路交通车辆以及标识、安保系统中的检测、军事领域中目标的识别。针对不同的应用场景而言,目标检测核心思想都是要解决物体在背景中的精确定位。对于红外图像中的目标,检测目标并对其物体轨迹进行分析是实际需求中必须要解决的难点。由于红外目标本身的特征弱、颜色缺失,
天基红外光学监视系统利用部署在多个轨道平台所组成的光学传感器星座,对弹道导弹、航天发射等重要事件进行实时探测、跟踪、识别以及预报。对国土安全可能存在重大威胁事件的即时发现,有助于快速反应及时决策,增强我国战略防御能力。在这种应用背景下,天基红外光学监视系统面临着多种类、多型号目标的威胁考验。所以天基光学监视系统采用的探测体制和其中涉及的信息处理技术对系统效能具有决定性影响。天基红外光学监视系统星座
虽然当前基于图像的三维重建已经取得了较大的成功,但是有一类物体表面的重建效果仍然不理想,这类表面在现实场景中非常常见,主要包括镜面物体(比如玻璃、水面等)和弱纹理物体(比如白墙、瓷砖地面等)的表面。在传统的三维重建框架中,该类表面在稠密点云重建过程后会出现点云缺失的情况,造成没有足够的点云支撑进行表面重建,所以称之为弱支撑表面。本文主要针对含此类表面中平面形状的场景(即“弱支撑平面”)的三维重建问
移动机器人同步定位与建图(Simultaneous Localization and Mapping,SLAM)方法是用于机器人环境感知和导航的主流建图方法。传统的视觉SLAM方法中RGB-D信息非常重要,系统可以从RBG-D相机中获取颜色和深度等数据,其中,在获取深度数据的过程中会受到距离、光照等因素的限制,难以获得较好的建图效果。单目相机结构灵活、价格低廉,在实际中有较高的应用价值。如何使SL
受限于高中教学课时、安全风险及新冠疫情等因素,户外远距离开展研学活动以培养学生的地理实践力较为困难。本文以重庆南山风景区为研学活动基地,依托基地的研学资源,从研学设计思路、研学主题及目标设计入手,围绕“初识南山、探秘南山、造化南山”三大主题进行研学内容、研学任务、活动实施及评价的系统设计。该设计方案有利于提高学生的地理调查与考察能力,增强学生地理实践力。