论文部分内容阅读
行为识别任务需要裁剪好的视频片段作为输入,但实际采集的是未裁剪的原始视频,该任务与实际的情况出入较大。在这种情况下,时序行为检测任务被提出,旨在原始视频中定位出行为动作的时间边界,并对该动作进行分类。虽然该任务最近才被提出,但由于其实际意义重大,很快成为了视频理解研究领域的热门。本文主要从端到端和非端到端的网络框架对时序行为检测任务进行研究,主要内容如下:1.特征网络与任务网络的研究与选型。由于与识别任务的关联性,通过对行为识别算法进行研究,本文确定了以自动特征和三维卷积网络为特征网络研究重心。由于与目标检测任务的相似性,通过对目标检测算法进行研究,本文确定了两阶段的任务网络框架,并重点研究如何将二维算法时空泛化。2.研究并改进了一种非端到端时序行为检测算法。该算法以3D ResNeXt为特征网络,对行为提名生成和行为分类进行独立训练与优化。行为提名生成网络,将定位时间边界问题转换成视频特征每个位置是否是动作,开始时间,结束时间的二分类问题。根据网络输出,将开始和结束时间节点按照一定规则组合,并通过NMS得到最终行为提名。另外,在提名网络中引入非局部模块和带孔卷积,深度挖掘视频特征信息,并进行了对比实验。行为分类网络,根据提名网络生成的行为片段信息,复用原始视频提取的特征,将每个行为提名正确归类为对应的动作类别。最后,对滑动窗口长度进行了探究和实验。3.研究并改进了一种端到端时序行为检测算法。该算法以C3D和3D ResNeXt作为特征提取网络,对行为提名生成和行为分类进行联合训练与优化。行为提名生成网络,首先,将提取的特征图上每个点映射回原视频,在原视频的时间维度上设置一系列先验框;然后,通过提名网络完成先验框二分类与时间边界回归,并通过NMS获得最终行为提名。另外,通过修改先验框,进一步挖掘视频的深度特征信息。行为分类网络,前述任意长度的提名片段送入3D ROI Pooling网络层,将其变成等长的特征,然后通过识别网络对特征进行具体的行为分类和精确的时间边界调整。最后,改进网络结构并使用3D ResNeXt提取特征,将其与基础网络进行了对比实验,并对先验框的设置进行了探究和实验。