【摘 要】
:
随着人工智能时代的到来,视频人体运动行为识别体现出了广阔的应用价值,包括智能视频监控,虚拟现实,视频检索等。通过分析人体运动行为识别的相关研究,发现已有方法都较难解决视频中存在的复杂背景环境、照明变化、场景变化等干扰问题,且不能有效利用视频帧之间的时序依赖关系,从而影响最终的识别结果。本文围绕以上问题,提出了表征视频前景信息的时空显著性图像,并构建了多流残差神经网络模型,以获取视频中的时空特征和显
论文部分内容阅读
随着人工智能时代的到来,视频人体运动行为识别体现出了广阔的应用价值,包括智能视频监控,虚拟现实,视频检索等。通过分析人体运动行为识别的相关研究,发现已有方法都较难解决视频中存在的复杂背景环境、照明变化、场景变化等干扰问题,且不能有效利用视频帧之间的时序依赖关系,从而影响最终的识别结果。本文围绕以上问题,提出了表征视频前景信息的时空显著性图像,并构建了多流残差神经网络模型,以获取视频中的时空特征和显著性特征,同时对网络模型做了改进,以捕获视频序列间的关键信息。主要研究工作如下:(1)生成了一种表征视频前景信息的时空显著性图像。时空显著性图像是从视频前景目标运动区域分割出的图像,不包含复杂的背景信息。通过广义边界检测方法和K均值聚类方法,以视频RGB图像和光流图像作为输入,获得时空边缘概率图,然后计算出视频中前景目标的概率图距离,最终从时空边缘概率图中获得时空显著性图像。(2)提出了一种基于时空显著性的多流残差神经网络(Spatio Temporal Saliency based multi-stream Res Nets,简称STS)模型。通过预训练网络模型,获得初始化权重参数,并分别以视频RGB图像、光流图像和时空显著性图像为输入,微调多流残差神经网络,再从三个通道的softmax层计算出类别得分,得分取平均获取最终识别结果。对比双流卷积神经网络模型,多流残差神经网络有效利用了视频中的时空显著性信息,在UCF101和HMDB51数据集上分别提高了2.9%和1.9%的识别精度。(3)提出了一种结合时空显著性多流网络与注意力机制网络(Spatio Temporal Saliency based multi-stream Res Nets with Attention-aware LSTM,简称STS-ALSTM)的行为识别模型。使用多流残差神经网络对三种模态的视频数据进行特征提取,将提取到的特征向量输入到注意力机制网络中,然后从大量时空信息中选出对视频识别更关键的信息,进一步学习连续视频帧之间存在的时间依赖关系,并最后将多流网络输出结果融合,从而获得最终预测类别。通过端到端的方式训练及优化模型,在UCF101和HMDB51数据集上分别取得了92.7%和64.4%的识别准确率。
其他文献
[目的]通过检测昆明地区新生儿血清25-羟基维生素D(25-hydyoxyvitamin D,25(OH)D)、甲状旁腺激素(Parathyroid hormone,PTH)、降钙素(Calcitonin,CT)、碱性磷酸酶(Alkaline p
风电大规模并网使得电网的可靠性降低,导致电网消纳风电能力有限,风电与储能单元协调配合可提高风电消纳,文中提出了一种计及设备特性的风氢系统混合储能容量优化方法。首先分析
实现了移动支付之后,互联网商业打破了支付壁垒,实现了蓬勃发展。尤其是智能手机的推广以及3G/4G技术的发展,使得互联网从PC端向手机端过度,进一步为互联网商业的发展提供了技术支持与条件,各类型的互联网平台都获得空前的机会,各大平台迅速的抢占用户群体。我国的互联网企业的发展方向日益趋向成为互联网商业生态系统平台企业,有些企业在成立之初就以成为网上商业生态系统的平台企业为经营宗旨,如蘑菇街、抖音、滴滴
随着汽车行业的不断增长,辅助人们做出应急决策的无人驾驶技术研发速度也在加快,激光雷达测距避障系统已经成为了其不可或缺的部分,测距系统中时间-数字转换器(TDC)模块,通过
足球作为全球最受欢迎的一项体育运动,其比赛视频有着广泛的收视群体。然而,由于足球比赛的持续时间较长,人们感兴趣的内容却各不相同。有人喜欢观看射门、点球等镜头,有人喜
电影是文化交流的载体。近年来,越来越多的俄罗斯影视剧被中国观众所熟知和喜爱。《绝杀慕尼黑》(?Движениевверх?)就是其中的优秀代表。本报告以《绝杀慕尼黑》字幕汉译为例,结合笔者在字幕组工作经验,总结出影视字幕汉译过程中的策略、技巧,以及影片片名的翻译方法,为今后的翻译实践提供借鉴。报告分为翻译过程描述、字幕翻译策略、片名翻译方法与对白翻译技巧、翻译实践总结四部分。本文着重解决电影字幕翻
本文主要以舟山群岛油品贸易为出发点进行研究。舟山群岛油品储备基地的建成一方面提高了我国应对外部油品市场的变动风险,另一方面旨在通过建立建全油品产业链形成成熟的油品贸易中心,在全球范围内掌握油品的定价权和话语权。目前对内舟山群岛是我国最主要的油品存储与加工地,对外舟山群岛致力于打造东北亚燃油中心,舟山群岛的油品贸易正快速迈向世界的舞台。面对快速扩张的油品贸易,尤其是2018年以来的迅速发展,如何调配
植物园(含植物专类园)属城市公园绿地系统重要内容,是城市文明的标志,植物专类园日益成为人们关注的焦点。随着城市化进程的加快和风景园林事业的发展,我国植物专类园方兴未
黄曲霉毒素B1(Aflatoxin B1,AFB1)是由黄曲霉菌在特定条件下产生的毒性最强的次生代谢产物,广泛存在于玉米、花生等农产品中。槲皮素(Quercetin,QUE)是一种具有抗氧化、抗癌等生
随着高铁产业的发展,利用工业机器人代替人工打磨高铁无缝钢轨焊缝是一种趋势。针对无缝钢轨焊缝形貌特征信息复杂,人工打磨效率低下,以及目前人工作业环境恶劣等问题,建立一