随着生活质量的提升、可穿戴智能设备的普及和互联网的快速发展,第一视角视频数据量不断增加,第一视角行为识别在健康监测、个性化评估、危险预警等领域有着广泛的应用前景,吸引了大量研究者的关注。本文研究基于深度学习的第一视角行为识别方法,针对生活场景中常见的行为类别,构建第一视角行为识别数据库,围绕着时空融合策略这一基础,解决第一视角行为识别问题。本文的具体研究内容如下:1.本文构建了第一视角行为识别数据库。本文通过对日常行为的观察归纳,选取了本文数据库的30类行为类别,在使用多种方式收集并剪辑之后,完成了本文数据库的构建工作。该数据库规模庞大,拥有丰富的场景、分辨率、光照条件以及第一视角位置,将作为本文研究行为识别算法的训练集与测试集。2.本文研究一种基于特征谱流的时空双流网络行为识别方法。针对第一视角行为样本中光流和RGB差异对于样本的运动特征表征不足的问题,本文设计了特征谱流这种相邻帧之间特征谱级别的差异表示,通过对特征谱的二维卷积和残差连接操作,激发了原始帧中的运动敏感信息,完成运动建模。同时,本文基于运动形态注意力的特征融合方法使融合特征具有更好的时空表征能力,有效提高了行为识别的正确率。3.本文研究一种基于多尺度时空融合的行为识别方法。针对第一视角行为样本的运动速率存在较大差异的问题,本文对时间金字塔进行改进,搭建了多尺度特征谱流时间金字塔,凸显了时间金字塔的运动属性,使时空特征在融合时的比重更加合理,实现了行为识别正确率的提升,增强了网络模型对不同运动速率的行为样本识别的鲁棒性。4.本文研究一种基于无参数时域建模的行为识别方法。针对行为识别中多尺度时域建模计算量过大的问题,采用通道时移和残差连接的方法实现了零额外参数的时域建模。同时,将空间信息的提取放在连续帧中,使用时空自融合策略去除了单帧分支,降低了时空融合的内存成本。实验结果表明本文方法降低了2.95%的正确率,提升了25%的前传速度,较好地实现了模型表达能力与计算成本的权衡。