随着数字存储技术的发展和可穿戴设备的流行,第一视角视频数量日益增多,广泛的第一视角视频相关应用开始普及。视频摘要与视频描述作为第一视角视频理解的重要方向,在危险行为监测、行为记录与行为分析等领域有着可观的应用前景。由于可穿戴设备的长期佩戴特性,如何智能化提取第一视角长视频的视频摘要并生成方便阅读的文字描述成为了急需解决的问题,并受到了大量研究者的关注。本文研究基于第一视角的视频摘要与视频描述算法,针对日常场景构建了同步记录视频与运动传感数据的第一视角数据集,并对现有的视频摘要与视频描述相关方法进行了研究与改进。具体内容如下:本文构建了第一视角日常场景视频摘要与视频描述数据集。该数据集面向日常场景,共计同步录制9.2小时的视频与传感器数据,在基于不同标准的标注下,该数据集分为视频摘要与视频描述两个部分。总体来看,该数据集为目前质量较高的第一视角数据集,其视频质量、内容丰富程度皆较为出色,并作为本文后续算法研究的基础。本文研究了基于多感知信息和高效混合自注意力的视频摘要方法。针对第一视角视觉模态很难完整体现拍摄者自身姿态变化的问题,本文设计了多感知信息提取与融合模块,通过融合视觉与传感器特征增强输入信息的多元性。此外,本文采用基于门循环单元（Gate Recurrent Unit,GRU）的编解码框架,并设计高效混合自注意力机制,在提升模型对复杂长视频建模能力的同时降低网络计算复杂度。本文研究了基于语义信息的视频描述方法。针对视频-文本之间的跨域变换使网络出现语义偏差的问题,本文设计了语义提取模块,使用编码后的多感知特征显式提取重要语义,并将其融入语义扩展的GRU解码网络,通过融合重要语义提升网络描述生成准确率。同时本文设计了语义一致性机制,通过修正网络前后语义偏差进一步提升网络精度。本文研究了基于多重注意力机制的视频描述算法。由于视频特征蕴含重要信息的同时包含大量冗余信息,为了使网络接收到更有效的信息,本文以基于语义信息的视频描述方法为基础,设计了通道-空间注意力支路与差异注意力支路并联的注意力网络,加强了特征在通道、空间、时间维度的信息表达。同时,本文对编解码框架中的自注意力计算引入相对位置编码,使重构的编码特征具有时序逻辑。