随着计算机技术的发展,视频在互联网、广播频道和个人设备上变得无处不在。同时促进了以分析视频内容为目的的先进技术的发展,可以被广泛应用于视频检索、自动字幕以及盲人导航等领域。几十年来,视频理解一直是计算机视觉的一个基本挑战。早期的研究主要集中用一个预定义的且非常有限的一组独立的单词描述视频。由于循环神经网络（RNN）的发展,研究人员努力用完整自然的句子自动描述视频内容,这可以被视为视频理解的最终目标。视频语义描述是指根据所给视频的内容,即视频特征,生成相应的形容该视频的句子。面对海量视频信息,采用人工对所有视频进行描述显然是对人力和财力的巨大浪费。因此,自动的视频语义描述是一种必然趋势。近年来,随着深度学习的发展,通过理解视频内容对视频语义描述取得了显著的进步。目前提出的方法大多基于编码-解码框架:编码器利用卷积神经网络（CNN）为单帧图像提取特征,然后将视频的特征输入到一个RNN中对视频内容进行编码,最后解码器利用另一个RNN对视频特征进行解码,从而生成一个用自然语言描述的句子。但是由于视频中的角色、对象以及它们之间复杂的交互作用,视频语义描述仍然是一个具有挑战性的任务。因此,如何找出视觉内容的显著区域,并将其编码成丰富的特征来表达视频是非常重要的。本文提出两种视频语义描述的方法,一种在生成每个单词时都对原始特征进行聚合生成时空表示,而不是只编码一次,在解码阶段提出双层结构,利用两种损失函数进一步过滤视频中的有效视觉内容。另一种方法实现自动定位每一个视频帧中的显著性区域并且能够学习一个具有识别力的时空表示特征。