多模态机器翻译是利用不同模态的信息辅助文字翻译的任务,视频引导机器翻译是一种多模态机器翻译任务,其目标是通过视频和文本的结合来产生高质量的文本翻译。随着信息技术的快速发展,视频引导机器翻已经逐渐成为人们进行跨语言交流的重要手段,也逐渐成为人工智能领域研究热点问题,在自然语言处理、多媒体和计算机视觉领域受到了很大的关注,因为它可以支撑更多的实际应用。虽然该模型已取得一定的研究成果,但仍然存在着一些待解决的问题,包括:1)对视频引导机器翻译的噪声处理问题不够深入;2)对视频引导机器翻译中由于细节缺失而导致翻译错误问题的解决方法不够深入;3)对视频引导机器翻译中的词语歧义问题处理不够深入。我们重点针对以上三个问题开展研究,主要工作和成果包括:1)视频中含有丰富的信息,但并不是每一帧信息都有助于视频引导机器翻译任务,在视频中有一些无用帧会对视频引导机器翻译任务带来噪声的干扰。针对这一问题,我们引入一个交叉注意力机制,它将通过文字与视频帧进行交叉注意力机制,将视频中的每一帧赋予不同的权重,通过计算不同帧的影响力,选出一簇与文字关联的关键帧再通过时间注意力机制后得到的视频帧作为最终的视频特征,最后通过LSTM解码出目标语言。为了解决这一问题,我们提出了一种基于交叉注意力的视频引导机器翻译模型。该模型根据视频与文字模态具有相对重要性,利用文字选择相对有帮助的帧去辅助机器翻译,消除相对不重要的视频帧对视频引导机器翻译带来的噪声干扰,并结合视频中时序特征,将源语言和目标语言进行一个空间上对齐的效果。在Vatex公共数据集实验,获得了30.35个BLEU值,相比于视频引导机器翻译基线方法提高了1.23个BLEU值。在基于作者实验室汉-越低资源视频引导机器翻译数据集上,获得了17.72个BLEU值,与基线方法相比,提高了0.4个BLEU值。2)在之前的工作中,只基于视频中的时间结构选择相关片段引导机器翻译,所选片段中仍然存在大量与目标语言无关的信息。因此,在翻译过程中,视频中的时空结构依然没有得到充分利用,从而无法有效缓解机器翻译中细节缺失或翻译错误的问题。为了解决这一问题,我们提出了一种基于时空注意力（spatial-temporal attention,STA）的模型来充分利用视频中的时空信息引导机器翻译。我们提出注意力模型不但能选择与目标语言最相关的时空片段,而且能进一步聚焦片段中最相关的实体信息。所关注的实体信息能有效增强源语言和目标语言的语义对齐,从而使得源语言中的细节信息得到准确翻译。我们的方法基于Vatex公共数据集和构建的汉-越低资源数据集上进行实验,在Vatex与汉-越低资源数据集上BLEU4分别达到32.66和18.46,相比于时间注意力基线方法的改进了3.54与0.89个BLEU值。3)在视频引导机器翻译任务中,使用视频中的局部特征结构十分依赖于视频预处理时候局部特征与名词的对应关系,使得部分名词短语在翻译过程中仍然存在的短语歧义问题无法解决。因此,为了解决上述问题,我们提出一种基于变分自编码的视频引导机器翻译模型。该模型在已有视频局部特征的基础上,将源语言中出现的短语与视频局部特征作为输入,通过变分自编码生成一个与原始短语相似的隐向量特征,然后通过生成的隐向量特征与源句子特征作为输入,以信息增强的方式解决翻译过程中,名词短语翻译歧义的问题。我们在Vatex公共数据集与汉越低资源数据集上进行实验,在Vatex数据集上获得了33.2分的BLEU值,相比于基线数据提高了4.08个BLEU值,在汉越低资源数据集上得到18.78个BLEU值,并获得了1.46个BLEU值提高。