随着数字社会的发展,视频在日常生活中越来越常见,提取视频中的文字信息在自动导航、场景理解等多种应用场景下具有重要意义。视频文字识别系统可以看作是一个多目标跟踪系统,对于视频中的文字进行识别的子任务包括了:视频文字实例检测,由文字实例形成文字轨迹,由文字轨迹得到识别结果。视频与静态图像有很大不同,其主要表现在视频中的环境是不断变化的,其中的文字实例也是不断运动,导致了视频中常会出现运动模糊、光照变化、复杂背景等情况。这些干扰对于视频中的文字检测、轨迹生成以及识别都带来了挑战。与单张图片相比,视频是由多帧组成的,视频中的连续的多帧图像存在一定的相似性和关联性,同时视频中的文字实例往往也是存在于多帧之中的。帧与帧之间从图像层次以及实例层次都构成了一种上下文关系,这种上下文关系指的是连续帧之间的相似性以及文字实例存在的连续性,利用这种上下文关系理论上可有效解决以上视频中特有的挑战。本文从这种时空上下文关系出发,展开了以下研究:1)针对视频文字检测,本文利用图片级别的时空上下文关系,设计了一个特征聚合模块,通过聚合视频中的相邻帧的特征图来增强当前帧的特征图,借助基于图片级别上下文聚合得到的特征图具有更好的表征效果,可以更好的检测到受运动模糊、光照变化等干扰的文字实例。2)对于检测到的文字实例,需要对其进行区分关联而得到相应的文字轨迹,针对文字特性,本文提出基于文字字符金字塔直方图的语义编码属性,同时结合文字视觉属性,通过度量学习训练,得到可以鲁棒区分不同文字实例的特征向量,形成准确文字轨迹。3)对于由文字轨迹得到该文字目标识别结果的过程,本文利用实例级别的时空上下文关系,提出基于位置信息引导的注意力机制算法对单个文字实例进行识别,同时基于字符坐标改进的kmp算法对于同一文字轨迹的多个文字实例的识别结果进行对齐以及字符选取得到完整识别结果。以上研究构成了一套完备的视频文字信息识别框架,其同时实现了视频文字检测和文字轨迹生成。由于以上方法的有效性,本文方法相比以往方法具有更强的鲁棒性,该方案在该领域多个公开的基准数据集的相应任务上取得了最高或具有竞争力的结果。