服务机器人、自动驾驶等的运用过程中,往往要对视频图像进行处理,获取周围信息。而文字包含了许多高概括度的语义信息,在图像及视频的理解中承担着十分重要的功能。传统的印刷文本的识别与提取(OCR)技术已经十分成熟,但在文档之外,自然场景的文本识别则难度较大,且日益成为研究的热门领域。目前对于视频的文本获取,基本都将其分割为单帧图像进行处理,这将导致大量的重复以及不直观,特别是较大视场的文字以及数字信息,大多数方法得到的效果非常差。本文从这一角度出发,利用帧间联系,处理整个视频,获取其中文本全景图,获得直观的文本信息。首先,搭建文本检测神经网络,对YOLOv3目标检测框架进行修改,调整锚框横纵比、卷积结构等,使其更加符合文字检测的要求,融合多尺度锚框结果,在ICDAR13等数据集上进行端到端的训练测试,目的在于获取高速可靠的文本检测框架。然后,建立了文本跟踪模型,针对于视频文本处理,每一帧都使用检测将消耗大量的运算资源,采用跟踪代替检测,可以提高视频处理速度,获取关键帧。本文采用ECO跟踪技术,提出了改进版ECO,对检测出的文本进行持续跟踪,获取运动状态下文本的位置变化,及时判断文本开始结束关键帧,并对检测出的文本的裁剪、文本跟踪的停止条件等进行了规定,使得视频的处理全自动化。最后,对关键帧图像进行拼接,着重关注文本部分的拼接效果,消除全局拼接带来的重影现象,提高拼接速度及文本区域的效果,获取文本全景图,获知视频内的文本信息。提出了一种基于局部的全局拼接方法,能够利用跟踪的文本框区域获得转换矩阵。并且整个拼接与跟踪定位相联系,能够用最少的有效帧来获取全景图,且无论对于大视场文字还是小的局部文字,其处理方式都一致,保证了整个视频处理的文本信息提取无遗漏,并解决了文字提取的重复性问题。制作算法处理界面,方便人机交互以及更好分步处理视频文字。