传统的光学字符识别方法相对成熟并且已经应用到文档扫描等领域。自然场景文本图像通常包含复杂的背景、多样的字体、不可控制的光照以及视角变换、扭曲等不利于传统文本检测和识别的因素,导致传统方法在处理自然场景文本时性能大幅下降,自然场景文本的检测与识别还具有一定的提升空间。该文围绕基于深度学习的场景文本检测与识别中存在的问题展开研究和分析,具体工作如下:为了实现对任意形状的场景文本精确检测,提出了基于实例分割方法的复杂场景文本检测网络。使用为实例分割专门设计的骨干网络Mi T提取特征,改进了特征融合部分的特征金字塔网络,采用多层感知机的方式进行特征融合并获得像素级别的分割结果。主要解决了场景文本检测中弯曲的文本和任意旋转角度的文本检测效果差的问题。为了提取更丰富的文本语义信息以改善场景文本识别的性能,提出了融合语义信息的场景文本识别方法。为了更好地提取图像特征,采用Involution与卷积结合的方式设计了特征提取网络Red Net47并使用Transformer进行解码。采用Reformer改进了语言模型使其变得更为轻量,并用改进的语言模型对场景文本检测结果进行修正。主要解决了由于光照、模糊等原因造成的单个字符识别错误对整个单词的识别结果产生影响的问题。为了解决场景文本检测与识别需要独立进行的问题,提出了端到端的场景文本检测与识别网络。文本检测部分改进了轻量化的特征提取网络以及基于Transformer的金字塔特征融合网络。文本识别部分采用Masked Ro I将检测与识别部分进行连接,并使识别部分的语言模型迭代地优化识别结果。提出的网络可以端到端地进行检测和识别。