随着计算机视觉技术不断发展,自然场景下的文本识别作为计算机视觉中的一个重要分支,近些年来被广泛应用于机器人指引、票据识别、车牌识别和工业检测等领域中,具有非常广阔的应用场景。但是,自然场景下的文本不同于标准文档中的文本,其背景信息往往更加复杂,同时也有方向倾斜、不定长和多角度等特征。本文针对自然场景下的文本特点,用深度学习方法对自然场景下的文本检测和识别进行研究,主要包括以下三个方面。1.针对自然场景下带倾斜角度的文本,在SSD目标检测算法的基础上进行了改进。对于单阶段目标检测算法中正负样本不平衡的问题,本文通过引入Focal Loss替代传统的损失函数来解决。为了让算法能够正确检测到带倾斜角度的文本,本文在SSD原始水平框参数里新加入旋转角度参数θ,使得检测框能更好地匹配到不规则文本。此外,从两阶段目标检测算法中得到灵感,将它的锚点学习机制引入到本文算法中,通过对锚点的细化,有效优化候选框质量,最终提高检测效果。2.本文在文本识别模型CRNN的基础上,通过在卷积层和循环层之间嵌入软注意力机制,进一步提取图像特征,以提升识别的准确率。CRNN网络在训练的时候因为循环层使用的是单层双向的LSTM,往往训练模型的时间较长。为了在不影响识别率的前提下加快训练速度,我们使用双层双向的GRU来替换原始的单层双向LSTM,以此缩短模型训练时间。3.文本识别是典型的seq2seq序列识别问题,本文使用Transformer替换掉文本识别算法的循环层和转录层,即直接将卷积层提取到的图像特征送入后续Transformer网络中,在保证准确率的前提下,缩短模型训练时间。最后,本文在ICDAR和SVT数据集上进行了验证,实验结果证明以上方法可行,同时采集了集装箱文本数据集并进行了相应测试,结果表明上述方法可以应用于现实工程任务。