场景中的文本信息能够更利于人们对图像进行理解,同时如何检测和识别场景中的文本也已经成为热门的研究领域。一个完整的场景文本检测和识别方案一般包括三个步骤,首先需要进行文本检测,然后再进行文本筛选,最后才是文本识别。现有的方法存在以下的不足之处:(1)最大稳定极值区域(MSER)算法是主流的场景文本检测方法,但它只考虑了图像的灰度空间,没有充分利用其他颜色信息。(2)对于非文本筛选,现有方法大多是基于神经网络,但是常规的神经网络必须要求输入的图片具有统一的尺寸,导致不能直接处理由MSER算法产生的不规则区域。(3)现有的文本识别方法一般是针对单个字母进行识别,没有考虑单词内字母的关联关系。针对以上问题,本文进行了如下研究:(1)增强的多通道最大稳定极值区域模型(Multi-channels MSER)。在对图片进行MSER提取之前,先对图片进行锐化和模糊处理,然后在传统的MSER算法基础上,对图像提取多个通道(R,G,B,H,S,I,Grey),从不同的颜色模型中提取多个维度的信息,然后把结果整合,使得MSER能够检测出模糊和不同字体的文本。实验表明,该方法能够检测出更多的场景文本,平均的f指标提高1%。(2)并行的空间金字塔卷积神经网络分类器(SPP-CNN)。对于非文本MSER,本文提出的分类器模型有两个主要的改进,首先在传统的CNN基础上,加入了空间金字塔池化(SPP),使得神经网络可以处理任意尺寸的图片而且可以提高分类效果。其次,将人工设定的特征融入CNN网络中,形成并行的分类器,这样能够更好对非文本MSER进行过滤,使得检测的精度大大提高。(3)基于循环神经网络(RNN)的场景文本识别模型。在对文本进行识别时,把待检测的单词区域作为序列数据,采用RNN对单词序列进行预测。为了更好的处理较长序列在RNN训练过程中出现的梯度消失问题,本文采用了长短时记忆网络(LSTM)对RNN的内部循环结构进行了替换。最终实验表明场景英文文本的识别率平均提高5%。