伴随着人类社会步入大数据时代,越来越多的多媒体数据涌入互联网中,面对海量的图片数据,人们迫切的希望可以利用计算机来自动识别处理这些多媒体数据,这也推动了计算机视觉这一领域的发展,其中从复杂背景的图片中提取文本信息一直是计算机视觉中的一个热点、难点。近年来神经网络在计算机视觉的各个方向都获得了突破性的进展,原因是相比于传统的人工提取图像特征的方式,神经网络最大的优势是可以自动提取高层特征,这在处理自然场景等复杂问题中尤其重要,而卷积神经网络又因自身结构的特点避免了处理图像这种高维数据带来的计算量的指数增长。因此使用卷积神经网络进行场景文本识别的研究也越来越成为主流。在这样的背景下,本文的整体思路是将自然场景下的数字识别分为字符定位和字符识别两个任务,首先利用卷积神经网络实现字符区域的定位,在获得字符区域的准确位置后,利用循环神经网络对该区域包含的字符串进行识别。在字符定位任务中,本文通过对物体检测任务和自然场景下字符识别任务的分析与对比,将目前在物体检测领域的一个主流框架Faster-RCNN应用于字符定位任务中,将字符串当作一个特殊的物体。在应用Faster-RCNN框架时针对字符识别任务对框架的输出、网络规模、Anchor比例和IOU阈值等几个方面做了优化。在字符识别任务中,本文使用卷积网络和循环网络融合的网络结构,用卷积网络提取特征,用循环网络生成最终的字符序列。分别训练这两个部分的网络,组成一个完整的识别系统,并在几个公开数据集上进行验证,最后在字符定位的精度方面获得了优于其他方法的效果。