随着智能相机、移动手机等智能终端的不断普及,基于拍照的文字自动识别技术正得到广泛应用。利用卡号自动识别技术,可以快速高效、自动准确地解析拍照获取的银行卡图像信息。与自然场景下的文字检测与识别问题类似,卡号检测与识别面临着相似的难题:光照影响、拍照视角影响、成像质量、卡号字体颜色方向等影响。除此之外,卡号人为设计的复杂场景也增加了检测与识别的难度。本文对基于拍照的端到端卡号检测与识别进行了系统研究,主要工作和创新点如下:在卡号检测方面,针对卡号成行排列的特性,为缩小卡号检测搜索范围,并排除无关背景干扰,巧妙采用LSD直线检测算子检测卡片;接着充分挖掘卡号字符与背景干扰在结构边缘上的显著差异,提出了一种结合卡号字符边缘框(Edge Boxes)与谱聚类的卡号行检测方法。其次,针对在卡号行上,卡号字符与非卡号字符在梯度和纹理上的细微差异,提出了一种对梯度特征表达能力更强的FHOG特征和对细致纹理描述更趋合理的改进的IRLBP特征,并结合AdaBoost方法,提出了融合多级级联检测器的卡号数字字符检测方法,并通过实验证实了卡号检测方法的有效性。在卡号识别方面,针对由于卡号数字包含复杂场景等因素的影响,其类间类内差异相对特殊和复杂,提出了一种对类间固定差异进行描述的GLAC描述子,以及基于预先构建的视觉词典对类内差异进行部分表达的SIFT-BoF描述子,将两者融合并采用多分类SVM,构建字符识别器。考虑到卷积神经网络(CNN)在分类上的固有优势,提出分解卷积层从而增加网络层数,最终提高网络的非线性表达能力;引入逐层归一化技术避免过拟合,对CNN网络结构进行改进优化;并对网络训练过程调优处理,以加快收敛速度。然后,采用因子分析法对CNN网络提取的抽象语义特征进行降维处理,分离风格因子与内容因子,构建基于改进的CNN的字符识别器,并通过对比实验证实了卡号识别方法的实用性。最后,融合字符识别器,构建端到端的卡号字符识别系统,通过比对实验,证明了检测与识别方法的适应性。