论文部分内容阅读
随着智能手机和平板电脑等移动终端设备广泛使用,涌现出大量的手写电子文档,其中手写文字识别技术发挥着重要的作用。手写公式符号识别是手写识别重要研究的一部分,在一定程度上促进手写领域的发展。然而,手写公式符号识别是非常具有挑战性的问题。一方面,同一种符号存在大量的手写风格;另一方面,公式符号库中存在大量相似的符号,导致识别过程产生混淆。因此,本文基于手写公式符号的特点提出两种基于卷积神经网络识别的研究方法。主要工作如下:1、本文提出基于脱机下的稠密卷积神经网络手写公式符号识别的算法。采用数据驱动的方法代替传统的方法,其特点无需人为干预来提取特征。其次,该网络具备稠密残差的连接方式,有效减轻梯度消失的同时提取网络深层次特征。以自身连接的方式,将浅层的细粒度特征与网络的深度特征巧妙的融合。利用手写数学表达式识别的竞赛组织(Competition Organization on Recognition of Online Handwritten Mathematical Expression,CROHME)提供的标准数学公式符号库来验证所提出的算法。实验结果表明,所提算法能够有效地学习手写公式符号识别的属性,并且优于现有的多种手写公式符号识别的算法。2、针对在线数据转换为离线的图像的过程中,缺少一种动态的轨迹信息,导致相似性符号难以辨别。因此,针对该问题,提出了通过联合训练的多特征学习手写数学公式符号识别算法。该算法从原始序列中提取在线八方向特征图。为弥补方向特征缺少结构信息,通过Gabor滤波器对图像按方向进行分解,获取多方向梯度图。其次,将方向特征层分别融入卷积层中,分别学习在线和离线特征。最后,构造联合损失以自监督学习的方式提高可判别性特征。实验结果表明所提算法明显改善了相似符号判别从而提高了识别的精度。