公式作为一种抽象、定义和表述问题的工具,是科技类文档中不可或缺的一部分。离线手写公式识别可以将手写公式图像转换为计算机可以编辑和表达的LaTeX字符串,在智能搜题、智能阅卷、辅助输入、转录信息等智慧教育及日常生活场景中都有着广泛的应用,能够直接便利人们的学习、工作和生活。然而,由于公式中字符间复杂的二维结构关系,传统的识别方法往往难以正确识别手写公式图像。随着深度学习的发展,研究者们将基于注意力机制的编解码网络应用到该领域中,并取得了较大的进展。但随着模型建模能力的增强,模型过拟合逐渐成为了制约该领域发展的瓶颈。此外,目前的研究工作没有针对长序复杂公式的识别进行优化,对于复杂的公式图像的识别效果依旧较差。如何应对模型过拟合问题以及长序复杂公式带来的识别挑战,是离线手写公式识别研究中亟待解决的问题。本文针对离线手写公式识别领域中存在的模型过拟合问题以及长序复杂公式带来的识别挑战,从训练数据、训练策略和模型结构三个层面展开研究,通过数据增强、优化模型训练策略以及增强模型对公式中字符依赖关系的建模能力等方法来提高模型对手写公式图像的识别效果。本文的工作内容如下:（1）研究了手写公式图像的数据增强方法。针对离线手写公式识别领域有限的训练数据难以支撑复杂的识别模型的训练,从而造成的过拟合问题,本文提出了三种数据增强方法:1)基于字符替换的手写公式图像生成方法,该方法通过图像变换算法和字符替换的方式,能够同时从视觉和语义层面上对原始训练样本进行扩充;2)基于真实场景数据的手写公式图像数据集,构建并公开了大型手写公式图像数据集HFID,相比该领域中已有的数据集,HFID具有数据量更大、字符类别更多、覆盖领域更广、更贴近真实应用场景等优点;3)基于生成对抗网络的手写公式图像生成方法,本文基于图像风格转换的思想,将印刷体公式图像转换为指定手写风格的公式图像,提出了能够解决CycleGAN隐写问题的P2H-CycleGAN网络和融合多尺度风格与内容特征的P2H-GANwriting网络。实验结果表明,本文提出的数据增强方法均能提高模型的泛化能力,降低过拟合影响。（2）研究了基于训练策略的手写公式图像的识别优化方法。针对已有的训练策略没有对模型过拟合进行优化,容易导致模型过拟合在训练集中的问题,本文根据模拟退火算法和Dropout的设计思想,提出了多轮混排训练策略。该策略将整个训练过程分为了多轮训练,在每轮训练中继承上一轮训练得到的网络参数,并通过混排字符字典的方式在每轮训练初期给模型带来扰动。通过这种方法不仅能使模型继承之前轮次学习到的特征,还能强迫模型降低对其中部分特征的依赖并学习新的特征,从而达到增强模型泛化性,降低模型过拟合的目的。实验结果表明,多轮混排训练策略能够有效降低模型过拟合影响。（3）研究了基于字符多模态关系依赖的长序复杂公式识别优化方法。针对现有模型中隐式的关系依赖建模难以学习字符间的长序依赖关系的问题,本文提出了一种多模态关系依赖注意力模块。该模块首先通过融合字符的视觉和语义两种模态的信息来增强模型对字符的表达能力,然后以字符多模态特征为输入,利用注意力机制高效地建模当前待识别字符与已经识别到的字符之间的依赖关系,最终利用该依赖关系辅助当前字符的识别,达到提高模型对长序复杂公式图像识别效果的目的。实验结果表明,多模态关系依赖注意力模块能够高效而准确地建模字符之间的视觉和语义关联,并能有效提升长序复杂公式图像的识别效果。