程序语法纠错任务是目前的一个研究热点,现有的方法主要是使用上下文无关文法和深度学习相结合的模型来提高纠错的准确率。深度学习模型在语法纠错任务上取得了越来越好的结果,但模型也变得庞大、复杂,导致模型训练速度慢。在监督学习方法中,复杂模型的训练需要大量的已标注修复动作的错误代码,而目前没有合适的自动化标记语法错误的方法,使得可用的真实数据集较少。迁移学习可以从相关领域中迁移标注数据或知识结构,改进目标领域的学习效果。预训练模型是迁移学习的一种常用方法,在自然语言处理和计算机视觉领域已经取得了广泛应用。本文使用深度学习方法,提出了一种代码预训练模型,并将预训练的代码编码模型迁移至程序语法纠错任务中,得到一种基于迁移学习的程序语法纠错模型。本文的主要贡献有:1.针对语法纠错任务中存在的数据量少、模型训练慢、泛化性差等问题,本文提出一种代码预训练模型。预训练模型分为生成器与编码器两部分。生成器是一个遮挡语言模型(Masked Language Model),负责过滤代码中存在的简单语法错误,生成自身难以解决的复杂错误。编码器是一个基于不完全语法树的代码编码模型,将代码视为语法树和token序列的结合,编码代码的文本和结构化信息。编码器的编码层可以迁移至其他代码相关的任务中进行微调,共享学习到的程序语言知识。本文在Deepfix数据集上测试了多种预训练方法的效果,证明了预训练模型的有效性。2.为了进一步验证预训练的基于不完全语法树的代码编码模型的效果,本文提出一种基于迁移学习的程序语法纠错模型,将代码编码器的编码层迁移至程序语法纠错任务中。除了迁移的编码层之外,本文额外添加了语法纠错任务对应的输出层,预测语法错误位置,从字典和输入序列中生成修复动作。模型采用迭代的方法逐个修复代码中的多个错误。本文使用Deepfix数据集训练并测试了该语法纠错模型。与未预训练的程序语法纠错模型相比,使用预训练的语法纠错模型取得了59.51%的纠错准确度,解决了测试集中的56.02%的错误信息,同时提高了修复代码结构化错误的比例至44.70%。