随着计算机技术的发展与普及,软件数量不断增多,软件的的规模和复杂度也在大幅增加,软件的开发、维护以及重用的难度也随之大大提高。程序理解是程序进行分析、抽象、推理的过程,在软件开发的各个环节发挥重要作用。通过程序理解充分挖掘出程序中的隐含特征,将代码抽象为特征向量从而应用于代码补全、代码纠错、代码克隆检测等下游任务,能够助力于软件工程、计算机教育等领域。深度学习是一种数据驱动的端到端的方法,在大规模数据上构建深度神经网络挖掘数据中隐含的特征。近年来,深度学习技术取得了长足的发展,开源软件与社区的发展提供了大量代码数据,这使得将深度学习应用于代码相关任务变得可行。许多程序理解工作针对特定任务展开,依赖有标签数据集,且难以泛化到其他任务。代码预训练模型能够自监督地在无标签数据上挖掘代码的语义规律,生成代码的通用表示,在微调之后应用于不同的下游任务。目前的代码预训练模型大多基于自然语言处理的预训练模型演化而来,少有考虑代码特有的结构信息。为此,本文基于代码属性图提出一个了图上的代码预训练模型CPGCode,设计了三个预训练任务共同学习代码属性图的特征表示。围绕上述研究内容,本文的主要贡献如下:（1）设计了一个基于图神经网络的代码预训练框架:该框架将代码抽象成代码属性图之后,采用门控图神经网络作为编码器来传递顶点信息并学习顶点表示,通过自注意力机制聚合顶点信息生成图的表示,通过多任务学习结合三个图预训练任务来自监督地挖掘代码语义信息从而生成代码的通用表示向量。（2）设计了一种代码属性图的子图划分算法:代码属性图能够捕获代码中更丰富的结构信息,因此本文选择将其作为代码的中间表示。进一步地,在代码属性图的基础之上,设计了一种子图划分的算法,结合边的属性以及拓扑排序将代码属性图划分为若干个子图,并在此之上实现了聚合子图生成新图的算法,以便应用于后续的预训练任务。（3）设计了三个考虑代码特性的图预训练任务:其一为属性遮掩,通过邻域结构预测被遮掩的点与边的属性;其二为子图预测,预测子图是否出现在代码属性图中;其三为边重建,预测子图之间的连通性。这三个预训练任务涉及代码属性图的点、边、子图三个层次,能够结合点与边的属性特征以及图的结构信息,学习出代码片段更通用的表示。综上所述,本文提出了一个代码预训练模型,基于门控图神经网络对代码属性图进行编码,并设计了属性预测、子图预测和边重建三个子任务,通过多任务学习来自监督地学习代码表示,最后将其应用于四个不同的下游任务。