根据设计图编写计算机代码是开发人员为客户构建网站和移动应用程序而进行的一项非常典型任务,但编写代码是一件非常烦闷和重复的事情,消耗程序员大量的时间和精力。Pix2code是一个端对端的深度学习模型框架,输入图像用户页面自动生成代码,正确率达77%。但Pix2Code模型由相对简单的算法组成,其使用的数据集也很小,无法投入真正的实际使用。本文首先对传统代码自动生成技术和深度学习基础理论进行了探讨,并试图使用更复杂的算法和一些正则化方法改进模型。Pix2code主要分三大模块,使用卷积神经网络的视觉模型,使用长短期记忆网络的语言模型和解码层,结合两种算法的优势生成代码。新算法在测试集的正确率从原始模型的77%提升到了85%。结果也表明:(1)残差网络的特征提取能力强,使在视觉模型运用了该算法以后整个系统的稳定性有所提升,泛化能力增强,但是测试集的正确率提升不太明显。在没有增加训练的轮数下训练集的正确率得到了比较大的提升,增加了系统以后提升的可能性。(2使用双向长短期记忆网络优化视觉模型和解码层以后,系统的鲁棒性提升明显,模型也变得更加稳定,测试集的正确率大幅度提升。通过加入正则化也能减轻过拟合的情况。在原始系统解码层中加入dropout正则化就没有明显的效果。双向长短期记忆网络在处理这种上下文内容有明显结构和内容关联的任务有比较明显的优势。虽然基于深度学习算法来生成代码还处于初级的研究阶段,通过本研究已显示出巨大的潜力,随着研究的不断进行,最终完全由计算机系统编写能上线运行的大型程序将成为现实。