近年来,恶意代码和网络攻击频繁,造成的危害越来越大,新的威胁又不断涌现,日益严重的网络安全问题,不仅使得企业遭受了巨大的经济损失,而且使国家的安全面临着严重的威胁。面对恶意代码日新月异的更替和爆发式增长,传统检测方法的能力越发显得疲软,如何实现准确和高效的恶意代码检测成为当前网络安全的重点关注,鉴于深度学习的相关技术在图像处理和自然语言处理领域取得的丰富研究成果,本文将对深度学习在恶意代码检测方向的应用进行研究。本文首先对当前国内外对恶意代码的研究现状进行了总结,鉴于目前大多数的卷积神经网络的恶意代码分类方法存在的参数过多和计算量过大的问题,利用恶意代码的图像纹理特征,提出了一种基于Shuffle Net轻量级卷积神经网络的恶意代码检测方法。使用灰度图来提取和描述纹理特征,通过Shuffle Net构建模型并进行模型训练,学习纹理的深层次特征;选用softmax分类器将恶意代码划分到所属的家族。实验结果表明该模型的分类准确率达到了98.54%。实验中,设置了多种浅层机器学习模型作为对照组,最后通过与浅层机器学习方法进行比较,证明了该方法在恶意代码家族分类方面的性能优于机器学习方法。然后针对传统的恶意代码分类方法中手工特征工程无法提取恶意代码的深层特征的问题,提出了一种基于门循环单元GRU(Gate Recurrent Unit)的恶意代码分类方法。从反汇编的.ASM文件中提取出操作码序列,使用N-gram算法表示操作码序列,并利用处理后的操作码向量特征空间训练GRU模型,自动提取操作码的深层次特征并对恶意代码进行家族分类。实验结果表明该模型的分类准确率达到了98.57%,明显优于传统的机器学习方法。最后提出了一种特征融合的恶意代码家族分类方法。将操作码特征和纹理特征相结合,利用融合后的特征数据来训练Shuffle Net模型,并对模型进行参数的调整和优化,以提高恶意代码家族分类方法的泛化能力。实验结果表明该模型的分类准确率达到了99.73%,通过对单一特征和融合特征的准确率结果进行比较,证明了特征融合的恶意代码家族分类方法有很好的分类性能,且将该实验的准确率和参数量结果与基于其他卷积神经网络(Convolutional Neural Network,CNN)的方法进行对比,最终证明该模型优于其他的卷积神经网络模型。