目前,随着互联网的飞速发展,恶意软件的传播更加猖虐,使得传统的恶意软件检测方式不能满足当前的需求。另一方面,恶意软件数量激增的主要原因是一些源恶意软件产生了很多变种。将恶意软件进行家族分类,找到源头才能从根本上解决问题。传统的恶意软件同源性分析大多基于恶意软件的单特征或者多特征进行分析,单个特征并不能完全表现出恶意软件的全部内容,多特征分析只是将每个特征单独分析,通过组合投票的方式对恶意软件分类。因此,如何以更加完整的方式来表示恶意软件值得深入研究。在特征提取方面,论文通过对恶意软件特征进行研究,结合图像处理的方式改进了原有的特征提取方式。本文将API调用图序列转化为邻接矩阵,并计算每个API的权重值,将低于设定阈值的API从邻接矩阵中删除,进而得到API关键节点邻接矩阵,然后转化为单通道图片;将操作码特征编码后进行加权得到的二维矩阵转化为单通道图片;将单通道的灰度图、操作码特征图、API特征图压缩合并成三通道RGB彩图,用RGB图作为恶意软件的特征进行分类。在分类器方面,论文通过分析现有深度残差网络（RES-NET）结构模型,针对于本文提取的RGB特征图提出了改进的RES-SVM网络结构模型。RES-SVM网络结构是将RES-NET网络的全连接层连接到SVM分类器上,这样就可以将RES-NET前缀网络结构得到的输出结果输入到SVM分类器,进而得出最终的分类结果。为了验证三通道RGB图特征在实际检测时的效果,分别将三个单通道特征作为对照组进行对比试验,对于RES-SVM分类器也进行了对照试验。试验结果表明本文提出的将恶意软件三种特征合并为RGB三通道特征的方法,使常规分类器在对恶意软件分类时有更好的准确率,若使用改进后的RES-SVM作为分类器更适用于论文提取的特征,准确率也会有提升。