在移动互联网速发展的今天,Android操作系统已经是智能移动设备中的主流操作系统,而Android操作系统中出现的恶意应用软件也随之上升。恶意软件规模的逐渐扩大,使得恶意软件的恶意家族判别问成为了一个十分值得研究的问。本文围绕Android恶意软件家族判别问为中心,使用文件可视化处理的方法和图像分类域中常用的深度学习技术展开以下研究内容:(1)研究B2M灰度可视化、信息熵可视化和基于图片增强的伪色彩可视化三个算法对Android文件的处理方案,并提出了三通道RGB着色方案应用于Androi d可视化处理。并通过四种可视化方案的可视化结果对比以及产出Android恶意家族判别模型进行对比分析。(2)针对Android文件可视化结果所产生的体量大和噪声大两个问。本文结合对Android系统架构及应用特征和恶意应用体现的恶意家族特性,提出了Andr oid特征组合可视化的解决方案,提出了7种特征可视化组合方式,并通过实评估最佳特征组合方案。(3)将在图像分类域表现良好的Res Net残差网络学习框架应用于Android家族判别模型的训练过程。结合Android文件可视化和特征组合的数据处理方式,完成了针对Android恶意家族判别的Res Net网络学习框架设计。并且分别使用家族数量为4、8、12、16、20、24、36和46恶意家族的数据集进行实,证Re s Net网络结构对Android恶意家族判别问的可用性。本文通过实证实了三通道RGB可视化方案在Android恶意家族判别问上具有良好的应用效果。classes.dex文件、resources.arsc文件和META-INF目录三个特征的最佳特征组合方案可以在有效减少可视化数据量的情况下,达到一个良好的家族判别效果。最后,结合前最佳可视化的方案和最佳特征组合方案,对8个不同家族数量的数据集分别进行实。证明了Res Net网络结构在家族样本数量充足的情况下,能产出具有良好拟合效果的Android恶意家族判别模型,平均准确率达到了93.2%。