与PC平台相比，智能手机系统中保存了大量的隐私信息，而且大多数手机用户缺乏必要的安全意识，使得恶意软件日益泛滥。由于Android具有开源、开放、免费等特点，使得其成为恶意软件的重点攻击目标。因此针对Android系统的恶意软件检测具有重要的实际意义。由于缺乏足够的恶意软件样本，本文建立在少量恶意软件样本的基础上检测Android平台未知恶意软件，因此针对不均衡数据集，提出了一种Android未知恶意软件检测方法。本文的具体研究工作如下：首先，为克服传统的特征选择方法在不均衡数据集上检测效果不佳的缺陷，本文以Android系统为研究对象，借鉴集成方法的思想，提出一种基于集成式特征选择方法。通过调整训练样本集中样本分布得到多个均衡的训练样本子集，采用传统的特征选择方法从每个训练样本子集中选取特征，得到特征子集。对得到的多个特征子集以集成学习的方式进行结合，从中再次选取特征，得到用于检测恶意软件的特征集。实验结果表明，该方法能够缓解传统特征选择方法在不均衡数据集上检测效果不理想的现象。其次，从Android系统和PC平台的差异出发，提出了基于Android权限的检测方法。Android系统通过程序沙箱来确保系统安全，通过权限机制确保数据安全，其中与用户安全关系最密切的是权限部分。某些特定的权限组合可能会产生恶意行为，并且权限组合的复杂度越高，其安全威胁级别越高。因此采用Apriori频繁项的挖掘算法获取权限组合，然后计算权限的相对偏离距离，量化权限的威胁程度，最后将权限组合的威胁值作为权限引入贝叶斯分类算法中，进行分类检测。最后，本文实现了一种针对不均衡数据集的Android未知恶意软件检测系统，将数据集不均衡问题和Android权限机制存在的问题进行综合考虑。由于智能手机的内存、电池电量等资源有限，该检测系统在计算机终端实现训练过程，手机终端实现测试过程。同时，通过实验验证该检测系统的有效性。