云计算技术是多种技术融合发展的结果,并代表了未来计算服务的发展方向。目前虚拟化技术特别是主机虚拟化技术已经在云数据中心得到了广泛应用。在云环境下进行异常检测所面对的被检测实体(包括传统的硬件服务器、大规模的用户虚拟机、用户应用系统、虚拟机监控器等)与在传统IT架构下相比具有大规模、多样性和复杂性等特点。因此为了保障云数据中心的稳定可靠运行,就需要一种能及时发现和有效识别云环境下大规模、多样性实体的异常状态的异常检测系统。而考虑到云环境下虚拟机的性能状会受到底层物理服务器状态的影响,也会受到运行在虚拟机内的用户应用系统状态的影响,因此针对处在中间层次的虚拟机的状态(系统性能指标)进行异常检测有助于发现云环境下不同实体的异常状态。本文深入研究和分析了云环境下针对虚拟机进行异常检测所面临的问题,并在对现有主要的异常检测相关技术和研究成果的总结和深入分析基础上,主要针对云平台下运行环境感知的虚拟机异常检测策略、虚拟机的状态信息采集网络的优化构建和异常检测节点优化部署等方面进行了研究。本论文的具体研究工作和创新点包含如下几个方面:①针对虚拟机的不同运行环境对异常检测准确性所造成的干扰,本文提出了运行环境感知的虚拟机异常检测策略,将上下文异常检测问题化简为多个检测域内的点异常检测问题,消除了虚拟机的不同运行环境对异常检测所造成的不利影响,提高异常检测的准确率。②云环境下虚拟机的运行环境是动态变化的,导致基于运行环境相似性的检测域划分也是动态变化的。在这种情况下检测域的划分效率将直接影响检测域中针对虚拟机的异常检测的实时性。针对上述问题本文提出了基于改进k-medoids聚类的检测域划分算法,通过对k-medoids聚类算法在初始化中心点选择和迭代过程中的中心点替换策略这两个方面进行改进,提高了检测域的划分速度,提升了异常检测的实时性。③在对检测域中大规模虚拟机的状态信息进行采集时的通信开销,特别是网络通信中的固定开销很快会耗尽异常检测节点的资源,使其成为整个检测系统的瓶颈。针对这一问题本文提出了检测域中状态信息采集网络动态优化构建算法,在该算法中以兼顾状态信息采集网络的可扩展性和采集效率为目标,在充分考虑网络通信固定开销带来的影响基础上,根据检测域中各节点(包括被检测节点和异常检测节点)的资源可用情况在被检测节点和异常检测节点间动态地构建状态信息采集网络。④针对云数据中心的资源共享和复杂性等特点,以及检测域规模的动态变化性,引入专门部署用于异常检测的虚拟节点(检测虚拟机),利用虚拟机的快速部署、封装和易迁移等特性,提高异常检测系统的可伸缩性和可靠性;提出检测虚拟机的优化部署技术,在选择服务器进行检测虚拟机部署时充分考虑服务器的资源可用情况和共享服务器资源竞争对检测虚拟机性能的影响两方面的因素,在保证服务器间负载均衡以及服务器资源使用的平衡前提下,兼顾整个异常检测系统事务处理能力的优化。⑤在检测域中针对虚拟机进行异常检测时,由于虚拟机具有大规模、部署和运行环境高动态性等特点,要求异常检测系统具有较好的可扩展性、实时性和自适应性。而虚拟机部署和运行环境的高动态性会导致无法及时获得适当的训练数据集,会严重影响异常检测系统的实时性和自适应性。针对上述问题本文提出基于增量SOM(Self-Organizing Maps,自组织映射)的动态自适应虚拟机异常检测机制,给出基于增量SOM的检测域内虚拟机状态统一建模方法,避免了针对每个虚拟机分别建模所带来的开销,提高异常检测系统面对检测域中大规模虚拟机时的可扩展性,同时解决了SOM网络训练数据的及时获取问题;提出初始化和基于邻域的训练域中心点改进搜索算法,减少计算开销,缩短SOM网络训练时间,提出SOM网络动态调整机制,缩短针对检测域变化时的调整时间,提高异常检测系统的实时性和自适应能力。