随着云计算服务的不断丰富，云安全问题也日渐突出，传统一劳永逸的防御措施已难以生效。考虑到主机进程、文件、网络端口等系统资源的信息反映了系统的行为特征，若对云内虚拟主机的系统资源进行监控，则能够细化监控粒度，更方便地辅助衡量虚拟主机乃至整个云环境的安全状况。另外，SDN与云平台结合愈发密切，考虑利用SDN全网视图的特性，并借助SDN控制器实时控制的的功能，能够进一步提升网络监控方面的力度。　　为实时地监控虚拟主机的系统资源信息，并针对现有技术通过采集的监控信息难以还原系统行为的问题，本文研究基于内核驱动的进程、文件、网络监控的方法，对系统资源信息进行关联性地实时采集，同时针对现有方法在检测隐藏端口方面的不足，引入SDN的网络架构，并利用SDN控制器对云平台下虚拟主机的隐藏端口进行检测。本文主要的工作总结如下：　　(1)为实时采集系统资源的关联性信息，提出了基于主机回调驱动和过滤驱动的监控方法。针对进程监控，采用基于驱动回调的方法，对进程的创建和消亡事件进行实时监控，同时引入隐藏进程检测部分，选取了新的匹配特征和扫描算法，对现有基于内存扫描检测隐藏进程的方法进行了兼容性改进；针对文件监控，采用基于Minifilter的文件系统过滤驱动框架，对特定类型文件的打开创建、覆写、重命名、删除操作以及关联操作的进程路径、时间等信息进行实时监控；针对网络监控，采用基于WFP的网络过滤驱动框架，对表征网络连接的TCP、UDP等数据包进行拦截，提取其中的IP、PORT、传输方向等信息，并获取关联操作的进程路径、时间等信息。另外在此基础上实现各内核监控模块对应的应用层模块，实现控制指令的下发和监控信息的提取，并与管理后台进行通信，实现控制指令的接收和监控信息的上传。最后通过实验表明该方法具有良好的监控效果，即通过对监控数据的分析，能够较大程度的还原系统行为。　　(2)为能够有效检测云平台下所有虚拟主机隐藏端口的通信，提出基于SDN网络架构的主机隐藏端口检测的方法。利用SDN集中控制的特性，通过内存映射流表项的方法实时提取主机的连接信息，并结合主机代理的信息进行交叉视图检测，同时在检测过程中引入检测状态机，使得准确检测出部署环境下所有主机的隐藏端口。实验结果表明，该方法能高效地检测出主机恶意程序隐藏的端口，并具有良好的兼容性和系统性能。