随着互联网的飞速发展人们的生活与互联网的联系变得越来越紧密,国家也提出了“互联网+”战略来促进社会发展。确保互联网的安全已经成为国家和个人都非常重视的问题,而对互联网危害最严重的就是恶意代码。由于恶意代码的数量飞速增长以及恶意代码技术的不断更新,恶意代码的分析变得越来越困难。因此,对恶意代码进行分析和检测可以尽可能的减少恶意代码带来的危害,也使人们的生活变得更加便利和舒适。利用模型检测技术对恶意代码进行检测是一种合理且有效的方法。由于很难得到恶意程序的源代码进行行为分析,所以针对恶意代码的分析都是在其可执行样本上进行的。通过反汇编技术分析可执行样本总结出恶意代码的行为特征,之后利用时态逻辑将其转化为待检测的性质公式以方便模型检测;最后对要分析的程序建立相应的下推系统模型,然后进行模型检测来验证模型是否满足性质公式,上述过程就是利用模型检测技术对恶意代码进行检测的流程。论文从模型的建立、反汇编分析以及恶意代码的判定算法设计等方面对程序恶意行为识别的问题进行了研究。论文的主要工作及创新点包括以下几点:1.反汇编分析恶意二进制程序总结其共同特性。论文利用反汇编工具IDA Pro对大量恶意二进制程序进行反汇编分析,之后提取出这些程序中具有相同特征的系统API函数序列及其参数。最后使用SCTPL对这些共有特征的API序列描述。2.利用下推系统模型对待检测二进制程序进行模型建立。论文利用Jakstab反汇编结果对待检测的二进制程序建立出下推系统模型,而模型中的状态迁移规则根据反汇编结果中指令的类型定义。由于模型检测时需要对栈帧内容进行检测,迁移规则也需要依据指令是否改变栈帧内容进行相应描述。3.提出一种基于栈帧全部内容的模型检测算法检测恶意代码。如果模型检测算法在检测时只考虑栈顶内容,那么需要保证检测过程中栈顶内容不被改变才能使算法的检测结果正确。这就导致基于栈顶的模型检测算法能够检测的范围受到一定限制,使算法产生缺陷。为了弥补这个缺陷,论文提出了一种基于栈帧全部内容的模型检测算法。改进后的算法使用栈帧全部内容进行检测来解决栈顶被改变带来的问题,同时由于缩小了模型检测的规模使得检测速度有了提高。本文提出的基于栈帧全部内容的模型检测算法已得到了实现,实验结果验证了模型检测算法的正确性和有效性。