网络服务器和个人主机经常受到网络黑客的威胁,他们使用恶意制作的数据包来利用软件漏洞并获得系统管理员权限。尽管当前研究人员针对软件漏洞及相应防御方法进行了大量的研究,但此类攻击仍然是安全领域最大的问题之一。随着数据执行保护和W⊕X的广泛部署,攻击者被迫在二进制文件中重用现有的代码片段。代码重用攻击可以执行任意的图灵完备计算而不用注入任何恶意代码。其中,面向返回的编程（ROP）已经成为攻击者规避最新操作系统的安全机制的重要手段。全世界的研究人员先后提出了许多防御与检测ROP攻击的方法,代表性的防御技术包括控制流完整性和地址空间布局随机化等。但这些方法大多都存在许多问题,要么是很容易被攻击者绕过,要么是检测率不高,要么是有较高的副作用,例如需要源代码信息、编译器支持等。因此,本文针对代码复用攻击的巨大威胁,研究运行时的底层硬件特征和gadget链特点,提出了2种针对代码复用攻击的检测方案,分别是低性能消耗、不需要任何边缘信息的基于硬件辅助的检测方法和检测覆盖面广、高检测率的基于深度学习的检测方法,并基于此实现了原型系统,进行实验验证了方案的可行性。本文的主要工作如下:首先,研究了ROP攻击在运行时发生的过程,发现了当发生ROP攻击时底层硬件性能事件的异常状况,会出现返回指令比例增加,出现大量的错误预测返回指令,指令转换后备缓冲区未命中异常增加,数据转换后备缓冲区未命中异常增加。根据此状况,在硬件性能计数器和最后分支记录的基础上,提出了一种基于硬件辅助的代码复用攻击实时检测方法——HBDROP（Hardware-based defend ROP）。其次,研究了代码复用攻击的执行需要大量gadget拼接这一特点,结合当前深度神经网络技术,将代码复用攻击的检测问题转换为一个2分类问题,提出了一种结合深度学习的代码复用攻击检测方法——Deep CRA。本文将良性gadget链和真实gadget链转换为数字化矩阵,作为输入数据送入卷积神经网络中进行训练,在检测阶段旨在将可疑gadget链进行分类,根据结果判断出是否有攻击发生。然后,由于Deep CRA中使用了深度学习技术,该方法就需要大量的数据集进行训练,受限于难以产生大量的真实的ROP攻击。本文研究了一种可以大量生成ROP gadget链的方法。该方法基于地址空间布局进行反汇编,将所有字节都视为内存地址,由此遍历整个地址空间。首先找到以间接返回指令为结尾的gadget,再将gadget拼接成链,由此生成了Deep CRA所需要的数据集。最后,在HBDROP和Deep CRA2种方法的基础上,本文在32位linux系统下分别设计并实现了针对代码复用攻击检测原型系统。在该系统中利用真实的ROP漏洞分别测试并验证了HBDROP和Deep CRA对代码复用攻击检测的有效性。同时,针对HBDROP,本文将其和同类方法进行了对比,在检测率和性能上高于同类方法;针对Deep CRA,本文从多个方面对其进行了评估,其中准确率在98%以上。最后,探讨了2种方法各自的限制。