操作系统的安全一直是人们最关心的话题,而面向返回导向编程（Return-Oriented Programming,ROP）是所有操作系统的安全中最危险的一种攻击方式,它通过从漏洞程序中搜索以ret命令结束并且具有一定功能的指令序列,将其有效链接为gadget链,最后劫持程序执行流到该gadget链上实现攻击。针对ROP攻击,很多检测防御技术被提出,如堆栈检测、控制流完整性、地址随机化等,但这些检测防御技术都在准确率或效率上存在一定的局限性。另外,防御技术的发展也催生了 ROP变种攻击的出现,ROP变种攻击的指令利用更广泛、攻击方式更多变、行为特征更隐蔽,能绕过绝大多数现有检测防御技术。针对ROP及其变种攻击的动态特征,本文结合图神经网络提出检测方法——ROPGMN,比对当前执行流和正常执行流的差异,根据其相似度判定是否有攻击发生。为了降低ROPGMN的性能开销,本文还研究出融合多维度的执行流过滤方法——ROPMFilter,仅将疑似具备攻击特性的执行流输入到ROPGMN中进行检测,极大提高检测效率。本文的主要工作如下:首先,本文研究了攻击时变种gadget链的统计特性与结构特性,针对gadget的出入口地址与gadget之间的链接特点提出四个检测策略:指令平衡、变种gadget阈值、返回地址校验与函数指针校验。有机融合这四个策略,提出一种高效的执行流过滤方法ROPMFilter,能有效筛选出疑似具备攻击特征的执行流。其次,结合图神经网络提出一种准确率较高的攻击检测方法ROPGMN。该方法将ROPMFilter筛选的程序执行流和检测前准备的正常执行流做图匹配比对,得出相似度评分。若相似度低于设定的相似度阈值则判定存在ROP及其变种攻击。由于对执行流的图提取和特征提取充分考虑了变种gadget的特性,能良好地涵盖了攻击链的特征,故判断结果具备较高的准确率。又由于ROPMFilter对执行流进行了筛选,大大降低了图匹配的压力,故整体检测技术具有较高的效率。最后,在ROPMFilter和ROPGMN的基础上,本文在64位Linux系统下设计并且实现了针对ROP及其变种攻击的检测原型系统。在该系统中进行了大量ROP及其变种攻击实验,从多个方面评估了本文提出的检测工具与其他ROP检测手段之间的差异,对比准确率、效率和覆盖率等。其中准确率达到了 98.73%,误报率低至0.11%,覆盖率更是远高于其他工具,能有效检测出多种的ROP变种攻击。