恶意PDF（Portable Document Format）文档是恶意代码的常见形态,具有传播范围大、利用方式隐蔽、用户难以防范等诸多特点,已经成为网络安全的重要威胁。目前针对恶意PDF文档的检测方法都有一定的不足:1)静态检测方法难以应对混淆加密后的样本,动态检测针对的是单一恶意行为;2)基于机器学习的检测方法主要二分类识别恶意PDF,缺少对恶意行为的深入分析。针对上述问题,首先分析了恶意PDF文档的结构,总结了恶意PDF文档攻击的三种恶意行为,包括恶意链接攻击行为、嵌入恶意代码攻击行为、漏洞利用攻击行为。在此基础上提出结合动态检测和静态检测的攻击行为检测方法:对于恶意链接攻击行为,为了避免混淆的恶意样本通过静态方法提取不到完整的URL（Uniform Resource Locator）,提出利用确定性记录重放技术和虚拟机内部模拟自动点击URL来生成网络流量,然后使用机器学习算法来判定URL的恶意性。对于嵌入恶意代码攻击行为,利用虚拟机记录重放来分析恶意代码执行过程中的系统状态,包括进程、注册表、文件等常规行为,使用动态污点跟踪和内存分析提出了分析shellcode执行的6条规则,能够得到shellcode内存布局、调用栈、ROP（Return-oriented Programming）指令等复杂行为。对于漏洞利用攻击行为,分析了两款不同PDF阅读器的部分漏洞利用信息,建立了Yara漏洞利用特征库,在内存分析的基础上进行特征匹配,能够提高分析速度。基于上述方法设计实现了恶意PDF文档检测原型系统,选择60个恶意PDF样本进行测试,并且与微步云沙箱和Virus Total进行比较。测试结果表明,本系统检测的准确率达到96.67%,相比于微步云沙箱和Virus Total提高了3.34%,此外与Virus Total只能检测出独立分散的行为不同,原型系统能够结合提取到的特征行为关联分析,还原出恶意PDF的攻击过程,从而直观的理清其攻击意图。