随着计算机技术的快速发展和普及,软件系统的规模和复杂性急剧增大。程序中不仅存在指针、数组、结构体等复杂的数据结构,而且还有并发、中断、循环、函数调用等动态过程描述机制。这些复杂数据结构和动态过程描述机制处理不当极易形成缺陷从而引发系统运行失效、造成严重后果,因此长期以来复杂程序的缺陷检测一直成为迫切需求和重要挑战。静态分析和动态测试一直是程序缺陷检测的重要途径。然而,静态分析方法由于对程序语义进行分析的深度不够从而导致较高的误报率,需要人工对大量的静态分析警报进行确认;动态测试方法由于程序的分支和循环导致的路径爆炸,难以对程序状态空间进行充分检测。随着人工智能技术的发展,近年来基于机器学习预测程序缺陷的方法引起学术界的关注,该方法将程序代码作为数据加以训练、形成模型用于预测程序缺陷,但是由于程序代码的数据表示形式缺少程序结构信息,从而导致模型的能力优势不足,使得缺陷预测效果难以进一步提升。本文以提高程序缺陷的检测效率、降低成本、改善可扩展性为目标,围绕并发程序的数据竞争检测、嵌入式中断驱动程序的静态分析警报确认、符号执行中约束难解障碍的规避、基于机器学习的程序缺陷检测模型中程序结构信息的数据表示建模等关键技术问题进行深入和系统的研究,主要工作包括以下几个方面。1.数据竞争是并发程序中的主要缺陷之一,由于并发程序的运行难以重现,静态分析是数据竞争缺陷的常用检测途径。然而已有基于静态分析的缺陷检测技术由于缺乏对程序路径的高精度分析从而导致高误报率,或者由于无法控制程序路径全局分析的复杂性从而导致其效率低下。针对该问题,本文提出了基于子路径分段分析的数据竞争缺陷检测方法。该方法首先在识别包含潜在数据竞争的子路径的基础上,采用潜在并发关系（May-Happen-in-Parallel,即MHP）分析来确定子路径中两个数据访问的并发关系;若可能并发,则验证包含该子路径路径约束的可行性,从而避免了直接分析完整路径导致的复杂性。实验结果表明,该方法与当前常用的四种数据竞争检测工具相比误报率最低（16.0%）并且分析速度最快（提升了6倍）。2.静态分析通过扫描程序代码以发现可能存在的缺陷,静态分析工具通常输出很多缺陷警报信息,这些警报信息需要人工确认,效率低且成本高。针对该问题,本文提出了嵌入式中断驱动程序静态分析警报自动确认方法。该方法以数据竞争缺陷的静态分析警报为依据,制导符号执行生成能触发数据竞争的测试用例;再基于仿真平台构建嵌入式中断驱动程序的运行环境,通过仿真执行测试用例以确认静态分析警报。在11个包含中断和数据竞争的Linux驱动程序和航天系统控制程序上进行实验,结果表明该方法能够对生成的所有静态分析警报进行自动确认。3.符号执行是探索程序运行路径并发现缺陷的重要途径,但是在检测缺陷的过程中符号执行可能在约束难解问题上浪费大量资源,从而导致效率低下。针对该问题,本文提出了基于卷积神经网络（CNN）的符号执行难解约束预测方法。该方法通过卷积神经网络模型预判约束的可解性,使得符号执行能够规避约束难解问题,在设定时间内尽可能多地探索路径空间,从而提高缺陷检测效率。实验表明该方法能够提升符号执行7.5%的语句覆盖率。4.将程序代码作为数据加以训练、形成神经网络模型用于预测程序缺陷,是程序缺陷检测领域一种新的探索。但是,现有工作由于程序代码的数据表示形式缺少程序结构信息,从而导致模型的缺陷预测能力不足。针对该问题,本文提出基于图区间神经网络的缺陷预测方法。该方法基于控制流图表示程序,强调程序结构的局部性,通过将控制流图依据循环结构划分为子图的方式使得训练出的神经网络模型侧重于程序结构的局部性信息,在此基础上预测程序缺陷。实验结果表明该方法提高了缺陷预测27.8%的F1分数。