论文部分内容阅读
支持向量机(Support Vector Machines, SVMs)是基于统计学习理论以及结构风险最小化原则的新一代通用机器学习方法。它在解决小样本、非线性及高维模式分类及函数回归问题中表现出许多独特优势,是克服过学习、局部最优及维数灾难等传统困难的有效方法。由于其性能出色,支持向量机自诞生以来受到研究者越来越多的关注并已成为机器学习领域中一个新的研究热点。然而支持向量机计算复杂,效率较低,这在一定程度上制约了它的在产业界的推广和应用。本文从几个不同角度研究了提高其效率的方法,主要的研究内容及成果概述如下:1)增量及减量(在线)训练算法针对现有支持向量回归机(Support Vector Regression, SVR)在线训练算法每次只能处理一个样本而效率较低的问题提出一种基于多样本的支持向量回归机在线训练算法。算法以拉格朗日乘数法和卡罗需-库恩-塔克(KKT)条件为基础,逐步改变样本的系数,并在每次迭代中保持原来的样本满足KKT条件,最终使所有训练样本满足KKT条件。实验表明,本算法可以有效地实现SVR模型的精确在线更新,其运算效率优于针对单样本的支持向量回归机在线算法。在一次增加或减少的样本较少时,其训练速度远优于批量训练算法,因而可作为一种有效的在线训练算法。本算法可以高效地动态更新SVR模型,尤其适用于时变时间序列的预测以及时变系统的辨识等应用。2)SVM硬件实现针对嵌入式应用环境中灵活性和实时性的要求,本文提出一种基于流行的序贯最小优化(Sequential Minimal Optimization, SMO)算法的并行可扩展数字硬件结构以高效训练SVM分类器,并且基于FPGA平台验证了其各方面特性。由于SMO算法最终利用解析方法求解QP问题,从而可以有效避免数值稳定性问题。在深入分析SMO算法的基础上,我们提取出其中的并行性并将其映射至并行硬件结构。实验表明,本SVM硬件可以基于低成本的定点运算单元有效地处理SVM训练问题,并且具有良好可伸缩性。基于本SVM硬件结构,可以方便地在性能和资源消耗之间进行权衡折中以满足不同应用的要求。本SVM硬件方案克服了现有方案缺乏灵活性的缺点,因而更适合嵌入式环境中的应用。此外,为了给SVM相关算法的硬件实现提供参考,简化硬件架构的设计以及提高设计的可重用性等,本文还提出一种基于当前流行的映射-归约(MapReduce)并行计算模型的SVM硬件实现方法。我们以SVM训练和分类算法为例说明基于这一方法可以非常容易且有效地将相关算法映射至并行可扩展硬件结构。3)在光刻热点检测中的应用针对SVM在集成电路版图光刻热点检测(lithography hotspot)中的应用,提出一种在具体应用中提高SVM效率的方法。该方法首先利用离散余弦变换提取版图样本的频域特征,然后利用多目标遗传算法进行特征选择以减少用作热点检测的特征的数目,从而提高热点检测的效率。此外,SVM参数的选择也被集成到这一过程中同时进行以获得尽可能高的检测精度。实验表明,本检测方法在不影响检测精度的前提下,效率明显优于原先直接以图像像素为特征的检测方法。本热点检测方法不依赖于具体的工艺参数或可能使用的分辨率增强技术(RET),适合集成到集成电路的物理设计流程中对光刻热点进行快速预检。