论文部分内容阅读
本文旨在研究支持向量机中参数的优化选取问题.主要原因有三个:一是支持向量机作为机器学习的一种重要方法,已经在各行各业中得到广泛的应用,并且取得了好的效果;二是支持向量机中的参数选取是支持向量机研究中的一类重要问题,参数选取的不同,对支持向量机的泛化性能影响很大;三是支持向量机中参数选取的传统方法是调频方法和网格方法,这两种方法不容易操作,并且较费时.针对L<,1>-范数支持向量机,建立了参数选取的模型,然后对建立的模型进行了理论分析,设计了算法,并进行了数值试验.取得的结果可概括如下:
1.第2章首先给出了支持向量机中参数选取的基本模型,分别为原始模型和对偶模型.然后针对L<,1>-范数支持向量机给出了一种平衡约束规划模型(MPEC),其目标函数为整数值的下半连续函数.分析了模型的基本性质,证明了解的存在性.由于在常规局部极小点定义的意义下,约束区域中的任一点都是该问题的局部极小点,因此我们对该问题给出了极小锥与极小块的定义,建立了基于极小锥与极小块意义下的一阶最优性条件.
2.第3章首先建立了一个具有非光滑目标函数的MPEC模型.为了易于求解该模型,采用一个光滑的凹函数来近似目标函数.由于下层规划是一个凸二次规划,它的解集就是该规划的 KKT 点集,因此模型被转化为一个具有光滑目标函数的且带有互补约束的非线性规划问题,然后证明了光滑问题的一个全局最优解是原问题的最优解.因为具有互补约束的优化问题一般不满足传统优化算法所要求的约束规范假设,所以本章采用了ε松弛的方法处理互补约束.本章最后进行了数值试验,数值结果表明算法的有效性.
3.第4章对支持向量机的参数选取模型,给出了将遗传算法与确定性方法相结合的求解方法.模型中的下层规划在参数给定时,是一个凸二次规划,可以通过支持向量机算法求解得到(本章使用的是 SVM软件包求解),然后把参数作为上层规划的变量进行优化.数值试验结果表明,本章的算法对支持向量机参数选取模型的求解是有效的.