论文部分内容阅读
支持向量机(SVM)由于其独特的优势,已得到了广泛应用。贝叶斯理论在机器学习领域扮演了相当重要的角色。SVM与贝叶斯理论的结合是一个值得关注的研究课题,二者的结合可导出贝叶斯支持向量机(BSVM),其实质是将SVM置于贝叶斯显著度框架中求解最优超参数。但是显著度框架是一种半解析化方法,在实际应用中很难获得解析解,这导致BSVM只能借助数值计算方法来实现。为此,本文主要研究基于混合蒙特卡洛(HMC)抽样法进行BSVM的数值实现,具体研究工作如下: (1)改进BSVM的数值实现方法。由于混合蒙特卡洛(HMC)抽样法在解决随机性问题方面的优势,为此提出基于HMC抽样的BSVM数值实现方法,主要包括提出问题、构建模型、抽样、求解等。其中,抽样过程中引入了“蛙跳”技巧可以避免“随机游走”现象。BSVM的四个性能实验表明:蛙跳步数和蛙跳步长对BSVM的回归准确度影响比较大,而抽样次数对其回归准确度的影响比较小;BSVM的学习时间随蛙跳步数以及抽样次数的增加而线性增加,但跟蛙跳步长没有这样的关系;在回归方面,BSVM的优势是抗噪能力强,劣势是事先需要设定的参数较多。 (2)混合蒙特卡洛抽样的BSVM与其它方法的比较。首先,对BSVM两种数值实现方法即拉普拉斯逼近法和混合蒙特卡洛法抽样法进行比较。在比较过程中,用 BSVM 的两种数值实现方法分别去解决同一个回归问题。实验表明:两种数值实现方法的回归误差相当,但是混合蒙特卡洛抽样法的学习时间更短。当拉普拉斯逼近法的迭代次数增多时,虽然它的回归误差得到减小,但学习时间也相应显著增加。再次,对基于混合蒙特卡洛抽样法的BSVM与SVM、相关向量机(RVM)进行比较。实验表明:BSVM的抗噪能力强,方法比较稳健 (3)将基于混合蒙特卡洛抽样的BSVM用于解决超市销量数据回归实际问题。实验中用三类商品数据作为学习样本进行回归实验,每个样本集分别由超市的手撕条、山楂片、阿根廷翅尖的每月销售量组成,实验结果的回归曲线误差很小,表明BSVM具有实际应用价值。为了测试BSVM的可靠性,实验将BSVM与SVM、RVM进行比较,实验表明:BSVM的回归结果虽然没有SVM与RVM的效果那么好,但是其误差在容许范围内。