论文部分内容阅读
近年来,利用数据中的额外信息来改进传统的机器学习已经成为机器学习领域的一个研究热点。在丰富的数据世界里,训练样本中通常存在额外信息,这些额外信息并不直接反映在训练集中。因此,这种额外信息很容易被传统的机器学习方法所忽略,例如,支持向量机。训练数据中的这种额外信息给支持向量机的研究带来了新的挑战.目前,解决此问题有两种方法：利用私有信息学习和结构化数据学习。在这两种学习方法下学者们提出了一种基于支持向量机的优化形式-SVM+.SVM+能有效地利用额外信息提高模型的推广能力。本文对SVM+分类模型作了进一步的研究,研究内容主要包括以下四个方面。1.当前,SVM+学习模型主要针对二分类或多分类问题进行研究。在单分类支持向量机模型中利用额外信息尚未有相关研究.在本文中,我们旨在把SVM+算法的优点应用到单类支持向量分类机。通过把额外信息加入到单分类优化问题中,我们得到了基于隐藏信息的单类支持向量分类机。实验结果显示这种额外信息大大提高了标准的单分类支持向量机的性能。2.支持向量机和SVM+方法在实际中得到了广泛的应用,研究表明这些方法的推广能力与间隔以及数据分散程度的度量密切相关。然而这些算法仅仅是最大化间隔而完全忽略了这种分散信息。所以,它们的解很容易由于输入空间的仿射变换或缩放变换而出现偏差。受相对间隔支持向量机和SVM+的启发,本文提出了SVM+的一个改进模型.新模型不但考虑了隐藏在数据中的额外信息还考虑了数据的延伸。实验结果显示新模型具有更好的泛化能力.3.受Fisher判别法的启发,我们提出了SVM+算法的一个改进模型,称为最小化类方差SVM+(MCVSVM+).最小化类方差SVM+算法具有Fisher判别法和SVM+的优点.也就是说,MCVSVM+在优化问题中考虑了数据的类分布特征,保证了数据的可分性,同时,还利用了隐藏在训练数据中的额外信息。与之相比,Fishcr判别法不能保证数据的可分性也不能利用额外信息,SVM+算法只考虑分类边界上的样本,没有考虑类分布特征。实验证明,MCVSVM+有效的提高了模型的性能。4.机器学习中的标准支持向量机和相对间隔支持向量机等最主要的挑战之一就是在训练大规模数据时需要耗费大量的时间。为了解决这个问题,受双支持向量机的启发,我们提出相对间隔支持向量机的一个快速训练算法,称为相对间隔双支持向量机。与双支持向量机类似,相对间隔双支持向量机也是产生两个不平行的超平面,而且它求解的是两个小规模的二次规划问题,而相对间隔机求解的是一个大规模的二次规划问题。因此,相对间隔双支持向量机能够明显降低相对间隔支持向量机的计算复杂度。