鲁棒的大间隔分类学习方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:longriver0001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在机器学习领域中,间隔从距离角度对分类置信度进行刻画,用于估计分类学习算法的泛化错误界和指导分类算法的设计,已广泛的应用于指导特征选择、分类器训练和集成学习。然而传统的大间隔分类学习方法抗噪性差,当训练样本中存在个别大噪声数据时,分类边界将会受其影响而偏离正确的位置。针对这一问题,本文从特征选择和分类器构建两大角度出发,分别提出了基于间隔的鲁棒的特征选择方法和支持向量机训练算法以及多分类器集成学习方法,提高了KNN(KNearestNeighbor)和支持向量机分类的鲁棒性,具体的研究工作如下:(1)在传统大间隔近邻特征选择中,包含异类噪声点的目标邻域需要分类间隔来指导其邻域的距离学习,但该分类间隔是通过最近邻规则得到的;当目标邻域中存在多个噪声点时,分类间隔鲁棒性差。针对上述问题,本文提出了一种基于鲁棒的间隔统计量的特征选择方法。该方法首先寻找包含异类噪声点的目标邻域,然后计算目标邻域中心点到所有同类和异类样本的距离,采用分类间隔中位数作为优化目标,指导特征权学习,提高了近邻分类的鲁棒性。(2)目前基于分类间隔损失的特征选择方法在处理大噪声样本时,惩罚误分样本的分类损失函数值非常大,导致优化模型的解随噪声产生较大的扰动,降低了算法的鲁棒性。针对上述问题,本文引入了一种鲁棒的损失函数(Brownboost损失)来建立优化目标。由于Brownboost损失具有非凸性,因此将优化目标与正则化技术相结合提出了基于梯度下降的特征权学习算法,提高了支持向量机的抗噪能力。(3)由于现有鲁棒的支持向量机训练算法中鲁棒的损失函数(斜坡损失)存在非凸性,导致其训练时间复杂度较高且分类鲁棒性需进一步改善的问题,本文提出了一种基于光滑截断损失的鲁棒的支持向量机训练方法。该方法首先对斜坡损失进行光滑近似并将其转化为一个光滑的凸函数与一个光滑的凹函数之和的形式,然后采用CCCP(Concave-ConvexProcedure)来求解这一问题,最后利用牛顿梯度下降法来实现其快速的学习,增强了原有算法的分类鲁棒性并提高了其训练速度。(4)由于故障诊断数据中特征维度较高、样本数量较多、类别不平衡并普遍包含噪声的特点,单一的分类学习方法无法满足其抗噪性能的需求,本文提出了一种基于间隔的鲁棒的分类集成学习模型。该模型将训练阶段的集成学习任务分成了四个阶段:随机采样阶段、特征选择阶段、基分类器学习阶段和加权投票阶段。在集成学习的不同阶段融合不同抗噪技术。在分类融合时采用平方损失和L1正则化技术来学习稀疏的基分类器的权值,用其来指导测试阶段的分类预测结果,提高了预期分类的鲁棒性。
其他文献
不少家长为孩子的习作而烦恼,教师要经常开展家长、学生、老师间进行互动的循环日记之"爱的桥梁"的活动,打开孩子们的心灵之窗,为其写作增添素材。
高温超导电缆层间电流分布不均是超导电缆研究的重要问题之一,调整电磁结构是使其各层电流分布趋于均衡的有效途径。文中建立了电缆本体的电路矩阵方程,分析了导电层电流及其产
在传统的机器学习方法中,单一任务训练集不充分的难题限制了学习算法的应用。而多任务学习方法能通过对任务关联关系的发掘在一定程度上解决这一问题。本文在矩阵统计学研究
摘要:为了快速推进我国工程教育专业认证与国际接轨,并顺利通过工程教育体系认证,本文开展了案例式教学法在勘查技术与工程专业的应用研究。根据案例式教学的研究现状、案例式教学的特点及案例式教学存在的问题,提出了在勘查技术与工程专业课中开展案例教学试点、提升教师能力、增强学生的主体性和构建案例资源库的共建共享平台等对策。该对策对案例式教学在我国其他工程专业中的应用,具有较强的借鉴意义。  关键词:勘查技术
随着生活水平的提高,汽车逐渐成为了出行的主要交通工具,在汽车生产中,常常会用到二氧化碳气体保护焊,本文针对性研究汽车用钢在该种焊接方法下的接头微观组织以及接头力学性
本文根据社会对物联网工程专业人才的能力要求和应用技术型大学的人才培养定位,提出了基于项目驱动的实践教学体系构建方案。以工程实践能力培养为主线,将工程化项目驱动式教学模式引入实践教学体系中,对实验内容与实践环节提出相应的改革方案与实施措施。通过本构建方案的实施,将大大提高学生的实践与实战能力,以利于提高本专业学生的对口就业率。
目的分析2008—2016年甘肃省兰州市伤害监测点0~14岁儿童伤害监测数据,探讨兰州市儿童伤害流行状况,为实施减少儿童伤害事件有效的防制措施提供依据。方法分别选取兰州市城市
影响学龄前儿童发生意外伤害的原因多且复杂,在影响学龄前儿童意外伤害的众多因素中,除了儿童本身的年龄、性别、体格发育水平外,其家庭因素也起了非常重要的作用。儿童在生
时代的发展对医疗服务提出了新的要求,而被称为生命支持系统的医用气体系统是用于维系危重患者生命、减少患者痛苦、促进患者康复的重要设施,在当下已经成为各类医院新建或改