凸优化算法及其在机器学习中的应用研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:edwinshi97531
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
机器学习是最近几十年兴起的一门多领域交叉学科,而稀疏性学习是机器学习当中的一种常规的学习任务。针对稀疏性学习,可以将其抽象为一个凸优化问题的优化模型,然后通过凸优化算法来求解这个模型,进而达到有效解决机器学习中的代表性选择、分类、稀疏性信号恢复等问题。本文主要研究基于代表性选择的加速近端邻近点算法和近端外梯度算法分别运用这两种算法解决机器学习中的多分类和二分类问题。加速近端邻近点算法,该算法是在最近所提出的S-迭代算法的基础上进行扩展而来的,通过增加额外的惯性外推项,来加快算法的收敛速度。首先给出了该加速近端邻近点算法收敛性的详细证明。然后,结合一种最近提出的用于代表性选择的结构正则化学习问题,其中目标函数由重构误差和结构正则化项组成。同时通过数值实验选择公开的数据集将其用于多分类任务,以及离群值的鲁棒性任务当中,证明了加速近端邻近点算法能够有效地解决基于稀疏性的代表性选择模型。最后与其他的凸优化算法比较,该算法在多分类任务当中得到了更好的分类准确率,在离群值的鲁棒性问题当中,该算法筛选出了更少比例的离群值。近端外梯度算法是扩展的外梯度算法与FISTA算法的结合。对于FISTA算法,该算法相当于增加了一步额外的外梯度项,从而加快了算法的收敛速度;对于扩展的外梯度算法,该算法相当于增加了一步额外的惯性外推项从而加快算法的收敛速度。首先同样给出了该近端外梯度算法收敛性的详细证明推导过程。然后结合LASSO和融合LASSO模型,通过数值实验将其用于机器学习的二分类任务当中。针对公开的生物数据集,其是一种多特征少样本的数据集,通过结合近端外梯度算法的稀疏性模型,解决了这种数据集会产生维数灾难的问题。最后与对比实验算法相比,该算法无论是在迭代的步数和时间上或者是对于二分类任务的准确性以及ROC曲线的比较,该算法都有明显的优势。实验结果显示,该算法适合用于结合稀疏性学习模型解决机器学习中的二分类问题。
其他文献
随着京津冀协同发展战略的持续推进,如何优化区域市场规划,促进居民绿色消费成为至关重要的问题。本文基于2011年和2021年京津冀地区“绿色消费”空间的兴趣点(POI)数据,采用随机森林模型识别京津冀地区“绿色消费”空间分布,并利用核密度等研究其时空演变方向。结果表明:相较于传统多元线性回归方法,随机森林方法在识别京津冀地区“绿色消费”空间分布上的精度和拟合度更高,在空间计量分析中引入机器学习方法,
期刊
随着汽车的广泛应用,电气化的比例不断提高,汽车车窗逐渐从机械手摇式控制转化为电动化控制,导致了汽车的核心部件车窗电机用量增加。目前普遍使用的车窗电机为永磁有刷直流电机(Permanent Magnet Brush Direct Current Motor,PMBDC),但是随着使用时间的增加,车窗电机会产生振动,发出噪音,这是由电机的转矩波动造成的后果,最终会影响电机的使用寿命。对永磁电机而言,转
学位
在科技飞速发展的现代,虚拟美颜美妆技术受到广泛欢迎,市场上也出现了各种各样的美颜应用软件,但是这些软件只能为用户提供某些特定的风格,不能随意的选择妆容风格。而妆容迁移不仅可以实现一键式换妆,还可以让用户使用任意风格的图片进行试妆。但是在目前的各类研究方法中,在妆容细节上、面部结构上、图像分辨率上、算法鲁棒性与模型的泛化能力等方面均有待提升。因此本文针对生成图像的面部结构的保持、妆容细节和模型泛化能
学位
基于多源观测资料和海洋再分析产品,本文对北赤道流和北赤道潜流的结构及2019年春季日本以东黑潮延伸体锋精细化结构进行了研究。具体工作如下:1、分析了锚系点北赤道流和潜流的结构与季节内变化2014年6月至2016年5月布放在160°E,15°N的潜标观测表明:北赤道流在500 m以浅稳定地向西流动,平均流速约-9 cm/s,于2016年1月达到最强(约-40 cm/s)。在2014年7月和11月、2
学位
信息通信技术的迅猛发展,推动汽车行业进入了向智能化和网联化转型升级的时代,智能网联汽车已成为各大汽车企业和国家抢占人工智能领域的制高点。智能网联汽车由于可以提高行车安全和降低能耗,被纳入《交通强国建设纲要》的重要研究方向。然而,如何对智能网联车辆组成的交通流进行系统的分析,以科学的方法指导和管理交通系统,是一个值得探究的课题。因此,本文通过理论与实践相结合的方法,从理论分析与真车实验两方面揭示了网
学位
预测性维护是保证机械加工过程中工业设备安全服役的关键,为了提高机械加工过程中关键零部件的状态识别或寿命预测的精度,通常需要采集大量不同类别的与关键零部件状态密切相关的数据。而采集获取的这些大量数据会对存储、网络、能耗等方面造成较大的压力,同时,与机械设备状态关联性较强的振动信号,由于采样频率较高且通常为浮点数类型,传统的压缩方案的压缩效率并不理想。本文根据机械加工过程中,关键零部件状态信息数据存在
学位
本文根据数据资产审计特点,定义“数据资产”概念,指出数据资产审计的意义,分析数据资产审计要点,在此基础上提出优化数据资产审计和内部控制管理的建议。
期刊
随着计算机性能的提升和数据量的爆发,深度学习迅速发展。头部姿态估计是计算机视觉领域的一个重要研究方向,与人脸检测、头部三维重建、面部表情分析等方向紧密相关。头部姿态估计是通过利用计算机视觉和模式识别的方法在数字图像中判断头部朝向。头部姿态估计常应用于疲劳驾驶检测、学生课堂注意力分析、以及安防监控系统等方面。因此,基于深度学习的头部姿态估计研究具有重要的意义和价值。头部姿态估计仍然面临许多问题,在训
学位
随着数字经济的发展和数字化转型的加速推进,数据资源愈发丰富,数据作为新的生产要素,是实现经济高质量发展的新引擎。根据《企业会计准则——基本准则》,企业数据资源已具备确认为资产的条件,现阶段如何通过合理的审计程序确定企业数据资产在财务报表中公允反映成为亟待研究和解决的重要问题。文章从数据资产的特征及审计界定出发,分析数据资产审计的必要性,探讨数据资产审计的思路方法,并提出数据资产审计的相关建议。
期刊
本文聚焦听说融合教学实践,探讨了在初中英语听说教学中如何更好地明确听说教学目标和评价标准,实现教、学、评一体化,并基于外研版初中《英语》教材中的听说活动,解析如何利用教材资源挖掘主题意义、分析文本信息组织模式、创设真实交际情境,并在教学过程中融入师生问答、自述自评和小组互评等评价活动,旨在切实提升学生的听说能力。
期刊