【摘 要】
:
许多机器学习问题的目标都是要寻找具有低秩结构的矩阵,例如矩阵恢复、协同过滤、多任务学习等。这类问题可以通过核范数正则的优化问题来求解,它的优化目标是核范数与某损失
论文部分内容阅读
许多机器学习问题的目标都是要寻找具有低秩结构的矩阵,例如矩阵恢复、协同过滤、多任务学习等。这类问题可以通过核范数正则的优化问题来求解,它的优化目标是核范数与某损失函数之和。然而,核范数本身的非平滑性质、以及其昂贵的求梯度运算给核范数正则相关算法的实现带来一系列挑战。在此背景下,本文针对高维数据下的核范数正则极小化问题,进行了如下几方面的研究。当矩阵的维度(记作m×n)变得很高时,现有的基于梯度的算法就不再高效。因为这些算法在求解时需要计算矩阵的奇异值分解,其时间复杂度为矩阵维数的三次方O(m2n)。为了降低计算开销,本文利用核范数的变分性质,将原优化问题重新表达成极大极小问题,并设计了一个基于次梯度的免奇异值分解的算法。由于该算法在每步迭代时只需计算最大的奇异向量,故其时间复杂度降低到矩阵维度的平方O(mn)。据我们所知,对于无平滑假设的核范数优化问题而言,这是首个避免求解完全奇异值分解的算法。本文对这个算法的收敛性进行了理论分析,并且证明了该算法的收敛速率为O(1/(?)),其中T是算法迭代的次数。除此之外,本文在原有算法的基础上进行了改进和拓展,使其可以适用于随机情形和稀疏情形。其中随机情形是指仅能得到目标函数的随机次梯度值,稀疏情形是目标函数包含诸如l1范数的非平滑正则项。在这两种扩展之下,本文证明了各自算法的计算复杂度和收敛速率保持不变。最后,在鲁棒低秩矩阵近似和连接预测问题中,本文通过实验验证了算法的有效性。
其他文献
连续配筋混凝土路面(continuously reinforced concrete pavement,简称CRCP)存在着容易腐蚀、开裂等问题,而GFRP(Glass Fiber Reinforced Plastic,简称GFRP)是一种新型的高强
异构车联网技术是车载网络发展的必然趋势,其是多种无线通信技术在车载环境中的融合运用。汽车用户能够在提高出行效率的同时随时随地连接互联网,享受多媒体资源与车载服务。
铸造业是传统制造业的重要组成,为异构和特大型装备的设计制造奠定了工业基础。铸件打磨是大型铸件生产工艺中重要工序,目前主要依靠人工完成,具有工作强度大、环境恶劣等特
当前,混凝土工程在江河、湖泊、水利、房建、国家干线公路、铁路路基边坡治理工程中都得到了极为广泛的应用。裂缝是混凝土工程中普遍存在的一种现象,它的产生,不仅会降低混
我国境内布有多条地震带,地震多发,近年来几次重大地震中桥梁破坏严重,严重威胁了交通生命线的畅通,因此,对桥梁的抗震性能进行研究具有极其重要的意义。箱型柱是目前在大型
在钢筋混凝土结构桥梁中,梁是重要的承重构件。在国内外修建的大跨度混凝土桥梁中最常选取箱型截面,箱形截面梁与其它截面形式的梁相比具有截面抗扭刚度大、稳定性良好和空间
现代工业随着经济的快速发展以及科学技术的提高,人们越来越重视制造业的转型升级。对于食品加工行业来说,自动化生产水平的提高是产品转型和升级的前提。传统的食品加工生产
在城市出行过程中,停车所花费的成本在整个出行成本中占据较大的比重。因此,停车定价会在很大程度上影响出行者出行方式的选择,出行目的地的选择以及出行时间的选择等。现如
近年来,理论界关于信任的研究再次成为组织行为领域的研究热点,实践中信任被破坏的现象屡见不鲜。这都呼唤着信任重建的心理学层面的研究。但在我国,这方面的研究还较少,特别
在桥梁建设方面,近些年来,大跨径的预应力混凝土的连续梁桥,在改革开放带来的经济高速发展的大好形势下,作为主要的结构之中的重要的一种,成为了我们国家的综合国力不断提升