推广动量加速非负隐特征分析模型的收敛性能研究

来源 :西华师范大学 | 被引量 : 0次 | 上传用户:shajia0902
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,许多工业应用需要经常处理大量实体及其对应的高维关系,其中涉及的实体数量呈爆炸式增长,由于它们之间的关系不能完全被观察到,在实际中人们常采用高维稀疏矩阵来描述这种关系。虽然高维稀疏矩阵极度稀疏,但是它们包含了大量非常有价值的知识,为了从中提取出这些有价值的知识,研究者们提出了快速非负隐特征分析模型。快速非负隐特征分析模型在非负乘法更新算法的基础上兼容了推广动量方法,较非负隐特征分析模型,它能更快地从高维稀疏矩阵中抽取隐特征,具有较好的收敛效果。但是,推广动量方法加速非负隐特征分析模型的收敛性能的机制尚未明确。因此,本文旨在揭示推广动量方法如何加速非负隐特征分析模型的收敛性能。主要工作和创新点如下:(1)类比快速隐特征分析模型的单元素隐特征依赖非负乘法更新兼容动量算法和牛顿方程,证明了其动量项等效于牛顿方程中的质量项。对牛顿方程粒子化,然后对比分析有质量粒子和无质量粒子的两种情况,类比分析无质量粒子的牛顿方程与采用梯度下降方法的附加梯度下降算法,进一步推导出了学习率ηu,k与摩擦系数m和质量m的关系。(2)根据李雅普诺夫函数的定义,明确了通过能量守恒定律建立的能量方程具有稳定性,以及保证了牛顿方程的收敛性。然后证明了在连续情况的条件下,单元素xu,k的单元素隐特征依赖非负乘法更新兼容动量算法类似于粒子wi在粘性介质的守恒力场上运动,而单元素隐特征依赖非负乘法更新兼容动量算法等同于一组耦合阻尼谐振子,因此推广动量加速非负隐特征分析模型的收敛性能可解释为物理系统中粒子的特征分量不断接近临界阻尼条件达到加速条件。(3)在离散情况下,通过构造一个虚假方程获得了关于牛顿方程的矩阵形式,并进一步推导了系统收敛的条件。得到系统收敛的条件之后进一步推导了动量项加速系统收敛的条件。(4)在3个大型工业数据集上首先测试了超参数g和l对非负隐特征分析模型模型和快速非负隐特征分析模型模型的影响,然后从两方面验证了离散情况下的动量加速模型的结论:一方面从模型迭代所需总时间成本和在不同g值下的模型收敛轮数证明了推广动量加速了非负隐特征分析模型模型,一方面从模型迭代训练过程中LFs分布证明了动量系数γ在超过1.0时会造成模型不收敛。
其他文献
从法哲学的视角对人类基因编辑问题的研究有助于从理论上回应法律对于基因技术应该采取何种态度或规范立场的问题。在非治疗型基因编辑即改造型基因编辑的论域中,福利论的论证方法及其衍生的风险论证和科学主义的论证方法,均因方法本身的局限性和可能导致立场的不确定而被预先排除。文章基于权利论的方法分别从被编辑者权利、社会公正、人类整体视角三个方面展开论证。从个人视角来看,基因编辑应当是被禁止的。其一,被编辑者享有
痒的形成与肥大细胞脱颗粒释放的致痒物质有关。肥大细胞脱颗粒过程中伴随着诸多离子通道的变化,如:钙通道、钾通道、氯通道、TRP通道和P2X通道等。Ant-Ig E、ATP和化合物48/
单纯形上的随机数和设计在众多领域中都有应用,如混料试验设计、多准则决策分析、投资组合优化等.许多学者研究了相关的抽样算法和设计方案,随着实际中遇到的问题维数越来越高,变量受到的限制条件越来越复杂,现有的一些方法无论是在使用效率上,还是构造复杂性上都越来越不适用.在抽样算法方面,基于拒绝接受算法和顶点映射的方法的效率在高维情形下通常很低,条件分布方法在复杂限制情况下相应条件分布非常复杂而不再适用,马
获得性免疫缺陷综合症(Acquired immunodeficiency syndrome,AIDS),也称艾滋病,是感染人类免疫缺陷病毒(Human immunodeficiency virus,HIV)而引起的一种全身免疫系统严重损
钢筋混凝土是土木工程重要的建筑材料之一。由于钢筋混凝土结构的自身特点和服役环境,需要对其进行健康监测,保证钢筋混凝土结构的安全性。经研究和实际工程表明,光纤类传感
土壤可溶性有机质(DOM)是陆地生态系统中最活跃、最易移动的物质之一且在碳、氮循环中起着重要作用。DOM的频繁流失会对周围环境产生负面影响,氮沉降会影响DOM的流失,但目前生
为研究自然降雨条件下不同经营方式毛竹Phyllostachys edulis林水土流失的年动态变化规律及其差异,以浙江省杭州市临安区青山毛竹园为试验区,在粗放经营和集约经营区域分别设
辽宁仙人洞国家级自然保护区地处华北植物区系与长白植物区系过渡地带,研究该区域典型森林植被的叶片-枯落物-土壤生态化学计量特征,可为深入探讨植物区系过渡带森林群落的养
为了解全球变暖和秸秆资源浪费背景下农田土壤微生物对温度和秸秆分解的适应性,本文以南京试验田中进行的试验为基础,设置红外增温灯管24小时增温,将上一生长季作物秸秆留作
作为海洋原生生物群落的重要组成部分,微型鞭毛虫和浮游纤毛虫在海洋微食物网物质循环与能量流动中发挥了重要作用。本研究在2015年12月至2016年8月期间,对东海长江冲淡水区