【摘 要】
：
人工神经网络（ANN）是一种有监督的机器学习算法[1].利用人工神经网络模型来解决实际问题需要根据实际问题去优化人工神经网络的参数.在优化人工神经网络损失函数的算法中,主要分为一阶优化算法和二阶优化算法.Krylov Subspace Descent（KSD）算法[2]是一种常见二阶优化算法.本文利用数值实验,说明了 KSD算法中Krylov子空间维数对算法性能的影响,并指出了 KSD算法中选取固
论文部分内容阅读
人工神经网络（ANN）是一种有监督的机器学习算法[1].利用人工神经网络模型来解决实际问题需要根据实际问题去优化人工神经网络的参数.在优化人工神经网络损失函数的算法中,主要分为一阶优化算法和二阶优化算法.Krylov Subspace Descent（KSD）算法[2]是一种常见二阶优化算法.本文利用数值实验,说明了 KSD算法中Krylov子空间维数对算法性能的影响,并指出了 KSD算法中选取固定的子空间维数的不合理性,提出了子空间维数自适应改变的Mod-ified KSD（MKSD）算法,并给出 了利用 MKSD,KSD 以及 Stochastic Gradient Descent（SGD）[3]算法优化人工全连接神经网络问题的数值算例.计算结果说明本文的方法对比于其他方法具有一定的优势.本文主要由以下几部分组成:第一章介绍了本文的研究背景与研究现状以及本文主要内容.第二章介绍了人工神经网络的相关知识.第三章主要研究KSD算法中子空间维数这一超参数对算法性能及算法运行时间的影响,并在此基础上对KSD算法中不变的子空间维数提出修正,提出了 MKSD算法.第四章对MKSD算法进行数值实验.数值实验结果说明MKSD方法对比其他方法有一定优势.第五章总结了本文的主要内容,指出了下一步的有价值的研究课题.
其他文献
目的:观察痛风康Ⅱ号煎剂治疗急性痛风性关节炎的临床疗效。方法:采用痛风康Ⅱ号煎剂治疗62例急性痛风性关节炎患者,疗程5天。结果:治疗后关节疼痛、急性红肿、功能障碍证候积分与治疗前比较,差异均有非常显著性意义（P<0.01）,治疗后明显优于治疗前。治愈22例,显效28例,有效11例,无效1例,总有效率为98.39%。结论:痛风康Ⅱ号煎剂能改善急性痛风性关节炎患者的临床症状。
近年来,由慢性炎症引发的各种慢性疾病严重威胁人类的健康,且多数传统抗炎药物具有一定的毒副作用,因此,寻找天然的抗炎活性物质迫在眉睫。核桃粕是核桃榨油后的副产物,富含优质蛋白,但深度加工利用不足。鞣花酸（Ellagic acid,EA）是核桃粕中含量最高的多酚单体,具有较强的抗炎活性,但溶解性差、体内生物利用度低,同时,多肽由于苦味、吸湿性以及易被胃肠道酶降解使其应用受到限制。为解决以上问题,本研究
飞行员通过飞机控制器对飞机发出相应动作指令,对它的人机工效评估就显得尤为重要,选择合适的飞机控制器可以从生理因素方面降低驾驶疲劳程度;从操作绩效方面提高完成飞行动作和任务的效率节约飞行时间;从舒适度角度考虑会增强飞行员对飞机驾驶的流畅性,舒适型。本文就结合着三项因素,对某型飞机控制器选型问题通过设计试验进行选型,最后得出一套飞机控制器人机工效适用性评估模型,为今后的新型飞机控制选型提供评价方法,主
随着我国能源结构的不断优化,天然气在人们的日常生活中扮演者越来越重要的角色。天然气水合物作为一种优质的天然气载体,日益受到学者的关注。但是在自然情况下天然气水合物的生成是极其缓慢的,如何快速高效的生成天然气水合物是天然气水合物工业化利用的关键,因此对天然气水合物的促生成研究迫在眉睫。为研究不同二氧化硅制品与SDS溶液复配体系下天然气水合物生成模式,采用四种二氧化硅制品分别于不同浓度的SDS溶液混合
实现乡村振兴,治理有效是基础。2018年中央一号文件首次提出,要加快推进乡村治理体系和治理能力现代化。党的十九届四中全会将坚持和完善中国特色社会主义制度、推进国家治理体系和治理能力现代化作为核心议题,为我国包括乡村治理在内的社会基层治理现代化提供了行动指南。乡村治理是国家治理体系的重要一环,同时又具有与其他的领域、地域的治理不一样的独特性。要清醒的认识到,当前我国最大的发展不平衡是城乡发展不平衡,
表面质量是冷轧带钢的一个重要质量指标。随着汽车及家电制造业的迅速发展,优质冷轧带钢的需求越来越大,同时,用户对冷轧产品表面质量的要求越来越高,对产品的表面质量控制能力成为钢厂效益及市场竞争力的关键。冷轧产品由于生产流程长、工序多,表面缺陷的形成原因非常复杂,影响因素较多,定性难度很大。首钢京唐公司冷轧产品批量出现冲压橘皮、电镀后亮斑、表面微裂纹等表面质量问题,其中以低碳铝镇静钢尤为严重。后经分析发
会计作为企业的一种经营活动,满足所有主体的不同需求,即向其报告的不同使用者提供一系列的企业现在运行状况、未来发展趋势等一系列敏感问题。所以真实有效是会计信息的生命及其价值所在,如果其失真,其不但影响企业稳健发展,还影响社会秩序及国家经济建设。所以分析企业会计信息失真的具体表现、危害性、产生原因、解决对策十分必要。
中国旅游产业进入大众旅游时代,民族旅游也正逐步发展,在传承民族文化、推动民族团结、促进经济发展等方面发挥着重要的作用。当今各地民族旅游迅速发展的时候,也存在严峻的问题,如旅游产品形式单一,旅游资源内涵挖掘不够,游客的旅游需求得不到满足等。这些问题产生的重要原因之一就是没有真正了解和分析民族旅游游客深层次的思维认知和文化需求,所以本文把旅游看作文化认知的一种方式,从人类认知五层级的视角切入。选取贵州
全球变暖背景下,著有“世界屋脊”、“亚洲水塔”之称的青藏高原被认为是对全球气候变化响应最敏感的地区之一而备受关注。已有观测表明,自20世纪以来,青藏高原正在经历着前所未遇的气候变化,暖湿化趋势明显,降水波动增加。高寒草甸作为青藏高原草地生态系统的主要植被类型,它对降水增加的响应将在很大程度上反映整个青藏高原地区草地生态系统未来的发展与适应趋势,因此,被认为是探究高寒草地生态系统乃至青藏高原高寒生态
随着数据采集技术的进步,越来越多的个体移动轨迹数据被采集和记录,为个体移动行为模式的研究提供了数据基础。个体出行目的地预测作为该研究领域的重要分支,为个性化服务推荐、交通导航等基于位置的服务（Location-based Service,LBS）提供了决策支持。然而,精准实时的目的地预测存在较大挑战。一方面,个体的移动意图被其所处的多元时空语境深刻影响;另一方面,由于路网的空间结构约束及个体内驱性