【摘 要】
:
深度学习近年来发展迅速,应用广泛,并且取得了许多显著的成果。在这种背景下,从事深度学习研究的研究人员也越来越多,但是大部分研究人员面临调优模型困难的问题。模型的调优
论文部分内容阅读
深度学习近年来发展迅速,应用广泛,并且取得了许多显著的成果。在这种背景下,从事深度学习研究的研究人员也越来越多,但是大部分研究人员面临调优模型困难的问题。模型的调优主要分成网络结构的调整和训练超参数的调整两部分,每一种调整的可能性都非常多。通常情况下,开发人员根据以往调优经验进行调优,并进行了大量的尝试性调整。当数据规模较大、网络模型较深时,每一次训练都要消耗大量的时间。因此,找到一种有效的优化模型的方法十分重要。卷积神经网络是深度学习的一个重要分支,同样也面临调优困难的问题。针对这一问题,论文提出一种可视化辅助调优卷积神经网络模型的方法。可视化的主要对象是中间层输出和参数,实现了二维或四维数据维度下的不同可视化方法。对于二维数据,采用热力图渲染的方式进行可视化;对于四维数据,沿某两个维度切片,形成图像矩阵后进行可视化。具体的实现方法,与数据是输出还是参数有关。论文采用余弦距离度量某个维度上不同数据的相似度,并结合层次聚类法,用层次聚类树绘制出结果,帮助人们更加直观的分析模型。此外,通过对数据整体或者沿某个维度分别进行核密度估计分析,绘制其概率密度分布图,可间接分析模型的效果。通过可视化得到的结果,定位导致模型故障的网络层或神经元,并给出合适的调优建议。论文通过实验验证了所提出的方法可以降低研究人员在模型调优时的盲目性,提高开发效率。
其他文献
现实世界中的工程项目,科学问题研究以及日常生活中都存在各种各样的优化问题,而多目标优化问题(MOOP)则更广泛地应用于各个领域。旅行商问题和社团挖掘问题分别是多目标优化
残疾人是在生理、心理、人体结构上存在组织或功能损伤的弱势群体,普遍需要长期护理服务来重塑身体机能、辅助正常生活,从而重返社会活动、平等参与竞争,但是目前我国残疾人
随着我国城镇化进程和汽车工业飞速发展,越来越多的建筑垃圾和废旧轮胎亟需得到妥善处理,以免占用耕地、污染环境。建筑垃圾和废旧轮胎的资源化利用问题受到社会越来越广泛的
改革开放三十多年以来,我国经济取得了巨大的成功,伴随着经济增长奇迹的礼赞,产能过剩问题如影随形。目前,产能过剩对我国经济发展的负影响变得更为突出,产能过剩的特征也越
现在许多基于深度学习的人脸识别算法已经在现实生活中得到了广泛的应用,但是这些人脸识别的算法大多数需要待识别的人脸具有比较正面的姿态,如果人脸的姿态比较歪或者是整个
沥青混合料中集料的重量占据了沥青混合料总重量大约90%,决定了沥青混合料大部分的路用性能,其中集料的棱角特性对该混合料的物理特性影响最为显著,与沥青混合料的其他很多性
环境危机事件衍变的新问题不断挑战国家的传统治理秩序时,在新闻传播领域诞生了环境传播新兴领域,而具备该领域学科定位优势的“环境危机传播与管理”研究取向不仅是环境意义
单像素成像应用了压缩感知(Compressed Sensing,CS)理论,可以通过一个点探测器实现二维成像。单像素成像具高灵敏度的优势,因此被广泛应用于生物医学检测、航天遥感、三维成
多标记学习是机器学习领域的一个重要研究方向,其学习对象可同时与多个标记相关联。与单标记学习相比,多标记学习的输出空间呈指数级膨胀,导致学习任务变得异常困难,因而利用
逢山开路,遇水架桥,这是桥梁功能最初的表述。交通是经济的命脉,桥梁是交通的咽喉。随着国家对基础建设投资的增加,截至2016年底,我国已建成80.53万座桥梁,但是,在桥梁发挥着