面向分类任务的神经网络架构搜索算法研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:sondio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,由于计算机算力的快速发展,深度学习(Deep Learning,DL)算法已经成功地应用于各式各样的场景中。其中,卷积神经网络(Convolutional Neural Network,CNN)的提出使得图像领域的许多复杂问题得到了解决,例如图像分类、图像分割等问题。然而,对于一个分类任务而言,一个模型在某个数据集上表现出色并不代表其在其他数据集上表现同样出色。随着数据量的急剧增长,神经网络的自动化搜索技术是十分必要的。本文针对分类问题,主要研究了基于神经进化增强拓扑(NeuroEvolution Augmenting Topology,NEAT)的卷积神经网络进化算法,并实现了基于神经架构搜索(Neural Architecture Search,NAS)数据集NASBench-101的主流搜索策略算法。首先,本文详细介绍了神经网络的基本原理,包括卷积神经网络(Convolutional Neural Network,CNN)和循环神经网络(Recurrent Neural Network,RNN),它们的结构决定了本文后续展开的NAS算法研究的搜索空间。随后,本文介绍了强化学习(Reinforcement Learning,RL)中基于价值的Q-learning和DQN算法,以及进化算法中的遗传算法原理,这些算法及其改进版本是目前NAS研究领域较为常用的搜索策略。这一部分的内容为后续的进一步研究奠定了基础。本文在神经进化NEAT算法的框架下,提出了一种面向分类的任务的C-NEAT算法。本文首先介绍了神经进化和NEAT算法的基本原理,详细阐述了 NEAT算法对神经网络的基因编码方式,以及交叉变异算子的原理。基于此,C-NEAT算法将网络个体的最小编码尺度由神经元扩展到了一个特定运算层,因此本文扩展了 NEAT的节点基因编码方式,定义了 NEAT进化图到CNN的特定映射关系。最后本文将C-NEAT进化算法应用于入侵检测数据集KDD99和图片数据集CIFAR10上,仿真结果表明了 C-NEAT算法的有效性。为了研究评估各种NAS算法的有效性,本文研究了一种新颖的NAS数据集NASB ench-101,并将蒙特卡洛搜索(Monte Carlo Tree Search,MCTS)搜索算法应用于NASBench-101数据集中。首先,本文详细介绍了 NASBench-101的网络架构定义、细胞结构编码和性能评估指标等。在算力受限的情况下,NASBench-101的出现极大降低了 NAS研究者的算力门槛。基于此,本文将目前主流NAS算法,包括随机搜索算法、正规化进化算法、基于强化学习的NAS算法以及NEAT算法,应用于NASBench-101上完成了性能对比。最后,本文重新定义了强化学习中对于NAS的状态空间和动作空间,并使用MCTS算法来解决所定义的搜索问题,最终的仿真结果证明了本文提出的MCTS算法的有效性。
其他文献
[db:内容简介]
[db:内容简介]
近年来,人工智能特别是深度学习技术在模式识别、场景感知和任务决策等方面取得了突出的效果和成绩。与此同时,边缘计算和设备如嵌入式终端等的发展也带来了更高的数据处理和计算需求。深度神经网络出色的数据特征提取和分析能力在边缘计算场景有着广泛的应用前景。然而,深度神经网络的复杂度严重限制了其在资源有限的边缘计算场景下的部署和应用。因此,如何有效地降低深度神经网络的复杂度是本研究的重点问题。首先,本研究从深
随着我国技术的发展以及医疗保障体系的完善,基于人工智能和大数据的临床决策支持系统逐渐成为满足人民健康需求的重要工具。本文基于合作单位浙江省立同德医院的实际需求,围绕慢性肾脏病的预测和药物不良反应识别展开研究。第一项研究从浙江省立同德医院收集了2213名病人的电子医疗记录,其中639名病人发展为慢性肾脏病。然后,本研究提出MD-BERT-LGBM方法建立预测模型,并与现有的其它机器学习方法进行比较。
智能卡设备作为一种保障用户信息安全的产品,其内部实现的密码算法都是满足理论安全要求的商用密码算法,如DES,AES,RSA等,以确保恶意攻击者无法获取内部的关键信息。这些密码算法都是经过了一系列理论验证和筛选,以及传统密码分析方法实际攻击后被证明安全的算法。但是,这些密码算法实现在具体的物理设备上时,设备运行过程中的泄漏信息提供了关于设备中关键信息的先验知识,使得攻击者能够通过旁路攻击这种手段恢复
电弧故障已逐渐成为住宅建筑电气火灾事故的主要成因之一。由于电弧故障拥有因其复杂、随机和不确定等特性,传统的空气开关断路器无法及时响应切断电源并因此失效。针对这种情况,本文对电弧故障特征进行了初步分析。提出了基于时间片的电弧故障特征检测算法,结合该算法和离散小波变换(Mallat算法),实现了一个数字硬件检测电路。该电路与高速ADC一起协同工作,对电弧故障信号进行分析和计算,克服了传统MCU软件实现
水声传感网络(Underwater Acoustic Sensor Networks,UWASNs)是探索、观测及利用海洋的重要基础设施,媒体接入控制(Medium Access Control,MAC)协议是其中的关键技术之一。MAC协议负责分配信道资源,保证网络节点尽可能合理地共享信道。论文以数据收集为应用场景,研究水声传感网络的MAC协议。针对现有协议存在多应用适应或分区域服务质量(Qual
用户的用水类型是供水企业对用户用水收费的重要标准。用户用水类型标签作为供水企业对用户定价的关键凭证,在用户的用水类型申报、供水企业的运营减负及利润保障上起着极为重要的作用。然而随着供水产业改革以及用户规模扩大,用户用水标签错标、标签无法随用户用水性质自动更新等问题日益加剧。供水企业客户基数大、用户长期流动、变动频繁,同时运营资金投入少、人工维护困难等问题使大数据量下用水用户标签的更新和清洗难以实现
鱼类及其相关产品是人类饮食食谱上蛋白质的重要来源之一,渔业的健康发展与人们的生活密切相关。优良的鱼种资源是渔业可以持续健康和快速发展的基础,育种和优选是渔业养殖过程的关键环节。鱼苗的优选除了依靠一些生化指标外,鱼苗的表型数据也是鱼种优选的重要参考指标。目前鱼育种的研究机构多采用人工测量方法获取鱼苗的表型数据,这个过程费时费力且易出错,同时难以获得全面的表型数据。为了帮助研究人员快速准确的测定鱼苗的
敏捷成像卫星具有较强的姿态机动能力,相比于普通成像卫星具备沿俯仰轴侧摆的能力,对于地面观测目标可产生更长的可观测时间窗口。随着敏捷成像卫星应用领域的不断扩大和用户任务需求的不断增加,如何对输入的用户任务序列进行规划,制定出合理有效的任务执行序列,充分发挥敏捷成像卫星的运行效率,对实现敏捷成像卫星在轨运行的自主化、智能化具有重要的意义。本文围绕敏捷成像卫星任务规划问题,建立了带有时间窗口约束的敏捷卫