论文部分内容阅读
神经网络通过模拟生物大脑神经元的功能和连接结构,使得机器可以通过数据驱动自动化地处理特征工程。随着硬件算力的提升,以深度学习为代表的机器智能技术在工业界和学术界得到了广泛的应用。由于神经网络的性能高度依赖其内部复杂的拓扑结构,网络结构的设计朝着复杂化和大规模化发展,而设计复杂结构需要大量的相关专业知识和繁琐的调参任务,这在一定程度上阻碍了深度学习在不同领域的实践和发展。因此通过计算机代替专家进行网络架构自动化设计成为深度学习领域的研究趋势,涌现出大量的自动化架构搜索算法。然而,尽管相关算法取得了较好的效果,但是由于搜索过程需要大量的时间和计算成本,导致这一技术难以推广。针对神经架构搜索中存在的挑战,本文设计了一种基于种群协同进化的多目标卷积神经网络架构搜索方法,在保证精度的同时提高了搜索效率并降低计算成本。该方法定义了更加完备的搜索空间,并设计了一套灵活的基因编码和解码方案,在种群的迭代过程中提高子代生成和个体评估效率。对于搜索过程中超网络训练成本高和不同规模子架构训练不均衡的问题,提出了基于种群的超网络采样训练策略,有效降低搜索过程显存消耗,平衡不同子架构的收敛性,同时批架构训练策略能有效避免架构之间的耦合干扰。在种群评估过程中采用多个相互冲突目标同时优化的优化策略代替最大精度这一单一目标对子架构进行评估,可以针对不同部署场景设计具有不同复杂性的高性能架构,同时利用权重共享机制代替个体重训练过程,避免了重训练需要花费大量的时间,有效提高了环境选择的评估效率。通过在图像分类测试基准上与优秀的手工设计架构以及同类算法进行了多维度比较,精度性能超越现有的大多数手工架构,同时在同类算法比较中,在保证精度的前提下,搜索时间大幅减少且计算开销更小。另一方面,所提出的算法在搜索过程中更善于发现高精度的小规模架构,算法的性能得到进一步验证。