基于种群协同进化的多目标卷积神经网络架构搜索算法研究

来源 :湘潭大学 | 被引量 : 0次 | 上传用户:kilmic1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络通过模拟生物大脑神经元的功能和连接结构,使得机器可以通过数据驱动自动化地处理特征工程。随着硬件算力的提升,以深度学习为代表的机器智能技术在工业界和学术界得到了广泛的应用。由于神经网络的性能高度依赖其内部复杂的拓扑结构,网络结构的设计朝着复杂化和大规模化发展,而设计复杂结构需要大量的相关专业知识和繁琐的调参任务,这在一定程度上阻碍了深度学习在不同领域的实践和发展。因此通过计算机代替专家进行网络架构自动化设计成为深度学习领域的研究趋势,涌现出大量的自动化架构搜索算法。然而,尽管相关算法取得了较好的效果,但是由于搜索过程需要大量的时间和计算成本,导致这一技术难以推广。针对神经架构搜索中存在的挑战,本文设计了一种基于种群协同进化的多目标卷积神经网络架构搜索方法,在保证精度的同时提高了搜索效率并降低计算成本。该方法定义了更加完备的搜索空间,并设计了一套灵活的基因编码和解码方案,在种群的迭代过程中提高子代生成和个体评估效率。对于搜索过程中超网络训练成本高和不同规模子架构训练不均衡的问题,提出了基于种群的超网络采样训练策略,有效降低搜索过程显存消耗,平衡不同子架构的收敛性,同时批架构训练策略能有效避免架构之间的耦合干扰。在种群评估过程中采用多个相互冲突目标同时优化的优化策略代替最大精度这一单一目标对子架构进行评估,可以针对不同部署场景设计具有不同复杂性的高性能架构,同时利用权重共享机制代替个体重训练过程,避免了重训练需要花费大量的时间,有效提高了环境选择的评估效率。通过在图像分类测试基准上与优秀的手工设计架构以及同类算法进行了多维度比较,精度性能超越现有的大多数手工架构,同时在同类算法比较中,在保证精度的前提下,搜索时间大幅减少且计算开销更小。另一方面,所提出的算法在搜索过程中更善于发现高精度的小规模架构,算法的性能得到进一步验证。
其他文献
学位
学位
学位
赫尔曼·黑塞是当代瑞士籍德裔作家、诗人,他以关注个体心灵成长,捍卫人的尊严而享誉全世界。他的作品主要以小市民、艺术家和知识分子的个体心灵成长为题材,很多作品可以看作是他本人剖析自我的心灵传记。黑塞的作品之所以在全世界受到广泛关注,就在于他融贯东、西的人道主义思想,他作品里的水意象也体现了这个特征。“水”是东西方文学作品中常见的意象,水本身是一种自然物质,它因承载了人类的思想情感,又具备了象征隐喻的
学位
学位
唐诗无论是从它的诗歌题材、艺术技巧,还是从社会内容表达的广度和深度等方面来看,其创作都达到了新的高度,被称为中国诗歌发展史上的高峰。唐代休官诗数量颇具规模,其中蕴含了丰富的社会内容,具有鲜明的时代性。研究唐代休官诗,不仅有利于挖掘休官诗人的政治心态,也有助于了解休官制度及相关背景下重大政治事件对士人休官的影响。因此,唐代休官诗具有重要的研究价值。本文以唐代休官诗作为研究对象,结合唐代当时的政治文化
学位
学位
所谓“俳谐文学”指的是风格诙谐滑稽,内容反映世俗面貌和士人思想情趣,具有调笑、讽喻、引人发笑性质的文学,是创作者自觉追求游戏娱乐心理的满足、反思自我价值和引领社会文化风尚下的产物,关乎着时下的审美取向和主体生命意识。俳谐文学在中国传统文学发展中一直是一种独特的存在,它不是一种特定的文体,而是文学创作中具有特殊创作形式、创作动机和审美价值的一种文学类别。自古以来,人们将儒家抒情言志的文艺观作为正统文