论文部分内容阅读
目前在利用贝叶斯优化框架解决昂贵优化问题(即适应度估计计算成本特别高的问题)时,最常用的代理模型就是高斯过程模型,主要是因为它能够提供适应度值的估计(目标函数值的预测平均值)以及不确定性的估计(目标函数值的预测方差)。然而,当训练样本的数量增加时,高斯过程中协方差矩阵的计算量会变得非常大(()3O N,N为训练数据数量),用于构造高斯过程的计算时间可能变得过长。另一方面,通过在不同任务之间共享信息,同时学习多个存在相关性的任务可以避免每个任务从头开始学习,且利用任务之间的相关信息可以促使每个任务更好的学习数据特征。因此,多任务学习的研究非常具有意义。然而,现有的多任务学习方法大多都是通对网络的损失函数添加约束项来对网络中的权值进行约束处理,并使用该约束项来表示任务之间各种可能的关系,所以,各个任务的网络结构并没有改变。本文通过分析现有的多任务学习网络结构,将多个任务的网络联合起来进行学习,通过在网络中增加相关性层,提出了两种新型的多任务学习网络结构。论文的主要工作有以下几点:(1)研究了径向基函数(Radial basic function,RBF)神经网络,并根据其局部逼近特性和学习速度快等特点将其应用于贝叶斯优化框架,取代常用的高斯过程模型,从而避免高斯模型中复杂的协方差函数计算问题。(2)本文提出了基于RBF的多任务学习网络模型,并将提出的多任务RBF网络模型应用于贝叶斯优化框架。相较于传统多任务学习网络,我们提出的网络模型包含相关性学习层。通过采集函数在每一次迭代中根据不同的任务选择出一些新的候选点,并根据不同模型的数据集特性,选择性的对候选点进行评估,快速扩展训练集的数据量,数据量的增加将更有利于模型的训练。(3)针对于不同的应用,提出了两种多任务学习结构,一种是单输入多输出的多任务RBF学习网络(The multi-task learning network with single-input-multiple-output based on radial basic function,SIMO-MT-RBF),另一种是多输入多输出的多任务RBF学习网络(The multi-task learning network with multi-input-multiple-output based on radial basic function,MIMO-MT-RBF)模式,其中,对于MIMO-MT-RBF网络模型,我们提出了两种不同的训练方式。(4)在多个基准问题上对提出的多任务学习模型进行实验,与基于单任务学习模型的贝叶斯优化算法,以及基于高斯过程的贝叶斯优化算法进行实验对比,在几种情况下的实验研究都表明,我们所提出多任务学习框架能获得更好的性能表现。(5)将提出的算法应用于复杂神经网络超参数优化问题,并与基于单任务学习的贝叶斯优化算法的结果进行比较,实验结果表明本文提出的多任务学习网络模型能够让多个任务之间的信息共享,并且可以学习到任务之间的相关性,从而找到使神经网络准确率较高的超参数组合。