论文部分内容阅读
在传统的机器学习方法中,单一任务训练集不充分的难题限制了学习算法的应用。而多任务学习方法能通过对任务关联关系的发掘在一定程度上解决这一问题。本文在矩阵统计学研究的基础上,使用矩阵广义逆高斯分布(Matrix Generalized Inverse Gaussian distribution, MGIG分布)对任务关联矩阵进行建模,并对模型在多任务学习中的应用进行了研究。本文首先引入MGIG分布的定义并详细讨论了其统计特性。为了克服MGIG分布统计量无闭合表达式造成的计算困难,本文提出了两种采样策略进行计算。在此基础上,本文提出了利用回归矩阵低秩逼近进行多任务学习的高斯矩阵广义逆高斯模型(Gaussian Matrix Generalized Inverse Gaussian model, GMGIG模型)。进而在该模型上引入残差结构得到用于多任务学习的GMGIG回归模型。通过实验验证了GMGIG回归模型在回归和预测上比同类多任务学习算法优越。本文通过使用MGIG先验构建回归矩阵后验分布的方式,提出了一种新的多任务学习方法,贝叶斯多任务关系学习(Bayesian Multi-task Relationship Learning, BMTRL)方法。并通过引入样本间的连接结构作为约束,构建了具备连接结构的贝叶斯多任务关系学习(Bayesian Multi-task Relationship Learning with Link Constraint, BMTRL-LC)方法。为了克服计算上的困难,本文结合使用凸优化方法和随机EM算法对上述两个方法引入的优化问题求解。通过实验验证了BMTRL和BMTRL-LC在三组实验数据集上比同类多任务学习算法优越。