论文部分内容阅读
多视角学习是近年来机器学习领域的一个研究热点。在很多现实应用当中,数据也往往具有多个视角,很多理论和应用也证明了多视角学习可以改进学习效果。最大熵判别是基于最大熵和大间隔原理进行判别估计的一个通用框架,它是生成式学习和判别式学习结合的成功典范,因而可以具备概率建模灵活和判别估计分类性能显著的优点。最大熵判别可以覆盖机器学习领域受欢迎的大多数生成式模型。此外,通过一定的假设,它还可以把支持向量机作为一种特例。但是,目前的最大熵判别还只能处理单视角学习的情况无法有效的利用多视角任务数据的多个视角进行更为有效的学习。而本文正是致力于多视角最大熵判别的研究,最后还把多视角最大熵判别从监督学习扩展到了半监督学习。本文提出了五种不同的多视角最大熵判别方法。第一种方法名为多视角最大熵判别(Multi-view maximum entropy discrimination, MVMED),假定了两个视角分类间隔相等,这就意味着从两个视角得到的分类自信度相同,同时还假定了两视角分类器参数与公共间隔变量上的一个联合分布。通过这两个假设,我们设计了MVMED的优化问题模型,并给出了求解定理,还提供了MVMED的一个实例。第二种方法名为灵活的多视角最大熵判别(Flexible multi-view maximum entropy discrimination, FMVMED),它认为MVMED的第二个假定过于严格,代之以对每个视角分类器参数与公共间隔变量假定一个联合分布,并附加一个假定即两个视角公共间隔变量的后验相等。如此以来,FMVMED对于两个视角将会有两个联合分布,体现在模型中就是目标函数中有两个Kullback-Leibler散度,还可以通过一个折衷参数来平衡两个视角的重要性,使得FMVMED变得更加灵活。我们也设计了FMVMED的优化问题模型,并对其进行推导证明,给出一个分两步的近似求解方法:第一步先求解不考虑两个视角公共间隔变量后验相等约束的优化问题;第二步求解出第一步之后再考虑两个视角公共间隔变量后验相等的约束。之后,我们还指出了FMVMED和MVMED, SVM-2K之间的关系。第三种方法名为多核多视角最大熵判别(Multi-kernel maximum entropy discrimination for multi-view learning, MKMED),它首先利用了线性核组合,然后整合进最大熵判别。这是对利用多核学习进行多视角最大熵判别的一个尝试。第四种方法名为基于一致性和互补性原则的多视角最大熵判别(Consensus and complementarity based maximum entropy discrimination for multi-view learning, MED-2C),它在特征级上对多视角学习的一致性进行了建模,首先利用两个投影矩阵把两个视角的特征投影进一个公共子空间,然后使投影后的特征尽可能相近,以此遵守了一致性原则。此外,我们又通过把投影后的特征利用原始的特征进行增广来考虑了互补性。这样,我们就得到一个意义丰富的特征增广表示。然后把这种特征增广表示整合进MED框架并附加一些约束就得到了我们的MED-2C MED-2C充分利用了多视角学习中通常遵守的一致性和互补性两个原则。我们提供了MED-2C的一个实例及其核版本,还给出了一个轮换优化的求解方法。第五种方法名为利用期望拉普拉斯正则化的半监督多视角最大熵判别(Semi-supervised multi-view maximum entropy discrimination with expectation laplacian regularization, SMVMED),它与之前的四种方法有所不同,前面四种方法都是监督多视角最大熵判别方法,而SMVMED是一种半监督多视角最大熵判别方法。它通过整合一个期望拉普拉斯正则化项来利用未标注数据边缘分布的信息提高监督学习性能。我们在多个现实数据集上对提出的四种监督多视角最大熵判别方法和一种半监督多视角最大熵判别方法进行了评估,验证了它们的有效性。