监督与半监督多视角最大熵判别的研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:uuvvuu11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视角学习是近年来机器学习领域的一个研究热点。在很多现实应用当中,数据也往往具有多个视角,很多理论和应用也证明了多视角学习可以改进学习效果。最大熵判别是基于最大熵和大间隔原理进行判别估计的一个通用框架,它是生成式学习和判别式学习结合的成功典范,因而可以具备概率建模灵活和判别估计分类性能显著的优点。最大熵判别可以覆盖机器学习领域受欢迎的大多数生成式模型。此外,通过一定的假设,它还可以把支持向量机作为一种特例。但是,目前的最大熵判别还只能处理单视角学习的情况无法有效的利用多视角任务数据的多个视角进行更为有效的学习。而本文正是致力于多视角最大熵判别的研究,最后还把多视角最大熵判别从监督学习扩展到了半监督学习。本文提出了五种不同的多视角最大熵判别方法。第一种方法名为多视角最大熵判别(Multi-view maximum entropy discrimination, MVMED),假定了两个视角分类间隔相等,这就意味着从两个视角得到的分类自信度相同,同时还假定了两视角分类器参数与公共间隔变量上的一个联合分布。通过这两个假设,我们设计了MVMED的优化问题模型,并给出了求解定理,还提供了MVMED的一个实例。第二种方法名为灵活的多视角最大熵判别(Flexible multi-view maximum entropy discrimination, FMVMED),它认为MVMED的第二个假定过于严格,代之以对每个视角分类器参数与公共间隔变量假定一个联合分布,并附加一个假定即两个视角公共间隔变量的后验相等。如此以来,FMVMED对于两个视角将会有两个联合分布,体现在模型中就是目标函数中有两个Kullback-Leibler散度,还可以通过一个折衷参数来平衡两个视角的重要性,使得FMVMED变得更加灵活。我们也设计了FMVMED的优化问题模型,并对其进行推导证明,给出一个分两步的近似求解方法:第一步先求解不考虑两个视角公共间隔变量后验相等约束的优化问题;第二步求解出第一步之后再考虑两个视角公共间隔变量后验相等的约束。之后,我们还指出了FMVMED和MVMED, SVM-2K之间的关系。第三种方法名为多核多视角最大熵判别(Multi-kernel maximum entropy discrimination for multi-view learning, MKMED),它首先利用了线性核组合,然后整合进最大熵判别。这是对利用多核学习进行多视角最大熵判别的一个尝试。第四种方法名为基于一致性和互补性原则的多视角最大熵判别(Consensus and complementarity based maximum entropy discrimination for multi-view learning, MED-2C),它在特征级上对多视角学习的一致性进行了建模,首先利用两个投影矩阵把两个视角的特征投影进一个公共子空间,然后使投影后的特征尽可能相近,以此遵守了一致性原则。此外,我们又通过把投影后的特征利用原始的特征进行增广来考虑了互补性。这样,我们就得到一个意义丰富的特征增广表示。然后把这种特征增广表示整合进MED框架并附加一些约束就得到了我们的MED-2C MED-2C充分利用了多视角学习中通常遵守的一致性和互补性两个原则。我们提供了MED-2C的一个实例及其核版本,还给出了一个轮换优化的求解方法。第五种方法名为利用期望拉普拉斯正则化的半监督多视角最大熵判别(Semi-supervised multi-view maximum entropy discrimination with expectation laplacian regularization, SMVMED),它与之前的四种方法有所不同,前面四种方法都是监督多视角最大熵判别方法,而SMVMED是一种半监督多视角最大熵判别方法。它通过整合一个期望拉普拉斯正则化项来利用未标注数据边缘分布的信息提高监督学习性能。我们在多个现实数据集上对提出的四种监督多视角最大熵判别方法和一种半监督多视角最大熵判别方法进行了评估,验证了它们的有效性。
其他文献
大功率三级管在晶体管电压调节器中起无触点开关作用,是一个关键元件。为了提高大功率三极管的可靠性,我们在以下几个方面进行了探讨:大功率三极管的合理选择;保护电路的设计;正反
医用气体系统种类繁多,每种医用气体系统用途及组成也千差万别。本文对医用气体系统的分类、组成及用途进行简单阐述。
<正> 谢洛夫在多莫特坎诺沃创作了大量的作品,他的表妹玛丽娅·雅柯夫列夫娜·西蒙诺维奇的肖像画《阳光下的少女》就是其中的一幅,谢洛夫画这幅画的时候,才只有二十三岁。这
为明确人工智能时代犯罪防控面临的科技红利和风险,准确定位发展方向与应对之策,使犯罪防控既适应智能时代发展需要又满足自身良性发展,基于法学、社会学、犯罪学、管理学角
研究了ICP-AES法直接测定金箔中的Ag、Cu、Zn、Fe、Pb、Sb、Bi微量元素,通过差减法计算出金箔的含金量,确定了仪器最佳工作参数,研究了分析条件中功率的选取、分析线的选择、
知识获取是知识处理过程中的“瓶颈“,这一问题的解决有赖于机器学习研究的进展。本文从两种不同的角度概述并评价了当前机器学习中的一些主要技术和典型系统,其一是着眼于机器
通过分析国内外网上电子书店系统的发展现状,按照软件工程的基本步骤,运用JSP技术和网络数据库原理,基于B/S模式,采用超文本链接语言HTML,Javascript,JSP,SQL SERVER等技术实
舒伯特的《魔王》是一首阴森压抑的艺术歌曲.舒伯特在诗人歌德作品的基础上,配上了旋律,全曲在紧张的人与魔的较量中展开以及最后魔王的胜利而结束,其结构总共分为讲述者,父
目的研究急性脑梗死患者口服阿托伐他汀钙对血清超敏C-反应蛋白(Hs-CRP)浓度变化和血脂的影响。方法选择神经内科住院病房收治的116例急性脑梗死患者,均符合我国第四届脑血管病
随着全日制审计硕士专业学位的设立和招生人数的逐年增加,全日制审计硕士专业学位研究生培养问题日益引起人们的重视。本文通过分析全日制审计硕士专业学位研究生培养中存在