论文部分内容阅读
模式识别、机器学习等交叉学科需要从观察到的数据中发现规律。最近的十几年来,互联网、通信等信息技术得到了革命性的发展,而信息技术的发展促使当今社会所产生的数据量极速增长,其中有很多数据能够以多种不同的形式进行表示。比如,在互联网中,每个Web网页能够表示为其所含文档和指向它的超链接;人脸识别领域中,可以对同一人脸图像样本提取出不同形态的特征形式,如Gabor特征,HOG特征,LBP特征,PCA特征分别用来描述人脸的方向尺度特征,边缘轮廓特征,局部像素灰度变化特征以及整体主要信息特征等。传统的基于单视图的分析算法,仅利用单一视图内的结构特性,没有利用视图间的关联、互补信息,多视图学习方法则尝试在不同的视图之间提取出相互关联、互补的特征,从而可以改善在数据集上的学习或分类效果。因此在最近的十几年以来,多视图特征学习在机器学习、数据挖掘和计算机视觉等领域受到了广泛的关注。本文以研究多视图数据的分类方法为主题,以提取数据中的鉴别特征为重点,从子空间鉴别特征提取、半监督流行学习和鉴别字典学习三个方面入手,做了一些创新工作,其主要内容包括:(1)以典型相关性分析(Correlation Canonical Analysis,CCA)为基础,分别对鉴别典型相关性分析(Discriminant Correlation Canonical Analysis,DCCA)、多视图鉴别分析(Multi-view Discriminant Analysis,MvDA)、增强组合特征鉴别相关性分析(Combined-Feature-Discriminability Enhanced Canonical Correlation Analysis,CECCA)等算法进行研究分析,提出二重鉴别相关性分析(Dual Discriminant Correlation Analysis,DDCA)方法。DDCA算法设计的模型具有两点优势:其一,能够在每个视图内借助于Fisher鉴别分析(Fisher Discriminant Analysis,FDA)寻找投影向量以保证样本的可分性;其二,能够在视图之间分析样本的鉴别相关性,即寻找投影向量使得样本之间的类内相关性最大,类间相关性最小。DDCA是一种有监督的特征提取方法,相比较于CCA能够有效利用样本的标签信息;此外,传统相关性分析方法由于自身模型的限制,仅适用于两个视图之间,而忽略了视图内部自身的信息,而DDCA在同一视图内部和不同视图之间均能够对数据进行分析,基于以上几点,DDCA有助于改善分类效果。(2)在半监督场景下,提取每个样本的多个视图特征有助于进一步挖掘样本多方面的信息,目前已有学者和研究人员们提出了一些有效的半监督多视图学习方法。尽管现有的半监督多视图特征学习方法已经取得了一定的效果,但是这些方法并不能很好的同时考虑到视图内和视图间的鉴别信息,而且如何有效地提取无标记样本的近邻结构信息,也具有较大的提升空间。本文提出了一种新的半监督多视图特征学习方法,即半监督双重视图特征学习(Semi-supervised Dual-view Feature Learning,SDvFL),该方法可以让有标记、相同视图的异类样本之间互相远离,同时无标记、相同视图的近邻外样本之间也要互相远离;有标记、不同视图的同类样本互相靠近,同时无标记、不同视图的近邻内样本之间也要互相靠近。通过这种方式,SDvFL能够有效地挖掘多视图数据中的信息。(3)在(2)的基础上,研究半监督情形下不同视图之间的相关性,为了挖掘不同视图学习得到的投影矩阵之间的关联,引入了视图一致性的概念,提出了半监督双重视图一致性特征学习方法(Semi-supervised Dual-view Consistency Feature Learning,SDvCFL)。SDvCFL方法考虑多视图中的样本特征描述的是同一个对象不同方面的特性,那么不同视图特征学习的投影矩阵之间应该有一定的联系,因此不同视图的结构信息都是类似的,可以考虑让实际求解得到的不同视图之间结构信息的差异最小化,本文中称之为“视图一致性”,即通过视图一致性来进一步约束原始样本结构信息的差异性。(4)稀疏表示及字典学习技术在模式识别领域已经取得广泛关注,本文在传统单视图字典学习的基础上提出一种针对于多视图数据的鉴别字典学习方法(Multi-view Discriminant Dictionary Learning,MDDL),MDDL模型能够学习出结构化的鉴别字典,该字典具有三点优势:其一,同类样本能够使用同类同视图的字典进行逼近;其二,某一类样本由不同类所有视图的字典表示残差较大;其三,引入重构系数鉴别项进一步加强字典的鉴别能力。(5)在(4)的基础上,进一步分析稀疏重构系数的性质,在有监督的情况下考虑重新定义系数鉴别项,新的鉴别项能够使有标记、相同视图的异类重构系数之间互相远离,同时无标记、相同视图的近邻外重构系数之间也要互相远离;有标记、不同视图的同类重构系数互相靠近,同时无标记、不同视图的近邻内重构系数之间也要互相靠近,基于此提出了近邻多视图鉴别字典学习方法(Neighbour Multi-view Discriminant Dictionary Learning,NMDDL)。NMDDL方法在保证字典近邻关系的基础上进一步提升字典的鉴别性,最终能够有助于改善分类效果。