论文部分内容阅读
得益于传感器技术的发展,数据存储的形式多以图像、文本、声音、纹理等多种模态存在。传统的机器人感知学习仅包含视觉模态的图像分类、像素分割、目标检测等任务。随着对机器人灵活性需求的不断增加,多模态机器学习方法逐渐成为了分析、挖掘和应用海量多模态数据的有效工具。经典的机器学习方法一般是引入耗时长、难收敛、成本高的深度结构。不久前,陈俊龙等人提出了一种新颖的可替代神经网络:宽度学习系统(broad learning system,BLS),此方法凭借强大的数学理论支撑、简单的平层网络结构、快速的增量建模过程等优点,成功地应用于各项分类和回归任务中。实验证明,BLS在保持较高分类准确率和稳定性的情况下仍能够进行增量式地快速学习,极大地节省了训练时间。然而,BLS主要是针对单模态进行学习的分类器,不具备特征融合的能力。典型相关性分析方法(canonical correlation analysis,CCA)作为一种传统的融合框架,能够利用协方差进行特征映射和联合降维。但是对于更进一步的跨模态融合,仅靠CCA难以解决数据缺失、缺乏一一对应关系等问题,因此需要考虑学习弱相关关系来进行配对和融合。本文基于BLS对上述问题进行研究,旨在寻求一种简单、高效的融合技术,提炼底层输入数据、学习高维抽象表征、融合不同模态信息,提高识别准确率。相关算法能够在极大保障分类识别效率的基础上大幅缩短运算时间,可应用于多模态图像分类、跨模态身份认证等领域。本文的创新包括:(1)提出一种双宽度学习结构(double broad learning structure,DBL),解决BLS不能处理多模态信息的问题。DBL是根据两种多模态输入扩展的BLS结构,本文的后续研究均建立在DBL基础上。(2)引入CCA算法实现多模态特征融合,提出一种新颖的基于DBL的融合模型,成功解决了不同图像模态(RGB、Depth)特征之间的有效融合问题,并实验验证了模型良好的分类性能。(3)针对跨模态特征融合问题,基于聚类的典型相关性方法(cluster canonical correlation Analysis,Cluster-CCA)提出一种弱配对的融合框架,通过特征表达、配对映射和联合降维,学习不同模态间的弱相关性以构造强对应关系,实验验证了融合框架的泛化性和有效性。