随着互联网的快速发展,大量的复杂数据对象可以从多种信息渠道被获取或由不同提取方式的多模态特征来描述。因此,多模态学习引起了研究者的广泛关注。通过利用多个模态信息之间的关系,多模态学习能够有效地提升学习效果。而在一些真实应用场景中,不同模态的数据特征可能来自不同的私有数据源,要求在学习模型的训练和测试过程中数据源之间不能共享数据信息,也即在利用多模态特征之间的关系的同时也要保护数据隐私。同时,这种竞争-合作场景不仅需要融合多模态数据学习得到一个很好的综合结果,还要求每个模态上的个体学习器的性能也得到增强。本文面向模态数据隐私保护的多模态学习技术,做出以下工作:1.为了同时提升多模态学习器和模态个体分类器的学习效果,本文提出了一种基于模态预测值一致性的新颖的混合式模态融合框架。通过对累积预测矩阵加上低秩约束来减少模态个体分类器的偏差,学习得到提升了的模态融合结果;然后回传给每个模态以更新各自的模型参数,优化学习器性能。学习过程只需获得每个模态分类器的预测输出,不接触模态特征,从而保护了数据隐私。此外,本文还给出了多种参数优化算法和二分类问题下的加速版本。最后本文在一系列多模态数据集上就性能指标和训练时间进行了实验比较和显著性分析。2.更好地利用未标记样本能够减少对来自隐私数据源的有标记样本的需求,因此本文定义了一种新的模态一致性指标。在协同训练框架下,对所有其他模态个体分类器对未标记数据的预测结果的进行低秩后融合,将得到的一致性结果作为该样本的置信度打分,用以选择最为确定的样本子集来增大某个模态的训练集,从而实现模态个体学习器的互相提升。训练过程中没有模态特征的互访,大量使用未标记样本也进一步降低了对初始分类器的要求。多个真实数据集上的结果表明了本文所提方法的有效性,尤其在处理模态数量较多的数据时的优越性。