当前社交媒体发展迅速,各种各样的信息时刻地被发布与转发。信息时代带来众多便利的同时,我们也被众多的谣言、虚假信息所包围着。谣言的广泛传播,容易对网络安全和社会稳定造成严重的威胁。如何从社交媒体广泛的、多模态的信息中有效识别出谣言成为目前的研究热点。而在检测研究中需要基于大量的数据集对算法模型进行训练,这一过程容易造成私有数据集或隐私数据的泄露,对社交媒体平台或用户的利益造成损害。本文基于深度学习方法,将文本、视觉和用户三个模态进行有效融合,提升社交媒体谣言检测性能;在模型中融入差分隐私保护机制,并从理论和反转攻击两个方面验证隐私保护机制的有效性。首先,使用BERT、Glo Ve、VGG-19和Z-Score标准化分别对文本句表征、文本词表征、视觉表征和用户表征进行提取;针对仅根据单一文本或图片难以分辨谣言的问题,对文本和视觉在表征级别进行了双向匹配,融合注意力机制,生成了融合注意力机制的词表征和视觉表征。在前期融合和后期融合中分别融入注意力机制,使模型能够自动地考虑各个模态在模型中所占的比重,并使用Dempster组合规则将前期融合和后期融合结合,设计了基于混合融合方式（DHF）的多模态融合方法。在Twitter和微博两个公开数据集上得到了较高的准确率和F1值,相比目前先进的多模态谣言检测方法提高了15%-20%。其次,为了模型训练过程中涉及大量用户信息的训练集不被非法分子所恶意获取,本文基于差分隐私机制,分别设计了在深度学习网络训练过程的梯度和中间层上添加高斯噪声两种隐私保护机制,分析了噪声对模型效用性的影响以及原因,并基于差分隐私理论证明了隐私保护方法的有效性。最后,为了进一步验证本文差分隐私机制的隐私保护有效性,对多模态谣言检测模型进行了反转攻击。基于梯度优化的方法对训练集进行还原,对比在模型中有无隐私保护机制的情况下,反转攻击对训练集的还原程度,从而验证隐私保护机制的有效性。针对黑盒条件下无法计算模型导数从而无法使用梯度优化方法这一问题,本文通过训练接近原模型的影子模型作为黑盒攻击的基础,实现了白盒和黑盒两种环境下的反转攻击。