随着移动设备的普及和互联网技术的不断发展和突破,数据量呈指数级增长,整个互联网传播数据不再是单一的文本数据,而是由多样化形式数据共存,如:图像、音频和视频等。互联网本质是分享、互动、虚拟、服务,实际上这四项都离不开社交功能,其背后的本质就是“数据的流动”。互联网让数据在人和设备二者之间产生了自由流动,通过数据把世界连接了起来,这是互联网带来的革命性变化,它让人类实现互联,分享信息,发现兴趣,共同受益。互联网数据是由人类产生,这些数据注定要被人类消费掉,因为这些由人类产生的多模态数据往往会有很多有趣内容或有用知识,这使得数据挖掘的可用性和有效性在学术界和工业界得到广泛的研究和认可。而社交媒体能够产生大量的文本和图像数据,通过对社交平台多模态数据进行挖掘,不仅能够很好的理解用户的兴趣或意图,而且对于多模态数据的语义表达和融合也起到了非常重要的作用,这也正是本文研究的重点。根据多模态数据间存在着紧密语义关联这一特性,本文主要以社交媒体用户行为数据中的兴趣概念为基点,通过对用户的文本和图像数据进行分析,结合深度学习的方法将多模态数据的语义特征进行融合表达,并针对多模态数据融合进行了深入研究。文本的研究工作主要包括6个章节:第1章引言:研究国内外社交媒体用户兴趣建模和用户兴趣识别研究现状及发展趋势方面文献梳理工作,主要了解到国内外关于社交媒体用户兴趣建模存在的数据类型单一性问题,并探讨了本文的选题背景和选题意义,并针对选题背景和选题意义提出了研究方法、研究思路、研究内容和研究创新。第2章相关理论与工作概述:阐述了社交媒体的相关概念和信息传播方式,针对国内社交媒体微博用户图像和文本数据特点进行相关性分析,并进行数据采集和清洗工作,主要对微博中的用户文本和图像两类数据进行用户兴趣建模定义、模型构建和用户兴趣识别工作。第3章基于Bi-RNN和注意力机制融合的博文用户兴趣建模:针对社交媒体中的用户博文,提出一种新的微博短文本训练模型。本章针对在原有传统用户微博文本语料稀疏和不足的情况,引入了微博用户兴趣标签语义信息,让博文向量模型能够获得额外的共现信息,使整个词向量模型能够更好的识别具有语义关联的词语,让语义词在向量空间中更相似,解释性更好;使用双向循环神经网络提取高层特征并引入注意力机制,该方法具有更好的文本语义特征提取和表达能力,很好的对微博文本用户兴趣模型构建和识别,并对用户进行兴趣分类。第4章基于CNN的微博图像用户兴趣建模:提出一种基于卷积神经网络的单模和单模组合图像融合的用户兴趣分类模型。针对社交媒体中微博用户分享的单模图像和单模组合图像,构建了一种单模组合图像检测方法。然后通过使用卷积神经网络和池化的方法得到图像特征表达,将池化后的矩阵平铺作为图像的全局表达,从而更有助于微博中图像用户兴趣分类。第5章基于多模态数据融合的微博用户兴趣建模:提出了一种基于多模态数据的微博用户兴趣分类模型,通过文本和图像语义的融合,能够很好的发现或预测用户的兴趣类别。这种方法主要利用图像的特征的表达与文本中双向循环神经网络的所有隐藏状态计算内积,然后再接softmax激活函数获得每个隐藏状态的分布,利用所有的隐藏状态加权求和,最后将结果加权拼接起来用进行分类,并且能够提高用户兴趣分类的性能。第6章研究总结与展望:对全文研究内容进行总结和展望,总结研究成果和提出研究相关结论,分析研究不足,并提出未来的可行性研究建议和进一步研究方向。