随着社交网络和移动互联网的发展,人们不再需要通过报纸、电视新闻等途径了解最新的社会事件,而是可以方便的从社交网站、移动端应用中获取。社会事件的报导也不再是记者的特权,普通的互联网用户也可随时拿出手机拍摄记录周围发生的一切社会事件,并上传分享到社交媒体网站。上传的社会事件一般既包含文本信息又包含视觉信息（图像、视频）,并且会跟某些特定的主题相关。因此,从庞大的社交媒体数据中自动挖掘和分类社会事件的热点话题,对用户更好的浏览、搜索和持续关注社会事件很有帮助。在社会事件分析领域,已经有许多成熟的工作,这些工作大多基于概率主题模型,不仅能够联合建模社会事件的多模态信息,还能有效利用有监督信息得到更具有判别力的事件表示。但美中不足的是,现有模型在主题可解释性上依然不能令人满意。本文主要做了以下两个方面的工作:（1）在现有的社会事件分类方法中,研究人员忽略了有监督语料丰富的内部语义。本文提出了一种融入内部语义的多模态监督主题模型（Sem-MMSTM）用于社会事件分类。该模型利用了两种内部语义,分别为词性语义和类别语义,来提升事件表示的性能和主题挖掘的质量。最后,我们在一个真实的大规模多模态数据集上对所提出的模型进行了评估,与现有模型相比,我们提出的SemMMSTM模型由于引入了有效的语义信息,在分类准确率（ACC）和主题可解释性（PMI）指标上都有显著的性能提高。（2）社会事件文档中包含丰富的知识实体和知识关系,这些知识以向量的形式编码在各个知识图谱中（如Word Net,Freebase等）。本文接着提出一种基于语义和知识扩展的多模态监督主题模型（Pos-KGE-MMSTM）,通过词性标注技术引入内部语义,通过扩展一个知识模态引入外部知识,社会事件的多模态数据和扩展的知识模态在文档范围内共享一个主题空间。我们的模型在文本模态利用词性先验避免了主题模型一味地偏向高频词,在扩展的知识模态自动捕获知识图谱中实体之间的关系,并指导模型的主题建模。通过充分利用语料的内部语义和外部知识,可以提高主题的语义一致性,更好地捕捉到文档在主题空间中的表示。我们的实验结果证明了本文所提出方法的有效性。