随着互联网的普及与发展,数字音乐的数量也在不断增加,如何对大量的歌曲信息进行有效的组织和管理,以及如何利用音乐内容等相关信息检索音乐,已经成为音乐信息检索领域一个重要问题,音乐分类也成为了最近几年的研究热点。在音乐情感分类方面,传统的分类方法包括基于音乐歌词的情感分类和基于歌曲音频的分类研究,但是这两种方案都有各自的缺陷,首先基于音乐歌词分类的效果并不理想,达不到人们的预期效果,同样基于音频情感分类的准确率存在“天花板”,不容易提升分类的效果,因为在音频中人工提取出具有语义的高级音乐特征是十分困难的,并且提取的特征也无法保证准确性和有效性。针对以上问题,本文提出了新的基于音频内容和歌词文本多模态融合情感分类方法。本文研究的主要内容如下:(1)提出了一种改进的融合方法:在歌曲音频方面,根据歌曲音频信号特征,通过人工提取的时序特征为训练数据,提出基于LSTM的歌曲情感分类的算法;在歌曲歌词方面,使用BERT模型对歌词进行情感分类研究,并引入情感词典,对歌词部分进行了均衡及优化;通过提取不同的歌曲音频特征以及改进多模态融合方法,研究了不同特征数据及不同融合方法对歌曲情感分类的影响。实验结果表明新的融合方法比线性加权融合法有2.38%的效果提升。(2)基于卷积神经网络在图像处理方面上的优势,在歌曲音频方面提出基于卷积神经网络的歌曲情感分类的算法,利用其自动学习音频信号声谱图上抽象特征的特性,避免了繁琐的人工提取特征的过程,同时采用不同的音频图谱和不同的卷积神经网络结构进行实验对比,分析了不同声谱图对不同情感分类情况的影响。实验结果表明多神经网络融合的分类效果要优于单模态情感的分类效果,特别是在Thayer二维情感模型中能量方面的分类准确率上有显著提高。