音频和视频等多媒体数据业已成为数字信息处理领域当中主要的信息载体,有效快速的处理和分析问题已日显重要。本文研究的音乐情绪分类是音频分类的一个研究热点,其本质是模式识别问题。本文的主要工作和创新归纳如下：首先,本文介绍了音乐情绪识别问题的研究背景以及深度学习的研究与发展历程。然后,本文详细介绍了受限玻尔兹曼机和深度信念网络模型的构成与学习流程。本文在深度信念网络模型的基础上,提出了对音乐的音频和歌词两种模式的特征进行多模式的融合学习的模型,并改进了其学习算法。基于深度信念网络模型的多模式学习模型进行特征融合的基本思想是,对深度信念网络模型基于条件概率激活机制的自下而上的逐层学习进行改进,将多个模式逐层学习的条件概率激活看作可见层到隐含层的映射,在逐层学习的同时,添加对各模式同层隐含层节点状态间距离的衡量和优化约束条件。这样,对各模式的隐含层进行融合,既保留了各模式特征的分布特点,又考虑到了各模式特征的对比。本文实现了上述模型,并进行了实验与分析,验证模型性能。本文首次运用深度信念网络模型进行多模式的特征学习,通过融合多种模式的特征,解决音乐情绪分类问题的特征重构问题,提高了音乐情绪分类系统的情绪预测准确度和稳定性。本文基于深度信念网络的多模式学习模型采用堆叠受限玻尔兹曼机的方式实现,对原始学习算法进行了一定的改进,增加了基于距离衡量的学习机制,且通过实验证明了方案的有效性。