对说话人情感状态的识别是机器学习领域中一项艰巨的任务,其主要目的是从人类话语中自动识别出情感,即语音情感识别（Speech Emotion Recognition,SER）,它在人机交互领域发挥着至关重要的作用。语音中的情感信息可以有效地帮助机器人理解人与人之间自然交互的意图,其研究主要集中在传统手工制作的底层特征和神经网络所学习的高级特征。以往的工作主要集中在提取传统手工制作的情感特征,但随着深度学习领域的发展,神经网络在SER领域有着卓越的表现。但SER在特征提取方面目前仍然面临着重大挑战,即如何选择一种可靠的方法来从语音中提取显著的特征来推测说话者的情感状态,并构建出高性能的特征表征的网络模型,基于以上的研究目的,本文主要包含以下几点内容及其创新点如下:1)研究基于三维Log-Mel语谱图的深度学习情感识别模型。对语音信号的预处理采用一种基于关键序列段选择的方法,通过径向基函数网络（Radial Basis Function Network,RBFN）和K-means聚类算法找聚类的相似度,对序列片断进行有效的选择,该片段接近群集的质心并代表其余片段。再使用梅尔频率倒谱系数（Mel-frequency Cepstral Coefficients,MFCC）将选定的关键序列转换成三维的log-Mel语谱图,其作为卷积循环神经（Convolutional Recurrent Neural Network,CRNN）网络模型的输入,并采用多尺度卷积策略,设计了两组具有不同尺度的卷积核,以从输入数据中捕获时域和频域信息。2)引入注意力机制并搭建一种多特征联合的网络模型。注意力机制的引入有利于处理语音信息的无声段,突出情感相关信息。为了解决传统手工制作的底层特征的局限性,捕捉到SER任务所需的足够多的情绪特征,将传统底层声学特征和深度学习的高层语义的特征联合生成一个双通道HSF-CRNN-Attention模型,这两种特征可以相互配合以提取出更具有鲁棒性和丰富性的特征表示。本文主要的研究重点主要是从特征和网络两个方向进行讨论的,以此改进并搭建多特征联合和注意力机制网络结构,提取出显著的情感特征表示,并在IEMOCAP和EMO-DB数据集上进行实验对比分析。实验结果表明,本文提出的方法在EMO-DB上的平均召回率和精准度分别为82.88%和82.43%;在IEMOCAP上的平均召回率和精准度分别为66.1%和64.18%。较CRNN基线模型的识别精度分别提高了5.75%和5.36%、5.93%和5.45%,对情感识别的结果有显著的提升,因此证明了本文方法有效性。