论文部分内容阅读
情感是人类日常生活中至关重要的一部分,在人类的认知、互动、决策过程以及对外界环境的感知中都起着重要的作用。近年来随着人工智能(Artificial Intelligence,AI)技术的研究和经济的高速发展,机器人普遍应用于各个领域,应用领域对机器人的智能化也有了更高的期望,希望机器人可以读懂人类的情感并与人类进行交流。情感识别研究即试图构建人与计算机之间情感交互的模型,赋予计算机情感识别和情感表达的能力。脑电信号(Electroencephalogram,EEG)是一种反映大脑皮层神经元电位活动的生理信号,与情感的产生息息相关,并且在采集中容易获取,不会对人体造成伤害。因此使用EEG进行情感识别成为了研究热点。EEG情感识别研究方法的性质属于模式识别问题,主要包括鉴别性EEG特征提取和情感分类两个关键步骤。目前研究者已经提出了很多特征提取方法和分类方法,但是存在单一特征识别率低和模型泛化能力差的问题。首先,单一脑电特征不足以描述EEG中的丰富信息,简单的特征组合会使特征空间存在冗余特征,影响模型精度并增加模型复杂度。其次,传统的分类模型训练通常是在公开的数据集上离线进行的,并忽略了不同群体及个体间的差异性,模型泛化能力差,难以实现对不同个体的实时情感监测。针对上述问题,本文研究的主要工作和内容如下:1.提出一种基于联合稀疏表示(Joint Sparse Representation,JSR)的多特征融合EEG情感识别方法,将简单的特征融合问题转化为优化问题。选择三种相关性尽量小且有效的EEG情感特征:小波能量特征、Hurst指数特征和分形维数特征,分别计算每个特征对应的稀疏矩阵,组合三个特征量的稀疏表示矩阵得到多特征融合结果。由于支持向量机(Support Vector Machine,SVM)分类对核函数和参数的选择较为敏感,一般根据经验进行选择。相关向量机(Relevance Vector Macinhe,RVM)的核函数选择不受限制,且具有较好的泛化能力,因此选择RVM作为分类模型。实验结果表明,本文提出的多特征融合方法分类准确率均值在84%以上,比传统方法提高至少8%。2.提出基于深度学习和迁移学习的云端边实时情感识别系统,云端服务器通过连续卷积神经网络(Convolutional Neural Networks,CNN)在带有标签的公用数据集上训练通用情感识别模型。在模型训练中,设计了一个三维(Three-dimensional,3D)立体结构表示从多通道多频带提取的特征组合,首先将电极位置分布图映射为二维平面图,将信号进行分频后提取微分熵特征和Hjorth移动性特征,最后将所有二维平面叠加形成一个三维立体结构,作为CNN的输入。CNN自动学习提取立体结构中的抽象特征并实现情感分类。云端服务器训练好模型后,将通用模型下发至靠近用户的边缘服务器,边缘服务器分别将模型迁移到区域用户情感数据集和个人情感数据上,训练得到区域EEG情感识别模型和个性化的EEG情感识别模型。实验结果表明,该情感识别框架可以减少模型训练时间,实现较高准确率的个性化情感识别。