【摘 要】
：
情绪是神经系统对外界环境和自身感受产生的主观反映,包含了人的很多信息,影响着人类的交流、学习、认知和决策。在人工智能的飞速发展下,如何让机器理解人的情绪也成为一个研究热点。人的情绪可以通过生理信号（如脑电图、肌电、眼动等）和行为信号（如面部表情、语音等）来检测与识别,生理信号具有真实、不易伪装的特性,而行为信号直观、简单,能够很自然的反应情绪状态。本文采用生理信号和行为信号中两种最常用的数据——脑
论文部分内容阅读
情绪是神经系统对外界环境和自身感受产生的主观反映,包含了人的很多信息,影响着人类的交流、学习、认知和决策。在人工智能的飞速发展下,如何让机器理解人的情绪也成为一个研究热点。人的情绪可以通过生理信号（如脑电图、肌电、眼动等）和行为信号（如面部表情、语音等）来检测与识别,生理信号具有真实、不易伪装的特性,而行为信号直观、简单,能够很自然的反应情绪状态。本文采用生理信号和行为信号中两种最常用的数据——脑电图和面部表情,进行单模态的情绪识别算法研究,并在单模态的基础上进行多模态融合。在脑电情绪识别中,我们从训练效率和识别精度的平衡考虑,提出两个模型以适用于不同的应用场景:（1）基于深度学习的情绪识别模型通常网络复杂、参数量大,难以移植到边缘端实现在线情绪识别,本文针对边缘端轻量模型的应用需求,探究宽度学习系统在情绪识别中的应用,提高模型的训练更新速度;（2）许多基于深度学习的方法仍然需要复杂的预处理或额外的特征提取,这使得端到端学习难以实现,本文从脑电信号的时域出发,提出一种端到端的情绪识别模型——时间卷积宽度网络,提高效率的同时提高识别精度。在DEAP数据集上的实验表明,宽度学习系统在情绪识别上的准确率与其他深度学习方法相当,但其训练耗时远小于深度学习方法;时间卷积宽度网络能有效提取到脑电信号中的时序特征并进一步增强,实现很高的识别准确率。在面部表情识别中,我们提出了基于自适应多尺度空洞卷积网络的表情识别方法。针对人脸面部表情中各个动作单元之间距离不同且不连续的问题,我们采用多尺度空洞卷积来捕捉表情图像中不同距离、不连续区域的依赖关系,并引入尺度自适应策略,让网络自动选出更重要的尺度特征;针对表情图片中各区域贡献度不同的问题,我们在网络中引入注意力机制,采用空间注意力关注表情中更加重要的区域,同时引入通道注意力机制,关注更重要的特征图。我们在CK+和OULU-CASIA数据集上进行了实验验证和可视化分析,并与其它文献进行对比,证明了本文算法的有效性。单模态情绪识别具有其局限性,多模态融合技术可以解决单模态数据信息不充分的问题,因此我们进行脑电和表情的多模态融合。针对脑电信号和表情图片在数据格式和采集速率不同、时间上异步的问题,我们对脑电信号和面部表情单独建模,并将同一段时间内的多个样本结果取平均值之后进行融合;针对不同模态对于情绪分类的决策具有不同置信水平的问题,我们采用决策层加权融合的方式给不同模态分配不同权重,并利用Adaboost算法设计自适应融合策略,自动学习最优权重。在MAHNOB-HCI数据集上的实验结果表明,多模态情绪识别的性能较单一模态有一定提升,且均高于对比文献,证明了模型的有效性和稳定性。
其他文献
细胞分化的本质是转录组的更迭,关闭早幼期细胞特异性基因（上游基因）,开启表达更成熟阶段特异性基因（下游基因）。表观遗传在这一过程中发挥重要调控作用。多梳抑制复合物2（Polycomb Repressive Complex 2,PRC2）是H3K27甲基化酶,包括Ezh2、Eed和Suz12三个核心蛋白。H3K27me3标记的基因处于表达受抑或者蓄势（同时带H3K4me3标记）状态。PRC2在胚胎干
近年来农作物病虫害情况呈加重态势，对粮食生产已构成直接威胁，提出了基于图像识别算法对大田作物进行病虫害数字化诊断与预警系统应用的方案设计，采用YOLOv3算法实现目标检测，引入卷积注意力模块（CBAM），通过无人机对大田作物的监测，以期提供可借鉴的方法。传统人工识别在大田信息检测上占很大劣势，其存在识别准确性低、效率低等严重缺陷，而若将图像识别算法与无人机相结合，用于检测农田，就会在降低病虫害发生
农作物病虫害是当今农业生产需要解决的重要问题之一。基于卷积神经网络的图像识别技术是一种新型的图像与数据处理技术，利用该技术，可以在农业种植过程中，及时准确地分析作物病虫害，以便做出快速准确的反应。综述了利用卷积神经网络模型识别农作物病虫害识别技术在国内外的发展情况，讨论了所调研文献中的病虫害识别关键技术，包括数据源选择、数据预处理手段、卷积神经网络模型和算法优化方式的不同与相似之处。提出了数据获取
随着无线网络技术的进步,频谱资源短缺,以LED作为信号发送端的可见光通信（VLC）系统引起了广泛的关注。相较于传统的无线电通信方式,VLC具有频谱宽、保密性好、抗电磁干扰等优势,具有广阔的应用前景。光学相机的革新及普及,使得以光学相机作为信号接收端的光学相机通信（OCC）系统引发了广泛的兴趣。本文将室内照明的灯具与OCC系统相结合,实现照明通信共用的室内OCC系统。本文首先搭建了室内OCC系统,针
分子簇作为一类纳米尺度结构明确的原子或分子聚集体团簇,具有多样化的尺寸、结构与组成,在基础科学与应用中都具有良好的前景。分子簇的这些结构特征使其非常适合作为基础研究的模型体系,而分子簇本身也有许多尚未解决的科学问题。目前已有许多表征方法被成功应用于分子簇结构表征中,包括电子显微镜、各种光谱、核磁共振波谱、质谱、X射线衍射等。虽然这些方法均能提供有用的结构信息,然而它们仍然不能完全满足部分研究需求。
作为最重要的大数据类型之一,时空数据具有空间属性、时间属性和其他属性等多维度的特点,其背后蕴藏着巨大的信息价值,在地图导航和智慧城市等日常生活各个方面发挥着十分重要的作用。通过对车辆行人既往的时空轨迹数据进行收集和管理,使用大数据技术分析出车辆的运行状况和人流的移动规律,可以有效地缓解城市交通拥堵问题,提高城市出行的效率。所以,如何对海量的历史轨迹数据进行存储和管理成了当前亟需解决的热门问题。同时
超小发光金纳米粒子（AuNPs,d＜3 nm）由于其可调的光学性质、表面易功能化及良好的生物相容性,在生物荧光成像和疾病治疗等生物医学领域受到越来越多的关注。当前,设计与开发光学穿透深度高、背景散射低的近红外二区发光（NIR-II,1000 nm-1700 nm）AuNPs探针的研究已成为光学成像领域的热点。AuNPs的光学性能与其表面化学性质及聚集状态密切相关。另外,发光AuNPs可产生单线态氧
我国移动通信经历了2G、3G、4G时代,目前正处于5G建设与应用高潮阶段,极大地满足了人们的高速数据传输需求。天地一体化移动卫星通信是未来6G通信的关键技术,相比于传统的地面通信,其主要优势在于覆盖范围更广,不受地理因素的影响,不受运动限制。未来6G移动卫星通信终端需要与现有的5G和4G等移动通信终端融合,从而将实现天地一体化的全球无缝覆盖。因此,研究6G卫星通信与现代地面移动通信一体化终端天线具
近年来,移动机器人的工作场景和功能需求呈现出多样化和复杂化的趋势。自主导航功能是移动机器人完成其他复杂功能的基础,是最不可或缺的功能之一。目前广泛应用于移动机器人中的自主导航功能主要使用激光雷达实现,无法利用图像和语言等具有丰富特征的信息进行导航和避障。如何让移动机器人理解图像和语言,并将其获得的视觉和语义信息利用到自主导航中成为亟需解决的问题。本文针对视觉和语义信息在移动机器人自主导航中应用问题
随着国家“互联网+”的战略部署和工业信息化进程的加快,计算服务对社会乃至个人的影响越来越大。云计算的出现使计算资源得以集中分配和维护,解决了许多企业需要自己建造和维护计算基础设施的成本问题。然而,随着云计算的发展,作为云计算基础设施的数据中心也在加速扩张。数据中心巨大的能耗也在与日俱增,成为了社会和政府所关注的问题。为了能够对数据中心的能耗进行优化,对数据中心的能耗结构进行建模以及对数据中心系统资