基于可变形卷积和自适应LTP的表情识别研究

来源 :桂林电子科技大学 | 被引量 : 0次 | 上传用户:fuzaifeng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在人与人的交往方式中,表情是传递人类情感信息与意图的重要方式,通过表情识别技术可以有助于计算机像人类一样观察、理解和提供相应的反馈。目前表情识别技术面临两个难题:一方面无论是基于几何特征还是纹理特征的特征提取算法都存在对皱纹、凸起、凹陷等细微面部变化不敏感;另一方面现有的算法无法解决实际生活中采集到的图片光照分布不均匀、噪声干扰等问题。针对上述的问题,本文分别设计了可变形卷积网络的面部动作单元识别算法和专家先验知识自适应LTP的表情识别算法,并通过实验证明了所设计算法的可行性和有效性。本文的主要研究内容具体如下:(1)设计了一种基于可变形卷积网络的面部动作单元识别算法AU-DCN。首先,通过对卷积核增加一个可学习的偏移参数自适应的扩充感受野的大小和方向;然后在可变形卷积模块中引入调制机制,使可变形卷积模型不仅可以调整每个采样点的偏移量,还可以调节偏移量的权重系数,以此区分得到的候选区域是否为我们感兴趣的区域;最后,通过R-CNN特征模仿,计算Faster R-CNN特征和R-CNN特征余弦相似度,约束这2个特征的差异,使得网络始终聚焦于感兴趣区域,降低无关冗余上下文信息的影响。通过两组实验的结果表明所设计的算法分别在DISFA和CK+数据集上的F1-score均值提高了2.6%和2.4%。(2)设计了一种专家先验知识自适应LTP的表情识别算法。首先,对原始输入图片采用多尺度的表达,对于不同尺度下的图片划分为若干子区域,利用LTP算法对每个子区域的灰度值取其直方图特征;然后计算每个子区域的信息熵建立相应的加权系数,将每个子区域的直方图特征乘以加权系数,并将其级联为一个完整的纹理特征;最后,根据专家先验知识将面部区域划分为8个组群,为每个组群生成掩码,并边界框将其包围起来,作为区域的边界框标签,将原始输入图片、掩码与完整的纹理特征作为网络输入一起送入AU-DCN中。通过两组实验的结果表明所设计的算法在Oulu-CASIA NIR&VIS数据上的识别率较其他算法提高了8.4%,F1-score也明显优于其他三种算法,并通过消融实验,验证了专家先验知识的自适应LTP算法中每一个组件的有效性。
其他文献
随着网络和信息技术的飞速发展,人们已经身处于一个信息爆炸的时代。一方面人们感受到了科技发展所带来的前所未有的方便与便捷,另一方面也使得信息过载成为互联网时代的一大挑战。信息资源的急剧增加,使得用户想在纷繁复杂的网络资源中找到自己所需的内容变得十分困难。个性化推荐可以有效地缓解上述所存在的“信息过载”状况,让用户得到符合自身偏好的服务,以提升用户体验,因而具有重要的研究价值。近年来,越来越多的研究者
当前由于网络的快速普及,大量终端用户使用手机等移动设备观看视频的同时,由于对等网络技术(Peer-to-Peer,P2P)具有高扩展性、低成本等优点而受到研究者们广泛的关注。为了向终端用户更好的提供视频服务,云服务提供商与视频服务提供商结合构建一个高可用的对等网络视频点播云平台。通常,云服务提供商在不同地理区域部署大量的边缘云CDN节点,并通过租用高可用的ISP链路向终端用户提供视频服务。首先,视
近年来我国汽车保有量快速增长,停车难题也越发突出。停车场实时数据的缺乏严重制约了我国停车引导系统的建设,本文针对这一问题,将城市停车引导问题进行分解,从以下两个方面展开研究。首先,针对停车场停放需求的区域化特性,本文设计了一种停车场子网分割模型。模型基于停车场空间位置关系和初始影响力,使用Mean Shift聚类算法进行子网分割。对于子网内停车场,使用基于Page Rank算法的停车转移模型计算其
微小型无人机具有小尺寸、非金属材质和低速飞行等特点,可有效降低雷达发现概率,已成为新型雷达侦察工具。无人机集群克服了单架无人机自身性能与载荷能力的不足,并凭借其远超个体累加的侦察能力,可高效完成复杂的雷达侦察任务。无人机集群任务分配通过协调无人机与任务之间的匹配关系,实现对资源的合理调配。本文研究无人机集群侦察相控阵雷达模式转移规律过程中的任务分配优化,对集群任务分配的模型与方法进行了理论研究与仿
2020年初,新冠病毒爆发,受其影响在线课程成为学生上课的主要途径,在线教育带来极大便利的同时也产生了各种各样的问题,例如:学生反馈效果差,老师授课难度大,教学质量评估难等,为了解决这类问题,本文从课程评论出发获取评价对象的情感极性。通过对在线课程评论数据进行信息提取、情感分类和聚类分析,可以了解学习者对在线课程的观点和情感,从而对在线课程进行评估。在线课程评论数据的分析对于学习者选择课程、教学者
随着网络范围和规模的不断扩大,网络入侵的威胁比以往任何时候都要严峻。网络入侵检测系统是为了防止网络入侵而部署在计算机上的一种安全工具。由于攻击方法的日益复杂,新攻击不断出现,传统的入侵检测已无法满足检测要求,因此需要探索新的方法来检测网络中的入侵。近年来得益于深度学习的快速发展以及其在大数据分析、处理上的优势。本文以深度学习中的深度神经网络和卷积神经网络为基础,建立了一种能够自主学习的检测模型,该
计算机视觉已经在人工智能这个引领全球先进科技的领域中占有举足轻重的地位,目前研究者们在常规的图像增强、图像识别、目标检测等任务中已获得出色的研究成果。然而在我们日常的工作和生活场景中,仍有许多极端环境下的与图像相关的工作容易被忽视,譬如雨天、雾天、低照度、低分辨率等场景下的图像处理工作。针对其中的低照度场景,由于拍摄设备的曝光程度以及现实场景中的光线不充足等原因,通常会导致获取的图像亮度较低,并且
立德树人是高等教育的根本任务,在科学技术高速发展的今天如何利用先进的技术手段实现精准化思政教育成为现阶段的一个研究热点。对于学困生队伍(学业困难学生)的精准化帮扶是精准化思政教育的一个研究方向,而高校现有帮扶策略多以人工统计不及格科目、下达书面预警通知为主,或以简单关联算法实现对成绩的预测。本文在现有预警系统的基础上,对采用LSTM神经网络改进学业预警系统展开研究,具体工作如下:(1)针对学生行为
近年来,随着互联网的飞速发展,传统网络已经无法管控愈发复杂的网络结构和日益增加的数据流量。为适应网络的发展和进步,诞生了一种新型的网络架构,即软件定义网络(Software Defined Network,SDN)。这种网络架构将传统以太网中的控制层和数据层分离,由控制层实施集中控制。由于SDN能够提升网络的可编程性,实现网络流量的灵活控制,因此引起了学术界的广泛关注,其中一项重点研究课题是如何提
光子晶体光纤(Photonic Crystal Fibers,PCF)集成了光子晶体带隙调控光传播和光纤导光的两个特性,故广泛应用于新型光纤传感领域。其中,D型PCF的非圆对称结构能增强纤芯模式与样品的耦合作用,提升传感性能;其平整的侧抛光结构不仅易于样品填充,还易于结构镀膜。当D型PCF与表面等离子体共振(Surface Plasmon Resonance,SPR)技术结合时,其结构优势解决了P