基于面部视频的非接触式rPPG心率检测

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:labidax
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着居民生活水平的提高,人们对健康的监测也越发重视。其中心率(Heart Rate,HR)是反应生理信息的重要指标之一,监测心率及其变化对医疗诊断和疾病预防具有重要意义。现存的心率监测装置多为接触式的,如心电图(Electrocardiogram,ECG)监测、光电容积描记(Photo-plethysmography,PPG)监测等。这些监测方式通常需要特殊设备,测量成本较高,并且若长期佩戴,可能会引起部分患者和使用者的皮肤不适。于是近些年来,非接触式健康监测成为了国内外研究的热点。其中,基于远程光电容积描记法(Remote Photo-plethysmography,r PPG)的心率检测技术在具有非接触、成本低廉等优势的同时,还可取得临床使用级别的检测准确率。但该技术也受到光照、动作、感兴趣区域(Region of Interest,ROI)选取、视频压缩等条件的限制。本文研究了在多种干扰因素的复杂场景下的非接触式r PPG心率测量技术,主要工作包含以下两个方面:(1)为了提高算法对于生理信号区域的识别能力与时域信息的利用能力,提出了一种基于时空注意力网络的r PPG心率检测方法。时空注意力网络主要包含空间注意力模块和时域融合模块。空间注意力模块让有限的计算资源得到了更充分的利用,通过软注意力机制学习到的注意力权重,可使网络更加关注于生理信号相关的区域,避免了在面部视频上对ROI的进一步选取,使网络对监测目标的动作以及空间上下文信息更加鲁棒;时域融合模块使用3D卷积,在充分利用时域信息的同时,还将时间维度上的信息进行了融合,避免了冗余信息的计算,大大减少了所需的计算资源,配合时域掩膜分支,使网络对噪声信息的权重得以重新分配,提高了输出信号的质量。(2)为了减轻网络的拟合负担,增加网络对压缩视频的信号提取能力,在两个方面对输入进行了加强。第一,利用Plane Orthogonal to Skin(POS)算法和动作描述(Motion Representation)正则化技术对输入视频帧进行处理,经POS算法处理后的数据可让网络模型更加轻松的提取出r PPG信号,动作描述正则化技术提高了网络对于动作噪声的鲁棒性。第二,针对视频压缩造成的信息丢失,利用超分辨率网络Enhanced Super-Resolution GAN(ESRGAN)对输入进行逐帧处理,恢复出了由于视频压缩而腐蚀的生理信号,使输入的视频数据更加清晰。
其他文献
事件抽取是当前自然语言处理领域的研究热点和难点,目的是从大规模、无结构化的自然语言文本中提取反映客观事实的重要事件信息,在智能问答、自动文本摘要、知识图谱构建等多个方向上具有重要的应用价值。事件抽取建模是事件抽取研究的核心问题,传统的统计学习和端到端的深度学习采用监督学习策略进行事件抽取建模易受标记数据规模小、数据稀疏的困扰,且基于流水线方式建模存在误差传播问题。因此,针对上述事件抽取建模的问题,
随着当今人类生活走向智能化和现代化,软件已经成为了影响生活至关重要的因素。软件缺陷预测(Software defect prediction,SDP)辅助开发和测试人员提前发现项目中潜在的缺陷,并合理分配资源,提高了开发过程的效率并保障了软件的可靠性。传统的软件缺陷预测模型,以专家设计的特定度量元(如:代码行数、对象的耦合程度等)作为软件的特征,分析并预测软件的缺陷情况。一方面,依据专家经验设计出
随着城市中车辆数量的不断增多,交管部门对车辆交通进行精细化管理的要求也日益迫切,而掌握车辆的出行行为特征是能够实行精细化管理的重要前提。车辆活动的规律性是车辆的重要行为特征之一,对提高车辆交通管理水平有重要参考价值。基于城市智能交通卡口设备可以获取到大量的历史行车轨迹数据,研究如何挖掘轨迹数据中潜在的车辆出行模式,对解决城市交通拥堵、确保交通安全畅通具有重大意义。而车辆历史行车轨迹的混乱程度可以刻
视觉振动检测技术因其特有的优势在机械制造、建筑物状态观测、人体健康监测以及地质勘探等检测任务中均有广泛的应用。而在一些复杂环境下,视频振动检测技术中的抗干扰能力有待加强。例如在图像采集的过程中不能保证拍摄相机的绝对静止,在一些带有相机抖动的视频中无法做到对振动信号的准确提取,给研究造成了极大的影响,导致振动频率检测出现误差,影响后续的判断与研究。针对相机运动干扰造成视频振动检测误差的问题,本文做了
边界表示(Boundary Representation,BREP)与构造实体几何表示(Constructive Solid Geometry,CSG)是两种主流实体表示法。目前各种商用CAD系统广泛采用BREP表示法,也具有完善的建模方法,而如蒙特卡罗等科学计算程序则采用CSG表示法,但缺乏高效的建模手段。蒙特卡罗等计算领域希望借用商用CAD的完善建模方法,其关键是实现BREP→CSG转换。目前
随着信息化时代的到来,人们渴望计算机能够智能化地处理生活中遇到的各种问题。作为计算机视觉领域的重要课题之一,目标检测为其他高级视觉任务的实现提供了前提条件。目标检测是一个多任务学习的过程,结合深度学习能够快速地从复杂场景中获取目标物体的类别与位置。近些年来,目标检测技术日益成熟,已经广泛应用于日常生活安全、机器人导航、智能视频监控、交通场景检测及航天航空等领域。本文对基于anchor-free的目
机动车在人们日常出行活动中异常重要,也是智能交通系统的主要研究对象之一。近些年来,我国机动车保有量及道路交通量猛增,给交通管理部门的工作增加了极大的压力,同时也对智能交通技术的发展提出了更大的挑战,其中针对车辆型号的识别任务至关重要。然而车辆型号种类多,某些车型外观差异小,并且实际拍摄环境复杂多样,这些因素造成车型精细识别的难度大大提高。针对车型识别任务的研究,本文将视觉注意力机制与深度学习方法相
随着互联网的发展,现在数据越来越多样化并且复杂化。FCM算法对数据集有一定的局限性,通常在球状的类间分离明显,类内紧致的数据集中表现得较为理想。显然,不能很好的处理一些复杂情况。为此,本文我们提出了两个算法,视点驱动的子空间模糊C-均值算法(Viewpoint-driven subspace fuzzy c-means Algorithm,VSFCM)以及核子空间可能性C均值模糊聚类算法(KSPF
偏振敏感型生物可以通过探测偏振光来进行寻找猎物或栖息地等视觉任务,其偏振视觉机制对于现代偏振信息获取和处理技术具有重要借鉴意义。作为典型代表的螳螂虾,其复杂的复眼结构使其拥有多种偏振信息处理系统的可能,其丰富的三轴眼部运动存在潜在的自适应机制,且兼具偏振视觉与颜色视觉。本文从信息处理的角度,探究这一系列生物行为背后的机理,并受此启发设计了系列仿生方法。在目标与背景颜色相近等场景的实验中,本文方法能
超分辨率重建技术旨在从一幅或多幅低分辨率图像中重建出成像系统无法获取的高分辨率图像。该技术在医学成像、视频监控等领域有重要的应用价值,也为目标检测、人脸识别等视觉任务提供了辅助作用。近年来,基于卷积神经网络的超分辨率重建方法在重建质量和效率上都取得了很好的效果,但是基于深度卷积神经网络的重建方法具有参数量大、训练难度过高等缺点,轻量级重建方法仍未能在模型复杂度、重建效率和重建质量之间做出较好的平衡