【摘 要】
:
计算机算法的性能提升可以为日常生活中的各种应用带来颠覆性的改变,本文面向视频流的人脸超分辨处理算法,旨在将原始低分辨视频中人脸部分进行真实还原处理,在提升目标人脸图像分辨率和清晰度的同时有效提高人脸识别的准确性,为人脸识别技术的运用提供更好的应用场景,为公共安全领域提供良好的技术支撑。本文结合视频超分辨算法和人脸超分辨算法两项关键技术,并在此基础上实现算法在边缘计算平台FPGA上的部署。本文从基于
论文部分内容阅读
计算机算法的性能提升可以为日常生活中的各种应用带来颠覆性的改变,本文面向视频流的人脸超分辨处理算法,旨在将原始低分辨视频中人脸部分进行真实还原处理,在提升目标人脸图像分辨率和清晰度的同时有效提高人脸识别的准确性,为人脸识别技术的运用提供更好的应用场景,为公共安全领域提供良好的技术支撑。本文结合视频超分辨算法和人脸超分辨算法两项关键技术,并在此基础上实现算法在边缘计算平台FPGA上的部署。本文从基于稀疏编码和字典学习的经典超分辨算法出发,着重研究了使用神经网络的方法实现视频超分辨任务。在视频处理过程中,本文联立视频处理算法的通用特点,设计提出了一种高效的通用视频处理框架。在视频人脸超分辨的算法实现中,本文采用人脸特征提取,使用人脸损失构建神经网络的训练策略,在提高人脸超分辨重建后图像的主观感知效果的同时,提高了人脸识别中身份信息的真实还原度。由于视频处理算法的实现需要前后相邻帧画面信息,本文结合通用视频处理框架,规划实现了一种延迟一帧的算法实时处理框架。实验结果表明,低分辨视频中的人脸图像在本文的视频人脸超分辨算法下可以达到超分辨后与真实图像之间结构相似度0.933,峰值信噪比32.998 d B,人脸特征向量距离值0.273的指标。相较于现阶段较为成熟的超分辨算法FSRCNN,EDSR,ESRGAN,本文算法不仅可以有效降低模型参数量,还可以获得较为优异的客观评价指标。视频超分辨的演示结果也表明,在处理连续视频图像时,本文的算法对于目标人脸的处理自然流利,且恢复出的人脸细节信息正确且丰富,有较好的实用场景。除此之外,在视频流超分辨算法的执行过程中,为了解决识别对象的移动,脸部的转向等情形下人脸识别准确率下降的问题,本文使用人脸后验信息补充的算法,能有效地提高识别的准确率。在实验测试的样本中,基于后验信息补充的视频人脸超分辨算法可以将目标人脸与参考人脸的特征向量距离平均值稳定在0.3以下。本文已将超分辨算法在FPGA端进行实现,Vitis-AI框架下的实验结果表明,本文中的视频人脸超分辨算法在通用视频处理框架下可以达到2.45 GB/s运行带宽,以及3.87 TMACs的吞吐率性能,对于输入56×56尺寸的图像可以达到163.3帧的处理速度,满足视频处理的实时性要求。
其他文献
表面增强拉曼散射(SERS)光谱检测技术具有灵敏度高、光谱复用能力强、光学稳定性好的优点,因而在疾病诊断、环境监测和食品安全等领域得到了广泛的应用。开发具有高SERS活性的纳米基底,提高检测灵敏度一直是SERS研究领域的热点之一。其中,由单分散的金纳米粒子有序组装合成的超粒子结构,由于具有高密度的热点区域,可以产生高强度的局域电磁场,因而在高灵敏SERS检测方面具有很好的发展潜力。本文以超粒子纳米
随着县域经济的不断发展,县域城镇道路车流量不断增加,交通拥堵及交通碳排放问题日趋严重。在目前的交通排放研究中,大多集中在大城市或者地区一级,专门对县域城镇机动车尾气排放研究较少,尤其缺乏基于简单交通数据进行路段小汽车碳排放计算的模型。县域城镇道路相对于大城市分级较少、道路形式也较为简单,这使得在有限的道路形式中寻求小汽车碳排放因子与交通变量之间关系的可行性大大提升。在此背景下,本论文结合微观仿真和
城市综合交通系统是由道路网络、公共交通、枢纽、停车设施等多个子系统构成的动态系统,是一个既相互联系又相互独立的统一体。在这种多模式网络衔接的交通环境下,出行者的出行多表现为组合出行方式,使得多模式综合交通系统在网络供给性能、出行行为决策、交通需求与供给平衡以及资源协同规划配置等方面也表现出更高的复杂性,用解析方法难以刻画。因此,一套完善的多模式交通仿真系统可以作为分析交通出行方式构成、行为特征和交
新型非线性光学材料推动了非线性光学这一学科的发展,在光通信、光开关、光存储等领域显示出了广阔的应用前景。寻找和制备具有大的非线性光学效应、快的非线性光学响应时间、物化性质稳定以及功能丰富的非线性光学材料一直是科研人员研究的热点之一。时至今日,人们广泛开展了诸如有机分子材料、铁电薄膜、半导体材料、纳米材料和二维材料等多种类型的新型材料的非线性光学效应及其应用研究。新研制的非线性光学材料能否具有实际应
随着智能产品在人们日常生活中越来越普及,用于监测人类生理健康和日常活动的柔性和可穿戴电子产品近年来受到越来越多的关注。开发出具有多功能、高灵敏度、快速响应、低成本的柔性压力传感器在医疗卫生、运动健康监测和人机交互等方面都具有重要的现实意义。本文以制备高灵敏度、能快速响应的高性能柔性压电传感器为研究目的,以无机压电材料锆钛酸钡钙(Ba(Zr0.2Ti0.8)O3-0.5(Ba0.7Ca0.3)Ti
进入21世纪以来,我国学术道德规范政策历经起步探索、建设推进和内涵发展三个阶段的变迁。从历史制度主义的分析视角,考察出学术道德规范政策的变迁逻辑:政府决策、社会经济发展、社会思想观念是其深层结构;政府决策的自我强化动力和高校行动者忠诚于现存政策是其主要的路径依赖;系统的内生因素和外部因素的复合作用是学术道德规范政策变迁的动力机制。为此,我国学术道德规范政策需要建立评价与监督机制,完善学术治理体系;
合成染料的广泛使用不仅会对水资源环境造成难以解决的困扰,更会对人体健康带来危害。因此合理处理染料污水,降解染料分子对于环境保护和安全健康等领域具有非常重大的意义。非晶合金由于独特的原子长程无序结构和亚稳状态表现出的高催化活性,近年来在催化降解领域展现出巨大魅力和潜力,也为污水治理行业的应用提供了理论基础和实际可行性。本论文通过不同元素微合金化,设计制备具有优异光催化降解性能的铁基非晶/纳米晶合金薄
混凝土作为用量最大的人造材料,在可预见的未来仍将不可取代。然而,传统混凝土工业正面临三大空前危机:由天然砂石骨料紧缺带来的资源危机;由废弃混凝土堆积造成的环境危机;由水泥熟料煅烧导致的碳排放危机。为保持建筑业的可持续发展,废弃混凝土制备的再生骨料已应用于实际工程,但利用简单破碎工艺所产生的再生骨料强度低、吸水率高、离散性大、品质差,未能从根本上解决结构混凝土用天然骨料资源短缺问题,且破碎过程中产生
随着智能网联、5G等技术水平的不断提高以及生产成本的逐渐下降,自动驾驶将迎来一个全面发展的时期。未来很长一段时间内,人类驾驶车辆将与自动驾驶车辆、辅助驾驶车辆共同行驶于城市路网中,形成具有新型特征的混合交通流。因此,针对混合交通流的建模与仿真,自动驾驶虚拟仿真测试的相关研究必将成为智能交通领域的热点问题。然而,现有交通仿真软件均存在缺乏自动驾驶车辆模型的问题,自动驾驶仿真软件则无法提供真实的交通流