基于FPGA的实时视频超分辨率处理算法硬件实现

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:spyxin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
将图像自低分辨率转化为高分辨率的技术即为超分辨率技术,该项技术在远程视频互联、医疗影像分析、地球遥感和元宇宙等视频图像处理领域都有广泛应用。超分辨率技术能够降低超高清视频获取过程中对视频采集设备的精度要求、降低视频数据传输过程中对传输带宽的要求,因此被广泛应用在需要高清晰度、高流畅度和高细腻感视频的应用场景。目前,基于卷积神经网络(Convolutional Neural Network,CNN)的超分辨率算法性能远优于传统方法,然而由于网络的计算复杂,在终端上部署CNN算法面临计算资源、存储资源和访存带宽的硬件掣肘。因此,本文提出一种在现场可编程门阵列(Field-Programmable Gate Array,FPGA)上部署基于CNN的超分辨率算法的硬件实现,完成一整套由视频输入、视频处理到视频输出的端到端实时视频处理显示硬件实现,主要的工作有:(1)基于硬件适应性和超分辨率重建性能选择合适的超分辨率算法。基于CNN的超分辨率算法性能远远优于传统的超分辨率算法。然而在CNN算法中,参数的传递会消耗巨大带宽,中间过程量的缓存会占用庞大存储资源,卷积计算本身也需要调用大量的计算资源,导致硬件平台的传输带宽、存储资源和计算资源紧张。本文综合考察算法性能以及硬件资源约束,选择基于轻量化CNN的超分辨率算法进行硬件平台部署。(2)为了实现超分辨率算法的硬件加速,本文选择FPGA作为超分辨率算法加速的硬件平台,该平台具有低功耗、高运算并行度、硬件可编程性的特点。在此基础上,本文针对超高清视频的实时处理需求设计了一款搭载Xilinx FPGA的高速数字电路板,硬件资源包括双FPGA核心芯片、16路高清多媒体接口(High Definition Multimedia Interface,HDMI)、8路万兆以太网口和12片共40Gb动态内存空间的双倍数据速率同步动态随机存储器(Double Data Rate Synchronous Dynamic Random Access Memory,DDR SDRAM)。该平台能完成多路4K@30HZ的超高清视频实时处理和显示,面向超高清视频的实时传输、存储和处理提供一整套高性能的硬件解决方案。(3)在自主设计的基于FPGA的实时视频处理平台上进行超分辨率算法硬件加速器设计。并且在硬件加速器设计过程中,对其参数和架构设计进行降低延时的优化设计,显著地缩短超分辨率算法的处理时间。并且配合视频输入输出的逻辑控制代码,在硬件上实现一整套超高清视频输入、超分辨率处理和显示。本文所设计的硬件实现能够支持2K@30HZ视频的实时超分辨处理,处理延时为31.174ms,整体功耗为19.159W,峰值信噪比(Peak Signal to Noise Ratio,PSNR)为32.17d B,最后得到4K@30HZ的高分辨率视频,测试表明该硬件实现性能满足超高清视频的获取需求。
其他文献
该文建立了同时测定紫苏叶中迷迭香酸(RA)和咖啡酸(CA)2种酚酸,野黄芩素-7-O-二葡萄糖醛酸苷(SDG)、木犀草素-7-O-二葡萄糖醛酸苷(LDG)、芹菜素-7-O-二葡萄糖醛酸苷(ADG)、野黄芩素-7-O-葡萄糖醛酸苷(SG)、木犀草素-7-O-葡萄糖醛酸苷(LG)、芹菜素-7-O-葡萄糖醛酸苷(AG)6种黄酮含量的方法。基于10份包括不同挥发油化学型的紫苏种质,以及不同栽培年份和不同采
期刊
为准确模拟城市洪涝过程,以地表二维流动模型和SWMM一维管流模型为基础,同时考虑地表径流与地下管流交换的3种模式,构建了城市地表与地下管流双向耦合的水动力学模型。采用水槽试验算例和理论算例对耦合模型进行验证,并将耦合模型应用到英国Glasgow城市街区,分析排水管网和不同地表地下水流交换模式对城市洪涝过程的影响。结果表明:模型在试验算例和理论算例的模拟中均具有较好的精度和可靠性,模型能够准确地模拟
期刊
简单介绍了超分辨率重建技术的发展历程和几种有代表性的超分方法及其实现原理,提出了在智能终端上实现超分辨率重建技术的方案,通过实验仿真,给出了采用插值算法和深度学习算法实现的单图像超分辨率对终端处理性能、图像质量等方面的评估与分析,提出了利用智能终端实现超分的适用场景的建议。并进一步探讨了该技术在娱乐视频与家庭监控业务中的典型应用场景,展望了超分辨重建技术未来可能的研究方向以及与相关图像处理技术相融
期刊
截至2022年末,中国中小企业数量已超过5 200万户,比2018年末增长51%,在一定程度上有效解决了我国就业问题以及经济发展问题。但是,很多中小企业在发展过程中出现了停滞不前的情况,探究其原因还是因为中小企业在融资方面出现了诸如融资困难以及面临融资风险等问题,再加上企业没有健全法律组织结构,导致中小企业在发展过程中必须做好法律防范措施。为此,分析了当下中小企业融资法律风险的目前状况及其产生原因
期刊
为了研究不同降雨强度与纵坡下道路雨水口对路面径流的节流效果,采用计算流体力学(CFD)软件CFX对连续道路上多个雨水口进行数值模拟,重点分析当上下游雨水口等距(20 m)时不同流量和坡度下截流能力变化规律。模拟结果表明:当入流量为120.00 L/s时,积水基本布满整个路面,有初期洪涝趋势;沿道路纵坡方向,同一纵坡下,雨水口截流量随收水量增加而增加,但截流效率逐渐减小有饱和趋势;当纵坡为0.3%和
期刊
在全球能源低碳转型的背景下,白银不仅广泛应用于电子电气、钎焊合金等传统工业领域以及首饰银器和投资领域,更是与光伏、电动汽车和5G技术等绿色清洁能源领域密切相关。本研究采用部门分析法分别预测在既定政策情景(STEPS)、宣布承诺情景(APS)和2050年净零排放情景(NZE)三种情景下光伏、电动汽车领域的白银需求,并使用ARIMA模型分析传统工业领域需求,预测至2035年全球白银需求。研究结果表明,
期刊
图像超分辨率重建(Super-Resolution Reconstruction,SRR)技术近年来在工业生产、医疗图像、航空遥感等方面都有着广泛的应用,并且该技术成本较低,具有较高的实用价值。针对现有超分辨率重建算法参数量大、重建耗时较长等问题,本文结合多重级联机制和残差蒸馏模块,设计了一种基于信息多蒸馏网络的改进算法,该算法整体框架采用全局残差和多重级联融合了网络浅层与深层的特征,增加了图像特
学位
溢流雨水口的过流能力与截污性能对于海绵城市建设及城市雨洪排水系统具有重要影响,而目前溢流雨水口型式对其关键性能参数的影响尚不明确。针对典型方形溢流雨水口的结构型式优化开展对比模拟试验,分别考察普通型、上凸式和下凹式雨水口在不同径流量下的过流能力及截污性能。结果表明,普通型、上凸式和下凹式方形溢流雨水口对模拟漂浮物的拦截效率分别为12.89%±4.84%、84.80%±1.99%和85.51%±2.
期刊
在开展小学科学教学设计时,教师应精准把握学情,设计教学方案和组织教学活动,根据学生对前概念的认知制订实践计划,聚焦问题冲突和认知发展进行教学调度,为学生主动进入科学实践环节奠定坚实基础。学情调查、学情分析、学情应用,教师从不同角度研究学情,根据学情进行教学匹配性设计,以提升教学适配性,成功激发学生的科学思维。
期刊
投资企业的融资决策和现金流管理是企业经营中非常重要的环节,为了实现企业的持续发展和增加企业价值,企业需要不断探索加强这两个方面的相关策略。投资企业要分析融资决策的关键要素、现金流管理的关键环节,从而实施融资决策与现金流管理的优化策略,如建立融资决策与现金流管理系统平台,建立融资与现金流管理的“业财融合”机制,加强风险管理,利用技术和数据分析优化现金流等,提高企业的财务管理水平,促进企业稳健经营。
期刊