生物视觉认知机理启发的基于深度网络的道路场景红外图像可见光化研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:MaoZeDongDaShaBi2005
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如今,辅助驾驶和自动驾驶系统相关的技术正在蓬勃发展。红外成像因为其对环境、天气、光照等因素的高鲁棒性,在驾驶场景这种复杂环境中具有巨大的应用潜力。但是,红外图像作为灰度图像缺乏颜色信息,且分辨率及对比度较差;而人类视觉系统对颜色的分辨能力远高于灰度。因此,如果将颜色及纹理信息赋予红外图像,将会提升人基于红外图像的场景感知和理解。同时,目前大部分计算机视觉领域针对道路场景的研究都是基于可见光图像,将红外图像转换为可见光图像之后,就可以直接使用现有的预训练好的网络做后续的分割、检测等任务。生成对抗网络(GAN)自提出至今在几年时间内取得了迅速发展。GAN从认知、学习机制出发,借鉴了人的博弈、竞争过程,利用判别器和生成器二者间的竞争对抗来逐渐提高网络的生成能力,从而生成尽可能真实的结果。图像转换是GAN领域的一个重要问题,红外图像的可见光化本质上也是图像转换,即保持图像的结构和内容不变,为图像赋予真实合理的可见光图像所具有的颜色、纹理信息。本文受生物视觉认知机制的启发,在GAN的基础上分别从两个方向改进,提出了格式塔视知觉理论启发的红外图像可见光化算法以及视觉信息分级处理启发的红外图像可见光化算法。本文的具体工作如下:(1)格式塔视知觉理论启发的红外图像可见光化算法。本算法受格式塔视知觉理论启发,利用Non-local注意机制建立图像间的全局关联,实现“先整体后局部”的视觉感知过程,从而将同场景的可见光图像的颜色信息转移到红外图像的对应区域。从与人类视觉系统感知特征高度一致的深度网络中间特征出发,采用上下文损失、感知损失、对比损失对生成图像的结构、语义、风格进行约束,实现了图像的单向转换。(2)视觉信息分级处理启发的红外图像可见光化算法。本算法受视觉系统的信息分离处理模式启发,采用级联结构对红外图像可见光化需要处理的形状、颜色信息进行分离处理,将红外图像可见光化分解为红外图像到灰度图像的转换和灰度图像的彩色化两个步骤。其中,红外图像到灰度图像的转换负责处理非配对图像转换的空间不对应,灰度图像的彩色化则负责生成颜色信息。实验结果表明,本文提出的上述两种视觉认知机制启发的算法在主观评价和客观指标上均实现了比以往方法更好的可见光化效果。
其他文献
近年来,随着通信技术的逐步发展,应用于物联网的各类芯片传感器也相继出现。无线传感器若采用传统的电池电源供电,其更换和充能都很不方便,为了维持设备长期稳定的工作,需找到一种新型的供能方式。当前,日益增加的无线网络和移动通信基站以及其他无线电传输设备使周围环境中充满了丰富的电磁能量,通过吸收电磁环境中的能量自动为传感器供电,减少电池需求成为了一个研究热点。本文以具有极化不敏感及广入射角度特性的电磁超材
光子晶体是一种周期性的人工材料,具有光子带隙和光子局域性等特点,被广泛应用于光通信领域。在光子晶体中引入线缺陷构造的传统光子晶体波导具有后向散射和侧向散射损耗,同时容易受加工误差缺陷的影响,降低了光波的传输效率。拓扑光子晶体具有独特的单向传输特性以及对缺陷、转角的鲁棒性等,为其在波长级别上操控光传输和光与物质相互作用等方面提供了强有力的手段。用拓扑光子晶体波导代替传统条形波导、线缺陷光子晶体波导,
随着国内仪器仪表行业的日臻成熟以及国家政策的大力支持,仪器国产化的趋势正变得越来越明显。在此过程中,需求更新、配置升级以及设备模块化等场景下的仪器替换,将不可避免地致使用户需要花费大量的时间和精力对仪器现有软件程序进行或重复或过度的二次开发,这在相当程度上阻碍了国产仪器的良性发展,可以预见的是,仪器驱动程序良好的可复用性和可互换性将成为未来仪器高速发展的又一重要支撑。本课题所设计的驱动程序依托于某
目的:(1)比较躯体症状障碍患者与健康对照的注意偏向及其与疾病严重程度和心理特征的关系;(2)比较躯体症状障碍患者与健康对照在静息期和情绪负荷状态下的植物神经功能及变化趋势;(3)分析各阶段心率变异性指标与疾病严重程度和心理特征的关系。方法:本研究纳入33例躯体症状障碍(SSD)患者与33例性别、年龄匹配的健康对照(HC)作为研究对象,选用抑郁筛查量表(PHQ-9),广泛性焦虑量表(GAD-7),
热核估计(heat kernel estimate),是当前研究的热点,在诸多领域有着广泛的应用,如概率论、分形几何、几何学和数学物理等.本文将根据自己的研究成果,分别从分析的角度和概率论与随机过程的角度展示热核的某些性质.第一部分中,我们通过Levy过程和鞅理论研究了Rd上的带有扰动项的subordinate布朗运动的热核估计.首先我们证明了Lb=△+φ(△)+b·(?)基本解的存在性和唯一性,
作为量子计算的一种物理实现方案,固态器件的应用有着优良的数目可扩展性及与现有技术相容的优势。量子计算固态实现方案面临的主要问题是系统的相干保持时间是否足以满足量子计算操作的完成。超导器件有着相对较长的相干时间,是一个受到关注的研宄方向。现在人们已经认识到超导系统中的量子操控方法同样适用于一些量子光学系统,可以在超导系统中演不量子光学现象。本论文围绕超导量子比特体系的量子效应和量子信息处理开展研宄,
模数转换器(Analog-to-Digital Converter)是模拟信息和数字信息的交换窗口,其在当代通信领域占据重要地位。然而因元器件尺寸按比例缩小引发显著的非理想效应、应用环境的不稳定致使电路参数发生变化以及实际电路设计中有限开环增益、带宽受限等诸多因素的影响,ADC实际性能参数与原设定指标会出现一定偏差。为了优化ADC工作性能,电路设计中引入校准技术来提升其量化精度,其中能实时跟随误差
颜色恒常性是指人类视觉系统对物体颜色感知的不变性,而成像系统的成像结果则会随着环境光的变化而变化。如果能赋予计算机颜色感知不变性,可以帮助解决与颜色特性高度相关的图像处理问题。在过往几十年关于计算颜色恒常性的研究中,重点解决单光源、正常照度场景下的颜色恒常问题,而忽略了低照度、不均匀光照等复杂但常见的场景,同时,也缺少与之相关的数据集。为此,本文建立了一个全新的低照度、非均匀光照数据集,并提供标准
工作记忆容量反映个体从大量感官信息中过滤无关信息并选择任务相关信息的能力。大量的行为学和电生理研究显示,相比于低工作记忆容量的个体,高工作记忆容量的个体能更好地抑制凸显但任务无关的干扰物。但是目前尚且缺乏对上述认知差异的神经基础的了解。因此,本研究利用磁共振成像技术来探究工作记忆容量影响干扰抑制能力的神经机制。本研究招募88名年轻健康成年人,利用视觉搜索任务和视觉工作记忆任务,测量被试的干扰抑制能
自从Novoselov等人成功制备石墨烯以来,类石墨烯材料迅速成为凝聚态物理的研究前沿,BN、硅烯等类石墨烯材料迅速涌现。这些材料的电子性质很容易通过裁剪、吸附、制造缺陷等实验手段进行调节,进而被改造成各种功能材料。通过在石墨烯中掺杂硼元素,我们可以得到另一种类石墨烯材料:BC3。因为硼元素是缺电子元素,所以BC3吸附金属原子的能力很强。吸附在BC3上的金属原子会给BC3带来很多新的物理性质。本文