基于卷积神经网络的多曝光图像融合算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:lixin062
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着数字成像技术的高速发展,人们对数字图像质量需求也在日益提高,从而达到更逼真、更沉浸式的视觉体验。多曝光融合(Multi-Exposure Fusion,MEF)作为一种能够弥补真实场景与图像采集设备之间动态范围差距的技术手段,使得融合图像质量更佳,更能真实和生动的模拟现实场景,广泛受到国内外学者和相关技术厂商的关注。本文以卷积神经网络(Convolutional Neural Network,CNN)为基础,围绕静态场景融合中涉及的标注信息的缺失、不定曝光镜头的适用性以及融合图像细节信息保持等问题进行了深入研究,并对动态场景融合中涉及的由于相机抖动和前景运动等因素导致的空间信息不一致问题进行了深入挖掘和分析,重点研究如何使用卷积神经网络实现静态场景下不依赖标注信息的无监督学习和训练方法,着重探索如何消除动态场景曝光融合问题中出现的鬼影,文中涉及的主要工作及创新点主要包括以下几个方面:1.针对静态场景曝光融合中涉及的标注信息缺失和融合图像细节信息的缺失,提出了一种基于无参考损失函数的无监督CNN模型。通过分析图像质量评价指标与损失函数之间的耦合关系,构建了一种量化指标为导向、无需任何参考信息和标注信息的损失函数,使得网络能够以无监督训练方式进行更新和学习,并直接运用于彩色图像信息进行融合,避免了色度分解和多次空间转换。其融合结果可以直接观看,这也避免了色调映射这一中间过程。此外,通过梯形模糊隶属函数,构建了一种能够恢复图像中高频信息的梯度保真损失项,使得融合图像富含更多细节信息。该融合模型中的每个模块都蕴含了多种可替换方案,可以根据融合场景和数据特性进行替换和更改,以达到定性和定量评价更佳的融合结果。2.针对静态场景曝光融合中涉及的曝光镜头的不确定性和融合图像细节增强需求,提出了一种基于曝光引导的无监督多曝光CNN模型及其细节增强模型。首先,构建了一种曝光信息导向的特征合并方式,达到增强网络结构对曝光镜头数量的灵活性和防止特征退化的目的。其次,利用一组伪孪生编码器实现曝光信息的获取,同时利用注意力机制对曝光信息进行补充和抑制。然后,为了使融合结果更加精细,构造了多尺度空洞卷积模块,并搭建了集多尺度信息、全局残差的重构网络,使得融合结果更加精细和丰富。最后,分别通过梯度信息和结构张量,构建了两种不同的对图像细节信息进行增强的曝光信息导向的损失函数,使得融合结果更加丰富和生动,同时量化评价更优。3.针对动态场景曝光融合出现鬼影的现象,以光流思想为主导,提出了一种基于特征图光流配准的动态场景多曝光CNN融合模型,使得空间配准和曝光融合集成一体。该模型将图像的光流配准转化为特征的光流配准,避免了现有网络多次编码和解码造成的计算和结构冗余。以经典光流方法为基准,构建多尺度特征金字塔,对特征进行逐层配准,由粗尺度到细尺度渐进消除不同尺度的运动信息。为了精细的刻画空间配准关系,构造了多尺度的粗粒度光流估计,以及利用可变形成本量和泛函卷积模块构造的细粒度光流修正网络。此外,为了减少网络震荡,在经典HDR损失的基础上,构造了特征损失函数,来约束特征的曝光一致性和内容一致性。最终融合得到更少鬼影的动态场景融合图像。4.针对动态场景曝光融合中由于抖动或前景运动出现几何形变的问题,提出了一种基于特征可变形对齐网络的动态场景多曝光CNN融合模型,生成无鬼影的融合图像。通过分析CNN应用于复杂动态场景中的瓶颈,引入可变形卷积,增加其几何形变能力的同时,实现特征的空间信息配准。模型中构造了一种尺度自适应调节卷积模块,使得特征融合能够通过参数学习,退化为多种不同的卷积模块,朴素的实现了一种网络结构的学习方式。此外,为了加速网络收敛,从特征强度和结构相似方面对空间配准特征进行了约束。最终融合结果伪影信息更少。
其他文献
最近几年随着非富勒烯受体材料的开发,极大拓宽了有机太阳能电池的光谱利用范围,使得电池的光电转换效率得到大幅提高,达到目前的18.2%。然而在有机太阳能电池中,由于无法直接与电极实现欧姆接触,需要使用界面材料来对电极进行修饰以提高对电荷的提取效率,进而提高器件的光电转换效率。因此对界面材料自身性能的改性和提高界面与活性层之间的相互作用,是提高有机太阳能电池工作效率的有效途径。而对界面进行改性的基础在
微合金钢由于其兼具高强度、高韧性和良好的焊接性能而成为一种多用途工程材料,广泛应用于石油、桥梁、舰船等基础行业。这类钢主要通过细晶强化和Nb(C,N)、V(C,N)等微合金碳化物/碳氮化物沉淀强化获得良好的强韧性。以超快速冷却技术为核心的新一代 TMCP(Thermo Mechanical Control Process,TMCP)可有效实现再结晶行为、相变行为和纳米碳化物析出行为的精确控制。为充
针对含碳酸盐铁矿石“分步浮选”中微细粒菱铁矿与赤铁矿和石英颗粒之间的异相团聚问题,提出微细粒菱铁矿的选择性絮凝浮选,研究分散剂和絮凝剂对絮凝浮选选择性的调控和强化,以期在正浮选阶段最大限度回收菱铁矿,提高“分步浮选”中铁回收率,并降低或消除微细粒菱铁矿对后续反浮选的不利影响。分散是提高絮凝选择性、实现良好选择性絮凝的前提。通过单矿物和人工混合矿的分散试验,研究了矿浆条件对矿浆中矿物颗粒分散和团聚行
锑掺杂二氧化锡(SbxSn1-xO2)导电粉包覆在TiO2基体表面可制备TiO2@SbxSn1-xO2浅色复合导电材料。TiO2@SbxSn1-xO2复合导电材料颜色较浅,可吸收紫外光,既具有优良的导电性能、又具有良好的耐候性及高温使用性能,可作为导电填料应用于制备各种颜色的导电高分子材料,如电磁屏蔽及抗静电材料、显示器的防辐射及抗静电涂层材料、气敏元件、红外吸收隔热材料和电极材料等。然而,由于导
高铬铸铁作为被广泛应用的耐磨材料,具有强度高、耐磨性好等优点。但由于高铬铸铁中Cr含量较高,组织中碳化物体积分数较大,导致了其明显的脆性特征。目前,通过堆焊、复合铸造等技术手段将韧塑性良好的普通碳钢或低合金钢与高铬铸铁相复合,获得了韧性良好的耐磨材料,但在实际应用中也存在一系列问题,例如结合力差、表面开裂等。本文通过不同工艺制备了高铬铸铁/低碳钢复合材料,提高了复合材料的结合性能,并通过合金化和热
离子交换聚合体金属合成物(Ion-exchange Polymer-Metal Composites简称IPMC)是一类离子型电致形变智能材料(EAP),其性能类似于生物肌肉,故称之为人工肌肉,近几年受到愈来愈多的关注。IPMC质量轻、柔韧性好,可切割成任意大小和形状,可以工作在潮湿的环境中,施加较低的电压可产生较大的位移;同时,对IPMC施加机械激励使其发生弯曲变形,便能产生微弱的感知电荷。因此
随着无线通信技术的发展,通信设备向着低损耗、小型化、集成化的趋势发展。射频前端的器件,诸如天线、滤波器等也朝着小型化、轻量化方面飞速发展。一方面,天线和滤波器作为射频前端两个不可或缺的器件,通常是独立设计然后再进行级联,而这会导致占用空间大,并且由于互连引入的额外插入损耗会降低系统性能。滤波天线是将天线和滤波器的功能集成到一个单器件上,使单个器件在工作频带内具有天线的辐射性能,同时使在工作频带外的
作为天然气开采和长输管道之间的重要生产过程,天然气集输管网分布广泛,交错复杂,周围地形变化多端,检测施工难度极大,管网中管道常发生内腐蚀、外腐蚀、阀门、管件、第三方破坏、地质灾害、材质问题等,而其输送的介质中硫化氢等酸性气体含量较高,具有有毒、腐蚀性强等特点,一旦发生泄漏可能导致火灾、爆炸、中毒、窒息等各类风险,造成重大经济损失、人员伤亡和严重的环境污染,常常给企业带来重大的经济损失。本论文旨在进
近些年来随着云计算技术的飞速发展,虚拟化技术的重要性也日益突出。虚拟机在线迁移技术能够将处于运行状态的虚拟机透明的从一个物理主机迁移至另一个物理主机,是云计算平台能够快速适应不断变化的业务需求,实现资源的动态部署和重配置,解决负载均衡、系统容错等关键问题的核心技术。如何快速准确的实施虚拟机在线迁移,在保持虚拟机工作效率的同时完成虚拟机内存信息的动态同步,是虚拟机在线迁移技术研究中的重点和难点。目前
学位