红外与可见光图像分组融合的视觉Transformer

来源 :中国图象图形学报 | 被引量 : 0次 | 上传用户:lnawxu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目的 针对传统红外与可见光图像融合方法中人工设计特征提取和特征融合的局限性,以及基于卷积神经网络(convolutional neural networks, CNN)的方法无法有效提取图像中的全局上下文信息和特征融合过程中融合不充分的问题,本文提出了基于视觉Transformer和分组渐进式融合策略的端到端无监督图像融合网络。方法 首先,将在通道维度上进行自注意力计算的多头转置注意力模块和通道注意力模块组合成视觉Transformer,多头转置注意力模块解决了自注意力计算量随像素大小呈次方增大的问题,通道注意力可以强化突出特征。其次,将CNN和设计的视觉Transformer并联组成局部—全局特征提取模块,用来提取源图像中的局部细节信息和全局上下文信息,使提取的特征既具有通用性又具有全局性。此外,为了避免融合过程中信息丢失,通过将特征分组和构造渐进残差结构的方式进行特征融合。最后,通过解码融合特征得到最终的融合图像。结果 实验在TNO数据集和RoadScene数据集上与6种方法进行比较。主观上看,本文方法能够有效融合红外图像和可见光图像中的互补信息,得到优质的融合图像。从客观定量分析来说,在TNO数据集中,本文方法相比于性能第2的方法,在归一化互信息、非线性相关信息熵、平均梯度和标准差指标上分别提高了30.90%、0.58%、11.72%和11.82%;在RoadScene数据集中,本文方法在以上4个指标上依然取得了最好成绩。结论 由于有效特征的提取和融合的复杂性以及融合过程中噪声的干扰,现有的融合方法都存在一定的局限性,或者融合效果质量不理想。相比之下,本文提出的基于视觉Transformer的图像融合方法在融合质量上取得了巨大提升,能够有效突出红外显著目标,并且将源图像中的背景信息和细节纹理有效保留在融合图像中,在对比度和清晰度方面也具有优越性。
其他文献
“三全育人”理念下的应用型人才多元协同育人模式,可实现包括高校、企业、政府部门、行业协会、科研院所等多个单位参与的全员育人,从入学到毕业的全过程育人以及课程、文化、科研、管理、服务等全方位育人。该模式可充分发挥各单位在德育和专业教育中的作用,进一步提升专业建设和应用型人才培养质量。
现如今,经济不断向好发展,物质生活条件也日益改善,人们的物质需求得到满足的同时对于精神文化的需求也在不断提高。旅游成为人们放松心情、游玩享受的首选,旅游业也由此得到了蓬勃的发展。与此同时,高峰期旅客爆满、景区拥堵、环境破坏、安全隐患、淡季旅游资源闲置等问题也随之凸显。为避免以上问题,通过对旅客客流量实现精准预测,能够帮助景区管理人员制订合理规划,提前做好应急预案,从而实现对景区科学的管理和决策。然
受到原有管理方法安装信息反馈不及时、精准度不高的影响,装配式建筑的安装效率得不到有效保障。本文基于建筑信息模型(Building Information Modeling,BIM)信息化管理技术手段研究装配式建筑安装过程的管理方法。在动态布置建筑安装场地前提下,基于BIM技术跟踪监测预制构件的安装,实时反馈信息管控安装过程并收集、整理、分析数据,从而完善装配式建筑安装过程的管理方法。实验结果显示,
地方戏曲的传承和发展在贵州师范类高校的传播中极为稀少但又尤为重要,笔者作为一名师范类专业的学生,欲将所学所知与贵州本土戏曲文化有机结合,探索一条戏曲与高校教学相辅相成、协同发展之路,为中国戏曲文化献上绵薄之力。
<正>肺炎克雷伯杆菌属革兰阴性菌,是一种自然环境中普遍存在的机会性致病菌,可引起尿路感染、医院获得性肺炎、肝脓肿等,容易导致脓毒血症,病死率高[1]。依据毒力和致病特点,肺炎克雷伯杆菌分为经典型和高毒力型,后者感染常急性起病,进展迅速,表现为全身播散性,病情重,预后差。现笔者报道高毒力肺炎克雷伯杆菌颅内感染死亡病例1例,具体如下。
论述了目前广泛研究的液态金属电磁净化技术,对直流电场正交稳恒磁场、交流电场、交变磁场、行波磁场、旋转磁场,以及最近几年新出现的振荡磁场和复合磁场净化方案的作用原理、影响因素以及使用效果等研究现状进行了分析和对比。并就目前研究中存在的问题、应用必须解决的关键问题和今后的研究方向提出了自己的见解。
本文在梳理概括了技术创新模式研究进展的基础上,基于产业技术生命周期与创新开放度之间的关联,构建一种由封闭式创新向开放式创新演变的产业技术创新动态演变模型,将产业技术创新模式分为"萌芽期封闭式创新""成长期开放式创新""成熟期开放式创新"和"衰退期封闭式创新"。通过回顾中国石墨烯产业的技术创新背景,研究发现,政府的政策引导和研发支持是中国石墨烯产业由封闭式创新向开放式创新演变不容忽视的原因。本文以石
提问是教学中最常见的师生互动手段之一,在提高教学实效、激发学生学习兴趣、促进学生思维发展等方面都起着重要作用。目前在高职院校教师提问设计中,存在提问覆盖不全面、提问时机不恰当、提问内容质量差、问题层次偏低、不注重提问反馈等诸多问题。针对这些问题,结合高职院校学生培养目标和学情特点,提出了相应的优化策略。
金属锂电池由于其高能量密度被认为是下一代动力电池中最具潜力的电池之一,但在充电过程中锂枝晶的不可控生长严重制约了金属锂电池的实际应用。因此,探究锂枝晶的生长机理,对发展锂枝晶抑制策略将起到至关重要的作用。本文采用非线性相场方法模拟了锂金属电极在充电过程中锂枝晶的动态生长过程,通过控制模型参数,实现了实验观测到的树枝状、苔藓状及针刺状等多种形态的锂枝晶的模拟,并分别研究了内部因素和外部因素对锂枝晶生
目的:调查新入职护士共情能力、正念水平与工作投入的现状,并分析三者之间的相关性。方法:采用一般资料问卷、正念注意觉知量表、共情能力量表以及Utrecht工作投入量表对某三甲医院153名新入职护士进行调查。结果:新入职护士工作投入得分为(77.08±18.28)分,处于中等水平。共情能力得分(28.58±5.34)分;正念水平得分为(65.54±12.88)分。共情能力与正念水平呈显著正相关(r=0