基于深度学习与多分辨率融合的近红外图像彩色化算法研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:qcxmh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像彩色化是把灰度黑白图像转化成彩色图像。近红外图像彩色化是图像彩色化的一个分支。相比于普通灰度图彩色化,近红外图像彩色化因原始近红外图像的原因面临着彩色结果不清晰的难题。近红外图像在交通辅助驾驶、军事领域、安防监控、智能警务和无人驾驶等都被广泛应用,但是由于其缺乏颜色信息不利于人眼观察,故而彩色化近红外图像很有实际应用意义。随着深度学习的发展,一些方法展现了它们优秀的图像彩色化能力。然而现有的红外图像彩色化方法仍然有很多问题,例如彩色化结果不清晰,上色后的颜色异常和颜色区域不稳定等。针对现有的问题,本文提出了一种对称跳跃连接编解码器的彩色网络结构。编码器主要是下采样结构用来提取输入图像特征理解图像,解码器主要是上采样结构用来学习特征、恢复图像并进行智能上色,他们之间增加了跳跃连接,将与解码器对称的编码器特征图谱复制过来减少信息退化。为了更好的训练彩色网络,本文创新性的提出了边界导向网络用来辅助训练彩色网络,使其输出的彩色结果颜色区域更稳定,边界更清晰。边界导向网络是一种在训练时自适应的最适合彩色网络的损失函数,它的输入是一张彩色网络输出图与目标图像的差分图,在训练过程中通过反向传播算法辅助优化彩色化网络参数,使差分图的值最小。针对神经网络输出的结果难以避免层数过多而导致的或多或少的信息退化问题,将原始的近红外图像与神经网络输出的彩色图像进行融合,来保留近红外图像中的高频细节信息。本文提出了一种多分辨率的复合融合方法,有针对性的按不同融合规则融合各个图层,获得了很好的效果。本文建立了一个近红外图像与彩色图像像素级匹配的数据库,并对数据库进行后处理得到了模拟雨天情况下的数据库,数据库的主要场景是道路图像,在多个地点采样场景元素多样化,可以有效地训练网络并提高网络的泛化性来实现辅助驾驶的目的,两个数据库各有1978对图像。在实验部分通过多种数据集验证了整体模型在近红外图像彩色化上的优良性能,取得了很好的效果。本文基于深度学习和多分辨率图像融合,对数据库建立制作、彩色化图像神经网络搭建与改进、彩色化结果图像融合增强依次进行了递进的探讨研究。论文的整体模型对近红外图像进行增强上色,使人的辨识能力提高。大量图片智能化上色靠人工耗时耗力,现在可以通过本文的算法模型实现自动彩色化。
其他文献
叶片作为旋转机械最重要的部件,其振动状态的实时监测对旋转机械的安全运行非常重要。叶尖定时方法(blade tip timing,BTT)作为一种非接触式测量方法在旋转机械叶片振动监测中有着良好而广泛的应用,但由于其存在非均匀采样、欠采样等问题,对信号的重构造成了一定的困难。本文利用BTT信号频域上的稀疏性,提出了一种基于压缩感知的信号辨识方法,具体内容如下:1)基于旋转机械叶片振动理论和叶尖计时系
随着我国城市建设规模的不断扩大以及城市人口的快速增长,城市轨道交通的地位也变得愈发重要。在城市轨道交通客流运输过程中,存在许多不可测的外部因素。这些因素轻则导致列车延误,严重情况下甚至会产生连带反应从而使得整条线路的列车运行网瘫痪,给城市轨道交通的正常运转带来很大的阻碍。因此对延误列车进行运行调整具有相当重要的意义。城轨列车运行调整是一个复杂的组合优化问题,目前对于城轨列车运行调整的研究主要集中在
故障诊断系统是提高工业过程安全性、稳定性,减少因故障停机带来经济损失的一类重要技术。本文研究了基于有效特征表示与迁移学习的工业故障识别,采用不同的特征提取算法与故障识别算法相结合,利用目标任务与源任务的相似性,不同程度的优化了目标故障识别任务的准确率。本文主要的研究内容包括:基于深度自动编码器的特征提取与故障识别。该方法将深度自动编码器与多层网络分类器相结合,自动编码器能够有效地提取出非线性复杂工
随着工业机器人技术的发展,机器人已被广泛的应用于工业生产制造环节中,对于需要灵活部署、机器人操作不方便的生产场景,人机协作的生产模式是一种有效的提高生产效率的方式。因此,研究机器人在保障操作人员安全的前提下,如何在复杂多变的协作环境中进行避障规划,完成规定的生产任务具有重要意义。本文针对人机协作装配应用场景,围绕空间动态障碍物检测和机器人主动避障规划方法展开研究,具体研究内容包括以下四个方面:(1
鉴于建筑内消防设备需处于待工作状态,能实时了解动力情况的要求,论文实现了一种基于物联网的建筑消防动力设备监控系统。论文首先针对动力设备电源状态的在线测量要求,对供电状态测量方法进行分析研究,对交流信号有效值算法进行对比分析,提出一个多周期等间隔算法来实现设计中的电量交流有效值的采样测量,设计了相应的软件算法,并在计算机中进行了仿真验证。其次,为了实现对电量状态的实时监测,设计了一款以ARM微处理器
在强化学习的背景下,训练效率随状态空间的大小呈指数级衰减,尤其是在具有连续动作空间的机器人控制领域中,高维连续的状态空间和动作空间使得在真实环境下应用强化学习算法训练机器人学习实时控制策略变得困难。为了解决在高维连续搜索空间中数据利用率极低的问题,研究人员们尝试了很多方法,例如通过生成更多的好数据指导智能体学习等。但是如何设计易于优化、能够有效表达领域知识的状态空间表示一直是一个开放性的问题。得益
高光机是数控机床专用领域的分支,用于高精密、高光泽度要求的零部件加工,并以此得名。智能手机及手持终端的爆发式增长中,高光机是必须的生产设备,并由此得到快速、规模化的发展。目前高光机的国产化程度很高。然而在要求较高的细节加工上,仍存在着刀纹不均、表面质量不高的问题,这种问题在生产节奏提升时会放大,限制了生产效率。数控机床的加工过程是机械、电气控制相结合的复杂机电系统控制过程,涉及到材料学、力学、机械
无线传感器网络(Wireless Sensor Networks,WSNs)由于其低能耗,低成本和无线传输而被广泛用于环境监测,智能家居,医疗保健,智能工厂等领域。但由于信号衰减,多径效应和同频干扰等原因,无线信号容易受损,导致丢包。现有研究中,(部分)重传技术需要消耗额外的能量,而前向纠错技术(Forward Error Correction,FEC)在数据包中添加了冗余字节,从而牺牲了网络吞吐
在当前数据时代,机器学习算法成为了联结数据和决策的桥梁。实际应用中,不同的机器学习任务都有较为稳定的算法进行求解。但传统的机器学习只使用单任务的方式进行各自的训练和预测,忽视了其他相似任务可能带来的共享收益。多任务学习的提出就是为了高效的挖掘多任务之间的共享信息,以提升多任务学习系统的整体预测性能。通过为每一个单独的机器学习任务提供额外的有效训练信息,最终提高单机器学习任务的实际预测表现。论文主要
自然语言处理的目标是实现人机间自然语言通信,让计算机更好地理解人类语言文本,是人工智能和计算机领域中的重要一环。作为自然语言和计算机语言之间的技术桥梁,语义分析技术,将自然语言文本转为计算机可读的逻辑形式,是自然语言处理走向自然语言理解的关键性挑战。而语义角色标注是一种简单有效而且易于实现的浅层语义分析技术,旨在分析句子中谓词与相应语义角色之间的关系,获取句子的浅层语义表示,从而带动其他深层语义处