论文部分内容阅读
图像修复技术就是针对一些破损缺失图像,根据其已知的内容信息进行对缺失部分的预测。虽然目前图像修复技术应用非常广泛,但是针对手部静脉特征信息的修复上的工作却是较少,随着手部静脉特征信息识别的研究与应用越来越广泛,对手部静脉图像信息的完整性就有了更高的要求,因此,如何将破损的手部静脉图像信息进行补全是目前需要研究的方向。而目前传统的数字图像修复技术基本是利用手工标注,特征信息选取困难,在缺失面积较大时,对图像结构信息以及高层纹理信息的修复能力会大幅度的下降。近年来,随着深度神经网络对图像进行特征学习的优异表现,基于深度神经网络的图像修复研究也逐渐成为了热点。然而,目前存在的图像修复算法仍然存在着不稳定性以及修复后的图像质量低下的现象。因此,针对以上问题,本文从三个方向提出了关于手部静脉信息的修复算法,分别从深度卷积神经网络、生成对抗网络、图像与图像转换等方面提出了改进算法,最终通过与相关方向算法对比以及评估,其算法对手部静脉图像信息的修复效果都分别有了一定的提高。(1)在基本的U-net网络中跳跃式引入了一个空间转换网络层,即可变形卷积网络模块,用于修复缺失图像整体结构和细节信息,以更好学习缺失信息与周围其他图像信息间的关系。在U-net网络解码器功能上引入了损失,以减小全连接网络层后解码器功能与真实样本之间的损失。在这种约束下,使得缺失区域中的解码器特征可用于指导已知区域中编码器特征的移动,以便提高修复图像的质量。(2)根据手背静脉图像信息的分布特性,采用了级联式的深度生成对抗网络修复框架,将静脉分割图像与静脉图像进行特征融合,有效的利用静脉血管图像的关键信息。为了有效的挖掘手背静脉图像以及分割图像的几何信息特征,在修复网络中引入非局部对抗网络块。采用全局与局部对抗损失与图像感知损失以保证生成静脉图像整体与细节与原始图像的一致性。(3)基于图像到图像转换的工作,通过内容网络与特性网络将数据的分解为一个共享部分和一个独有部分来学习以达到分离与表示。同时基于互信息估计的表示学习模型,从静脉关键点与完整的图像进行成对学习,从而学习到关于静脉网络由点生成线的分离表示,在对抗损失以及感知损失的基础上加入了循环一致性损失,从而实现对严重缺失的静脉图像可以通过关键点实现良好修复。本文使用的手部静脉图像数据集是实验室采集自制的手背静脉图像,在训练过程中根据需要对手背静脉图像数据集进行预处理工作。实验表明,与相关方向的算法对比,本文提出的算法在修复效果上都有了一定的提高,在客观的评价指标也表现较好。该论文有图31幅,表12个,参考文献84篇。