论文部分内容阅读
生成对抗网络将多个深度神经网络嵌入到最小化-最大化框架中,通过构建初始分布和真实数据分布之间的非线性映射,达到拟合真实数据分布的目的,进而生成各类数据。对比前期生成模型,它的优势在于消除了马尔科夫约束条件,生成网络的参数更新依赖于判别网络提供的梯度信息而非直接依赖于输入,同时具备更强的兼容性。本文重点围绕面向图像认知的多深度神经网络生成对抗机制展开研究,针对多生成对抗网络在图像认知领域的研究热点,以理论研究和应用拓展为基础,在图像复原、图像哈希检索和图像跨域预测三个方面进行展开。本文的主要创新性工作总结如下:1.针对基于生成对抗网络的图像修复算法中出现的梯度消失、训练不稳定、修复结果缺乏局部一致性以及训练时间较长等问题,本文提出了一种基于多粒度重建采样的多生成对抗图像修复算法。该算法改变生成网络的分布初始化方式,利用重建采样确保生成样本空间与真实样本空间重叠部分的勒贝格测度不为0,进一步稳定梯度,并且证明了重建采样能够稳定训练和梯度。此外,在保证修复图像质量的情况下,利用分割不变性来缩短训练时间,同时提出算法可采纳性度量来综合评价图像修复算法。实验表明:本文提出的图像修复算法能够较好地保持修复结果的局部一致性,同时有效地减少训练时间。2.针对现阶段图像哈希算法仅适用于检索完整图像的问题,本文提出了一种基于多生成对抗的非完整图像哈希检索算法。该算法融入哈希网络、复原网络、判别网络和分类网络,首次实现了非完整图像的有效检索。此外,本文还提出一种新的相似度保持度量:监督流形相似度。理论证明,该相似度保持度量优于点对相似度度量和成对相似度度量,能够较好地保持图像之间的语义关系。实验表明:由于监督流形相似度的提出,本文提出的检索算法不仅在非完整图像检索中取得绝对的增量,在完整图像检索中也表现出较强的竞争力。3.针对现阶段哈希算法仅仅实现了快速检索的目标,忽略了哈希码在存储开销方面的优势,本文提出一种基于多生成对抗的双向哈希码-图像转换算法,将哈希编码与图像合成结合,实现了哈希码和图像之间的双向转换。利用监督流形相似度提高检索精度和用户可接受度,最大限度地实现了检索精度与用户可接受度之间的平衡。实验表明:在保证高精度检索结果和良好用户可接受度的前提下,哈希网络将图像转换为哈希码,极大地减少了储存开销。同时,通过使用逆哈希网络,能够较好地将哈希码重建为接近原始图像的重建图像。4.针对现阶段医学图像跨模态预测算法仅能实现单向预测的问题,本文提出一种基于多生成多对抗的医学图像跨模态双向预测算法。通过局部化预测网络(生成网络)获取源域和目标域之间的同胚映射,并在预测过程中引入标签辅助信息约束图像特征生成,避免可能生成目标图像中不存在特征的风险。同时,引入边缘保持度量生成与原始图像解剖结构相近的预测图像。通过引入谱归一化来控制判别网络的判别性能,间接提高预测网络的预测能力和训练速度。实验结果表明,在获取MRI或CT图像后,该算法能够预测出对应的伪CT或伪MRI图像,预测图像在专业医师的主观评价方面和基于全参考图像的客观评价方面都获得了良好的评估结果。