基于深度学习的图像超分辨率重建技术研究

来源 :南京信息工程大学 | 被引量 : 0次 | 上传用户:cultra
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科技的发展使人们对图像分辨率有了更高的要求,高分辨率图像比低分辨率图像包含更多的信息并具有更好的视觉感受。因此,通过超分辨率重建技术改善图像分辨率是计算机视觉领域一项重要的研究课题。近年来,深度学习技术的发展使得图像超分辨率重建方法的性能相较于传统方法有了极大提高,然而目前很多基于深度学习的超分辨率重建网络都以前馈的方式学习图像特征,忽略了反馈机制。反馈机制可以使网络学习到高分辨率和低分辨率图像之间更复杂的映射关系,因此,本文基于深度神经网络中的反馈机制对图像超分辨率重建展开了研究,主要包括以下内容:1)针对现有图像超分辨率重建方法恢复图像高频细节能力较弱、特征利用率不足的问题,提出了一种多尺度特征融合反投影网络用于图像超分辨率重建。该网络首先在浅层特征提取层使用多尺度的卷积核提取不同维度的特征信息,增强跨通道信息融合能力;然后构建多尺度反投影模块通过递归学习执行特征映射,增强低分辨率图像与高分辨率图像之间的相互依赖性,提升网络的早期重建能力;最后将局部残差反馈结合全局残差学习促进特征的传播和利用,从而融合不同深度的特征信息进行图像重建。对图像进行×2到×8超分辨率重建的实验结果表明,本方法重建图像的质量在主观感受和客观评价指标上均优于现有图像超分辨率重建方法,尤其处理高倍放大(×8)时重建性能相对更优秀。2)针对目前很多深度模型缺乏反馈机制并平等地处理特征通道,阻碍了超分辨率网络的表达能力这一问题,提出了一种基于注意力机制反馈网络的图像超分辨率方法,借助循环神经网络中的隐藏状态使网络具有反馈机制。首先设计多尺度可分离卷积层提高参数的利用效率并提取更多维度的图像特征;然后设计反馈模块处理子网络间的反馈连接,并通过密集连接的上下投影单元生成更丰富的高层表示,为从输入图像中重建高分辨率图像提供更多的上下文信息;同时在反馈模块中引入注意力机制为图像特征自适应分配通道注意力资源,增强通道间的相互依赖性,促进网络挖掘更丰富的高频信息;最后通过迭代网络逐步生成最终的图像,使网络具有较强的早期重建能力。实验结果表明,相比目前很多先进的重建方法,本方法生成的超分辨率图像不仅具有更高的客观评价指标,还具有更好的视觉效果,并在8倍放大中依然保持优秀的重建性能。
其他文献
在过去的几十年里,生物传感器因其广泛的工业和科学应用而引起了人们的密切关注。光学传感器是一种通过研究结构的光学特性来解决这些应用的有效分析工具。随着技术的进步以及资源需求的增多,高科技设备逐渐趋于小型化发展。光与金属纳米结构的相互作用显示出独特的性质,产生了一个称为表面等离激元的新兴领域。将金属纳米结构与光纤进行融合,可形成一种具有高灵敏度、抗电磁干扰等优点的光纤生物传感器。这类光纤传感器可通过监
随着人们对气候不断变化的重视,大气环境探测对传感器设备的观测精度要求也越来越高。地表气温上升的速度约为0.1°C/10年,然而由于太阳辐射的影响,地表气象站观测到的气温会高于真实大气温度,导致存在1°C量级的辐射误差。因此,为降低大气环境探测的辐射误差,有必要设计一种低辐射误差的温度传感器来提高测量精度。针对上述辐射误差问题,本文提出一种旋转式强制通风温度传感器结构。利用计算流体动力学(Compu
“边缘人工智能”(edged artificial intelligence,edged AI)将机器学习带到了移动端,为大数据的研究有效地降低了时间成本、经济成本、能源消耗,在人们的视线中逐渐明朗,众多行业中对边缘AI的技术研究也伴随着人工智能的发展与成熟逐渐崭露头角。随着气象现代化建设的进程,很多地方都建成了自动雪深探测仪,绝大多数地区都采用江苏省航天新气象科技有限公司自主研发生产的地面降水降
光纤传感技术作为信息化社会的一大热点,由此产生的光纤表面等离子共振(Surface Plasmon Resonance,SPR)传感器因其质量轻、抗干扰能力强、成本低、灵敏度高等特点逐渐在各个领域被广泛利用。本文设计了两种基于复合膜的双通道光纤SPR折射率传感器结构并能最终实现双通道测量。论文主要工作如下:1.利用光纤表面等离子共振理论,分别设计了侧边抛磨、级联式多模-单模-多模(MSM)两种双通
图像超分辨率重建能够提高图像的分辨率,恢复图像的高频信息。高分辨率图像拥有更多的信息量,对边缘细节信息描述的更具体。如今,随着计算机设备性能和人工智能技术的提高,把深度学习的卷积神经网络应用于超分辨率重建算法中成为研究热点。基于深度学习的超分辨率重建算法是通过软件的方式来改善图像的质量,具有成本低,灵活性强的特点。本文基于卷积神经网络的“深度”对超分辨率网络进行改进,主要体现在以下几个方面:(1)
随着3D(Three Dimension)成像技术的发展,深度图像发挥着越来越重要的作用。同时微软Kinect和飞行时间(TOF)相机等低成本3D扫描设备的诞生,为计算机视觉、图形、人机交互和虚拟现实等不同研究领域的新应用打开了大门。然而,由深度摄像机捕获的深度图像会产生各种类型的失真,这使得从深度图像中准确估计深度信息变得困难,影响人们的体验。为了解决深度图像的质量下降问题,可以采用合适的深度图
伴随着互联网技术以及多媒体技术的迅速发展,海量的多媒体数据喷涌而出。然而,如何在这些类型多样,数量庞大的数据中获得真正有用的信息成为了一个难题。面对这种信息多元化趋势,跨媒体检索技术应运而生。与传统的单媒体检索相比,跨媒体检索可以满足人们在数据多源化时代下的检索需求。然而不同媒体之间存在着天然的异构鸿沟,这给跨媒体检索的实现带来了巨大的挑战。但多媒体数据具有底层特征差异,高层语义相关的特点,即不同
随着人口老龄化的加剧,人们越来越关注老年人的生命安全。摔倒给老年人的生命安全带来了严重威胁,相关调查研究表明摔倒是造成老年人意外伤害的首要因素。老年人摔倒后如果没有人及时发现,往往会错过最佳救治时间,造成无法挽回的严重后果。因此对摔倒识别方法进行研究,有效识别出老年人异常摔倒具有重要的现实意义。本文通过对摔倒识别方法进行研究,将机器学习理论方法运用在摔倒识别领域,准确有效识别出老年人有可能出现的异
风速风向的测量对我们的生活有着重大意义,热式测风法设计出的测风仪由于体积小、成本低、精度高,因此被广泛应用于各个领域。然而我国对热式测风法的研究起步较晚,与国外仍有一定差距,且目前市场上销售的手持式热线式测风仪只能测量风速不能测量风向。因此,本文提出一种新的热式测风方法,利用温度传感器设计温度阵列,设计出一款基于温度传感器阵列、既能测量风速又能测量风向的热式测风仪。本文根据热温差原理设计了十字型以
传感技术作为物联网技术创新中的重要组成部分,是当今人类拓展自身感知能力的重要手段,也是信息化时代通信和计算机传输与处理信息的基础。基于光纤技术设计的传感器,具有灵敏度高、测量范围广、稳定性高和抗电磁干扰能力强等优点。这些优势使得光纤传感器在特定场合下具有不可替代的作用,如在交通运输、石油勘测、食品安全和航空航天等领域。伴随物联网和数字中国建设脚步的不断加快,提高光纤传感器的机械强度和多参数测量能力