基于残差学习与注意力机制的单双目超分辨率算法的研究与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wangnayangyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超分辨率算法的目标是将低分辨率的图片重建出高分辨率图片。现实生活中的设备在精度上的不足,导致产生的图片往往无法满足人们对分辨率的需求,例如医学成像设备、遥感卫星、监控设备等。为了解决这个问题,一个解决方法是提升设备的精度。然而这种方法不仅成本较高,而且技术工艺复杂,不利于推广使用。因此有必要利用算法生成高分辨率图片。超分辨率算法需要解决以下几个问题。首先是如何解决图片种类繁多、物体尺寸各异的问题;然后是如何区分纹理区域和平滑区域,定位高频细节位置,解决图像细节缺失、图片模糊不清、修复细小纹理的问题;最后是如何解决双目图像中不同大小的视差、信息存在冗余与互补的问题。针对以上的问题,论文的主要研究工作和创新点如下:(1)针对解决图片种类繁多、物体尺寸各异的问题,提出了一种基于多分支层次结构的单目超分辨率算法。该方法通过多分支结构,在每一个分支上插入不同空洞率的空洞卷积,使得模块能够获得物体的多尺度特征表示。这种方法增强模型的泛化能力,能够满足多种场景多种尺寸的图片要求。此外,模型还通过残差学习机制,将低频信息直接传递到重建模块,使得网络专注于学习物体的高频信息,获得更好的性能提升。在多个数据集上的实验表明,该算法能够学习到多样的、多尺度的图片超分辨率映射关系,从而生成高质量的高分辨率的图片。(2)针对图像细节缺失、图片模糊不清、细小纹理修复的问题,提出了一种基于注意力机制的单目超分辨率算法。该算法通过压缩各个通道的信息,学习各个通道之间的联系。这种通道注意力机制增加了通道之间的差异性,不同通道带有不同的特征信息。此外,还采用了空间注意力机制,该方法可以区分纹理区域和平滑区域,定位高频细节位置,有助于细节纹理修复。实验结果表明该算法实现了更加清晰的图像修复任务。(3)针对双目图像中不同大小的视差、信息存在冗余与互补的问题,提出了基于视差与注意力机制的双目超分辨率算法。该算法首先从双目图像中学习出视差信息,然后利用视差信息将右图变形成新的左视角的表示。这种新的左视角表示带有左图所缺失的信息。同理,左图也可以利用视差信息变形成右视角表示。实验结果表明该方法能够有效的利用双目图像的互补信息。经过实验验证,本文所提出的基于残差学习与注意力机制的单双目超分辨率算法达到了领先的技术水平,生成的高分辨率图像细节更加丰富准确,能够广泛的应用在各种计算机图像任务中。
其他文献
下一代移动通信(6G)的愿景之一是要在全球范围内进行地面通信和卫星通信的融合,构建真正的空天地一体化全覆盖通信网络。与高轨卫星相比,低轨卫星具有更高的能量利用效率,更适合用于6G通信。本文致力于在星上资源有限的前提下,有效提升低轨卫星的通信容量以应对日益增长的业务需求。针对低轨卫星信道环境复杂、传输距离长、传输资源有限等问题,采用自适应编码调制技术,能够在满足通信质量的前提下提升系统性能。本文通过
随着社会的发展,网络具有了广泛的概念。虽然不同的网络具有不同的业务含义,例如移动通信网络、交通网络等,但是它们都可以抽象为网格形式或图形式的数据结构,从而进行网络上的相关研究。近些年,由于科技的迅猛势头,人们对业务的需求也在逐年增加,使得网络流量预测问题成为网络研究中一个重要且热门的研究方向。及时准确地预测网络流量,可以方便人们的日常生活,减少不必要的时间和资源损失,有助于管理者的指挥和调度等。然
随着无线通信技术的发展,日益紧张的频谱资源难以满足高速率、低延迟和海量连接的需求,在人们日益增长的通信需求的推动下,迫切需要一种新技术提升频谱效率。稀疏码非正交多址接入(Sparse Code Multiple Access,SCMA)技术利用码本的稀疏性能够在非正交资源上叠加传输用户数据,能够极大地提高频谱效率。SCMA作为一种极具潜力的非正交多址技术引起了学术界和工业界的广泛关注,本文以SCM
Web是现如今互联网越来越重要的组成部分,但大部分Web类的应用都会因为开发语言自身的灵活性而导致其存在不同严重程度的安全问题。传统的基于规则的检测方式已经无法实现对日益变化的攻击方式的有效拦截,然而随着算力和数据量的提升,通过深度学习方式进行Web攻击检测已成为热门的研究领域之一。在Web攻击检测方面,大多数的研究者都只关注了由客户端发送的请求流量,而忽略了返回流量中相当明显的一部分特征。在本文
近年来,随着容器技术的迅速发展,将容器技术应用到智慧城市等概念逐渐成为研究热点。本文以已有的智慧管廊微服务架构为基础,设计出基于改进的Kubernetes容器编排框架的智慧管廊容器云平台,并实现了轻量级的容器镜像的构建、多用户层级容器管理监控告警服务等功能。同时为了应对中小规模容器集群中容器调度耗时,影响服务性能等情况,本文从容器调度队列、启发式调度算法等层面提出了一种基于蚁群算法的容器调度器设计
随着移动通信技术发展到第五代,虚拟/增强现实、自动驾驶汽车、触觉互联网、物联网等新的场景和应用不断涌现,导致人类社会对通信、计算等资源的需求大幅增加,对时延的要求也更为苛刻。为了满足上述场景和应用的各类需求,学术界提出了移动边缘计算(Mobile Edge Computing,MEC)技术,并持续推动技术应用。然而MEC的安全性阻碍了 MEC技术的发展和应用:边缘节点具有脆弱性和复杂性,导致传统安
当前时代飞速发展,众多新兴产业应运而生,随着人民物质生活水平日渐提高,人民群众对于精神文明的需求日渐高涨。另一方面,当前社会中生活节奏呈现出极度高速化的特点,各年龄段人群的压力与日俱增,生理心理健康两手抓的呼声日渐激烈。心理健康水平作为确保个人生活品质的重要指标越发被重视,合理评估个人心理健康水平,为有需求者提供互联网时代下的心理咨询服务是符合时代规律的一大需求。智能移动终端目前普及率极高,开发可
随着互联网信息技术的迅猛发展,推荐系统帮助用户快速、精准地寻找所需和所感兴趣的物品(item),逐渐渗透到人们的衣食住行中。推荐系统中的音乐、商品、法规等物品和类目之间常常具有分层结构,物品从属于类目(category),子类目又从属于父类目。为了针对具有这种特征的物品设计和实现推荐系统,本论文在相似推荐和个性化推荐这两个工程中的实际应用场景下,分别挖掘物品的分层结构信息。主要工作内容如下:(1)
随着计算设备的发展,人机交互领域受到广泛关注。三维显示作为一种可以显著提高认知和交互效率的显示方式,是未来显示领域的发展方向。近年来,裸眼三维显示越来越受到人们的关注,它不需要任何助视设备便可以为人类提供自然的三维图像。然而,目前大多数研究都集中在裸眼三维显示器的显示性能提升方面,而缺乏对其认知效能的评估和对其人机交互行为的分析。因此,为提升裸眼三维显示设备的空间场景认知理解效率,设计更加高效的三
随着互联网技术的发展,每天都会产生海量的数据,而人们也从信息匮乏的时代跃迁到信息过载的时代。推荐系统作为用户与数据提供者之间的桥梁,缓解了信息过载的困境。它能够从用户的行为模式以及其他辅助信息中挖掘出用户的兴趣并为用户推荐信息。另外,随着社交媒体的发展,用户通过微博、微信等社交平台产生丰富的交互关系,如关注、转发、信任等,从而使得用户之间构成了一张巨大的社交网络。同时,用户对信息的偏好容易受到其在