基于级联回归与卷积神经网络的单幅图像超分辨重建

来源 :西安电子科技大学 | 被引量 : 1次 | 上传用户:haolong12345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是人类社会重要的信息载体,发挥着无可替代的作用。然而,受成像条件的限制,成像系统获取的图像往往存在细节信息丢失、分辨率低等问题,从而无法满足不同应用领域对高质量图像的需求。超分辨重建技术旨在综合利用信号处理、统计学习、优化理论等工具,从同一场景的一幅或多幅低分辨图像重建出成像系统无法直接获取的高分辨图像。该技术对医学成像、遥感成像、视频监控等领域具有重要的应用价值,受到众多研究者的广泛关注和深入研究。
  虽然近些年提出的基于学习超分辨重建方法不断提升重建的质量和效率,但高效地重建高保真度、高感知度的图像仍然是一项极具挑战性的任务。目前基于浅层学习的超分辨重建方法仍未能在模型复杂度、重建效率和重建质量之间做出较好平衡,而多数基于深度学习的超分辨重建方法忽略了相关先验信息和领域知识的融合,限制着模型的重建性能。鉴于此,本文基于级联结构及卷积神经网络,对单幅图像超分辨重建开展了深入研究,进而提出多种方法来有效提高重建质量和重建效率。本文主要研究内容概括如下:
  1.提出一种基于级联线性回归的单幅图像超分辨重建方法。现有基于浅层学习的超分辨重建方法面临的问题一方面是应用复杂模型,虽能较好拟合低分辨空间至高分辨空间的非线性映射关系,但会导致较高计算复杂度和较低鲁棒性及泛化性;另一方面是应用简单模型,虽简单高效,但模型表征能力有限导致重建效果欠佳。针对该问题,同时考虑到图像局部具有近似线性结构,提出一种基于级联线性回归的简单、鲁棒、有效和快速的图像超分辨重建方法。该方法利用简单高效的线性回归模型缓解了复杂模型鲁棒性差、复杂度高的问题,同时结合级联结构和聚类运算以集成多个回归过程,增强了模型的表征及重建能力。实验结果表明,所提方法较其它方法能更好地平衡重建质量与重建效率。
  2.提出一种基于多尺度信息交叉融合卷积神经网络的单幅图像超分辨重建方法。对于图像超分辨网络而言,其不同层级、不同尺度的特征均包含相关且互补的信息,因而融合多层级和多尺度的特征信息对重建性能的提升具有重要作用。然而,多数基于卷积神经网络的重建方法采用单分支结构,不利于多层级和多尺度特征的有效融合,从而制约了模型重建性能。针对上述不足,构建了基于多尺度信息交叉融合的超分辨网络。其中,构造的具有幂等特性的双分支结构,不仅能有效地融合多尺度特征的互补信息,还能促进信息在不同层级间的传播;采用的子网络级联结构,在有效降低大尺度超分辨重建难度的同时提高了重建效果;联合应用的残差学习、多级监督学习、集成学习及多尺度混合学习机制,有效地稳定了训练过程并实现了单模型在多上采样尺度上的超分辨重建。实验结果表明,所提方法能以较高重建效率而获得在主观和客观质量上都优于其它方法的重建结果。
  3.提出一种基于双域注意力卷积神经网络的单幅图像超分辨重建方法。在深层卷积神经网络中,不同通道、不同空间位置和不同层级的特征所包含信息存在差异性,继而使得不同类型特征对细节重建具有不同的贡献度。然而,多数基于卷积神经网络的超分辨模型对于不同类型特征缺乏鉴别学习能力,导致了其有限的特征表示和细节重建能力。针对此问题,构建了基于双域注意力的超分辨网络。通过将注意力机制引入至多层级特征的通道域和空间域,实现了多层级特征的自适应调制,从而强化重要信息的作用而弱化冗余信息的影响,提高模型重建细节的能力;同时,利用密集连接结构和门控机制,实现了对多层级特征的融合和提炼,从而提高信息利用率并增强模型的信息保持能力。实验结果表明,所提方法能以适当数量的模型参数而获得高保真度和高感知度的重建结果。
  4.提出一种基于非局部自相似卷积神经网络的单幅图像超分辨重建方法。图像结构的统计分析表明图像的局部结构具有跨尺度、非局部自相似特性,应用该特性将有助于获取非局部相关信息来提高超分辨重建准确度。然而,目前绝大多数基于深度学习的超分辨重建方法忽略了非局部自相似特性在扩大感受野、挖掘非局部相关信息等方面的作用。鉴于此,通过将图像跨尺度自相似先验与卷积神经网络深度融合,构建了基于非局部自相似的深层超分辨网络。该网络通过可训练的自相似匹配运算,有效地捕获多尺度特征的非局部相关信息;同时,利用级联的卷积运算高效地提取多层级特征的局部结构信息;并且,采用多级残差结构以促进非局部和局部信息的融合和传播,进而有效提高重建图像保真度。此外,考虑到训练样本所包含的信息存在差异性,研究了样本重加权机制以控制不同样本的贡献度,并将该机制与对抗学习机制结合来提高重建图像的感知质量。实验结果表明,所提方法能显著提高重建准确度和图像感知质量。
  综上,本文通过模型的简化、有效架构的设计、多种学习机制的应用、领域知识和先验信息的融合等策略,提出了四种单幅图像超分辨重建算法,以提升重建效率及重建图像的保真度和感知度。理论分析和实验结果验证了本文所提方法的有效性和优越性。
其他文献
患者,男性,42岁,因"胸闷、胸痛、呼吸困难3天"于2010年1月8日入我院呼吸科。患者入院前3天无明显诱因出现胸闷、胸痛、呼吸困难,同时伴发热,体温最高达38.9℃。胸部B超示:左侧胸腔中等量包裹积液。入院诊断:左侧胸腔积液,原因待查。入院查体:T38.2℃、P118次/分、R24次/分、Bp124/72mmHg,全身浅表淋巴结未扪及明显肿大。气管居中,胸廓对称,右肺叩诊清音,左
项目简介本项目来源于晁恩祥教授的临床经验方。晁教授从临床中发现一类越来越多的咳嗽患者,临床表现为咽痒即咳、咳嗽阵作,气急,遇冷空气、异味等因素突发或加重,干咳、无痰或少痰等症状。通过研究发现,其症状符合《诸病源候论》"十咳一曰风咳,欲语因咳言不得竞也"的描述,首次提出中医病名"风咳",并与西医病名"感冒后咳嗽"和"咳嗽变异性哮喘"相链接。在"风咳"理论下,应用"疏风解痉"的治法,自拟"苏黄止咳汤"
自2014年我国大力推广PPP模式以来,由于环保行业具有公共性、外部性等特征,环境保护类PPP项目的数量迅速增长,半数以上环保上市公司的主营业务涉及PPP项目。然而2018年以来,在我国环保产业形势大体向好的背景下,几乎半数PPP概念环保上市公司业绩出现严重亏损,PPP概念环保股普遍遭遇腰斩,环保类PPP项目似乎也事与愿违的进入了“寒冬季”。我国环保企业应用PPP模式的运营绩效、PPP运营过程中存
目前,测定转子时间常数的方法,除了事先进行堵转、空载试验进行电机常数的测量计算外,主要有卡尔曼滤波法、模型参考自适应法,以及利用电压方程式所推导出的依赖于定子电阻、定子电压电流的算式。这些都需要进行大量的实时计算,他们的共同缺点:对于定子电阻的依赖,使它们在高性能驱动控制应用方面不能尽如人意。本文通过对转子磁场定向中电压方程式的研究,以消除转子时间常数算式对于定、转子电阻的依赖为目的,经过严格
学位
本文提出了基于小波分析的电力电缆行波故障测距方法。该方法向待测电力电缆注入脉冲电流,利用小波分析对采样信号进行多分辨分析,得到模极大值点的位置,也就是采样信号突变点的位置,该突变点的位置反映了故障点的位置,从而实现电力电缆的故障测距。ATP/MATLAB下的仿真计算结果表明,较之于传统的行波测量方法,该方法可以准确识别反射脉冲,降低电缆线路分支和近区故障反射波对测量值的影响,且测距精度不受故障类型
学位
汴河是隋唐大运河中极为重要的一段,它兴盛于唐宋时期,为沟通南北交通,推动经济文化交流发挥了巨大作用。此后虽然汴河由于自然与人为因素而逐渐没落,但在当时促进城市商业的繁荣、经济的发展和政治地位的提高做出贡献。沿线的许多城市因汴河兴而兴,因汴河亡而亡,万胜与圃田就是汴河沿岸的重要城镇。万胜镇位于河南省中牟县东、圃田泽北,距离开封数十里的汴河南岸,在历史上地理位置十分特殊。唐宋时期万胜镇在军事和水利方面
近年来,越来越多的企业为了更多地占领市场和开拓新市场开始采用多元化战略,将现有的空闲资源有效运转利用,以不断拓展新的发展领域,优化整合各方资源,提升自身市场综合竞争力。企业在战略转型过程中,大多数企业都选择多元化发展战略来扩宽企业的经营范围及规模。虽然有些企业在多元化的道路上走向了成功,但是不可否认仍有不少企业多元化扩张失败使企业陷入困境。雏鹰农牧曾经作为A股“养猪第一股”,目前已经构建自养殖至销
双基合成孔径雷达(BistaticSyntheticApertureRadar,BiSAR)是一种将发射机和接收机放置于两个不同平台上的SAR。由于收、发平台的分置,可以根据不同的成像应用场景需求来配置相应运动平台的几何关系。与传统的单基SAR相比,双基SAR可以进行前视成像,获得丰富的目标信息,同时发射功率低、隐蔽性强,因此具有广阔的应用前景。  一站固定式双基SAR(One-stationar
由于外界扰动和内部摄动的影响,系统建模通常需要考虑各类参数的不确定性。分数阶不确定系统因其更符合实际情况受到广泛关注,相关的鲁棒稳定性问题及控制问题的研究是目前的重要研究方向。已有的研究成果针对不同类型的分数阶不确定系统,给出了一些分析系统鲁棒稳定性及鲁棒镇定的方法,但仍然存在一些复杂的情况难以用现有方法获得完整的结果,比如多参数的分数阶系统和阶次不确定的分数阶系统等。  柱形代数剖分方法是一种有
随着信息技术的不断进步,日常生活和工业环境中的数据持续增长,如何理解这些数据的含义从而帮助用户做出决策成为一项严峻而具有挑战性的难题。数值型数据在表述不确定信息时,往往无法达到对数据的完整性和准确性的要求,信息粒为解决这类不确定问题提供了更有效的解决方案。信息粒是基于数据的特征性和近似性精心设计并抽象化的数据集合,它可以完整并准确地表达数据的含义。通过信息粒化,复杂问题被分解为一系列易于处理的子问
学位