基于弱监督学习和数据增强的无参考图像质量评价方法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:qiuzhilv
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像在采集、压缩、传输和存储的过程中都可能会引入不同种类不同程度的失真,它们会对信息处理、分析和表达带来阻碍,也影响人们正确认识客观世界。因此,需要设计合理且可靠的图像质量评价算法来预测图像质量,从而更加方便地引导视觉信息处理系统的优化、改进和提高。图像质量评价已成为热点研究问题,在计算机视觉、模式识别和人工智能等领域具有广泛的应用。本文旨在针对自然场景的无参考图像质量评价任务中的场景复杂、可用数据量不足等难点与问题,设计视觉特征深度学习网络;通过弱监督学习、特征引导学习和数据增强方式,更好地提取了图像中的失真特征,构建无参考质量评价模型,获得与主观感知相一致的评价结果。主要的研究内容概括如下:(1)提出了一种基于视觉残差感知优化网络的无参考图像质量评价方法。基于深度学习的质量评价方法中,随着网络深度增加,需要的训练数据量增大,带有可靠主观分数的待测图像数据量存在严重的不足。因此,本文提出了一种分而治之的方法,将图像质量评价分解成两个阶段:识别图像的失真程度;提取图像内容特征,结合失真特征得到最终的视觉质量特征以回归图像质量分数。首先,由浅层卷积神经网络和长短期记忆网络级联构成的失真程度识别网络来预测图像失真度。在弱标签的监督学习下,该网络模型能够在大量训练数据下进行预训练。其次,构建深度卷积神经网络提取图像的内容特征,并与失真程度识别网络组成视觉残差网络,提高特征完整性,回归图像块的质量得分。最后,通过图像视觉显著性的池化策略,获得整幅待测图像的评价分数。实验结果表明,该方法对于失真的客观预测精度提升明显,模型预测和人类视觉感知具有很高的一致性。(2)提出了一种基于质量显著性引导非局部网络的无参考图像质量评价方法。当前无参考图像质量评价方法存在不同自然场景下鲁棒性较差,预测过程不符合人类视觉特性,过于依赖模型训练程度等问题。因此,本文提出了一种结合视觉特性的深度网络模型。首先,通过将人眼感知图像质量特性与深度卷积神经网络相结合,在待测图像上获得其视觉质量显著性图,将该图与原始待测图像在通道上叠加合成作为模型的输入。其次,采用深度卷积网络VGG16的基本结构,并将非局部模块嵌入其中,以衡量图像空间长依赖,设计了一种新颖的非局部深度网络模型。最后,依据人类视觉特性,采用自适应池化策略构建局部分数与全局分数之间的映射,得到待测图像的最终质量分数。该方法在四个公开数据集上都取得了较好的效果,并且针对均匀和非均匀的失真类型均具有良好的鲁棒性,也表明了本方法结果与人类主观感知具有高度的一致性。无论是针对模拟失真还是真实失真,该方法都能很快做出较为准确的预测。(3)提出了一种基于循环生成对抗网络增强模型的无参考图像质量评价方法。目前图像质量评价方法通过将图像切块的方式来增加数据量,但对于这些图像块的真实标签无法合理确定,使得评价结果的主客观一致性较差。因此,本文设计了“双增强”方法,即图像质量评价数据集的增强和待测图像的增强来实现无参考图像质量评价。首先,通过循环生成对抗网络中源域至目标域和目标域至源域两种生成对抗学习的过程,并及时调整输入特征值,来实现数据量的大量增长。然后,通过网络模型的博弈,学习数据集中失真图像的质量分数分布,解决训练数据量不足的问题,达到数据集增强的目的。同时,利用已训练的生成器,将失真图像尽可能的恢复至失真前的参考图像,达到图像增强的目的。最后,通过增强后的大量数据训练全参考网络,得到最后的感知质量预测分数。该方法在四个公开数据集上取得了优秀的性能指标,并在实验中证明了双增强模型在数据较少时仍然十分有效。
其他文献
随着多媒体技术的快速发展,视频、图像、音频等数字多媒体技术应用越来越广泛,但是在传播过程中容易受到破坏。数字水印技术是版权保护的一种有效手段,受到相关领域学者的广泛关注和深入研究。数字水印技术从提出到现在已经取得了显著地成果,然而数字水印技术涉及的内容多、范围广,相关算法并不完善,仍有改进提升的空间。本文结合现有数字水印技术的研究基础,通过分析Contourlet变换、DCT变换、Schur分解技
近几年,中国经济增速放缓,提出供给侧结构性改革,更加强调发展的质量,重视经济发展对环境的影响,提出建设“美丽中国”的目标,同时也主动承担国际环境责任,如签署《巴黎协定》并积极履行承诺。事实上,中国一直以来就存在自然资源总量大、人均少、开发难度大、利用率低、浪费严重等问题,这必然会影响中国经济的持续发展,特别是以自然资源为主要生产原料的企业,其面临的压力更大:一方面政府和社会各界更加重视对自然环境的
在日常通讯交流和视频会议等应用中,声回声是一个常见的问题,它由传声器和扬声器之间的耦合产生,能够影响到语音可懂度和通话质量。人工智能技术的发展使一些类似智能音箱这样的智能语音交互设备逐渐普及。这类设备设计紧凑,扬声器和传声器距离近,声回声问题更为明显,且由于其一般使用小尺寸扬声器,低频非线性失真往往较高,进一步提升了回声处理的难度。这类设备的语音识别率因回声存在而显著下降,严重影响了用户体验。本论
世界贸易组织成立后不断监督各成员降低关税和非关税壁垒,如今已经卓有成效,但是各成员之间出现了很多“非效率”情况,这些都违背了贸易便利化的初衷,贸易便利化对全球贸易有着至关重要的意义。本文以我国贸易便利化为研究方向,阐述我国贸易便利化发展现状及我国贸易便利化对我国的积极影响,将我国与其他典型国家贸易便利化的发展程度进行对比,进而剖析出我国贸易便利化发展过程中存在的主要问题,如我国关税总水平较高、进口
认知声纳系统研究是一项具有前瞻性和挑战性的研究课题,当前军事大国和相关组织均表现出对认知声纳研究的浓厚兴趣。结合强化学习方法实现声纳系统的认知功能是目前信息智能化发展的必然趋势,利用强化学习对无人自主航行器跟踪进行运动规划具有重要的现实意义。本文以汇合任务为目标,将强化学习跟声纳系统结合,对被动认知声纳系统研究进行初步尝试。本文对认知声纳的发展由来和研究趋势进行归纳总结,同时分析列举水下无人航行器
科技报告详细记录了各类研究过程和结果,对科研人员有很大的参考价值,此外,它也是机构学术资产的组成部分,更是一个国家和地区重要的战略信息资源。由于科技报告不公开出版,无法靠市场化机制实现配置,故而主要通过政府以发布政策法规等行政管理手段实现其呈缴、保存和共享。我国的科技报告组织管理体系分为国家、地方/部门、基层科研机构三个层次。自2014年以来,全国各省(自治区、直辖市)先后出台了相应的科技报告管理
本文以同时存在确定性切换信号和随机切换信号且这两种切换信号相互作用的可变双切换离散时间系统为研究对象,在确定性切换信号分别满足持续驻留时间和平均驻留时间约束条件下,利用随机多李亚普洛夫函数、能量衰减原理分析了系统的指数几乎处处稳定性。该课题是国内外对于双切换系统研究的有力拓展,具有重要的理论意义和实际应用价值。本论文所做的主要创新性工作如下:(1)针对具有确定性切换和随机切换共存且相互作用的可变双
随着社会的发展,化妆品已经成为人们的日常用品。然而,涉及化妆品质量的各类违法违规行为复杂隐蔽,对公民的生命健康安全形成了巨大的威胁。随着互联网经济的迅猛发展,这一问题愈加严重。因此,化妆品监管作为市场经济下现代政府的一项基本职能,亟待引起足够的重视和开展深入的研究。在公共管理情境中,政府对化妆品进行监管的主要目的之一就是为了对公众进行安全警示,引导其安全消费,从而保障公众的人身安全。行为公共管理学
对硝基苯酚是广泛存在于水体中的一种高毒性有机污染物,在水环境中微量的存在就会对生态系统和人体健康构成潜在威胁。目前,传统的对硝基苯酚检测方法存在诸多不足,难以满足快速、简便和高选择性的检测需求。分子印迹电化学传感器兼备了分子印迹聚合物与电化学传感器的优势,具有选择性强和操作简便等特点,是一种具有广阔发展前景的痕量有机污染物检测技术。针对检测对硝基苯酚的分子印迹电化学传感器制备过程繁琐、成本高、灵敏