基于深度学习的协同显著性检测方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:li63991923
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
难点在于如何针对不同图片组中的不同情形,得到自适应的协同显著性检测意指在一组相关图片中发现共同且显著的目标或区域,其具有前景一致性和前景-背景区别力的特征表达,以及如何建模同组图片间的交互关系,利用群组语境信息促进协同显著性检测性能的提升。虽然已有的协同显著性检测研究针对以上两大问题进行了广泛而深人的探索,但是距离令人满意的协同显著性检测仍然存在许多亟需解决的障碍,特别是利用深度学习工具解决协同显著性检测问题仍然处于初始的摸索阶段。本文提出三种基于深度学习的协同显著性检测方法,为协同显著性检测研究提供了新的思路,主要内容和贡献概括如下:一、提出一个基于图注意力网络的半监督协同显著性检测算法。利用多视角特征选择对超像素的多视角特征进行学习和融合,通过探索多视角特征间的互补,得到任务自适应的综合特征表达。在优化后的综合特征上构建初始图拓扑结构,利用图注意力网络建模组内超像素间的交互关系,得到具有组语境信息的特征表达进行精确的协同显著性推理;最后利用精心设计的代价函数作为监督对多视角特征选择网络和图注意力网络依次进行优化。所提出的图注意力网络将图优化、特征学习以及协同显著性检测推理整合在一个统一的框架中,充分地考虑了组内超像素间的交互、组语境信息对特征学习的影响,得到令人印象深刻的协同显著性检测结果。二、提出了一个群组语义指导的协同显著性检测框架。设计分级低秩双线性池化策略将组内所有图片的特征整合为一个综合的群组表达,利用共同类别监督进行学习,使群组表达具有丰富的语义信息;然后以群组语义特征为指导,探索多层次卷积特征间的互补,得到精确的协同显著性图。所提出的模型首次探索了图片间在语义层次上的交互,并利用群组语义信息指导图片的协同显著性检测。整个网络结构以端到端的方式进行联合训练和优化,提升了模型的鲁棒性和协同显著性推理能力。三、在第二个工作的基础上对深度学习网络结构进行改进和增强。我们提出一个金字塔注意力模块在多个空间尺度上强调重要的图片区域,抑制背景干扰;为了缓解群组语义与多尺度视觉特征直接串联带来的语义鸿沟,我们提出一个语义-视觉特征金字塔结构,以渐进的方式将群组语义和多尺度视觉特征融合;将之前的单尺度协同显著性监督改为多尺度监督,促进了多层次特征的学习和优化。基于以上三方面的改进措施,我们提出的协同显著性深度学习模型在性能上得到进一步提升。
其他文献
地方政府融资平台财务风险控制是其投资项目及参与者合法收益的保护,市场逐渐开元化,越来越多的人投资地方政府融资平台,所以融资平台财务风险控制至关重要。地方融资平台具
期刊
从应急物流的内涵、特点入手,提出了应急物流体系创新机制的构建,包括应急物流信息平台、应急物流快速反应机制、应急物流政府保障机制和应急物流的反馈控制机制四大模块。只
目的评价产前筛查、羊水细胞染色体分析和产前无创基因检测对诊断胎儿染色体异常的临床应用价值。方法对3284例孕14-20+6周的孕妇采用化学发光法进行血清AFP、Free-βHCG和uE
<正> 低血容量性休克复苏治疗中常因大量冷液体的快速输入、大量失血而使体温下降,对心律、血凝及组织代谢产生不良影响。因此如何对机体的中心体温进行简单、准确的监测尤显
新保守主义是美国近几年来出现的一种主导思潮,新保守主义政治和社会哲学思想影响的增长是当前美国政治生活的特点。新保守主义思潮对当前美国政府外交政策的制定产生了深远的
新高考模式的推出,对于高中教师而言是更具挑战性的,这意味着高中教师需要更新自身的教学观念及方式,将学生放于学习的中心,以学生基础知识的掌握为主,重视对学生自主思考,创
系统应用B/S结构、JSP技术,并应用JSP技术连接SQL Server2000数据库,区别与以往采用C/S结构的系统,增加了系统的移动应用性,可以在任何地方进行操作而不用安装任何专门的软件
把断层冲击地压看成是断层带与上下盘围岩系统的变形失稳,建立了扰动响应稳定性判别准则,并对断层冲击地压的一个简单模型进行了解析分析。通过粘滑失稳模型,解释了断层冲击地压
人教版高中选修教材《外国小说欣赏》中的小说《素芭》打动了无数的读者,小说的结尾也引起了师生们关于悲喜剧的争论。笔者认为这是一部以悲剧为终结的小说,这位"会说话的姑