基于深度学习框架的3D图像视觉显著性检测

来源 :深圳大学 | 被引量 : 0次 | 上传用户:lvchao222
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
受新兴的3D多媒体技术发展的驱动,3D图像视觉显著性检测也成为当下视觉显著性研究中一个具有挑战的课题。与2D图像不同,3D图像或视频系统的应用可以给用户带来深度感、沉浸式等身临其境的视觉体验,具有广泛的市场需求和应用价值。3D图像视觉显著性需要额外考虑深度信息。然而,传统的手动提取特征的方法难以高效的提取深度信息中的高层语义特征。因此,本文中我们提出基于深度学习框架的3D图像视觉显著性检测算法。本文所完成的研究工作主要包括:(1)由于现有的3D图像视觉显著性检测模型大多数都采用手动提取图像特征的方法,该方法只能用于提取图像的底层特征,无法提取图像的高层语义特征。因此,本文提出深度学习特征启发的3D图像视觉显著性检测算法。算法中采用一个预训练好的卷积神经网络模型(Convolutional Neural Network,CNN)提取当前区域在多尺度下的深度特征向量,并采用基于神经网络(Neural Network,NN)的显著性预测网络从多尺度下的深度特征向量中分析推断该当前区域的显著性值,并将颜色和深度通道的显著性图融合,生成最终3D图像视觉显著性图。该算法在一定程度上解决了现有的3D图像视觉显著性模型采用手动提取图像特征的误差问题,并提升了模型的性能。(2)研究工作(1)中所提出的算法采用的多尺度图像分割方法较冗余,并且该算法所使用的预训练好的卷积神经网络模型最初是应用于图像分类任务,而不是图像视觉显著性检测任务。针对研究工作(1)中所提出算法的不足,本文提出基于深度神经网络的3D图像视觉显著性检测算法。该算法框架由一个多分辨区域级别的视觉显著性预测网络(MCRWP-Net)和像素级别的空间融合网络(PWSF-Net)组成。算法中通过采用基于超像素的图像分割方法解决了多尺度图像分割方法中的冗余问题,并采用深度神经网络为3D图像视觉显著性检测任务训练特定的网络模型,在一定程度上提升了模型的性能。(3)研究工作(1)和(2)中所提出的算法均是预测区域级的视觉显著性值,然而区域中所有的像素共享显著性标签会导致增大预测的误差。因此,本文提出基于多通道全卷积网络的3D图像视觉显著性检测算法。该算法框架由多通道全卷积视觉显著性预测网络(PredNets),学习中心偏置先验(Center Bias Priors)和稠密显著性预测图的通道间(Inter-Channel)融合组成。算法中采用基于像素级的PredNets网络构建一个三通道(颜色、深度以及颜色和深度的联合通道)的预测网络,并通过通道间(Inter-Channel)融合网络学习颜色和深度信息的空间相关性和差异性,生成最终3D图像视觉显著性图,从而降低模型预测的误差,并提升模型的性能。
其他文献
霉菌毒素是霉菌代谢过程中产生的次级代谢产物,对人类和各种畜禽都具有重大毒性。全世界每年约有1/4的谷物和饲料原料被霉菌毒素污染,给养猪业造成了很大的经济损失。文章简要综
北师大褚宏启教授认为:"课程整合是目前培养核心素养的最重要途径,要通过课程的改革来推动素养的提高。"数学作为一门重要学科,该如何通过整合课程内容来培养学生的学科核心
实验目的:单克隆抗体介导的MR免疫成像不但有助于微小癌灶的检出,而且有可能对肿瘤的组织类型作出术前诊断。但由于肿瘤局部选择性浓集的Gd3+离子浓度较低,产生的信号较弱,成为MR
根据已有的国家指南、标准图集及相关导则,基于实际应用中的问题,对城市道路在践行低影响开发设计时实现上位规划指标的方式、单项设施的关键技术进行了探讨,以期对其他城市
降水是影响生态水文和区域气候的重要气象因子,降雨量的准确估测是定量水文分析的基础,在人工影响天气、卫星遥感探测及工农业生产应用中起着重要的作用。传统雨滴谱特征数据
本文主要针对安全监控系统功率监测模块监测功率不均匀故障的方法进行探讨,以监测发动机系统故障程度为出发点,探究了发动机功率不均匀度与瞬时转速间的关系,综合应用瞬时转
线切割加工是电火花加工技术的重要分支,是一种利用放电蚀除原理进行切割加工的特种加工方式。相比传统机械加工,电火花线切割加工中无机械切削力作用、加工效率高,在模具制造、汽车行业、军工领域被广泛应用。线切割加工中,加工轨迹的精准规划与合理的工艺设计至关重要。本文针对往复走丝线切割加工中轨迹规划及工艺选优的难题,开展线切割智能CAD/CAM/CAPP集成系统研究。本文首先基于开源跨平台软件开发技术,构建
纤维增强复合材料FRP(Fibre Reinforced Polymer)因具有轻质高强、耐腐蚀和成型方便等优点而被广泛应用于航天航空、汽车工业、体育休闲以及土木工程等领域。对于FRP层合结构,层与层之间的结合力主要由树脂基体的强度决定,因此沿厚度方向的强度很低,使得分层损伤成为FRP材料在实际工程应用中的主要破坏形式。分层损伤的出现会极大弱化结构的力学性能和使用寿命,甚至可能造成整体结构失效,导
近年来,许多高校根据国家人事部的部署相继出台了实施聘用合同制的改革办法,改革对人们的传统思想形成了强大冲击。高校办公室新上岗人员不仅面对传统就业过程中的角色转变和
本文基于体育美学的角度论述五禽戏的起源,研究五禽戏的身体美、形体美与精神美的美学特征,从健身、文化、哲学角度叙述五禽戏的价值。