基于空间一致性约束的多视点人像分割方法研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:looen01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像分割是计算机视觉领域里的一大核心研究方向,是为图像中具有相同或类似特征的像素预测其所属分类的技术。目前被广泛用于自动驾驶、增强现实、人机交互和生物医学影像等图像处理相关工程应用领域。多视点图像中对于目标的分割任务是三维显示应用中的一个关键步骤,分割的精度及多视点图像之间分割结果的一致性都关系到后续的三维显示效果。因此对于多视点场景,不能局限于单视图中分割边缘的准确度,还要考虑不同视点间的分割结果的在三维空间中的联系。处理多视点分割时不符合空间一致性而导致目标掩膜中存在大量冗余背景像素、关键区域像素分割不均匀且精度不佳,这些都是亟待解决的问题。本文针对受约束于多视点图像间空间一致性的前景分割问题,搭建了全新的方法模型,完成了一系列研究及相关工作,课题的主要贡献概述如下:1)实现基于SfM相机标定以及三维空间多视点投影关系的多视点图像序列重聚焦算法;使用TensorFlow框架搭建深度学习实例分割网络,使用COCO数据集对网络进行预训练直至收敛,得到端到端的目标检测+语义分割二阶段网络模型。将多视点重聚焦图像输入该网络进行预分割测试,前景人像的分割精度可以满足后续的使用需求,作为baseline方法;创新性地将网络的两个分支输出作为先验知识,为之后预分割后处理算法的实现奠定了基础。2)针对深度学习分割结果中包含过多背景像素的问题,在其基础上,提出建立高斯混合模型(GMM)来做预分割的后处理优化,开展实验比对不同先验下的最终分割效果。对比baseline实验,两组采用不同先验组合的强化实验,在平均掩膜交并比(mean mask IoU)指标上,分别提升了 5.78%和7.71%,有效地去除了人像的背景像素。采集48视点数据用于三维显示效果验证,利用多视点算法处理分割得到的人像得到合成图。在光栅显示器上显示后获取的实际拍摄效果,进一步验证了本文提出方法的有效性。
其他文献
探究神经元如何处理它们接收到的输入信息,从而产生能够激活其突触后神经元的动作电位对于理解大脑的工作方式至关重要。本论文主要研究了影响树突信号衰减的机制,研究结果使我们可以更加深入理解突触输入位置、树突放电(dendritic spikes)、树突直径等因素在神经元树突信号处理中扮演的角色。这些结果也能为探索树突整合突触输入的方式提供帮助,继而促进神经活动与行为间的联系方面的研究。具体而言,通过构建
随着国家、社会经济的发展,各行各业对安全的需求日益旺盛。水利、电力、油气、矿产、通信、网络、金融、国防等基础设施的稳定运行需要可靠的安防体系来保障。光纤制作原料充足,且具有质轻耐腐等稳定优良的物理化学性质,基于光纤传感原理的光纤安防系统受到了市场与研究人员的关注。为提高系统对入侵行为的分类正确率,结合机器学习算法对不同事件类型分类识别成为主流研究方向,且取得了不错的分类效果。然而目前多数算法识别分
近年来,在国家不断出台的利好政策支持下,我国工业互联网快速发展,而移动端工业APP作为工业互联网的核心价值体现,在搭载了移动互联网小巧轻便、易于获取和传播的优势的同时,也是对工业知识和经验的积累和沉淀,其“赋能”、“赋值”和“赋智”的作用日益凸显,拥有广阔的市场前景,具有很高的研究价值。然而,工业互联网发展提速带来了信息技术人才出现较大缺口的问题。为支持在新工科教育背景下,我国工业APP的持久向前
基于光子晶体微腔的传感器由于模式体积小、控光能力强、易于集成和无标记检测等优点被广泛应用到传感领域。近年来,具有高集成度和多参量传感能力的多参量传感器成为传感技术的研究趋势,基于光子晶体微腔的双参量传感器不断被提出。在此基础上,如何提高双参量传感器的检测准确性是一个需要重点关注的问题。通过对双参传感理论的分析,利用电场分布的不同增大灵敏度差异,可以有效提高双参量检测的准确性。传统的基于光子晶体微腔
随着智慧城市、虚拟现实与增强现实等新兴科技的发展,人们对数据流量的需求与日俱增。C-RAN架构无线前传CPRI接口速率过高限制了 B5G/6G系统的发展,模拟光载无线(RoF)技术相比数字化传输技术而言,无需采样和量化,可以有效解决前传接口带宽过高问题。传统RoF阵列系统架构成本高,容量低,不足以满足超大规模无线通信系统对超大带宽、超高容量的需求。针对上述挑战,论文研究了基于多芯光纤(MCF)传输
随着现代社会的数字化变革和互联网的飞速发展,大数据和云计算等新兴技术在推动数据中心规模化建设的同时,也产生了爆炸式增长的数据流量,对数据中心内部互连网络的带宽提供能力与能耗带来了前所未有的挑战。为了减少数据中心的搭建成本及能耗,提高数据中心内部数据传输的效率,本论文针对在数据中心内部互连网络中引入光交换的研究思路展开探索。首先结合数据中心内部业务传输需求与光交换技术的研究现状,提出了基于光时隙交换
目前,短视频成为了互联网内容传播最主流的方式之一,随着其市场的逐渐成熟及竞争格局的逐渐稳定,用户的增长速度变得缓慢,用户的红利期也渐渐消退,短视频市场的竞争焦点也逐渐由增量市场转向存量市场。如何提高现有用户的活跃度、深入挖掘每个用户的价值是当前各个短视频平台十分重视的方向。因此,围绕多任务学习模型提升短视频中用户行为预测性能对各短视频平台探索更多元化和更深层次的商业变现模式具有重要意义。本文基于多
VANET(车辆自组织网络)作为MANET(移动自组织网络)的典型应用,是ITS(智能交通系统)中最重要的发展方向之一,旨在为道路上的车辆提供路况预警功能和数据自组织传输能力,通过充分利用车辆和交通基础设施所共享的大量数据,来改善驾驶安全和交通管控状况。然而,当车辆在网络中共享数据时,面临着身份隐私泄露、消息置信度低的问题。同时,车辆转发信息需要消耗自身资源,因此用户通常会选择利益最大化的行为并拒
高品质、高效率的单光子源是实现量子信息通信技术的核心部件。半导体量子点有着“人造原子”的别称,具有高量子效率、高亮度、易于集成等优点从而成为制备单光子源的理想固态系统。受腔量子电动力学的影响,与腔耦合的半导体量子点单光子源的各项性能更是得到大幅度提升。本文以制备高效率的微腔耦合量子点单光子源为目标,计算分析了量子点能级结构,讨论了量子点的跃迁机制并基于腔量子电动力学得到了高效率半导体量子点单光子源
随着互联网的迅速发展,当今正处在一个信息爆炸的时代,各种信息呈指数级增长,在这其中,文本信息占据了相当重要的组成部分,因此从非结构化的信息中提取出有用的结构化信息显得尤为迫切和重要。信息抽取(Information Extraction,IE)就是旨在从非结构化的自由文本中抽取出结构化信息的技术。关系抽取任务为从非结构化的自由文本中抽取出“实体1-关系/属性-实体2/属性词”的三元组结构化信息,可