【摘 要】
：
随着计算机视觉技术的发展,三维重建技术走入到人们生产生活中的方方面面。在众多三维重建的方法中,基于多视角图像深度估计的三维重建方法,是目前主流的三维重建方案之一。传统多视角图像方法使用图像的RGB信息来计算像素点的匹配代价,在弱纹理等RGB信息缺失的位置很难完成重建。随着近年来卷积神经网络在计算机视觉领域的发展,深度学习能够从图像中提取出更丰富的语义信息,将深度学习应用到三维重建领域逐渐成为了当前
论文部分内容阅读
随着计算机视觉技术的发展,三维重建技术走入到人们生产生活中的方方面面。在众多三维重建的方法中,基于多视角图像深度估计的三维重建方法,是目前主流的三维重建方案之一。传统多视角图像方法使用图像的RGB信息来计算像素点的匹配代价,在弱纹理等RGB信息缺失的位置很难完成重建。随着近年来卷积神经网络在计算机视觉领域的发展,深度学习能够从图像中提取出更丰富的语义信息,将深度学习应用到三维重建领域逐渐成为了当前研究的热点。在当前基于深度学习的多视角图像深度估计的结果,会受输入邻域图像质量的影响,对同一场景不同的输入邻域图会存在较大差异。本文聚焦于结合深度学习进行多视角图像深度估计的三维重建方法,探索如何使用神经网络实现准确且鲁棒的多视角图像深度估计,从多视角图像重建出场景的三维点云。本文在PatchMatchNet多视角图像深度估计网络的工作基础上进行改进,主要工作如下:（1）将注意力机制引入到PatchMatchNet网络,提高了神经网络输出深度图的精度。注意力机制能够对特征通道或者特征区域的权重进行调整,让网络分配更多的资源到重要的特征通道和区域上。在加入空间和通道注意力后,在数据集上的实验结果与原模型对比,精度和完整度都有提升。（2）在PatchMatchNet网络中引入了差异损失函数,提高了神经网络对重建场景的不同邻域图输入,输出结果的一致性。针对实际场景中网络对同一参考图、不同质量的邻域图输入的深度图估计存在误差的问题,本文在训练中使用两组不同质量的邻域图输入进行训练,对两组输出结果计算差异损失函数来对深度估计过程进行约束,提高了模型对于不同邻域图深度估计结果的一致性,并在原数据集和增强后的数据集上进行了实验验证。（3）对多视角图像三维重建的流程进行了详细地调研,实现了从场景多视角图像到重建场景稠密点云的完整流程,包括相机标定、图像位姿估计、图像深度估计、点云融合。在校园实景中进行了重建实验并将结果与当前主流的重建程序进行比较。讨论了自监督深度估计方法的研究价值,设计了一套通过用户收集自监督数据集的原型系统。
其他文献
目标跟踪是计算机视觉领域一项基础性挑战任务,具有重要的学术价值与实用意义。在给定初始帧标注信息后,其任务不仅要在后续帧中对目标中心进行粗略定位,还需要进行精确的目标状态估计。近来,基于孪生架构的方法因其能在保持良好速度的同时取得较显著的性能,引起了目标跟踪领域的广泛关注。然而,孪生网络分支通常是独立的,缺乏信息交互,这限制了模型性能的进一步提升。为了增强孪生网络分支的协作能力,本文提出基于孪生架构
安防监控系统不仅能给居民提供安全保障,而且也常用于协助案件侦破。行人重识别（Person Re-identification,Re ID）技术作为计算机视觉领域的热门研究方向,旨在实现跨摄像头下快速自动地行人身份识别及检索,可以显著提高警务人员对监控数据的利用效率。然而监控视频中存在背景干扰强、行人姿态差异大等问题,夜间环境下还会进行红外模式成像,这些因素都给行人重识别带来了挑战。目前,在单模态场
随着互联网和智能终端的普及,网络文本信息量增长迅速。传统的文档级、句子级情感分析已经无法满足当前文本研究对细粒度情感倾向的需求。方面级情感分析可以对实体进行多方面、全方位的情感描述,但由于文本语言环境的复杂性,现有方法在泛化等性能上仍然存在不足,本文从方面目标情感分析和方面类别情感分析子任务入手,以深度学习为基础展开研究,主要工作和贡献如下:（1）针对于现有方面目标情感分析模型存在的参数量过大、局
旅行商问题（Travelling salesman problem,TSP）是一种NP问题,在物流路线规划等领域有着广泛的应用。目前,研究人员提出了不同的算法来解决TSP,主要分为精确算法和启发式算法。由于精确算法设计复杂和求解时间长,启发式算法受到了广泛关注。在启发式算法中,蚁群算法是一种经典且有效的启发式算法,然而由于蚁群算法的参数不能灵活设置和局部启发信息不足等原因,算法容易陷入局部最优,因
在中国,患者去医院就诊的第一步是选择科室进行挂号,科室选择的正确与否直接影响患者后续的就诊流程。然而,绝大多数患者缺少相关的医学专业知识判断自己应该选择哪一个科室进行挂号,而且随着我国人口老龄化的加剧,这一问题尤为凸显。调查研究发现,大多数医院通过设立导医综合服务台为患者提供科室选择指导,但由于看病人数远远多于导诊工作人员、导诊工作人员医学专业水平参差不齐等因素,导致服务台时常人山人海,患者没有得
推荐系统旨在帮助用户寻找其感兴趣的事物（项目）,正被应用到越来越多的互联网服务中。推荐任务通常可形式化为评分预测任务,即预测用户对候选项目的评分。基于协同过滤（Collaborative Filtering,CF）的推荐算法因其出色的性能成为推荐系统评分预测任务的研究热点,但目前仍存在以下问题:1)用户对项目的评分数据普遍偏少从而影响了推荐效果的数据稀疏性问题;2)根据用户最近的评分数据快速捕捉其
国际疾病分类（International Classification of Diseases,ICD）是一种被广泛应用于疾病诊断编码工作的分类系统,其标准由世界卫生组织制定。在医疗实践中,人工ICD编码工作是易错且低效的,其中导致编码错误的最大原因之一就是合并编码情况没有被正确识别并处理。为了辅助编码人员进行编码工作,目前已经有不少关于ICD自动编码的研究涌现出来,但之前的研究都没有对合并编码给
多旅行商问题（mTSP）是著名的旅行商问题（TSP）的延伸。多旅行商问题的目标是寻找一组哈密顿圈,其中每个旅行商都被派往一组城市而且保证每个城市只能访问一次。目前已经有一些致力于求解多旅行商问题的研究,但是大多数研究集中在如何最小化所有旅行商的旅行距离之和（即,minsum mTSP）,只有很少的研究是专门针对以下两类复杂多旅行商问题:1.最小化所有旅行商的最大旅行距离（即,minmax mTSP
膜计算是从活细胞的结构和功能中抽象出来的计算模型。该模型的进化规则执行具有不确定性和极大并行性。基于膜计算与进化计算相结合的膜进化算法将活细胞的生命活动抽象为进化算子,然后通过进化算子进化膜结构和膜内物质来求解优化问题。容量聚类问题（Capacitated clustering problem,简称CCP）是将无向图的顶点集划分为几个不相交的簇,使每个簇中的顶点权重之和满足容量限制,同时最大化同一
由于Android系统的开放性,Android应用程序能够通过非官方渠道安装在Android设备上,这为智能系统带来了安全风险。因此,研究如何检测Android恶意软件是非常有必要的。目前,许多基于机器学习的Android恶意软件检测方法都以应用编程接口（API）为特征,具有检测效率高、准确率高等优点。然而,由于这些方法将API作为一个独立的整体特征,当API因Android系统的发展而发生变化时