基于自监督和知识蒸馏的跨模态草图检索

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:wxtncxmmm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,基于草图的三维检索(Sketch-Based 3D Shape Retrieval,SB3DR)在计算机视觉领域受到了广泛关注。由于草图和三维模型之间存在较大的模态差异,因此该任务十分具有挑战性。现有的大多数方法都是通过有监督学习方法提取公共特征来解决这一问题。然而,这些方法依赖于良好的训练数据标注质量,在实际应用场景中进行标注的代价十分昂贵,且未针对长尾数据进行优化。为了解决这个问题,论文主要进行了以下三方面的工作:第一,论文提出了一种基于自监督学习的三维草图检索方法(Self-Supervised Learning for Sketch-Based 3D Shape Retrieval,SSL)。在实例判别思想的启发下,SSL将三维模型的多个视图作为正例对,在一个只需要显式输入正例的对比自监督学习框架中建模多个视图之间的关系,以此来提取三维模型的特征。此外,SSL构建了一个增强的三元损失,以解决草图和三维模型之间的跨模态差异带来的问题。在基准数据集上的实验结果表明,论文的SSL方法可以与有监督方法在可比较的水平上实现最先进的性能。第二,论文提出了一种基于自监督长尾优化和跨模态蒸馏的三维草图检索方法(SketchBased 3D Shape Retrieval via Self-Supervised Long-Tail Optimization and Cross-Modal Distillation,SSLTKD)。针对长尾检索的性能瓶颈,论文提出了基于自监督长尾优化的三维特征提取方法,并构建了跨模态蒸馏架构来完成检索,将教师网络提取到的三维特征蒸馏到草图模态的学生网络中,以避免优质的先验知识在冗长的跨模态知识融合过程中丢失。通过实验证明,SSLTKD能够在长尾分布数据集上获得较大的性能提升,在平衡分布的数据集上能够超越目前最先进的方法。第三,论文将基于知识蒸馏和长尾自监督的检索方法集成到Web浏览器内,设计并实现了一个完整的基于草图的三维检索原型系统。该系统允许用户在前端通过自由绘制草图的方式在线检索三维模型,或选取数据集内的草图离线检索三维模型,并依据用户身份信息和检索数据进行记录。论文对该系统的设计理念、功能模块和架构设计进行了详细阐述,并通过丰富的样例测试验证了本系统功能的完整性以及性能的优越性。
其他文献
学位
为减少噪声对室内生活环境的污染,以纺织材料的吸声性能为设计理论基础,首先分析了纺织材料吸声性能的原理和影响因素,其次简述了室内装饰纺织品及其吸声性能设计;从织物组织结构、织物图案及配色和织造工艺3个方面,设计织造了2种室内装饰面料:以蜂巢组织为基础的接结双层棉型窗帘面料和以鸟眼组织为基础的单层麻型软装壁布,并使用半自动小提花小样织机进行了实物织造,使用阻抗管法测试织物吸声性能。结果表明:织物在3
期刊
<正>随着我国畜牧业的发展,牛业得到了长足的进步。种公牛则是牛业的根基。如果没有优秀的种公牛,牛业将会是"无本之木、无源之水",加强我国种公牛站的管理刻不容缓。根据农业部《关于加强种公牛站生产经营管理的意见》中的文件精神,我国各种公牛站对自身基础建设工作都更加重视,但目前国内没有一个对种公牛站的规模、选址、布局、工艺与设施等方面做出明确规范的标准,文章对此进行如下探讨。
期刊
<正>印度"加尔各答"级驱逐舰经过长达十年的建造工作,首舰终于在2014年1月完工。印度海军在等待了漫长的十年之后,究竟得到了一级什么样的驱逐舰?本文就目前披露的信息,对其进行一些点评。研制背景与计划当1996年印度新一代导弹驱逐舰"德里"级下水舾装之时,印度海军就迫不及待地开始了新一级驱逐舰的研制工作。当时计划被命名为"Project 15A驱逐舰",由马扎兰造船厂负责研发。该级舰是在"德里"级
期刊
践行“碳达峰、碳中和”国家战略,加快绿色低碳经济发展,推进化石能源转型清洁能源的新能源电力改革,发展太阳能发电系统成为电力行业投资聚焦的热点。利用好山地开发光伏发电项目,在投资决策阶段投资机会研究中,采取了从经济的角度对投资收益回报率和投资风险等方面进行系统分析评估的方法,结合甘肃省永靖县新寺60 MW光伏发电山地项目进行了实践,在投资决策阶段,合理的预判投资决策阶段的重大风险,对投资机会进行了有
期刊
期刊
期刊
为了提高当前光伏投资评价效率及科学性,对当前光伏投资测算模型中存在争议的消纳率测算、财务边界条件界定等关键问题进行分析,并在此基础上对用户负荷曲线与光伏发电曲线进行拟合,导入影响多因子分析,从而构建出了线性概率(LPM)预测模型,提出了多约束条件下光伏投资评价决策LPM模型解决方案。案例实践分析证明了该模型能为实现光伏消纳率测算优化与修正、光伏投资评价科学决策提供一定的技术支撑。
期刊
当前我国政府不断出台相关政策,大力支持分布式光伏产业发展。文章聚焦分布式光伏发电项目,根据分布式光伏发电项目投资决策的核心要素,阐述分布式光伏发电项目投资决策要点及风险管控,并结合实例进行项目经济评价,旨在帮助相关企业提高分布式光伏发电项目投资决策效率和效果。
期刊
基于“大概念”视角挖掘各种复杂、抽象的数学概念的内在联系和规律,可以化繁为简,帮助学生形成更加完善的数学知识体系,促进学生数学学科核心素养的发展.本文以“弧度制”一课为例,基于“大概念”视角构建弧度制的学习路径,让学生从度量的整体角度认识研究对象,掌握类似概念的研究方法,达到学以致用、触类旁通的目的.
期刊