语义驱动的特征融合策略及应用研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:liongliong465
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
特征学习是保障计算机视觉感知算法有效性的关键步骤,特征融合策略是提高特征表征能力的重要技术。现有视觉感知方法还存在对场景语义信息建模不充分以及融合策略单一的不足,无法满足复杂场景对智能系统提出的感知要求。本文研究如何通过建立复杂场景的视觉语义模型,并以此来引导Transformer和图模型实现特征间的交互融合,完成知识传递及认知推理,提高视觉感知精准度。主要研究内容及创新点包括:首先,针对现有方法在理解场景全局上下文信息时忽略了特征间语义一致性而导致跨视图检索次优性能的不足,本文利用深度聚类网络建立跨模态视图全局共性语义模型,并在Transformer框架下实现该共性语义模型与各模态个性化特征的交互融合与增强,提取模态不变性表征,完成跨视图检索。本文在两个挑战数据集上的实验表明该算法获得了同期最优跨视图检索精度。其次,针对现有确定性建模方法忽略了推理过程中的因纹理相似引入的固有不确定性的不足,本文提出基于贝叶斯神经网络的不确定度量化网络模型,设计了原型化语义模型建模目标局部语义,在Transformer框架下建立局部和全局语义间的强化映射,实现场景中隐藏目标识别。此外,本文研究成果表明,目标边缘位置是推理过程中不确定度较高的区域,本文进一步设计了聚合语义模型将网格特征映射至图特征空间,并在图空间实现两个子任务特征交互与推理,充分挖掘目标边缘与区域的互补作用,有效区分目标前景与背景语义。本文提出的两种算法在三个公开验证集上均超过了同期最优隐藏目标检测精度。最后,针对现有方法因视图间特征错误匹配和几何仿射关系估计误差导致的多视图场景人群密集程度估计性能损失,本文提出了协同通信图卷积方法,在聚合语义图特征空间完成视图内推理和视图间通信,充分利用多相机视图间的相互引导信息,无需场景结构先验信息实现视图特征融合。本文在三个公开场景集上验证了该算法的有效性,并超过同期最优场景人群密度估计精度。本文的研究将进一步提高现代智能系统的感知能力,对推动智能系统的迭代升级具有重要的理论意义和实用价值。本文的研究成果可以应用于智能驾驶、智慧医疗、智慧农业、机器人等领域。
其他文献
多智能体系统(Multi-agent Systems,MASs)是近年来控制领域的研究热点之一,通过设计分布式控制器能够实现多种协同控制任务,比如一致性、编队控制、包含控制、分组控制等。随着系统规模的扩大和执行任务复杂性的增加,智能体在长时间高负荷运转过程中不可避免地会发生各种故障,进而影响系统的稳定性和协同控制效果。另一方面,实际中各智能体往往在结构和参数上存在着差异,彼此间也存在局部的竞争关系
学位
通信系统和导航系统在基础设施建设、终端应用方面具有较大相似性,两者融合发展可减少系统重复建设,同时导航和通信系统功能可互相辅助增强,因此通信导航一体化建设越来越得到重视。本文以通信导航一体化优化设计为研究目标,结合信息层融合和信号层融合两种不同等级的通信导航一体化系统进行研究。首先针对信息层融合系统,对通信信息辅助下卫星导航信号捕获灵敏度性能进行评估,其次结合信号层融合通信导航一体化系统具体需求,
学位
通识教育(General Education)在欧美倡导了百余年,可谓是高等教育理论中既经典又最具活力的部分,耶鲁大学的《耶鲁报告》和哈佛大学的《哈佛通识教育红皮书》等就是其最为突出的代表。在我国,高等教育的先驱们也有过很好的倡导:蔡元培先生曾提倡大学本科要“融通文理两科之界限”,教育家梅贻琦先生也认为大学教育应以“通识为本,专识为末”。随着我国高等教育的国际化和大众化水平不断提升,大学人才培养模
学位
二氧化钛(TiO2)薄膜以其良好的光催化活性、稳定的化学性质、优异的量子效应等特点,在防污处理、空气净化及光催化降解有机污染物等领域具有广泛的应用前景。但是TiO2对太阳光波段的能量有效利用率很低、光照下的光生载流子复合快的缺点极大地限制了其光催化反应的进行和实际应用。等离子体磁控溅射技术已经成为制备薄膜的主流方法,不同的放电参数下具有不同的等离子体特性,如等离子体密度、电子能量分布、基片台附近的
学位
目的 探讨右美托咪定静脉泵注和滴鼻给药对颅内动脉瘤患者栓塞术后苏醒期血流动力学、应激反应及麻醉药用量的影响。方法 选取行栓塞手术治疗的颅内动脉瘤患者153例,随机分为三组,各组麻醉诱导、麻醉维持药物相同。其中A组50例术中给予右美托咪定滴鼻给药,B组52例麻醉诱导开始至手术结束期间采取右美托咪定静脉泵注给药,C组51例术中不给予右美托咪定。观察三组苏醒期血流动力学、应激反应指标,呛咳发生率、镇静躁
期刊
随着5G时代的到来,以物联网为基础的智能制造和智能家居得到快速发展。无线传感器作为智能工厂和智能家居的关键器件,在实现工厂和家居环境的智能化以及保障它们安全、稳定、可靠运行方面发挥着至关重要的作用。但是,与其他应用场景不同,面向智能工厂和智能家居这类室内环境应用的无线传感器,不仅数量众多,而且尺寸小,通常难以配载高容量、大尺寸的电池用于长时供电。因此,在能源供给上,如何保证它们持续、长久、不间断地
学位
高光谱图像是由数百幅连续波段图像组成的三维图像数据。它不仅包含空间信息,还包含丰富的光谱信息。因此,高光谱图像广泛应用于实际场景中,如药物过程监测、军事目标探测等。然而传感器的低空间分辨率和地面物质分布的复杂性使得高光谱图像中存在包含多个物质的混合像素,这极大地降低了地面物质的识别和分类精度。因此,将混合像素分解成构成像素的纯物质(称为端元)及其对应的分布比例(称为丰度)的高光谱解混技术是高光谱图
学位
第一部分结直肠神经内分泌肿瘤淋巴结转移的危险因素及预后分析目的:结直肠神经内分泌肿瘤的检出率越来越高,但其治疗仍然存在争议。淋巴结转移是选择治疗方案的重要参考指标。本研究的目的是探讨结直肠神经内分泌肿瘤淋巴结转移的危险因素及其预后相关因素。方法:回顾性分析2011年1月-2020年12月结直肠神经内分泌肿瘤患者的临床病理资料,包括年龄、性别、肿瘤大小、肿瘤位置、淋巴结转移情况、组织病理学及随访情况
学位
可充电锌-空气电池(ZAB)作为具有潜力的下一代新型二次储能电池,具有能量密度高、成本低、污染小以及不易燃爆、体系安全等优点,非常适用于大规模的能量存储设备和作为电动汽车上的动力电源。基于氧气还原反应(ORR)和氧气析出反应(OER)的缓慢动力学,空气电极催化剂是影响ZAB性能的关键。多孔碳材料作为一种空气电极的催化剂,具有成本低、储量丰富、导电性高、比表面积大等诸多优点,但是碳材料的催化活性和稳
学位
聚多肽又称聚氨基酸,具有和蛋白质类似的骨架,是一种重要的蛋白质类似物。聚多肽具有良好的生物相容性和生物降解性;和其他聚合物相比,聚多肽的分子间或分子内氢键作用赋予其独特的二级结构(例如α-螺旋和β-折叠),因此在生物材料领域有着重要的研究价值和应用潜力。研究表明,多重因素可影响聚多肽主链氢键,进而影响其二级结构。近年来研究者们发展了多种二级结构可转变的聚多肽材料,实现了二级结构有序-无序间的调控。
学位