基于前景指导的形变自适应人物解析

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:wwchao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人物解析是针对图像中人物身体和衣着的图像分割任务。主要应用在以人为主要参与对象的场景中,可用来辅助人物检索和人物行为识别,也可用于线上虚拟试衣和人物图像编辑以带来更好的网络购物体验和交互体验。相较于其他图像解析任务,人物图像中存在人体姿态多变以及多人相互遮挡问题,这使得人物解析需要更多地结合网络不同层次的特征。基于这些考虑,本文提出了两个辅助任务:人物前景预测和人物边缘检测,来从不同方面辅助人物解析。与主要关注不同类别间差异的人物解析不同,前景预测主要关注前景人物和凌乱的背景之间的差异,而边缘检测更多关注不同类别的边缘区域。两个辅助任务有助于提高人物解析在多人拥挤场景下的预测能力,同时边缘检测提供的局部参考信息有助于较小尺度的解析类别预测。两个辅助任务和人物解析任务有着相互补充的地方,但三个任务间也存在矛盾之处。前景预测将所有解析类别视作同一类别,基于前景特征的前景注意力作用与人物解析特征时能够起到过滤背景的作用,但也一定程度上平滑了原有的解析特征。为了缓解这个问题,本文提出在前景特征与解析特征融合后使用基于原解析特征的通道注意力来恢复特征通道间关系。不同与人物解析,边缘检测更多依赖于低层特征,为了增加边缘特征中的语义信息以及更好地和人物解析特征相匹配,本文将解析特征也用于边缘检测,同时将边缘分支的输入特征网格划分并融合特征位置信息。为进一步缓和三种任务间的矛盾,三种任务特征都受到人物解析的监督,三个解析预测结果经重打分模块后预测出最终的人物解析结果。为探索现实场景下的人物解析,本文将基于前景指导的思路也应用到实例级人物解析中。人物前景预测结果指导主干网络产生专注于前景区域的全局特征。为加强对人物结构的学习,在人物解析预测分支中加入了对不同人物结构关联关系进行学习的模块。本文通过大量的实验证明了所提出方法的有效性,与近期相关工作相比本文提出的方法都能够取得相近甚至更好的结果。
其他文献
随着混合多端高压直流输电系统的发展、各种新能源(如风能、太阳能)并入电网,导致电力系统的谐波特性发生了深远的变化,谐波带宽大幅拓宽以及噪声干扰加剧,传统的电力谐波检测算法已经不再全面适用,这给电力谐波检测研究提出了新的挑战。谐波参数估计是谐波得到有效治理的前提,因此,研究新的适用于电力电子化电力系统的谐波检测算法具有十分重要的意义和价值。对此,本文综合考虑当前电力系统的谐波特性,对基于FFT的谐波
密码仍然是一种重要的身份验证技术。近年来,许多网站的口令库泄露,给研究者提供了大量真实口令数据。对大量真实口令的分析表明,用户生成的口令并不是随机的,其本身具有很强的规律性,从中发现内在的规律,并由此构造效率更高的破解字典,可以更为有效地解决字典变形方法中口令泛化能力弱的问题。评价口令猜测方法的因素主要有破解率和字典生成速度两个方面。前者体现了在指定猜测次数的情况下,对目标口令破解的能力;后者反映
透水混凝土是“海绵城市”建设的重要建筑材料,其多孔结构具有良好的透气透水功能,受到学者广泛关注。现有透水混凝土配合比设计方法假定骨料为球形颗粒,其实质是设计孔隙率,难以制备高强高透水混凝土。实际工程中,即使是单级配骨料(5~10mm,10~20mm),粒径范围也较宽,球形度较差,对透水混凝土骨架结构影响较大,导致透水混凝土实测性能远低于目标性能。此外,透水混凝土是一种干硬性混凝土,温湿度、风速、运
锂离子电池具有能量密度和工作电压高、循环寿命长等优点,是新能源汽车等产业的主要动力来源。然而,锂离子电池在工作过程中会释放出大量的热,电池本身的温度快速升高,电极副反应加剧,导致电池的有效容量严重衰减;在电池组中,还会引起电池间的温差逐渐扩大,加剧电池间的温度不均匀性,从而影响电池组整体的工作性能。因此,需要通过合理的热管理手段,及时移除电池工作过程中产生的热量,确保电池温度与电池间温差维持在一个
从20世纪起,随着社会的发展,传染病在生物种群中的传播逐渐获得社会各界的关注,科学家们通过建立数学模型,分析种群在疾病影响下的变化规律,研究疾病的传播,可以获取其发生原理和传播机制,从而制定更佳的防治策略.本文主要对两类生态-流行病模型进行分析,其中传染病仅在食饵中传播,且捕食者仅捕食染病食饵.通过微分方程的定性和分支理论知识,对系统的解的有界性、边界平衡点的存在性及其稳定性、正平衡点的存在性和分
二维过渡金属硫属化合物由于具有与零带隙的石墨烯不同的可调带隙,且展现出优异的光学和电学性能,引起了广大跨学科领域科研人员的研究兴趣。二硫化钼由于其稳定性,成为二维过渡金属硫属化合物家族中的主要研究对象。然而,量产晶圆尺寸的连续均匀单层二硫化钼薄膜仍是一个阻碍其工业化应用的挑战。目前,化学气相沉积被认为是一种大规模合成大面积的单层二硫化钼薄膜的有效简单技术。但是传统化学气相沉积方法缺点在于金属前驱体
由单质硫与金属锂组成的锂硫(Li-S)电池具有高达2600 Wh·kg-1的理论比能量,且单质硫储量丰富、成本低廉,因此被认为是极具潜力的下一代储能器件。然而,Li-S电池也面临着正极硫和其放电产物(Li2S和Li2S2)的导电性较差、可溶性中间产物多硫化锂导致的穿梭效应以及锂枝晶等许多问题。这些问题最终将导致电池的实际比容量和库伦效率较低以及循环性能较差。因为修饰层不仅可作为第二集流体提高活性硫
半导体电子器件技术作为推动社会信息化发展的基石,在过去六十年里不断地更迭进步,传统硅(Si)材料器件的性能逐渐逼近理论极限无法满足当前快速发展的市场需求,宽禁带半导体材料凭借其杰出的材料性能在高频、大功率电力电子领域有着广泛的应用前景。目前,以氮化镓(GaN)和氧化镓(Ga2O3)为代表的宽禁带半导体功率器件还不够成熟,尤其是针对GaN和Ga2O3功率器件的动态特性研究不够深入,使得器件的效率与可
低噪声放大器(Low Noise Amplifier,LNA)是射频前端的核心部件之一。作为射频接收链路的第一级放大电路,LNA的噪声系数、增益、线性度等性能直接影响着射频接收机的性能。在实际应用中,LNA从天线接收到的信号幅度具有较大的变化范围,为了提升接收机的动态范围以及降低功耗,可变增益低噪声放大器(Variable Gain Low Noise amplifier,VGLNA)受到青睐。基
近年来,自闭症对儿童以及青少年的健康成长影响越来越大。由于自闭症后期诊断治疗的难度大,在前期特别是婴儿时期进行超前的诊断和提前干预治疗显得极为重要。随着核磁共振技术的发展,通过大脑的核磁共振数据对自闭症进行有效的治疗也在不断被研究挖掘。目前,核磁共振对于诊断婴儿的自闭症问题仍然存在诸多挑战:(1)数据获取难度大数据量少;(2)数据类别间数量不均衡性强;(3)数据特征类目不够丰富;(4)不同个体大脑