人体姿态估计是计算机视觉领域的方向之一,通过对人体的骨骼关节点进行定位,可用于行为识别、人机交互、自动驾驶等。因现实场景中常包含多个人体,主流的解决方案是首先通过目标检测确定每个人的大致位置后,再进行单人姿态估计。视觉时尚是近些年的新兴领域,由于人们对服饰理解的差异和个人主观性的影响,造成了消费者和商家间的沟通障碍,利用人工智能使机器“理解”时尚,建立统一的服饰专业知识标准,可改善顾客的购物体验。本文首先完成了对课题数据的预处理、数据集划分、多任务标签生成和数据增强等前期工作,并提出了应用于多/单服饰关键点定位任务的网络模型,主要工作分为以下两个方面:(1)基于Mask-RCNN的网络架构,本文提出了多任务学习网络,分别完成多服饰检测和关键点定位。改进主要体现在三个部分:使用DenseNet进行特征提取,并利用特征金字塔完成融合,之后对P2-P5各尺度特征进行拼接,用以丰富上下文信息;在mask分支全卷积网络的解码部分,将卷积最后各层都通过反卷积的方式融合起来,保留更多的细节信息,有助于提升定位能力;使用高斯热度图代替二值Mask作为训练标签,增加各点上的监督信息。经实验验证,相比于Mask-RCNN基线模型,本网络在IOU和NE分数上分别取得了16.4%和28.4%的相对提升,IOU分数达到90.2%,NE误差降低到4.21%,预测速度约10张/秒。(2)结合人体姿态估计技术,本文设计了单服饰关键点定位网络。该模型分为三个模块:特征学习模块采用全局网络(H1)和沙漏网络(H2)级联的方式提升特征抽取能力,其中H1引入迁移学习初始化参数,H2使用空洞卷积代替下采样,有效地整合多尺度特征;修正网络模块对H1和H2的各尺度信息进行融合,之后利用反卷积完成上采样学习,并将各通道特征拼接;中继监督模块将计算各阶段误差,针对热度图中有效点的稀疏问题,提出分组L2Loss将分开计算正负类别中的误差,减少类间干扰,设计Soft OHEM在损失函数中设置各关键点的权重以区分简单点和困难点,重点修正困难点。实验以级联金字塔为基线模型,经过验证,三个模块在NE分数上分别取得了13.53%、10%和7.24%的相对改进,误差降低到3.84%,预测速度达到17.7张/秒,兼顾了速度和精度,通过测试增强处理后,误差可降低到单模型3.63%。本文通过对计算机视觉相关算法的研究,提出创新性改进的网络结构,并用于解决视觉时尚领域的服饰关键点定位问题,对未来的工程落地和相关领域扩展具有很好的借鉴意义。