视频图像中的人群分析任务是计算机视觉领域中的一个重要课题,而人群计数作为人群分析中的研究热点,在智能安防、城市规划、流量监控等领域均得到了相当广泛的应用。现有的人群计数算法可分为两大类:人数回归法与人群密度估计算法。人数回归法包括基于人头或人体的检测类算法和回归类算法,通过学习个体特征预测个体数目,其在场景遮挡较严重、个体与个体之间存在相互重叠的情况下,效果欠佳。人群密度估计算法出现在深度学习兴起之后,利用深度卷积神经网络强大的特征学习和表征能力,其计算结果不仅可用于预测人数,且能生成反映人群疏密分布的密度图。密度图法将人数回归的问题转化为预测整张图的人群密度概率分布,利用人群块的空间信息,学习群体的特征。相对于人数回归法,密度图法能更好地适应复杂又密集的人群场景,故而近几年人群计数任务的前沿工作都围绕基于密度图法的研究工作展开。尽管目前的人群计数算法已经取得了不错的成绩,但人群计数任务本身仍存在着诸多难点。首先是算法对场景的鲁棒性,人群计数算法本身的应用场景复杂多变,不同场景下的背景所带来的误差会在很大程度上影响模型的预测结果。其次,密集的人群图像往往存在严重的遮挡问题以及远近距离带来的多尺度问题,特别是超过500人的人群图像,部分可见的个体可能只占十几个甚至几个像素点,造成漏检或错检。再者是密度图的质量问题,由于卷积网络中包括池化层等带来的降维操作,导致生成的密度图分辨率远小于原图,且传统的?₂损失作为目标函数容易造成密度图的模糊现象,不利于反映人群的疏密分布和人数上的统计。因此,如何在复杂的应用场景下得到鲁棒的高分辨率人群密度估计仍是一个富有挑战性的研究课题。本文介绍了人群计数算法的研究背景和发展趋势,针对以上提到的难点问题,我们从模型的角度在以下三个方面做了创新性工作:第一,模型的主体网络采用U-net型的编码-解码结构,其结构能很好地将前景与背景分离,减少不同背景带来的人数预测误差,同时连接编解码器的跳跃式传递层能将编码器学习到的特征有效地传递给解码器,帮助人群密度图的构建和生成。第二,针对人群多尺度问题造成的计数误差,我们提出了跨尺度一致性约束和尺度聚合模块两种方案。跨尺度一致性约束通过最小化两种尺度下预测的密度值残差,从而减小跨尺度误差;尺度聚合模块中卷积核的感受野覆盖4个尺度,能更好地适应尺度变化,学习到尺度自适应的特征,从而减少算法对各个尺度人群的漏检和误检。第三,从应用的角度出发,为了生成能精确反映人群疏密分布的高质量高分辨率人群密度图,我们在网络中不仅有可以学习的反卷积层帮助分辨率的重建,同时引入了生成对抗网络的结构,弥补传统的损失函数引起的模糊和平均的现象,提高人群密度图的生成质量。本文提出的人群计数算法在四个公开的人群计数数据集Shang-haiTech、World Expo’10、UCSD、UCF_CC₅0上进行实验和测试,实验结果表明本文的方法有效降低了人群计数误差,可比拟甚至超过了国际上最佳的人群计数精度。