近几年来,随着人工智能的快速兴起,无人零售逐渐发展了起来,其中智能货柜成为各大电商的密切关注和各路资本的追捧的一个方向。随着深度学习在机器视觉领域的发展,智能货柜不断改进,从非视觉的传统方案转变为基于深度神经网络的视觉解决方案。本文基于智能货柜的视觉方案对商品的识别进行研究,主要的工作内容如下:(1)针对智能货柜标准数据集缺失的问题,根据场景特点分别建立静态场景数据集FSD20和动态场景数据集FDD20。其中,静态数据集FSD20包含88类商品,超过8300多张图片;动态场景数据集FDD20共有15个拿取商品的视频序列,包含10类商品。(2)针对静态场景,本文提出基于检测的静态方案。为了降低静态方案在嵌入式设备上检测模型的计算量,提高模型的推理速度,本文使用瓶颈残差块对Center Net网络的残差块进行改进,并提出Center Net-D(Center Net based on Depthwise Separable Convolution)模型结构。在Center Net-D基础上,本文进一步构造Center Net-DD(Center Net-D based on Dilated Convolution)模型,使用空洞卷积在不增加参数数量的情况下增大网络感受野,提高对大目标的检测准确率。在静态态场景数据FSD20上的实验表明,Center Net-DD算法将参数数量由15.7M降到3.5M,浮点运算次数由6.14G降到0.66G,同时正确率有了一定提升。(3)针对静态方案下的所采用的摄像头数目较多、空间利用率低、对摆放位置有限制等不足,探索性的提出基于多目标跟踪的动态方案并进行了实现。本文设计了一个轻量级的网络Bottle Net6,该网络在多目标跟踪里用来快速的提取商品的深度表观特征。在动态方案中,基于改进的Center Net-DD检测算法添加运动特征和Bottle Net6提取的深度特征,并将商品识别和基于Kalman滤波商品跟踪进行结合,进行实验对比发现,添加运动特征和深度特征能够有效减少商品的漏检和误识的情况,提高了智能货柜商品识别的稳定性。综上所述,本文对智能货柜的商品识别问题,首先提出并实现了基于检测的静态方案,并对静态方案的不足,提出并实现了基于多目标跟踪的动态方案,取得了更好的实际效果,有较强的实际应用价值。