基于机器视觉的冰柜内商品辨识方法研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:Linda_724
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着硬件计算力的提升、深度学习方法的加成,基于机器视觉技术的监管技术自动化程度高,制造与维护成本低,广受工业界的青睐,但是面向商场、超市中的应用还不够广泛。目前,速冻商品企业为了扩大销售规模、增加品牌在零售场地中的辨识度,将自家产品与冰柜同时派送给超市零售商进行售卖,由于企业与零售商之间的沟通低效,通过人工巡查的监管方式成本高、力度小,导致商品补货不及时、冰柜被滥用等公司利益损害,企业亟需通过机器视觉技术实现对外派冰柜内部商品种类、数量的自动化监管,以获得速冻商品销售现场的一手数据。通过图像分析商品的信息将会遇到如下问题:首先,冷藏冰柜的内部四面封闭,只能从正上方安装相机对冰柜内部商品进行拍照,而使用普通相机采集得到的二维视图仅能显示冰柜内部表层商品的平面投影,无法获得商品相对于冰柜底部的码放高度,从而无法对商品的数量信息进行判断;然后,商品包装袋特征复杂、品种多,造成特征提取难度大,尺寸越小的商品所占图像区域的有效像素越少,特征信息不足容易造成漏检;除此之外,在商品真实的售卖情景下,顾客拾取商品过程中手部会遮挡商品表面,使得无法有效地提取商品特征进行处理;最后,为了在实际应用中节约成本,项目需要部署在价格低、轻量化、耗能少的板载式边缘计算设备上,但是板载式设备自身的硬件性能对运算速度限制较大。为此,本文以实际应用的角度出发,深入开展基于机器视觉的商品辨识方法研究,通过机器视觉技术、深度学习等方法设计出能够达到实际应用水平的冰柜商品自动化监测算法与系统。具体研究内容如下:(1)针对使用普用相机难以判断商品数量问题,本文提出一种利用深度图计算商品码放高度的方法,结合商品的自身尺寸、定位、类别信息,解决冰柜内部每一类商品的数量判断问题,其中通过搭建双目视觉测得冰柜中最上层商品距相机的距离,利用相机距冰柜底部的距离求得商品的堆叠高度,进而作为推断商品数量的依据。(2)针对商品包装袋特征复杂、对于小尺寸商品的检测鲁棒性差问题,本文基于现有的二阶目标检测网络Faster RCNN,提出了一种多尺度特征加权融合目标检测算法用于商品的定位与分类,通过融合与加权不同尺度上的特征层来降低模型对小尺寸商品的漏检率,最终模型对商品定位与分类的平均精度达到98.9%MAP。(3)针对售卖情景的人手干扰问题,本文基于一阶目标检测网络YOLOv4,提出了一种轻量级的YOLOv4改进算法用于实时检测冰柜区域的人手目标,目的是根据冰柜区域内是否存在人手来排除商品识别时的手部遮挡干扰,其中算法结合深度可分离卷积、倒置残差块、注意力机制来优化YOLOv4中卷积层的参数量与计算量,使改进后的人手检测模型保持着与YOLOv4相当的精度基础上,速度提升了27FPS。(4)针对板载式设备计算资源有限问题,本文整合了冰柜深度图获取、商品定位与分类、人手干扰检测模块,设计了一个冰柜商品监测系统,在移植到边缘计算设备后,通过模型压缩与剪枝的技术对目标检测网络的推理过程进行加速,最后,对系统进行验证和应用。研究与测试结果表明,在本文对冰柜商品辨识方法研究基础上搭建的系统,能够为监管外派冰柜内部商品的需求提供一种可行的自动化解决方案,且为最终实际应用奠定了基础。
其他文献
一直以来,大脑被认为是一个结构和功能极其复杂的系统,大脑区域的细胞结构和连接每隔几毫米就会发生显著变化。脑功能性疾病的发生往往与多个大脑区域的异常放电、神经元丢失或神经回路的紊乱有关。经颅聚焦超声神经调节和刺激作为一种新兴的治疗技术,其空间特异性、非侵入性、穿透性等特点,为脑功能性疾病的治疗提供了一种潜在的解决方案。然而,现有的研究大多集中于对大脑神经元的单靶点刺激,使用的超声换能器为单阵元聚焦换
随着自动化设备、人力资源等成本不断上涨,在定制型制造系统中应该如何配置这些制造资源,才能以最低的成本保证预期产能,是规划设计此类制造系统需要解决的重要问题。本文以某印制电路板(Printed Circuit Boaeds,PCB)钻孔车间为研究对象,研究定制型制造系统的资源配置优化问题。该PCB钻孔车间的生产过程具有随机性,例如工件任务到达时间、加工时间、物料运输时间、操作工作业时间等都是不确定的
微流控技术在生物医疗检测上具有出色的表现,只需微量的样品即可实现物质快速、准确的检测。在微小的微流控芯片上可实现样品的前处理、试剂的充分混合及其化学反应,进而可对物质进行快速检测。随着检测设备微型化、集成化的发展,结合微流控芯片,可制成便携式分析检测设备。在微流控检测技术中,荧光法由于其较高的灵敏度及准确度使其广泛应用在生物医疗检测领域。在医疗上,低分子肝素在预防和治疗静脉血栓等方面具有重要的应用
铸件被广泛应用在机械零件的毛坯制造中,其生产工艺流程需要通过大量的人工参与。铸造行业工作强度高,工作环境条件差,属于劳动密集型行业。我国正亟待从“铸造大国”向“铸造强国”转变。如何应用机器人实现铸件自动化生产成为研究的热点。目前,铸件机器人的视觉识别方法主要有点云模型分割识别、图像分割识别、三维重构识别、激光传感器识别等识别方式。点云深度学习分割识别因具有识别准确率高、具有学习性、数据信息丰富等特
近年来,随着软硬件的快速发展以及民众生活质量的逐步提升,机器人技术逐渐从单一的工业领域渗透到服务、教育等领域。其中演奏机器人作为一个新兴的发展方向,在音乐的教育及表演领域具有重大的意义,有助于推动音乐的发展,其研究和开发备受关注。演奏机器人是一种能够自动弹奏乐器的机器人,其中,由于吉他是世界上最多人演奏的乐器之一,具有丰富的演奏方式,吉他演奏机器人在国内外都有一定的研究。但现有的吉他演奏机器人存在
谐波减速器是智能机器人中的关键零部件,具有传动精度高、体积小、重量轻等优点,因此被广泛应用。基于双圆弧齿廓的谐波减速器具有优良的性能,具有良好的应用前景。本文以双圆弧谐波减速器为研究对象,结合企业需求,运用数值模拟与疲劳理论研究柔轮应力、变形与寿命预测问题,同时分析相关参数对柔轮寿命的影响。本文主要内容如下。首先根据企业需求,结合双圆弧齿形,设计了一款用于智能机器人的杯型谐波减速器,其中包括柔轮、
为满足人们对高品质生活的追求,纺织品制造商已将质量控制作为不可或缺的环节之一,同时随着科学技术的发展,工业生产方式已往智能化方向发展。检测纺织品是否存在缺陷是控制其质量的重要环节之一,实现织物缺陷的自动检测,对保证纺织品生产质量和提升生产环节的智能化有着重大意义。传统的织物缺陷检测方法大多对某类特定的织物有很好的检测效果,但难以适应各种各样的缺陷和织物类型。将深度学习运用到织物的缺陷检测,在检测不
随着微分析系统的迅速发展,微流控芯片逐渐成为该系统的重要分支之一。在微流控芯片的制备中,我们通常以一定的手段先制备出芯片内的微流道,以这些微流道构建出用于流体控制和处理的微网络,最后将可控流体通过整个微流道网络运输至各个功能单元以实现各种功能。因此,微流道的制造是微流控芯片制备的重要工序之一。而静电纺丝中的近场直写技术由于其加工成本低、精度高及工艺简单的优点,在增材制造领域中被认为是最具潜力的微纳
因为当前传统能源的价格持续走高以及能源污染导致环境恶化加重,有必要发展可持续、低廉和无污染产物的洁净能源。锂离子电池作为整体性能具有优势的新型替代性能源,正逐渐引起人们的关注。石墨作为市场上当前主要的锂离子电池负极材料,其有限的理论容量并不能满足当下社会各领域的高能源需求。为了进一步提升和改善其性能以应对能源挑战,需要寻找具有大容量和高稳定性的负极材料。金属硫化物便宜且丰富,而且具备较高的理论容量
镁-空气电池是一种以金属Mg为燃料的特殊燃料电池,具有高理论能量密度、环保、安全、低成本、储量丰富等诸多优点,在海洋通信、军事设备以及应急储备电源等方面具有较好的应用前景。然而,Mg阳极在应用过程中面临腐的蚀产物脱落困难和低阳极利用效率等问题,限制了镁-空气电池的广泛应用。在成分优化的基础上,镁-空气电池的放电性能在很大程度上取决于Mg阳极材料的微观组织结构,如晶粒尺寸、第二相的尺寸大小和形貌等。