很多时候,餐饮行业主要的痛点在于人工结算的人力成本较高且效率较低。高成本使得餐饮店的收入减少,较低的结算效率影响顾客就餐体验。针对于这些问题,新型智慧餐厅解决方案使用智能识别系统代替人工进行菜品识别以提升效率、减少人力成本,比如基于餐盘形状识别菜品价格的识别系统,或使用内置RFID芯片的识别系统,但是这些解决方案或多或少存在一些问题:比如单纯的只识别餐盘形状,但是无法识别出菜品种类;使用RFID芯片的方式也缺乏灵活性、成本较高,且芯片容易受热失效。针对这些问题,本论文开展了基于深度学习的菜品识别算法研究,使用视觉方式快速实现菜品的种类与价格识别,同时分析用户的就餐数据,助力客户形成均衡膳食的习惯。还可以进行菜品推荐,增加食堂菜品的销量,使得菜品识别更加灵活与人性化。本文的主要创新点如下:（1）构建菜品检测数据集、菜品分割数据集、菜品识别数据集。为了使得数据集更加丰富,采集了多所食堂的菜品图片,选择多个拍摄时段,菜品种类涵盖早餐、中餐、晚餐。考虑到室内亮暗程度会受到自然光与灯光等影响,对拍摄亮暗程度的选择也较为均衡。最后采集得到菜品检测数据集共有40969张和菜品分割数据集1000张左右。菜品识别数据集是在开源菜品数据集的基础上同时结合菜品检测数据截取而得的独立菜品构建而成,共10万张。（2）为了解决目前菜品检测存在的速度慢与准确率低等问题,提出基于改进Yolov5的菜品检测模型,相比于目前主流目标检测算法Faster R-CNN、SSD、Yolov4等,速度与准确率均有较大提升。具体改进包括两点:（a）采用针对菜品检测数据集设计的图像增强方式,增加实际场景中手机、纸巾等障碍物以及水雾遮盖等图像增强方式,可以有效增加泛化能力。（b）改进Yolov5模型结构,使用解耦检测头且添加特征增强模块,提升检测性能;添加分割头使其具备菜品图像分割功能,以减少餐盘等背景的干扰,提升分类准确率,同时减少检测与分割算法时间。（3）为了解决新增菜品的重训练问题,同时提升识别准确率,本文使用Res Net-50分类网络结合Arcface分类损失函数,构建菜品识别网络,然后按照swin-transformer结构,对菜品识别网络backbone Res Net-50进行改进,并且加入可变形卷积与CBAM注意力模块,通过对比实验,该特征提取模型能有效增大菜品不同类之间特征的特征距离并减少同类菜品的类内特征距离,以提高菜品识别的准确率。（4）本文应用以上创新点并结合实际需求,构建了菜品识别系统后台与用户用餐小程序。借助菜品识别系统后台可以比较方便的将菜品检测分割和与菜品识别模型结合,进行检测与分类,还实现了新增菜品、菜品修改、用户订单、数据分析等功能。借助用餐小程序,用户可以进行订单查询,实时了解自己的用餐营养热量摄入情况,根据摄入情况进行用餐建议推荐,方便用户改进膳食习惯等。经在多家餐厅实地推广使用,取得了良好的用户体验和应用效果。