基于多任务学习与注意力机制的食品识别模型研究

来源 :吉林大学 | 被引量 : 0次 | 上传用户:cgl6507
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着饮食文化的发展和互联网技术的革新,人们开始热衷于通过网络分享食品照片。如何自动识别这些食品图像对应的食品属性信息,是目前食品图像识别技术面临的主要挑战。食品图像识别技术应用前景广泛,针对食品类别、食材和烹饪方法的识别能够为人们提供相关的菜谱信息,食品营养成分预测还能为营养学分析、科学膳食搭配和医学健康管理等提供信息支撑。然而,现有食品图像识别方法主要针对单一任务,如食品分类等,而关于同时预测食品图像对应的食材、烹饪方法和卡路里等信息的研究较少,尤其是食品卡路里预测,现有方法通常包含多个计算步骤,且无法融合烹饪方法对食品卡路里值的影响。在食品数据集上,目前缺少同时包含食品烹饪方法和卡路里信息的公开数据集。基于以上多属性数据集的缺失和单一任务方法的缺陷,本文从食品数据集和多任务食品图像识别模型两个方面进行研究与分析,主要研究内容如下:(1)构建中西餐食品数据集。目前公开数据集的食品属性信息不全,食品烹饪方法和卡路里等信息缺失,并且大部分数据集的食品类别不均衡,通常单纯地以西餐或中餐类别为主。为此,本文首先从3个菜谱网站采集食品图像和对应的菜谱文本;然后提出基于语料库的食材、烹饪方法自动标注方法,从菜谱文本中提取食材和烹饪方法标签;接着采用基于支持向量机的异常图像检测方法,通过多个步骤实现数据清洗以降低噪声干扰;最后对原始数据集实施数据增强从而解决类别不平衡问题。最终,本研究构建了一个融合中西餐类别,包含食品图像、食品类别、食材、烹饪方法和卡路里的高质量食品数据集。该数据集样本数为77362,共有216类食材、18类烹饪方法和75个食品类别,涵盖了大部分常见的中餐、西餐食品。(2)提出一种基于多任务卷积神经网络的食品图像识别模型,实现由食品图像至若干食品属性信息的多任务端到端识别。大部分现有食品图像识别方法只能识别单一食品属性,而多个食品属性的识别往往需要利用多步骤的查询式方法,多个独立步骤顺序计算的准确率无法保证且忽略了各个食品属性之间的关联性。为解决该问题,本模型的图像特征提取模块使用卷积神经网络提取输入图像的全局特征,再将该特征输入4个子任务模块。各个子任务模块均由全连接网络构成,其中食品分类模块包含一个多分类子模型;食材和烹饪方法提取模块为多标签分类子模型;卡路里预测模块包含一个回归子模型。此多任务模型实现了食品类别、食材、烹饪方法和卡路里4个食品属性的同时预测,并利用食品属性之间的关联性有效提高了食品分类和卡路里预测的准确率。使用(1)中构建的食品数据集训练并测试该模型,测试结果中食品分类Top-1准确率为63.47%,卡路里预测的平均绝对误差为79.6kcal。(3)提出一种基于多任务注意力网络的食品图像识别模型。考虑到食品图像特征的复杂性以及不同食品属性识别任务所关注的输入图像特征区域不同,为了更好地提取这些细粒度特征,进一步提高各个食品属性的识别准确率,在(2)的基础上对每个子任务分支加入空间注意力模块,从共享特征图中提取特定任务的特征。本模型首先通过共享的卷积神经网络生成食品图像的全局特征图,然后各个子任务注意力模块使用注意力掩码从全局特征图中抽取关键性的局部特征。注意力掩码针对特定任务为共享特征图中各部分赋予权重,决定需要关注的信息从而实现对共享全局特征和特定任务局部特征的同时学习。本模型在(1)中构建的食品数据集上的食品分类Top-1准确率为68.59%,卡路里预测的绝对误差降至71.4kcal,性能较(2)有一定的提升。
其他文献
玉米须为玉米的副产品,资源丰富,成本低廉。目前,玉米在收割后,仍有大量的玉米须被丢弃,对玉米须的综合利用及精细加工亟待进一步研究。大量研究表明玉米须具有很高的药用价值和保健功效,但其食品开发的研究仍处于初级阶段。本实验针对玉米须综合利用水平低、深加工产品开发少的问题,以玉米须为主要原料,研制一种玉米须复合袋泡茶产品,并对其理化指标及体外抗氧化、降血糖活性进行研究。(1)以感官评分为指标,通过单因素
目的:本文旨在研究急性ST抬高型心肌梗死(ST-segment elevation myocardial infarction,STEMI)患者心电图出现碎裂 QRS 波(Fargmented QRS complex,fQRS)的相关临床因素,探讨fQRS对于急性STEMI患者冠状动脉病变及经皮冠状动脉介入治疗(Percutaneous coronary intervention,PCI)术后住院
"双减"政策实施后,地方院校师范生的就业面临较大冲击。以成都师范学院近四年师范专业毕业生为研究对象,从"双减"政策下师范生就业问题切入,分析了"双减"政策影响下师范生就业面临的形势,进一步探讨了师范生就业中存在的问题,基于构建师范教育良好就业生态的角度,寻求从地方院校层面和师范生个体层面促进师范生就业的方法。
背景与目的:近年来,越来越多的研究指出大肠癌发病与2型糖尿病相关。然而,作为大肠癌最主要的癌前病变,结直肠腺瘤的发生与2型糖尿病的相关性目前仍有争议。本研究拟通过回顾性分析结直肠腺瘤的影响因素,探究结直肠腺瘤发生与2型糖尿病的相关性。方法:纳入2018年7月至2020年7月于吉林大学第一医院内镜中心行肠镜检查且发现结直肠息肉病变的住院患者(n=1257)。所有息肉组织均行病理检查,根据病理结果分为
立冬已过,寒潮来袭,北方多地降暴雪,能源保供进一步引发关注。保障能源特别是民生用能供应不仅事关经济平稳运行,更关系千家万户生产生活。家里暖气足不足、炕头暖不暖,衡量的是能源保供工作质量,影响的是百姓"温暖指数"。今年以来,国际市场能源价格大幅上涨,国内电力、煤炭供需持续偏紧。近段时间以来,各级相关部门采取有力措施保证能源供应特别是民生用能,能源供需紧张形势有所缓解,全国煤炭产量和市场供应量持
期刊
目的:探究行经皮冠状动脉介入治疗(percutaneous transluminal coronary intervention,PCI)术的急性心肌梗死患者入住CCU后72小时睡眠时间BP倾斜指数对预后的影响。资料与方法:回顾性连续选取1256例我院2017年5月-2018年5月行PCI术后入住CCU的急性心肌梗死患者作为研究对象。根据入选标准、入组标准最终选取1031例。连续监测术后72小时血
云计算环下实验室资源管理平台设计与实现云计算技术的出现与发展为资源管理分配和服务应用部署提供了新的方式,用户可以在网络上依据需求向云平台申请计算、存储等资源,甚至可以申请具体的应用服务。此外,云计算技术也允许用户自定义个性化服务并将其部署在云端,以此节省巨大的硬件、服务实现以及维护成本。本文对容器技术和虚拟机技术进行比较之后,使用容器和编排工具等云计算相关技术,在实验室内部从调度策略、平台设计以及
随着国家经济实力的快速提升以及城市化进程的加快,城市交通参与者大幅增多,城市交通出行需求剧烈增长,导致交通拥塞现象在各大城市交通环境中时有发生。如何缓解城市交通拥塞现象,从而合理调度城市交通资源,提高城市交通效率,是一个迫切需要解决的问题。城市交通拥塞时空模式的挖掘研究,可以捕捉城市交通拥塞分别在时空维度上的传播模式,挖掘影响城市交通拥塞传播的时空因素,从而精准地预测未来的城市交通拥塞情况,为未来
和图像分类一样,图像分割已成为诸多医学影像研究中极为重要的领域之一。图像分割旨在提取具有特定含义的图像区域或特征,并将它们分割出来,为医学诊断治疗以及影像学和病理学的研究提供基础。因此,从医学影像中精确而稳定地分割人体器官或病灶区域,在疾病的诊断和治疗等诸多临床医学问题上起着举足轻重的作用。但是由于临床医学影像所具有的特殊性和复杂性,如何解决其在影像分割过程中存在的个体间差异和不规则性等问题十分必
随着计算机技术的发展,在汽车行业的研发过程中,信息技术与人工智能等技术发挥了越来越重要的作用。自上世纪90年代开始,研究人员致力于改善汽车的性能、安全性、舒适性等性能,研发出了越来越多的控制系统,并且开发出了新的驾驶辅助系统。在整车控制领域,对汽车运动状态的估计是十分重要的一环,运动状态估计的准确与否决定了控制效果的好坏,并且随着整车控制系统、驾驶辅助系统、自动驾驶系统越来越复杂,对参数估计的准确