在移动应用GUI（Graphical User Interface,用户图形界面）的开发过程中,界面开发人员需要识别设计原型图中抽象的具有设计意图的组件,并将其转化为准确具体的代码。然而,由于设计者与开发者广泛存在的领域背景知识的差异,开发人员对原型图组件的理解往往存在偏差,导致组件识别错误频出且难以更正,造成最终产品与设计不符,极大的增加了开发成本;不仅如此,在代码自动生成、界面自动化测试等围绕GUI展开的智能化任务中,准确识别设计图中的组件是保证各种后续任务能够顺利完成的重要前提。为了解决这一问题,研究者试图自动识别图形界面的组件,包括组件的自动检测（获取组件位置、大小）和自动分类（获取组件类型）两个方面。目前已有研究采用机器视觉、深度学习等方法,对界面中的组件位置、大小、类型进行自动识别,取得了较好的效果,但仍存在可迁移性差、检测精度低、分类准确率不高等问题。针对以上问题,本文对基于深度学习的移动应用图形用户界面组件识别方法进行了研究和改进,主要的研究工作如下:（1）针对目前GUI组件识别研究可迁移性差,缺少在大规模真实移动应用GUI数据集得到验证的问题,本文总结并归纳了基于设计语义的GUI组件基本类型,克服了现有研究结果在不同的平台难以迁移的问题;同时对包含超过65000个不同数据样本的目前最大的移动应用GUI数据集进行了数据清理工作,筛选出了10656个高质量数据样本,人工补充或修正了超过2000个数据样本的错误标注,克服了目前研究仅面向部分合成样本而没有在真实数据集上得到验证的问题。（2）在组件检测阶段,针对现有GUI组件识别方法中由于特征提取不充分、交并比损失函数涉及不合理导致的组件检测方面的效率低、精度差的问题,采用轻量级的YOLO目标检测网络模型作为模型框架,通过引入通道注意力机制强化了对输入图像浅层边缘细节特征和高层语义特征的提取能力,提升模型检测效率,并通过C-Io U改进的交并比计算方式改进了预测组件定位准确度。实验结果表明:与基于机器视觉的组件边缘检测算法相比,本文方法在组件区域召回分数上提高了21.6个百分点,解决了边缘检测方法对于重合、交叉等复杂组合形式的组件之间难以检测的问题;相比于以往基于深度学习的组件识别方法,本文方法在定位交并比置信度从0.3提高到了0.5的基础上,将组件查全率提高了4.3个百分点,改善了以往方法对于GUI组件检测困难,定位准确度不高的问题。（3）在组件分类阶段,针对现有基于深度学习的组件识别方法训练数据集组件类别不均、上下文特征信息缺乏有效融合、预测阶段正负样本比例失衡导致的组件分类准确率不高的问题,本文首先提出一种面向GUI的数据增强方法,人工生成一些符合GUI设计规则的含有少量稀有组件的数据样本,平衡界面组件类别数量;在特征融合阶段,通过堆叠Bi FPN（Bi-directional feature pyramid network,双向特征金字塔网络）结构将主干网络提取到的不同层级的特征进行递归加权融合,让网络学习不同输入特征的权重;最后,通过自适应的加权正负样本选择策略平衡算法在预测组件分类时的正负样本数量比例。实验结果表明:改进后的算法在预测交并比分数在0.5以上时对于组件的平均分类准确率达到94%,相比于目前用于组件检测的目标检测算法,m AP提高了6.2个百分点以上,显著提升了组件的分类准确率,有效的应用于现代移动应用程序GUI中的组件自动识别任务。