面向移动端图片分类的轻量级神经网络架构研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:veiri32
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着对神经网络的不断探索及移动手机硬件的更新换代,越来越多的研究聚焦于如何设计有效的模型,支撑起移动终端的任务推理。图片分类是众多研究中的经典任务,可用于以图搜图、人脸识别、医疗影像等诸多领域,在现实中有重大实用意义。而在移动端上进行图片分类主要面临如下两个问题:神经网络模型往往是参数量大且计算密集型的,存储和计算资源的开销给移动端带来了很大的负担;而移动端和云端结合的处理方式虽然高效,但也面临隐私泄露的风险。这些问题严重制约了主流的高精度模型在实际生活中的应用。随着神经网络的发展,研究者设计了许多轻量级神经网络。现有方法:(1)网络自动搜索。通过搜索策略发掘有效的模型架构,但这种方法需要高性能的服务器才可能实现;(2)紧促型网络设计,通过设计有效的网络架构实现模型轻量化,虽从参数量和计算量降低了模型规模,但这也导致模型特征提取能力的欠缺,进而影响模型精度;(3)模型裁剪方法,通过删除模型中性能较差的神经元或者连接得到一个稀疏化的模型,但结构的变化导致较大幅度的精度下降。本研究力图打破瓶颈限制,以紧促型神经网络模块为基础设计更高效的架构,并以特征增强和模型优化为补充提升模型的整体性能。本研究通过分析上述研究方向的优缺点,面向移动终端真实场景应用需求,提出了一个兼顾模型规模和精度的神经网络模型。首先,提出了新的神经网络基础模块(base)来构建模型,该模块以特征升维保证模块内信息的多样性、再利用深度可分离卷积和标准卷积并行地提取图片特征、最后进行特征降维三个步骤实现参数量和计算量减少的同时达到较好的模型性能;其次,由于模型训练时神经元的学习效率并不相同,本文以注意力算法作为补充嵌入到基础模块中,主要通过设计的浅层卷积神经网络分析通道域和空间域的特征响应强度作为注意力权重,增强良好特征以进一步提升精度;最后,为了确保设计的模型能够部署于移动端,设计了训练过程中的伪量化策略模拟轻量化模型的推理过程后进行模型优化,既减小了模型规模,又保证了精度的相对稳定。经过实验验证,本研究在多个公开数据集上表现出优秀的模型性能,在真实移动手机场景下也能实时且长时地进行图片识别任务。
其他文献
中国尤其陕西拥有丰富的古代绘画资源。这些古代绘画具有非常重要的艺术、科学和历史考古价值,但是它们现在生存状况十分堪忧,其中绝大部分绘画存在严重的病变、破损甚至消亡问题。破损的古代绘画严重影响了以绘画为代表的数字文化遗产鉴赏和传承效果。为了提高古代绘画数字化质量,本文将针对破损的低品质古代绘画图像,利用深度学习的理论与方法,研究对应的技术措施来重建高品质古代绘画图像。由于古代绘画图像结构复杂且样本数
习题预测任务是指利用学生历史答题数据预测学生未解答习题的正确性,它可以为学生呈现其知识掌握状态,方便学生查漏补缺;习题预测任务也可以帮助教师个性化教学,实现因材施教。本文将学生作答的习题分为“练习习题”与“考试习题”。“练习习题”是指学生平时学习过程中,为提高知识状态,自主练习的习题。“考试习题”是指在学期测验时,所有学生被要求在规定时间内完成考试所解答的习题。在学生自主学习过程中,由于“练习习题
在推动边疆民族地区高质量发展上闯出新路子在服务和融入新发展格局上展现新作为在推动绿色发展上迈出新步伐在巩固发展民族团结、社会稳定、边疆安宁上彰显新担当凝心聚力建设新时代中国特色社会主义壮美广西,是习近平总书记为新时代广西发展擘画的宏伟蓝图。我们把深刻领会“两个确立”的决定性意义切实转化为坚决做到“两个维护”的高度自觉,
期刊
鬼成像作为一种新型成像方式,利用了光场的二阶关联特性计算出目标图像。由于这一特性,与传统成像方式相比,它可以实现在雨雪雾霾等较差的光学环境中抗散射成像,且抗噪性强。因此,在一些特定场景下,鬼成像比传统成像更具优势。然而鬼成像普遍存在的问题是其成像质量与采样次数成正相关,高质量的成像效果意味着极大的时间成本,本文从原理出发,利用深度学习方法从两个方向优化了计算鬼成像系统的性能。首先,针对利用计算鬼成
人体姿态估计是研究定位图像或视频中人的关键点(关节点),并连接相邻关联关键点的技术。姿态多样、光照变化和环境遮挡等是影响人体姿态估计精度的主要因素。提高人体姿态估计质量在实践中有迫切的应用需要。本文重点围绕基于深度学习的复杂人体姿态估计问题展开研究。在深入研究现有基于深度学习的人体姿态估计方法的基础上,提出一个新的关键点关联约束的复杂人体姿态估计网络KACNet。该网络充分考虑了人体相邻关键点之间
自然语言处理技术诞生于上世纪50年代,随着时间的推移,先后经历了基于规则的方法、基于统计的方法以及近十五年来基于机器学习和深度学习方法的迭代更新,几年前伴随着BERT的呱呱坠地又掀起了一轮新的研究热潮。文本分类是自然语言处理中的一项重要任务,它的核心是从文本中抽取出能够体现文本特点的关键特征,寻找特征到类别之间的映射。近年来,另一种基于图结构数据的文本建模思想不断的发展壮大。与BERT不同,图神经
彩绘文物是宝贵的历史研究材料。线稿作为彩绘文物的重要组成,反映了文物图案的绘画结构,在文物修复和保护传承中具有重要作用。传统的线稿提取主要采用人工临摹的方式,不仅效率较低而且临摹准确度也因绘画水平不同有所差异。而基于图像处理的线稿提取方法可以高效且客观的提取线稿,具有广阔的应用前景。但是由于彩绘文物病害较多,图像背景复杂,现有方法提取效果还有较大的提升空间。近期深度学习在图像处理领域广受关注,取得
多视图分析能够较好地利用不同视图之间信息的兼容性和互补性,比单视图分析具有更好的决策性能,目前广泛应用于计算机视觉、目标检测、行为识别等领域。然而传统的多视图分析大多只研究成对视图间的关系,忽略了所有视图间关系,导致得到的公共空间判别性不强。尽管一些非成对多视图方法得到了判别性公共空间,却使用广义特征值分解方法对其近似求解,使得最终结果偏离全局最优解。因此,人们希望既能得到判别性公共空间,还能得到
媒体经过了五代发展,成为典型的数字网络媒体。数字网络媒体作为新时期新媒体的代表,其数字化控制管理水平更高。在现代化的数字媒体设计中,数字化的管理为媒体艺术的发展提供了更加丰富的表现形式。在新媒体传媒的作用下,中国传统文化及艺术通过多元化的新媒体传播渠道传播到了世界各国,也收获了更大范围的群体,以及他们对中国传统文化艺术的认可和欣赏。这其中包含了丰富多彩的中国元素。随着中国文化和艺术在国际上的地位越
脑瘫是指一组由产前、产时或产后非进行性脑损伤所致运动和姿势发育障碍的活动受限性疾病。作为一种非侵入无电离辐射的检测工具,磁共振成像(MRI)能够提供较高的软组织分辨率和丰富的影像信息,适合用于新生儿脑病筛查。但是目前我国大多数基层医院新生儿头颅MRI检查仅能够提供常规的MRI模式。面对挑战,现如今基于深度学习的新生儿大脑图像分割算法存在两点不足:一是过于依赖数据集;二是加深网络层数的同时增加了模型