小样本问题下培训弱教师网络的模型蒸馏模型

来源 :计算机应用 | 被引量 : 0次 | 上传用户:s5871212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集(Bagging)算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练。实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39%的相对改进;比较自适应增强(AdaBoost)算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍。可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率。
其他文献
将21世纪环境危机语境视为现实源点和逻辑起点来理解21世纪生态批评“物转向”的生发和衍进趋势,认为环境危机现实不但催生了当前生态文学研究选题的新趋势,也推动了生态批评话语的迭代更新。从转向食物、植物、能源等选题趋势来看,“物转向”研究不但有效揭示了文学作品中环境危机书写的审美异质性,也生成了若干以凸显“非人类”物质环境为特征、具有不同研究旨趣的新的生态文学研究空间;就生态批评话语的“物转向”而言,
以玉米秸秆为原料,制备羧甲基纤维素。通过添加甘油、壳聚糖、硝酸银制备羧甲基纤维素基复合保鲜膜,研究了不同甘油、壳聚糖及硝酸银添加量对复合膜结构及性能的影响,考察了复合膜的不透明度、水蒸气透过率、结晶结构、表面形貌和对蓝莓果实的保鲜效果。综合各项测试结果:制备的复合膜在硝酸银含量为0.01 mol/L时效果最佳,不透明度及水蒸气透过率分别为2.84%和1.99%。X-射线分析表明,羧甲基纤维素复合膜
边坡变形造成的危害影响着人类正常生活和相关的工程建设,一旦发生滑坡会给国家和有关家庭带来严重的损失。由于导致边坡变形演化的因素很多,边坡变形预测具有复杂性和不确定性,极难使用传统分析方法对其进行准确预测。基于此,针对如何提高边坡位移预测的准确性问题,以构建深度网络模型为主,引入网络压缩算法及小样本学习等知识,以某水泥厂边坡位移监测系统中采集到的边坡位移数据为例,开展边坡位移预测工作,主要的研究内容
影视产业有着技术因素强、传统自然资源耗费较少、对生态保护有积极影响、与旅游产业等关联产业相互促进作用强、前景看好等属性,从而变成了一个具有领先地位的产业。在有利于产业扩张的政策背景下、扩大的产业方面投资和消费升级等的助推中,我国电影电视剧文化娱乐产业走进了高速发展阶段。随着后疫情时代的来临,多种多样居家形态的娱乐方式进一步占据消费者文化娱乐方面的消费占比,因此消费者对网络剧这一种能够轻松获取的居家
基因治疗为人类疾病治疗开辟了一条新的途径,如何选择高效、低毒、靶向性强的载体,以协助目的基因进入靶细胞并正确表达,是基因治疗过程中必须解决的问题,也是基因治疗研究领域的核心技术之一。腺相关病毒以其独有的优势在近年的研究中得到了长足发展。现对腺相关病毒介导的基因治疗在临床中的应用做一综述。
以网络文本分析、情感倾向分析、IPA模型相结合,研究昆明西山森林公园的公众满意度感知评价。通过网络爬虫获取携程、大众点评、美团3大旅游网站的昆明市西山森林公园评论文本。利用ROST CM6软件进行高频词分析,再结合相关文献与文本分析,对评论文本进行手动感知维度分类;Python编写代码调用百度智能云API的方式对感知维度分类数据进行情感倾向分析;以感知维度的频数和积极情感概率值为基础,构建IPA分
用表面带负电荷的还原氧化石墨烯(RGO)作为阴离子聚合引发剂,在RGO表面使N-乙烯基咔唑(NVK)原位聚合,生成可溶性聚乙烯基咔唑(PVK)共价功能化的RGO非线性光学材料(RGO-PVK)。采用红外光谱、X光电子能谱和紫外-可见吸收光谱等对RGO-PVK进行了表征。将RGO-PVK嵌埋在非光学活性的聚甲基丙烯酸甲酯(PMMA)中制备了具有良好光学性能的RGO-PVK/PMMA薄膜,并利用开孔Z
艺术教育是高校实施人文素质教育和美育的重要手段。当前高校艺术教育的发展存在诸多方面的制约因素,艺术教育的普及工作势在必行。北京科技大学积极尝试探索新型的艺术教育模式,以主题团日为载体,建立了系统化的活动体系,形成了课程化的教育模式和合理化的评价机制,使艺术教育实现了对学生的全覆盖,推动了艺术教育的普及。
政府投资项目覆盖生态环保、基础设施建设、脱贫攻坚、“三农”建设、社会民生等经济社会高质量发展的关键领域和薄弱环节,是城市建设的有力支撑,是固定资产投资的有力保障,抓好政府投资项目实施事关政府资金流向、事关城市建设、事关民生福祉、事关人民获得感。从国家、自治区到市县都高度重视政府投资项目实施管理,相继出台相关制度细化政府投资流程和审批手续,坚持将权力关进制度的笼子,进一步优化政府投资项目实施的全流程
近年来,居民改善生活的愿望日益强烈。在此背景下,家装及家居行业快速发展,并逐渐成为一个规模超四万亿的庞大市场。而在这其中,高质量的客户服务对维持公司竞争力和良好客户关系具有至关重要的作用,尤其在当今激烈的市场竞争中,组织公司须尽量满足每一位客户的需求。故本文针对以家装为核心业务的X装饰工程公司的客户关系管理(英文全称为Consumer Relationship Management,简称CRM)进