基于深度学习的少样本学习方法

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:lullm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
少样本学习技术指的是在标注样本受限的情境下,快速学习并泛化到新任务的技术。该技术是为人工智能技术通向真正智能化的积极探索,并已在标注数据稀缺,标注场景受限等应用中赋能。近年来,少样本学习技术迅猛发展,但是如何更好的学习任务相关的知识,以及如何缓解训练与测试阶段数据分布的不一致带来的过拟合问题,仍然是少样本学习的最大挑战。为此,本研究立足于两大样本受限的情境,在分类、分割与检测三项具体任务上,提出了分布估计的少样本学习方法以及迭代式域适应的少样本学习策略。比对其他研究者所做的工作,本研究的主要贡献如下:首先,在新类别少标注情境下的少样本分类任务中,本研究指出了常用的点估计建模方法易受噪声影响且易得到有偏估计的风险,进而提出了分布估计的算法模型,以规避这一风险。该算法利用贝叶斯学习中的变分推断策略细化分布估计流程,将原始分类问题转化为估计后验分布与利用后验分布完成推断这两个更为简单的子问题。在解决子问题的过程中,本文提出分布聚合规则与推断规则,获得描述样本不确定性的类别分布,以替代原先确定性的类别表征。这一解决方案大幅提升了模型对于少量标注的抗干扰能力。其次,在同一情境下的少样本分割任务中,本研究将基于变分推断策略的分布估计框架部署到这一任务的基线算法之上,以最小的额外代价验证这一不依赖于特定网络结构的算法思想的可迁移性与普适性。最后,在新场景无标注情境下的少量样本检测任务中,本研究提出了域适配检测算法,通过域判别器和特征提取器的对抗训练,使得域判别器具备分辨场景属性的能力,而特征提取器具备提取足以混淆域判别器的特征的能力。在这一基础之上,本文进一步提出多阶段迭代的学习策略,同时凭借注意力机制架设了域判别器与检测器之间信息交互的渠道,最终将适用于原始场景的检测器稳定的迁移到新场景。本研究在少样本分类、分割与检测任务上的公开数据集上进行完备的实验验证,包括与同期其他算法的性能对比,算法模型性质分析,可视化结果等等。实验结果证明了我们提出的一系列算法的有效性与鲁棒性。
其他文献
侵害保护作品完整权的行为,不仅仅存在于未经许可而实施改编行为的情形下,即便改编权已经被转让或许可使用,仍然可能出现改编权与保护作品完整权之间的冲突。在基于合同而发生的改编行为下,受让人与被许可人享有改编权,但也可能因改编幅度过大而与原作品作者享有的保护作品完整权产生冲突。两项权利的冲突近年来有愈演愈烈之势,这会限制改编者的创作自由,进一步对改编作品的市场化产生不利影响。我国《著作权实施条例》第十条
在教育改革的大背景下,越来越多的目光聚集在基础教育上。然而传统的课堂教师大班授课模式已经难以满足当前家长、教师、学生的三方互动需求。为了改善上述痛点,我们设计并且初步实现了一种自动化的教学分析评估系统框架,主要由文本分析模块、知识点处理模块以及最后的综合分析模块构成。课堂文本数据属于短文本,针对短文本分类存在的例如特征稀疏、用语不规范、存在新词等难点。我们提出了一种多特征融合的适用于课堂教学文本的
网络社交平台中的舆情管控是信息安全领域的一个重要分支,其涉及信息的传播溯源、传播路径构建、话题预测、热点挖掘等关键技术。本文将从信息溯源以及传播路径构建两个角度展开研究。1)在关于信息溯源方面的研究中,本文设计了一种基于用户兴趣的信息溯源算法。该算法利用用户兴趣计算博主影响力、评论人,转发人影响力,同时结合用户的关注度以及时间参数利用排序算法对信息计算得分从而排序溯源。基于微博平台的实验显示,该算
终末期的心脏病最有效的治疗办法是心脏移植。但是心脏移植供体的不足,大量患者仍无法得到及时救治。心室辅助装置作为自然心脏的替代品,已成为治疗心力衰竭的重要手段。现有临床使用的离心泵主要采用恒速控制方式,这种方式会削弱循环系统血液原有的搏动性,长时间辅助后会导致血管形态学改变等一系列问题。本文设计模糊PI控制器,通过调制血泵的转速提高了离心泵辅助后主动脉压的搏动性。所取得的阶段性成果有:1、建立离心血
随着互联网与移动网络的普及,人们逐渐习惯关注网络热点事件并在网上表达个人情感。热点事件带来了海量的舆情文本数据,如何基于这些数据分析用户的情感导向是一个研究热点和难点。同时,情感分析是舆情系统中的关键步骤,有助于系统用户了解事件全貌、分析事件走势。舆情系统是能够自动采集并分析网络舆情数据的工具。系统使用大规模分布式爬虫进行全网多源舆情数据的自动化采集,然后使用处理模块对原始文本数据进行处理分析,为
传统的研究试图分析作用于家族企业并影响其企业价值的内外部因素,同时也会将家族企业与非家族民营企业在各个方面进行对比,但这些研究并没有涉及到两类民营企业的企业价值稳定性。本文的落脚点在于家族企业的企业价值稳定性这一点,本文为家族企业的研究填补上这一区域的空白。本文采用事件研究法中常用的累积异常收益率作为衡量企业价值稳定性的标准,并依此进行研究。研究主要得出三方面的结论:第一,平均而言,中美贸易摩擦确
骨组织工程材料主要包括两大类:人工合成材料和天然材料。商业化的人工骨材料主要是无机材料及其复合材料,其制备工艺复杂,力学性能偏脆。天然材料主要包括经过处理的天然骨和天然高分子材料。自体骨来源有限,且会造成二次手术痛苦。异体骨则会有免疫排斥反应的风险。天然高分子材料来源广泛,成本低廉,且生物相容性好,利于细胞粘附、增殖、分化等。同时可加工性良好、工艺简单。但是,这类材料力学强度偏低。玉米醇溶蛋白是一
在发展中国家和地区,三聚氰胺有时会掺假加入到乳制品中以虚假提高其表观蛋白含量,长期食用含有三聚氰胺的乳制品严重危害机体健康。然而,尚未开发便携式传感器用于现场测定乳制品中的三聚氰胺。本研究基于移动中和界面(NB)和EDTA光催化原理,构建了一种基于距离的传感器并对其应用进行了初步研究。本文的具体研究内容分为以下几个部分:1.微流控直读芯片及传感器的构建利用PDMS材料设计并制作多通道微流控直读芯片
如今经济不确定性问题已经成为国际上宏观经济学研究的前沿和热点,在国内,对经济不确定性的研究也受到学者们越来越多的关注。当前国际形势愈发复杂且多变且我国又处在深化改革的关键时期,研究不确定性对我国更有着重要且深远的意义。本论文首先综合利用主成分分析法等方法从大量经济金融数据中提取不确定性成分并合成中国宏观经济不确定性指标,然后用估计出的经济不确定性指标和挑选出的六个经济金融变量构造VAR模型,用符号
离网式微型光伏逆变器是分布式光伏发电的核心部件,也是目前广泛研究的热点。作为太阳能利用的一种重要形式,完整的离网式逆变器系统通常包含了储能元件,在日照充足的时候将太阳能转换的多余的电能储存起来,在日照不足的时候给负载供电。逆变技术是系统的核心技术,本文提出一种基于FPGA(Field Programmable Gate Array)的含锂电池储能的数字化控制离网式微型逆变器系统设计方案,并据此设计