基于不确定度校正的深度领域适应

来源 :清华大学 | 被引量 : 0次 | 上传用户:yulekan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现代深度学习中,模型的训练往往需要大量标记数据。但是在各种应用场景中数据十分稀缺,标注过程更是有相当大的成本。使用少量标记数据或者一定的无标数据,高效地训练模型成为了至关重要的挑战。领域适应可以在相关的领域之间迁移知识,有效地缓解了上述问题。在走向实际应用的过程中,还有两个关键挑战是经典的封闭集领域适应无法解决的:一是自然环境的开放性,各领域中标签的关系是任意的,源领域无法覆盖目标领域的全部类别,尤其是在自动驾驶等开放场景中。通用领域适应在领域之间传递知识,满足标签集没有任何限制的条件。二是缺乏更高效、可靠地使用无标数据集的方法。主动领域适应允许标注一小部分信息量大的目标域数据参与训练,使用较少的代价弥补和对应的监督学习之间的性能差距。深度模型可以为每个预测提供一个概率,代表样本的不确定度。在通用领域适应中,开放类是指源领域中不存在的类别,划分开放类和公共类的核心是良好地估计样本不同程度的不确定度。在主动领域适应中,度量样本信息量的一个关键方法也是样本的不确定度,信息量大的样本可以使模型中的决策函数更快收敛。然而深度模型倾向于产生过度确信的预测,并且在跨领域的场景下,不确定度的估计更加困难。跨领域场景下的不确定度作为后续任务的主要度量指标,有着更为重要的意义。不确定度校正是得到更准确的不确定度的一类关键方法。1.在通用领域适应问题中,本文提出了多重不确定度校正方法,核心是一种包含熵、置信度和一致性的新颖可迁移性度量。这三个不确定度准则是互补的,并且通过深度集成的方法进行了很好的不确定度校正,能够有效区分不同程度的不确定度,进而将目标领域中公共类和开放类的样本更清晰地划分。2.在主动领域适应问题中,本文提出了可迁移查询选择方法,通过可迁移委员会、可迁移置信度和可迁移领域度三个准则的集成来选择领域差异下信息量最大的样本。我们进一步提出了一种随机选择算法,以增强所选样本多样性。3.实验表明,在多个领域适应数据集上,多重不确定度校正方法明显优于之前的无监督和通用领域适应方法,可迁移查询选择方法超过了之前的主动学习和主动领域适应方法。多个分析性实验也展示了方法中各个准则的精妙性。上述算法的实现也集成到了开源的迁移学习算法库中。
其他文献
目的:了解福建省结核分枝杆菌(Mycobacterium tuberculosis,MTB)基因型的分布特征和流行情况,同时分析MTB基因型与其耐药的关系。方法:选取2017—2019年福建省结核病耐药监测点的477株MTB临床分离株作为研究对象。采用对硝基苯甲酸(PNB)/噻吩-2-羧酸肼(TCH)生长实验法进行菌种初步鉴定,并采用传统固体比例法对9种抗结核药物[异烟肼(isoniazid, I
以壳聚糖、淀粉、苹果多酚为原料,制成壳聚糖/淀粉/苹果多酚复合膜涂剂,将新鲜双孢蘑菇分4组:4℃冷藏对照组;4℃冷藏+复合膜处理组;8℃冷藏对照组;8℃冷藏+复合膜处理组,处理组以复合膜涂剂对双孢蘑菇进行涂膜保鲜,对照组不对双孢蘑菇进行涂膜处理,研究了复合膜对双孢蘑菇贮藏期(0、4、8、12、16、20 d)呼吸速率、乙烯释放量、硬度、褐变度、维生素C、生物酶活力等指标的影响,以期为复合膜涂剂对双
<正>数学教学是数学活动的教学。教学不是把现成的结论直接教给学生,而要引导他们自己寻求知识产生的起因,在对相关事物的观察、比较中逐步形成概念,寻求规律,获得结论。这就需要教师注重让学生在“做数学”的活动中学习数学。以下是苏教版教材二年级下册“角的初步认识”这节课的教学探索与思考。为了更好地了解学情,教师在课前设计了前置性“学习单”,内容如下:说一说,你在哪里见过角?
期刊
<正>在新中国成立之初的外交斗争中,中共中央始终坚持坚定的原则性和策略的灵活性相统一。印度、英国、美国都不希望看到中国和平解放西藏,但三国的态度和策略并不完全一样。印度企图最大限度地保留从英国继承下来的特权,保持西藏的“缓冲状态”,走向干涉西藏的“前台”,成为影响中国解放西藏的主要外在力量。英国则采取了“隔岸观火”的态度,把“责任”推给印度。美国采取鼓励印度支持西藏当局,自己尽量躲在幕后的策略。中
期刊
互联网时代,移动终端大范围普及,社交网络得到了快速发展,为网络谣言的传播突破了时间、空间限制。特别是以微信、微博等为代表的社会化网络媒体为谣言的产生与传播提供了温床。互联网的开放性、便捷性以及谣言传播的匿名性、广泛性等导致网络谣言接踵不断。因此,评价网络谣言的传播强度,有针对性地进行辟谣,并及时评估辟谣效果,适时反馈,及时调整治理策略,对遏制网络谣言的传播尤为重要。本文基于不确定理论,建立了传播辟
单位犯罪是社会发展的产物,在经济飞速发展的今天,各形各色的单位不仅为社会发展做出了卓越贡献,出现的单位犯罪也越来越多,由此产生了对单位犯罪进行制裁的必要性。有关单位违法犯罪行为在民法和行政法领域的制裁效果并不显著,单位犯罪逐渐开始冲击我国传统的刑法领域,我国对单位犯罪从否定说逐渐过渡到肯定说。自1997年《刑法》颁布以来,单位犯罪罪名的种类和数量越来越多,司法实践中,打击单位犯罪的必要性越来越显著
<正>紧扣高考改革政策扎根高考实践经验探索命题标准变化把握未来考试动向《中国高考报告(2020)》全书分设七个部分,分别讨论了2019年中国高考改革的政策分析、命题实践、教学改革、升学渠道、社会影响和评价体系,为高考的再设计、再出发提供有力的智力支撑。《试题分析》以《中国高考评价体系》为标准,分别从题眼、关键能力、必备知识、情境设计、解题思路等方面展开全面、系统地分析,让广大师生清晰、准确地认识和
期刊
企业合规的加速渗透对单位刑事归责理论造成实质冲击。具体而言,自然人归责路径遭受质疑、单位主观罪过认定存在困境、企业文化的决定性作用无法凸显。面对单位犯罪定罪程序的失范化、企业合规的刑事政策化、企业合规与司法实践的互动频繁化,需以司法对单位刑事归责理论危机进行回应。对不同企业犯罪主体进行差异化评价、从企业内部治理结构和经营方式中推断单位主观罪过、以完善的合规计划作为宽恕事由是刑事司法化解单位刑事归责
研究目的:本研究基于对肝内胆管癌(Intrahepatic Cholangiocarcinoma,ICC)患者临床信息、病理资料、相关理化指标等回顾性分析,探究ICC的临床特征和发生发展的潜在危险因素;并依据证素辨证法分析整理患者的四诊信息,探寻ICC的中医证素分布及其证素间的应证组合规律,尝试为临床ICC早期、及时的诊治提供更多线索,为ICC的中医客观规范化研究提供应用性参考。研究方法:1根据诊
在当代华语诗坛上,舒兰以其对祖国大陆故乡的书写而留下颇具特色的身影,其诗作少而精,但学界对其缺乏应有的关注。本文以舒兰的诗集为考察文本,以故乡的书写为研究对象,从人伦之思、山水之思、家国之思三方面探讨舒兰浓郁乡情书写中的思乡情结,试图走进舒兰"掉头一去是风吹黑发,回首再来已雪满白头"的情感世界,挖掘其诗歌文本中深厚的家国情怀。