贝叶斯框架下的深度学习不确定性研究及应用

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:mytony
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度学习在图像分类、目标检测、医学诊断等重要领域被广泛应用,并取得一定的成功。虽然深度学习模型具有强大的辨别力,但也容易出错,在很多应用中错误的预测可能会导致严重的后果。如果模型对于错误预测给出一个较高的不确定性,那么系统将做出更好的决策,因此深度学习中的不确定性成为近年来的研究热点。此外,深度学习中的很多问题可以结合不确定性进行研究。本文主要利用贝叶斯深度学习框架得到的不确定性对不完全监督学习进行研究。不完全监督学习包括半监督学习和主动学习,因此主要的研究内容有:(1)基于不确定性的深度半监督学习自训练是一种简单而有效的深度半监督学习方法,首先利用有标签数据训练模型,然后利用模型对无标签数据进行预测产生伪标签,最后选择高置信的伪标签数据加入训练集。其中,如何选择高置信的伪标签数据加入训练集是一个关键问题。不好的选择方法将导致深度学习模型在错误样本上进行训练或没有足够的数据进行训练。针对以上问题,本文提出基于不确定性的深度半监督学习伪标签数据选择方法。根据贝叶斯深度学习相关知识获得伪标签的不确定性并对其进行建模,利用最小平均风险准则选择出伪标签数据。实验结果表明,我们的方法获得了更高的分类精度。(2)基于预测不确定性的深度主动学习主动学习和深度学习结合时会遇到一些问题,其中包括主动学习采样方法大多依赖于不确定性,而一般的深度学习无法获得不确定性。针对这一问题,本文将主动学习和贝叶斯深度学习相结合,提出基于预测不确定性的深度主动学习采样方法,首先利用偶然不确定性和认知不确定性相结合的贝叶斯深度学习框架获得无标签数据的预测不确定性,然后将预测不确定性最大的样本交给专家标注后放入训练集,最后重新训练模型。为了验证提出方法的有效性,本文在高光谱数据集上进行了实验,将具有两种不确定性的主动学习采样方法与只包含认知不确定的主动学习采样方法进行了比较。实验结果表明,具有两种不确定性的采样方法优于只有认知不确定性的方法。
其他文献
学位
量子图模拟波在薄结构中传播或量子线电路等实际问题,为解决数学物理等问题提供了一些有效模型.本文主要研究带环的量子图上Sturm-Liouville微分算子的谱理论及其反谱问题.该研究方向是微分方程理论中一个崭新的分支,研究它具有理论和实际应用价值.第一章介绍量子图及图上Sturm-Liouville算子应用背景,综述微分算子研究现状,总结论文主要工作及其创新点.第二章讨论Lasso-图上微分算子的
学位
在国家强调发展文化强国和人们追求精神丰富的当代,地域文化逐渐获得了更多人的重视,其传承和发展随之成为了社会和大众讨论的一个热点。城市家具作为城市空间中不可忽视的重要组成元素,与地域文化的结合有助于地域文化的弘扬和发展。在此情况下对城市家具提出互动设计是为了优化地域文化的融入效果和城市家具用户的体验,提升城市家具价值内涵。本文从互动设计角度出发,重点关注用户在与城市家具互动过程中的地域文化体验和使用
学位
学位
学位
学位
学位
学位