论文部分内容阅读
深度学习在图像分类、目标检测、医学诊断等重要领域被广泛应用,并取得一定的成功。虽然深度学习模型具有强大的辨别力,但也容易出错,在很多应用中错误的预测可能会导致严重的后果。如果模型对于错误预测给出一个较高的不确定性,那么系统将做出更好的决策,因此深度学习中的不确定性成为近年来的研究热点。此外,深度学习中的很多问题可以结合不确定性进行研究。本文主要利用贝叶斯深度学习框架得到的不确定性对不完全监督学习进行研究。不完全监督学习包括半监督学习和主动学习,因此主要的研究内容有:(1)基于不确定性的深度半监督学习自训练是一种简单而有效的深度半监督学习方法,首先利用有标签数据训练模型,然后利用模型对无标签数据进行预测产生伪标签,最后选择高置信的伪标签数据加入训练集。其中,如何选择高置信的伪标签数据加入训练集是一个关键问题。不好的选择方法将导致深度学习模型在错误样本上进行训练或没有足够的数据进行训练。针对以上问题,本文提出基于不确定性的深度半监督学习伪标签数据选择方法。根据贝叶斯深度学习相关知识获得伪标签的不确定性并对其进行建模,利用最小平均风险准则选择出伪标签数据。实验结果表明,我们的方法获得了更高的分类精度。(2)基于预测不确定性的深度主动学习主动学习和深度学习结合时会遇到一些问题,其中包括主动学习采样方法大多依赖于不确定性,而一般的深度学习无法获得不确定性。针对这一问题,本文将主动学习和贝叶斯深度学习相结合,提出基于预测不确定性的深度主动学习采样方法,首先利用偶然不确定性和认知不确定性相结合的贝叶斯深度学习框架获得无标签数据的预测不确定性,然后将预测不确定性最大的样本交给专家标注后放入训练集,最后重新训练模型。为了验证提出方法的有效性,本文在高光谱数据集上进行了实验,将具有两种不确定性的主动学习采样方法与只包含认知不确定的主动学习采样方法进行了比较。实验结果表明,具有两种不确定性的采样方法优于只有认知不确定性的方法。