论文部分内容阅读
近年来,深度学习在计算机视觉、语音理解、智能控制、生物医学、智能医疗诊断、智能驾驶等领域取得了突破性进展,正日益引起学者广泛关注。基于限制玻尔兹曼机的深度学习模型因其模型表达能力强、适合多种类型任务正成为研究热点。目前基于限制玻尔兹曼机的深度学习模型主要有深层置信网络、深层玻尔兹曼机两种模型。虽然二者互有优势,但是二者均存在提取低质量特征、特征选择性差、鲁棒性差的问题。其根源在于构建它们的子模块不具备高阶特征提取、特征选择、鲁棒性特征提取的能力,为此本课题对此展开深入的研究。同时,近年来智能医疗诊断兴起,阿茨海默症早期诊断已经成为迫切需求,虽然基于限制玻尔兹曼机的深度学习模型在医疗诊断中已经表现出巨大潜力,但在阿茨海默症早期诊断上仍然很大提升空间。因此研究表达能力更强的基于限制玻尔兹曼机的深度学习模型具有重要的理论意义和应用价值。
针对上述问题,本文重点解决基于限制玻尔兹曼机的深度学习模型在分析不同数据类型时的特征质量不高、特征选择性不强、鲁棒性特征不足的问题,同时尝试采用改进的模型去解决医疗诊断问题。论文的主要内容包括以下三个方面。
(1)针对深层置信网络在分析低分辨率且具有复杂背景或者噪声的图像时无法选择有用的原始特征以及无法提取高阶特征的问题,提出了一种基于改进的高阶玻尔兹曼机EHBM及其深层模型DBN-EHBM。改进模型通过使用逐点门控机制,将有用模式和无用模式分开,然后利用双隐藏层变量机制提取有用模式高阶特征。同时利用高阶特征进一步改善特征选择,提高逐点门控机制运行准确率,更好分离有用模式和无用模式。最后为了解决监督和半监督问题,进一步扩展EHBM,分别提出SEHBM和Semi-SEHBM。仿真结果表明,EHBM、DBN-EHBM以及其扩展模型在多个数据集上较好地实现特征选择和高阶特征提取。
(2)针对深层卷积置信网络在分析高分辨率且具有噪声的图像时无法提取高阶特征以及特征鲁棒性不足的问题,提出了一种收缩脉冲实值卷积玻尔兹曼机CssCRBM及其深层模型收缩脉冲实值深层卷积置信网络CssCDBN。改进模型通过双变量机制提取高阶特征,引入双变量最大池化技术提取高阶不变特征,然后利用收缩惩罚项提高特征的鲁棒性。实验结果表明CssCRBM及CssCDBN提取到了鲁棒性好的高阶特征。
(3)针对阿尔茨海默病早期诊断的问题,考虑到深层玻尔兹曼机在处理脑电频谱模糊数据集上的优势,提出了基于多任务框架下的判别式收缩脉冲实值深层卷积玻尔兹曼机DCssCDBM用于阿尔茨海默病早期诊断。首先提出DCssCDBM用来同时完成高阶特征提取和分类,使得提取特征更加具有判别性。同时为了避免模型陷入过拟合,引入身份认证和身份识别作为辅助任务,从而提高模型的识别性能。实验结果表明,所提算法取得了较好的诊断率。
针对上述问题,本文重点解决基于限制玻尔兹曼机的深度学习模型在分析不同数据类型时的特征质量不高、特征选择性不强、鲁棒性特征不足的问题,同时尝试采用改进的模型去解决医疗诊断问题。论文的主要内容包括以下三个方面。
(1)针对深层置信网络在分析低分辨率且具有复杂背景或者噪声的图像时无法选择有用的原始特征以及无法提取高阶特征的问题,提出了一种基于改进的高阶玻尔兹曼机EHBM及其深层模型DBN-EHBM。改进模型通过使用逐点门控机制,将有用模式和无用模式分开,然后利用双隐藏层变量机制提取有用模式高阶特征。同时利用高阶特征进一步改善特征选择,提高逐点门控机制运行准确率,更好分离有用模式和无用模式。最后为了解决监督和半监督问题,进一步扩展EHBM,分别提出SEHBM和Semi-SEHBM。仿真结果表明,EHBM、DBN-EHBM以及其扩展模型在多个数据集上较好地实现特征选择和高阶特征提取。
(2)针对深层卷积置信网络在分析高分辨率且具有噪声的图像时无法提取高阶特征以及特征鲁棒性不足的问题,提出了一种收缩脉冲实值卷积玻尔兹曼机CssCRBM及其深层模型收缩脉冲实值深层卷积置信网络CssCDBN。改进模型通过双变量机制提取高阶特征,引入双变量最大池化技术提取高阶不变特征,然后利用收缩惩罚项提高特征的鲁棒性。实验结果表明CssCRBM及CssCDBN提取到了鲁棒性好的高阶特征。
(3)针对阿尔茨海默病早期诊断的问题,考虑到深层玻尔兹曼机在处理脑电频谱模糊数据集上的优势,提出了基于多任务框架下的判别式收缩脉冲实值深层卷积玻尔兹曼机DCssCDBM用于阿尔茨海默病早期诊断。首先提出DCssCDBM用来同时完成高阶特征提取和分类,使得提取特征更加具有判别性。同时为了避免模型陷入过拟合,引入身份认证和身份识别作为辅助任务,从而提高模型的识别性能。实验结果表明,所提算法取得了较好的诊断率。