论文部分内容阅读
深度卷积神经网络(CNN)是受到猫的视觉皮层细胞研究的启发,在感受野(Receptive Field)概念的基础上提出的,因而被广泛应用于计算机视觉任务,如面部表情识别等。基于深度CNN对“摆拍式”表情的识别已经取得了很高的准确率,但对现实场景下的自发式表情识别效果却并不理想,主要原因是现实场景下的表情图像因为光照条件、拍摄设备等原因往往带有噪声。另一方面,基于深度CNN的表情识别过程具有较高的功耗,限制了其在移动端或嵌入式设备上进行自发式表情识别的应用。为此,本文研究了生物神经元的输出响应特性,对能够对Leaky Integrate and Fire(LIF)神经元模型的输出响应特性进行刻画的Noisy Softplus(NSP)激活函数进行了改进,提出INSP(Improved Noisy Softplus),以之为基础实现了一种具有抗噪性的深度残差网络;同时对基于深度CNN训练与转换的深度脉冲神经网络(SNN)的构建进行了研究,提出并实现了一种应用INSP对VGG-19进行训练与转换的低功耗深度SNN。本文的主要研究内容如下:具有噪声鲁棒性的深度残差网络研究。首先,针对NSP函数在训练深度CNN时,与LIF神经元响应特性之间的误差逐层递增的问题,引入一个尺度因子S,逐层对发放率进行调整,得到INSP函数。然后,基于深度CNN构建深度残差网络,对网络结构进行调整以减少计算复杂度。最后,将INSP作为激活函数应用于深度残差网络中,解决其在残差结构内外的不同实现问题,得到具有噪声鲁棒性的深度残差网络。基于深度卷积神经网络(CNN)训练与转换的低功耗深度SNN构建研究。首先,对CNN转换成SNN存在精度损失的原因进行了分析并给出了通用的解决方案。然后,提出并实现了应用INSP对裁剪后的VGG-19进行训练,构建对应深度SNN的方法,并与现有的应用ReLU进行训练与权重调整相结合的方法进行了对比。最后对所构建的深度SNN和VGG-19的功耗进行了估计。对提出的算法在自发式表情数据库上进行实验验证。首先针对自发式表情样本量过少的缺点,对样本数据进行增强,防止过拟合;然后根据提出的改进算法在自发式表情等数据库上进行了对比实验,从识别性能和抗噪性能两个方面验证了本文方法的可行性和先进性。