论文部分内容阅读
在计算机技术和互联网飞速发展的大背景下,神经网络是当前的一个比较热门研究领域.国内外高校和各大科技巨头企业,都投入越来越多的资源对神经网络进行研究,不断构建更高层数的网络以及研究更高效的训练方法.目前神经网络训练采用的方法主要是误差反向传播(Back Propagation,BP)算法.此外,粒子群优化(Particle Swarm Optimization,PSO)作为一种经典的群智能优化方法,被广泛应用于各个领域的优化问题,随着大数据时代的发展,优化问题逐渐从低维属性向着高维转变,使得优化问题日益复杂,传统方法难以取得符合需求的解.本文首先将高维数据相似性度量方法引入到高维PSO中的粒子间距离度量,并将改进PSO应用于卷积神经网络优化算法的设计,最后将其应用于交通标志识别,具体研究工作如下:(1)本文提出了一种改进的高维PSO算法.针对PSO在解决高维优化问题时,适用于低维优化问题的PSO算法容易出现早收敛、全局搜索能力差等问题,本文通过查阅文献和仿真实验验证了,粒子依据传统度量方法来传递迭代过程中的全局最优个体与历史最优个体信息,并不是非常有效.因此,本文基于高维数据相似性度量方法,重新定义了一种粒子间的距离范式,并嵌入到了PSO迭代过程中.针对CEC智能计算测试函数集算例,仿真实验结果表明改进PSO提高了粒子的迭代效果,并提升了在高维优化问题中的收敛速度和全局搜索能力.(2)通过研究分析卷积神经网络训练的权值参数优化问题,本文利用损失函数的梯度信息和通过PSO算法群体合作搜索原理,设计了结合改进PSO算法和BP算法框架下传统梯度下降的混合算法.混合算法以损失函数为目标函数,基于PSO算法原理,并结合卷积神经网络损失函数的梯度信息对目标函数进行优化.在保证增加计算量可接受的情况下,有效提升算法的收敛速度和全局搜索能力.(3)本文最后通过交通标志识别任务对算法性能进行实验分析.基于Python语言高效的PyTorch神经网络框架,本文构造了LeNet网络进行手写数字识别对提出的算法性能进行初步分析,基于AlexNet网络构造应用于交通标志识别的改进多层卷积神经网络。仿真实验比较了本文的改进算法和传统算法,结果表明了改进优化算法的有效性。