论文部分内容阅读
一、 遗传算法优化神经网络的基本原理
用遗传算法优化神经网络体现了遗传算法和神经网络结合的思想,遗传算法是基于达尔文进化论的思想,模拟生物进化过程的计算方法。同样,神经网络也是模拟生物大脑神经网络机制的计算模型,所以遗传算法的研究与神经网络的研究有若干共同点。
遗传算法和神经网络的不同点主要体现为:神经网络进行的是个体的学习,而遗传算法进行的是个体群的学习;从搜索方法看,神经网络基本上是一个局部搜索方法,每次在解空间的当前解的近邻来搜索下一个解,遗传算法总体上是一个全局搜索方法,其次在解空间设定一群体解,并经过选择淘汰,交叉和变异的方法来决定下一批搜索点。
显然,遗传算法和神经网络各有所长,两者取长补短,相互结合可以形成更优化的搜索算法,日前,国内外正在这方面展开积极的研究。
二、GA-BP模型求解算法
(一)GA-BP模型结构
(二)GA-BP算法描述:
1、编码方式
在初始编码中,采用实数进行编码。按照[WHI,WHO,BH,BO]的先后顺序进行编码,其中WHI为输入层至隐层权值向量,WHO为隐层至输出层权值向量,BH为隐层阈值向量,BO为输出层阈值向量。设定每一代染色体编码长度为2、解码方式
根据编码顺序反向分解得到最优解,并将得到权值阈值作为初始解带入神经网络.
3、选择操作指导
4、交叉操作指导
即在选择的两个染色体随机设定两个断点,交叉交换对应断点间的基因。没有进行交叉操作的个体进行直接复制。
5、变异操作指导
(Chromosome)随机选择基因位,随机产生一个[0,1]的随机数替换原染色体对应基因位上的基因;将新个体插入到下一代种群中Pi+1,并重新计算新个体的评价函数。
算法步骤如下:
Step 1:初始化种群和染色体;
Step 2:如果已达到最大迭代次数MaxIters,或在迭代过程中最优值连续不提高的次数达到Stag_times,迭代停止;否则转步骤3。
Step 3:根据网络样本输出与实际输出,计算适应值。
Step 5:按照BP算法计算输入层和中间层、中间层和输出层的权值阈值调整值。新计算新的神经网络权值阈值。根据新的权值阈值和样本数据,重新计算E。
Step 7:根据选择概率、交叉概率以及变异概率,进行复制、交叉、变异操作。根据遗传算法产生的网络权重作为神经网络模型下一次训练的初始权重值,返回到步骤2。
Step 8:训练结束,输出满足训练精度的神经网络权值阈值。
三、仿真实验
(一)数据与参数
鉴于黄金价格的波动和以下国际宏观经济指标密切相关,将美元指数、道琼斯指数、nymex原油指数、CRB指数选入神经网络的输入数据,输出数据为下一周的伦敦金价收盘价,从而形成GA-BP神经网络预测模型。
选取2005年1月2日至2008年6月8日的伦敦金价周收盘价及国际宏观经济指标,共180周的周数据作为训练学习数据。选取2008年6月15日至2009年4月26日的相应数据作为测试数据。
GA-BP算法初始染色体设置如下:从输入层至隐层的权值为0.5,隐层至输出层的权值为0.75;隐层和输出层的阈神经网络参数设置如下:隐层节点范围[3,13];最大迭代次数(Max Epochs)=500;训练误差(Setting Performance)=0.01。
(二)结果与分析
采用Matlab语言在PC Pentium4/CPU3.0GHz/RAM1.0G上编程实现上述GA-BP算法。为了测试算法的有效性,将针对伦敦金价的预测与传统BP算法预测效率及结果进行比较。
实验1: GA-BP算法与传统神经网络模型对网络优化比较
(1) 将本章所采用的GA-BP算法与传统BP算法、RBF算法进行比较结果(略)。GA-BP算法与传统的BP算法,在迭代次数还是预测精度上均优于后者;与 RBF算法相比,GA-BP的计算时间比RBF长,但是预测精度上要优于后者。
(2) GA-BP算法与其他神经网络算法相比,在训练ANN网络过时迭代次数上少,但是算法整体计算时间较长。这是因为GA收敛是依靠类似于穷举法的启发式搜索,再加之网络结构的复杂性,要运算的数据相当大。GA-BP算法的权值与阈值的个数为:5×9+5+5×1+1=56,50个种群就是56×50=280,对这些数进行编码、解码、交叉、变异等遗传操作,这样进行一代遗传操作相比BP算法的正、反向的一步操作,要处理的数据就相当大,因而不可避免会出现搜索时间长的问题。
实验2:GA-BP算法对伦敦黄金价格预测结果
(1) 利用GA-BP算法对2008年6月15日至2009年4月26日的伦敦金价周收盘价格作预测,GA算法经过大约120代的搜索后染色体的平均适应度趋于稳定。
(2) 在预测稳定性方面,本章采用的GA-BP预测误差能够控制在10%以内,其稳定性要优于RBF,与RBF预测结果相比,GA -BP滚动预测伦敦黄金周收盘价格与实际值走势一致。
(刘澄,1967年生,辽宁辽阳人,北京科技大学经济管理学院教授。研究方向:金融、世界经济。张均东,1972年生,山东青岛人,北京科技大学经济管理学院博士生。研究方向:金融、贵金属价格。孙彬,1983年生,山东济南人,北京科技大学经济管理学院博士生。研究方向:金融、神经网络、数据建模)
用遗传算法优化神经网络体现了遗传算法和神经网络结合的思想,遗传算法是基于达尔文进化论的思想,模拟生物进化过程的计算方法。同样,神经网络也是模拟生物大脑神经网络机制的计算模型,所以遗传算法的研究与神经网络的研究有若干共同点。
遗传算法和神经网络的不同点主要体现为:神经网络进行的是个体的学习,而遗传算法进行的是个体群的学习;从搜索方法看,神经网络基本上是一个局部搜索方法,每次在解空间的当前解的近邻来搜索下一个解,遗传算法总体上是一个全局搜索方法,其次在解空间设定一群体解,并经过选择淘汰,交叉和变异的方法来决定下一批搜索点。
显然,遗传算法和神经网络各有所长,两者取长补短,相互结合可以形成更优化的搜索算法,日前,国内外正在这方面展开积极的研究。
二、GA-BP模型求解算法
(一)GA-BP模型结构
(二)GA-BP算法描述:
1、编码方式
在初始编码中,采用实数进行编码。按照[WHI,WHO,BH,BO]的先后顺序进行编码,其中WHI为输入层至隐层权值向量,WHO为隐层至输出层权值向量,BH为隐层阈值向量,BO为输出层阈值向量。设定每一代染色体编码长度为2、解码方式
根据编码顺序反向分解得到最优解,并将得到权值阈值作为初始解带入神经网络.
3、选择操作指导
4、交叉操作指导
即在选择的两个染色体随机设定两个断点,交叉交换对应断点间的基因。没有进行交叉操作的个体进行直接复制。
5、变异操作指导
(Chromosome)随机选择基因位,随机产生一个[0,1]的随机数替换原染色体对应基因位上的基因;将新个体插入到下一代种群中Pi+1,并重新计算新个体的评价函数。
算法步骤如下:
Step 1:初始化种群和染色体;
Step 2:如果已达到最大迭代次数MaxIters,或在迭代过程中最优值连续不提高的次数达到Stag_times,迭代停止;否则转步骤3。
Step 3:根据网络样本输出与实际输出,计算适应值。
Step 5:按照BP算法计算输入层和中间层、中间层和输出层的权值阈值调整值。新计算新的神经网络权值阈值。根据新的权值阈值和样本数据,重新计算E。
Step 7:根据选择概率、交叉概率以及变异概率,进行复制、交叉、变异操作。根据遗传算法产生的网络权重作为神经网络模型下一次训练的初始权重值,返回到步骤2。
Step 8:训练结束,输出满足训练精度的神经网络权值阈值。
三、仿真实验
(一)数据与参数
鉴于黄金价格的波动和以下国际宏观经济指标密切相关,将美元指数、道琼斯指数、nymex原油指数、CRB指数选入神经网络的输入数据,输出数据为下一周的伦敦金价收盘价,从而形成GA-BP神经网络预测模型。
选取2005年1月2日至2008年6月8日的伦敦金价周收盘价及国际宏观经济指标,共180周的周数据作为训练学习数据。选取2008年6月15日至2009年4月26日的相应数据作为测试数据。
GA-BP算法初始染色体设置如下:从输入层至隐层的权值为0.5,隐层至输出层的权值为0.75;隐层和输出层的阈神经网络参数设置如下:隐层节点范围[3,13];最大迭代次数(Max Epochs)=500;训练误差(Setting Performance)=0.01。
(二)结果与分析
采用Matlab语言在PC Pentium4/CPU3.0GHz/RAM1.0G上编程实现上述GA-BP算法。为了测试算法的有效性,将针对伦敦金价的预测与传统BP算法预测效率及结果进行比较。
实验1: GA-BP算法与传统神经网络模型对网络优化比较
(1) 将本章所采用的GA-BP算法与传统BP算法、RBF算法进行比较结果(略)。GA-BP算法与传统的BP算法,在迭代次数还是预测精度上均优于后者;与 RBF算法相比,GA-BP的计算时间比RBF长,但是预测精度上要优于后者。
(2) GA-BP算法与其他神经网络算法相比,在训练ANN网络过时迭代次数上少,但是算法整体计算时间较长。这是因为GA收敛是依靠类似于穷举法的启发式搜索,再加之网络结构的复杂性,要运算的数据相当大。GA-BP算法的权值与阈值的个数为:5×9+5+5×1+1=56,50个种群就是56×50=280,对这些数进行编码、解码、交叉、变异等遗传操作,这样进行一代遗传操作相比BP算法的正、反向的一步操作,要处理的数据就相当大,因而不可避免会出现搜索时间长的问题。
实验2:GA-BP算法对伦敦黄金价格预测结果
(1) 利用GA-BP算法对2008年6月15日至2009年4月26日的伦敦金价周收盘价格作预测,GA算法经过大约120代的搜索后染色体的平均适应度趋于稳定。
(2) 在预测稳定性方面,本章采用的GA-BP预测误差能够控制在10%以内,其稳定性要优于RBF,与RBF预测结果相比,GA -BP滚动预测伦敦黄金周收盘价格与实际值走势一致。
(刘澄,1967年生,辽宁辽阳人,北京科技大学经济管理学院教授。研究方向:金融、世界经济。张均东,1972年生,山东青岛人,北京科技大学经济管理学院博士生。研究方向:金融、贵金属价格。孙彬,1983年生,山东济南人,北京科技大学经济管理学院博士生。研究方向:金融、神经网络、数据建模)