基于Spark计算框架的MOEA/D算法研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:chengyihan
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
实践证明,元启发式已经成为解决多目标问题(Multiobjective OptimizationProblems, MOPs)的有效手段。特别是进化算法的广泛使用,使得大量的优秀算法被设计出来,如NSGA-Ⅱ,SPEA2,PAES等等。多数多目标进化算法是基于帕累托占优的概念。然而在MOP领域,另一行之有效的策略是基于分解的方法。基于分解的多目标进化算法(Multi-Objective Evolutionary Algorithm based on Decomposition,MOEA/D)就是典型之一。通过分解,MOEA/D可以利用现有的单目标优化算法,使得单目标优化的优秀算法也能被充分利用。经过改进,MOEA/D获得了CEC2009多目标进化算法竞赛冠军,展示了它的优越性。  大数据时代的来临,对计算机的处理速度又提出了新的要求。为了针对海量数据提出的挑战,多核芯片、多CPU、分布式系统已经是当下的研究热点。其中Spark在新一代大数据处理平台中,得到最广泛的认可和支持。  Spark平台现在已经集成了机器学习领域的众多算法,但是在优化算法领域,特别是多目标进化算法还未集成。本文着重对MOEA/D进行研究,并提出其在Spark计算框架下的实现方案,通过对比实验,验证各种实现方案的优劣。在MOEA/D中,权向量是定义子问题的必要部件。本文针对权向量的设置,提供权向量分区的方案,并以此定义算法的分布式模式。对于分区方法,本文提出两种方法,一种是以相近的权向量作为一个分区,该方案能充分利用分区内的邻居信息,但是由于多样性不足,各个分区容易提前进入收敛;另一种方案是将相近的权向量分配到不同的分区,与前一方案相比,它能够提供更好的多样性,但是,邻居的信息质量不如方案一中的高。存分布式框架中的实验表明,在大多数测试函数中,方案二能得到较好的结果。在扩展性方面,本文将权向量划分为多个分区作为算法的扩展方式。实验表明,单纯依靠权向量的划分,算法的扩展性受到了限制,因为越多分区,每个分区得到的权向量以及邻居的质量越少,不能完全利用MOEA/D的优点。
其他文献
中医是生命科学具备中国特色的传统组成部分,在2500多年的实践中,中医在疾病诊疗和方药使用上具有特色和显著的临床功效,并包含着丰富的知识,几千年的医学实践积累了大量的数
嵌入式操作系统是嵌入式系统中极为重要的组成部分,它具有通用操作系统的基本特点,如能够有效管理越来越复杂的系统资源;能够把硬件虚拟化;能够提供库函数、驱动程序、工具集以
虚拟化技术在操作系统和硬件之间增加了虚拟化层,使得在一台计算机硬件上能运行多个操作系统,可以大幅提高了硬件利用率、降低成本和能耗。虚拟化技术在计算机研究领域获得了
嵌入式系统是将先进的计算机技术、半导体技术以及电子技术与实际应用环境相结合的产物,开发系统通常需要面向用户、面向产品、面向特定应用的。其技术密集、高度分散、不断
套管损坏一直是困扰油气井开发最严重的问题之一,给油田造成经济损失。鹰眼井下电视系统是一项较新的测井技术,目前已在油田投入使用,在油气井套损检测方面发挥着重要作用。
随着车载移动激光扫描技术的飞速发展,获取大场景、高密度、高精度的点云数据变得越来越便利。相比于由传统的光学传感器获取的二维图像数据,由激光雷达扫描仪获取的三维点云数
云计算作为一种新兴的IT服务模式,是当前研究的一个热点,它以服务访问的方式向用户按需提供可靠、廉价的计算资源。借助于虚拟化技术,云计算将云环境下规模庞大、结构复杂的
本文提出了打结不变的命题投影时序逻辑,介绍了基于该逻辑的模型检测方法,并采用该方法验证了无条件安全通信协议。命题投影时序逻辑(PPTL)可表达所有ω-正则式其表达能力强
随着现代科学技术的发展和社会交通量的日益增大,智能交通系统的重要性日益突出。而车牌自动识别系统(License Plate Recognition System)是智能交通系统中的重要组成部分,它
入侵检测作为一种主动防御技术,弥补了传统安全技术的不足。但由于入侵手段的复杂性和多样性,至今仍然没有找到入侵行为与网络连接信息数据特征之间的函数关系,机器学习正是