MapReduce与量子进化算法的研究及应用

来源 :浙江大学 | 被引量 : 0次 | 上传用户:Y290107881
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
21世纪是一个信息化的时代,信息以及数据快速增长,这对计算能力提出了更高的要求,云计算在此环境下应运而生,它带来了新的变革。云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算是分布式计算、网格计算和并行计算的进一步发展,提供了一种更为有效的并行模型,因此如何将现有的并行算法应用于云计算中成为研究的主要内容。编写云平台下的并行化程序不同于以往单机环境下的并行程序,以往的并行化实现主要是基于多线程,且局限于单机内。而云计算环境下的并行化注重多机间,甚至是机器集群间的并行化,而且云环境的搭建都是基于普通的计算机。它主要是将大任务划分为多个小任务,然后分配给计算机集群来执行的,这大大降低了成本。数据挖掘领域常常受到海量数据的困扰,如果将云计算引入数据挖掘领域,必然会带来一场新的变革。MapReduce模型是谷歌在2004年提出的,是其开发的在超大集群下进行海量数据计算的一种编程模式,主要被用来处理信息量大且需要在可接受时间内完成的任务。目前MapReduce模型已被用来解决数据挖掘与机器学习中的一些问题了。量子进化算法近年来也开始受到广大研究者的关注,量子进化算法具有天然的并行性,非常适合在大规模并行平台上实现,而云平台为量子进化算法并行性的实现奠定了物质基础。覆盖算法是由张铃教授提出的可以解决数据挖掘中分类问题的算法,它是一种构造性的神经网络学习算法,采用的是M-P神经元的几何意义。覆盖算法实质上是将求出的覆盖领域作为三层神经网络的隐含层,输入层看做测试集,输出层看做测试集的分类结果。目前覆盖算法已得到了广泛的推广。本文利用量子进化算法的天然并行性及云平台的优越性,在云平台上实现了量子进化算法,结果显示,在云平台下该算法可以达到更好的并行效率。为了进一步研究量子进化算法的性能,本文结合量子进化算法种群规模小,收敛速度快,全局寻优性能强等特点,将其用于覆盖算法,优化覆盖中心,采用适应度来评价解的优劣,提出了一种改进的量子优化覆盖算法,利用五组数据进行分析对比,表明本文提出的改进算法可以有效地提高分类的精度和效率。最后,利用MapReduce模型的并行平台实现了对淘宝网数据信息的处理和检索。
其他文献
三维全景技术作为虚拟现实技术的一个重要分支,以互联网技术和地理信息系统(GIS)为依托,凭借其逼真的视觉体验、丰富的地理信息、先进的人机交互功能和身临其境的“沉浸感”,
度量问题是机器学习的核心问题之一,本文主要针对多流形数据降维问题,引入Finsler度量提出了Finsler几何学习算法,其内容主要包括:(1)给出了基于Finsler度量的KNN算法,通过实验,验证
光流是计算机视觉中的重要研究领域,在运动分割、物体识别、目标跟踪、视频差值、三维重建等方面均有应用。光流估计问题是计算机视觉中一个经典和基础的问题。自从光流被提出
伴随着技术和文化的进步,人们访问信息的方式越来越便捷和多样化。为了满足人们对信息的不断需求,网络作为访问和传输信息的主要媒介在不断发展着。大量新的无线通信技术已经涌
电力负荷预测是进行电力系统发电规划的重要依。准确的负荷预测有利于提高电力系统运行的经济性和可靠性。电力系统负荷的大小与多种因素有关,未来负荷与所能利用的影响变量之间存在复杂的非线性关系。对中长期电力负荷进行预测可为电网规划提供重要依据。支持向量机是一种新的机器学习算法,对于一些诸如小样本、非线性、高维数和局部极小点等实际问题都可以较好的解决。与短期电力负荷数据比起来,中长期电力负荷数据具有小样本的
基于人体活动的智能计算是人工智能领域的一个重要研究方向,其目的是通过获取用户的状态和环境数据信息,为用户提供智能化应用服务。随着移动智能设备(如智能可穿戴设备)及其
关系学习是近年来数据挖掘和机器学习领域兴起的一种新方法,其学习任务是关系表示方式及其相关搜索机制,找出相应的学习规则。本文以动态模糊数学作为理论基础,针对数据的层次结
个性化需求是指用户要求自己使用的产品或者服务打上自己的烙印,让产品或服务体现自己独特的需求和个性。个性化意味着客户拥有更大的自由度和表达空间。个性化需求往往更能反
入侵检测技术是保证计算机网络安全的核心技术之一,通过收集各种网络数据,从中分析和发现可能的入侵攻击行为。为增强从海量数据中发现攻击行为的能力和提高入侵检测的智能性
学位