面向集合的MapPartition计算模型的研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:jrelt
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展和云计算技术的出现,越来越多的公司企业开始面对海量数据的处理。传统的集中式处理方式和分布式处理方式很难满足海量数据的计算需求,而云计算技术的发展则为大规模数据处理提供了很好的技术平台。然而,在云计算环境下的数据处理具有内在的高度并行性,并且是分布式的,这与传统的顺序程序存在巨大差异。如何为普通用户提供一个简洁而又功能强大的编程模型与接口,是当今云计算技术研究的重点。现有云计算环境下的计算模型往往对迭代式编程的支持不够,并通常要求用户实现特定的自定义函数,而用户对程序的逻辑缺少控制,不能像顺序程序一样简单的编写代码。本文针对以上问题,通过对现有计算模型的研究,设计出了面向集合的MapPartition计算模型(Set-oriented Map Partition Computational Model,SOMP)。该模型由一个Main函数和一些用户自定义的操作组成。在Main函数中,用户可以像顺序程序一样进行迭代式编程,然后通过模型提供的一些原语将自定义的一些操作作用在一些键值对集合上。通过操作的延迟执行和优化,SOMP模型能够很好的利用数据缓存提高计算效率。经过实际测试,该计算模型在处理迭代式数据计算时具有较高的效率。
其他文献
无线传感器网络现已经被广泛应用到各行各业,然而其也面临着各类的安全挑战。入侵检测系统是一种重要的安全手段,能够保护其免受攻击,但是其与传统的网络在组织结构等方面存在不
Web服务是一种支持互联网上设备之间进行交互的新型应用。将多个单一的功能有限的Web服务组合起来,可以灵活的实现更加强大的功能。随着Web服务数量的增多,如何在较短的时间内
TSC695是一款基于SPARC V7体系结构高可靠性、高性能的处理器,在工业控制、军工电子和空间应用等领域有着广泛的使用。但是针对TSC695的JTAG调试器非常有限。本文针对TSC695嵌
在自然界中,许多复杂和有趣的现象都能够被归为非线性现象。大脑的认知活动便是其中之一。用来解释非线性现象的理论称作非线性动力系统,也叫做混沌理论。人的大脑在物质上的
组播技术实现了网络中点到多点的高效数据传送,能够大量节约网络带宽,降低对网络设备系统资源的占用。组播技术的优点使得其在日益流行的流媒体业务中得到了广泛的应用,如IPTV业
Web服务组合是将Web上的多个功能单一、自治的、可共享的Web服务按照业务流程进行通信和协作,形成粒度更大、功能更强的复杂服务,以满足用户更高的目标需求。随着Web服务技术不
:随着无线网络技术的发展,无线传感器网络近年来引起了广泛的关注。该网络由大量具有有限感知能力和传输能力的节点组成。受节点自身能量的制约,如何能源有效的利用节点使得
随着英特网的迅速发展,我们接触到的电子文档越来越多,如何从海量的电子资源中找出我们所需的内容显得越来越重要。如果一篇文档提供有关键词,那么读者可以快速的判断出这篇
G(o)del语言是继Prolog之后出现的一种新型通用逻辑程序设计语言,它具有一个多态多类的类型系统、有灵活的计算规则和剪枝操作、支持模块化程序设计,因此相对与Prolog语言具
计算机技术中软硬件技术的快速发展促使用户对各类软件的功能和性能提出更高期望和要求,软件成本也随之不断升高。网络覆盖地域范围的扩大与网络接入设备的多样化使得软件相关