面向Storm的数据流编程模型与优化方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:zhangzhubin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布式计算框架利用廉价PC构建多核集群解决了大规模并行计算问题,但是在分布式计算框架上编程需要考虑程序子任务间的负载均衡和通信同步开销,编程难度大。数据流编程模型作为面向特定领域的编程模型,它将程序的计算与通信分离,暴露了应用程序潜在的并行性并简化了编程难度。但由于分布式架构下的多核集群含有层次性存储结构和处理单元,这为数据流程序的性能提出了新的挑战,并且数据流程序在分布式架构下的可编程性也为数据流编译器提出了更高的要求。针对数据流程序在分布式架构下所面临的问题,设计并实现了数据流编程模型和分布式计算框架的结合——在COStream的基础上提出了面向Storm的编译优化框架。面向Storm的编译优化方法包括二个步骤:面向Storm的层次性任务划分与调度,以及面向Storm的层次性软件流水与代码生成。层次性任务划分利用Storm的任务调度机制将程序所有子任务分配到Storm集群节点内的多核上,根据划分目标平台的不同可分为集群节点间的任务划分和节点内多核间的任务划分。层次性软件流水与代码生成利用多核集群节点间的并行性以及节点内多核间的并行性,将子任务构造成集群节点间的软件流水和节点内多核间的软件流水,并生成相应的目标代码。实验以多核集群为目标平台,在集群上搭建Storm分布式架构,选取数字媒体处理领域典型程序作为测试程序,对面向Storm的编译优化后的程序进行实验分析。实验结果表明了结合方法的有效性。
其他文献
数字水印技术作为一种信息隐藏手段,其基本思想是在图像、音频和视频等数字产品中嵌入秘密信息,以便保护数字产品的版权。目前,数字水印技术已经逐步发展,并广泛地应用于图像
本文在综合分析XML安全现有成果的基础上,将具有我们自主知识产权的排列码加密算法应用到XML安全领域。本文详细介绍了排列码加密算法原理,用Java语言实现了分组长度为8比特
隐蔽通道指操作系统和网络环境中客观存在的,且本意不是被设计用于传输信息的通信信道。隐蔽通道可被恶意攻击者利用,实现隐蔽的数据传输,危害系统安全。在智能手机操作系统A
随着多媒体数字信号处理应用领域的迅速发展,对计算机处理能力的要求越来越高。可重构处理系统将微处理器的灵活性和ASICs的高效性结合起来,通过配置可重构处理单元以满足不
分布式拒绝服务(Distributed Denial of Service,DDoS)攻击已经成为当今网络上广泛传播的问题。这种攻击行为使网站服务器充斥大量要求回复的信息,消耗网络带宽和系统资源,导致
信息资源的曰益膨胀使得数据管理问题逐渐成为研究焦点。当前越来越多的数据库应用依赖于多个独立的数据源,对于给定的约束,这些数据源分别是一致的,但集成时就可能是不一致的。
由于获取图像的手段不同,图像中总存在许许多多的噪声,在图像预处理中如何使图像的噪声降到最低,最大化的获取图像中的有用信息,一直是图像处理中的研究热点。目前图像噪声的滤除
近些年来,越来越多的企业提供了外包加密数据共享服务,但该应用所面临的数据安全问题依然没能很好的解决,代理重加密方案已经成为了核心解决思路之一。为了适应灵活多变的云
本文主要论述了怎样在计算机上通过程序的控制来模拟电话的呼叫处理的过程。由C++面向对象的程序语言编写应用程序,定义好该程序所需要使用的资源。当执行时,从GRM(资源管理
当前,高校图书馆数据管理系统各自为政。随着网络技术的发展,XML 的应用越来越广泛,它已经成为 Internet 上数据表示和交换的新标准,同时也被认为是用来定义半结构化数据最有效的