集中式I/O技术研究及数据再分配算法优化

来源 :内蒙古大学 | 被引量 : 2次 | 上传用户:fanybul8899
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文对集中式I/O技术进行了研究,并在此基础上讨论了如何提高对非连续数据访问的性能。在许多并行应用中,每个进程需要访问在文件中存放位置不连续的小块数据。访问这种不连续的小块数据需要很多的I/O请求,这样势必会导致并行I/O性能的下降。因此I/O操作已经成为了影响并行应用程序效率的主要瓶颈。如何对数据进行组织、存储以及有效的访问数据成为了迫切需要研究的问题。本文在两阶段I/O的基础上,针对两阶段I/O中数据再分配算法,提出了一个全新改进方案:统计-执行式I/O技术(statistic-executive I/O)。该方案针对最常见的块数据分布和循环数据分布进行了I/O优化。我们将并行I/O分为两个阶段:统计阶段和执行阶段。在统计阶段,通信模式被计算出来,并且自动生成所需的数据类型。这些信息在执行阶段(执行通信和文件存取)被使用。这两个阶段是独立的,所以,对于重复的文件存取模式,统计阶段的计算可以执行一次,计算的结果被执行阶段多次重用。这种策略将统计阶段的开销分摊到了若干I/O操作中。在本文中,我们评估统计-执行式I/O技术的性能,并且与其他不同的集中式I/O技术进行比较。基于按块分配和按循环分配的策略,对两阶段I/O进行了优化,实验结果显示,本文的方法优于一般的两阶段I/O技术。
其他文献
本文从介绍入侵检测的基本概念入手,分析现有IDS模型与IDS产品中的常用入侵检测方法,发现这些方法均存在不足,使得IDS产品难以满足IDS所需要的实时性、适应性、准确性和自学习能
三维物体识别是计算机视觉重要分支之一。现有的三维物体识别技术主要是一个利用输入的场景图像数据得到场景特征的表达,再和数据库中存储的物体模型表达相匹配的过程,需要解
在互联网快速发展的推动下,人类生活的基本方式已经悄然发生改变。以往的物质交换方式、信息传播方式演变为新时代的“非主流”,互联网取而代之成为社会生活的必需品。新闻是
在无线通信与电子设备领域的新发展,促进了廉价、低耗、功能丰富的传感节点的发展,这样的传感节点体积小,可以在短距离内实现自由通信.这些微小的传感节点由感应、数据处理及通
随着多媒体的发展,网络音乐也日益增多。现在人们已经不满足于通过歌曲名、歌曲的演唱者等一些文本信息来检索。特别是对于那些种类繁多的音乐数据,人们也许只记得一个调子,
视频网格(Video Grid)基于CDN(Content Distribution Network)技术,集成了现有的各种多媒体技术,并将其封装为服务,通过网格门户给用户提供统一的视频点播界面。由于视频网格
传统的互联网体系结构目前在很多方面已不能适应网络应用的发展,网络体系结构的自治化(Autonomic)研究是当前网络体系结构研究的热点之一,自治网络是一种新型的网络结构,它具
随着芯片集成度的不断提高和用户对电子产品功能更高的需求,基于共享存储器的异构多处理器片上系统(Multi-Processor System on Chip)逐渐成为高端嵌入式应用市场的主流。对
军用通信网络的不断发展,使得传统的尽力而为型分组交换网已无法满足战术通信网的需求。而网络的发展瓶颈正是计算机网络的服务质量(QoS)保证机制所关注的问题。建立通信网的QoS
随着科学技术的发展,数据广播已经成为一种主流的通讯方式。在实际的广播环境中,广播带宽资源往往有限,因此,如何在保证查询任务实时性要求的前提下,减小广播带宽的开销,这是一个急