面向高性能计算机的海量数据处理平台实现与评测

来源 :2011年第17届全国信息存储技术大会(IST 2011) | 被引量 : 0次 | 上传用户:dairyboy126
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要。主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域。分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验。实验结果表明,存储系统的并行I/0能力不能充分发挥,是造成系统无法高效运行的主要瓶颈。而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突。最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向。
其他文献
目前市政污泥处理难度大,国内污泥干化焚烧起步较晚,在污泥干化焚烧领域缺乏工程实例,本文简述一种污泥集中干化焚烧工艺,主要工艺为浆叶式干燥机+流化床+高温换热器+余热锅炉+尾气处理设施;污泥运输车运来的污泥卸入污泥接受仓,然后通过柱塞泵将污泥打入污泥储仓。继续通过污泥泵将污泥打入干燥机和焚烧炉;污泥进入干燥机后,与机壳和轴中的170摄氏度的饱和蒸汽进行间接热交换,将污泥中的水分蒸发出来,含水百分之4
简要介绍了国内常用污泥处理处置技术,然后重点介绍了高浓度高效率厌氧消化处理技术(HHAR)的原理、组成、优势以及与传统厌氧消化技术的对比,并以大连夏家河污泥处理项目为例分析了高浓度高效率厌氧消化处理技术(HHAR)的环境效益,经济效益和社会效益。
随着我国城镇污水处理厂建设的推进,城市脱水污泥的处理处置问题越来越凸显出来。目前我国多数城市污水处理厂多采用浓缩、脱水后外运填埋或作农肥。城市污泥中的生物质能没得到充分利用,造成了资源、能源的浪费。污泥厌氧消化技术作为污泥处理处置的处理工艺。可以实现减量化、稳定化,无害化和资源化,可与多种工艺相结合,为现有污水厂污泥处理处置提供了很好的方向。
本文就污泥处理的处置系统性问题、责任主体问题以及资源化问题进行了阐述分析,从污水处理行业和政府方面提出了相应的调整措施。
重庆水务、桑德国际等龙头企业的上市和收购,让市场进入资本的快车道。随着政府战略性新兴产业规划的出台,水务也迎来产业发展新一轮春风。本文从企业水处理能力、业绩增长以及关注度等方面进行综合研究,作为水网年度盘点的依据。
环保产业是政策拉动型产业,其产业形态和产业规模很大程度上取决于政策的引导。经过多年发展,我国环保产业领域随着环保需求的逐渐深入,产业不断拓展,已经形成初具规模、门类基本齐全的产业体系。因此中国的环保产业急需尽快完成向环境服务业发展上的产业升级与转型,而完成这次升级与转型需要政府的有效引导。
以VAE型聚合物可再分散胶粉为添加剂的聚合物砂浆作为面层加固材料,采用砂浆喷射工艺,对砖砌体墙进行抗震加固。通过2个大尺寸试件的拟静力试验,研究该种新型材料提高砖墙抗震性能的效果。试验结果表明,采用该种喷射聚合物砂浆对墙体进行单面抗震加固,在水平循环加载条件下,可以明显提高墙体的承载力、变形能力和耗能能力,改善砖墙的脆性性质,是一种效果良好且便于施工的抗震加固方式。
近年来全球范围内特大地震频发,中国抗震规范也随之进行了修正,其中加强了性能化设计要求,而消能减震控制理论即是这个问题的核心内容之一。在一些地震频发国家鉴于金属软钢阻尼器因性能优越、耗能能力强、施工方便快捷等因素将其作为了主要消能减震手段。但国外产品价格昂贵,国内一般工程难以承受。为此,中国建筑科学研究院在已有经验基础上结合中国国情开发出了JY-SS型金属剪切型金属软钢阻尼器,经过大量试验研究及理论
随着虚拟人运动控制研究的逐步发展,人们对虚拟人运动的“类人性提出了更高的要求,有必要对虚拟人的下意识行为进行一定的研究。根据下意识行为智能体,对智能体进行参数设计,确立下意识行为生成方式:构建下意识行为单元,根据智能体“指令”选择对应的下意识行为,利用姿态样本库,依据特定任务约束,生成带优先级的逆向运动学(PIK)算法计算需要的初始姿态;参照初始姿态。利用PIK算法对所有任务约束按优先级顺序进行I
高速动车组列车是一种典型的复杂产品,可以通过协同仿真的方法对其设计,优化问题提供支持。开发了面向高速动车组列车的协同仿真平台。该平台包括自主开发的TH-RTI,针对不同仿真模型的适配器和支持仿真建模和运行的辅助工具集,TH-RTI按照IEEE1516标准开发,能够支持联邦成员之间的互操作,同时具有跨平台能力;适配器包括针对Fortran、Matlab 和Adams 模型的三种,能够支持仿真模型与T