Linux集群在石油行业的应用现状及发展趋势

来源 :硅谷 | 被引量 : 0次 | 上传用户:xiangwang111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要 因在性能价格比、可靠性、可扩展性、可管理性和应用支持性等方面的明显优势,Linux集群正成为石油行业的主要解决方案。介绍Linux集群的相关概念,论述石油行业选择Linux集群作为应用平台的综合因素,分析Linux集群在国内石油行业的应用现状,概括总结Linux集群应用的相关结论并预测其发展趋势。
  关键词 Linux集群 高性能计算 Pc Cluster 地震资料处理 油藏数值模拟 发展趋势
  中图分类号:TP3 文献标识码:A 文章编号:1671—7597(2009)0410115—02
  
  一、概述
  
  集群(Cluster)指利用高速通信网络将一组高性能工作站或高档Pc机连接起来形成松耦合的多处理机系统。对于用户来说,集群就是一个整体的并行计算系统,其主要通过消息传递方式实现各节点之间的通信。集群的研究是由美国国家航空和航天管理局于1994年上半年发起的。当初只有16个节点,主要用来进行地球、空间科学的研究,其目的是使用普通的、相对廉价的计算机构建能够处理繁重计算的集群。此后这种思想迅速被世界上许多研究机构认同和接受。其中Linux以其自由开放、经济和高效成为不可或缺的一种主要集群类型。
  所谓Linux集群,就是利用商品化的工业标准互联网络将各种普通Linux服务器连接起来,通过特定的方法向用户提供更高的系统计算性能、存储性能和I/O性能,并具备单一系统映像(SSI)特征的分布式存储多指令流多数据流(M1MD)并行计算机系统。Linux有多种集群系统可供选择,适合于不同的用途和需要。最常见的3种集群类型是高性能科学集群、负载均衡集群和高可用性集群。目前,集群式高性能计算系统是油田三维地震叠前深度偏移和油藏数值模拟的高性价比解决方案。
  
  二、Linux集群作为石油勘探开发平台的综合因素
  
  随着技术的发展和进步,石油公司需要处理的数据量呈指数级速度增长,用户对高性能计算的扩展性、稳定性以及先进技术的需求性日趋增高,地球物理勘探、油藏描述等长期大量使用高性能计算机的专业更是如此。石油行业选择Linux集群作为应用平台主要基于以下4个方面的原因。
  1 基于Linux平台的Pc Cluster更适于叠前偏移等密集型算法。随着油田勘探开发工作的不断深入,大量的地震资料叠前偏移处理任务需要花费越来越多的CPU时间,如果完全选择基于Unix的超级计算机系统则需要巨大投资。正是由于Pc集群高性能并行机的性能价格比优于基于Unix的并行机并且具有极强的可用性、可扩展性和可管理性,用它来完成密集算法将大大节省昂贵的CPU资源费用。
  2 数据处理面临Unix并行机老化且常规处理能力严重不足的实际问题。目前国内使用的Unix大型机已经很难解决数据处理过程中所面临的难度越来越大、处理周期越来越短、数据量越来越大和资料所在区地质构造越来越复杂等实际问题。如果进行升级,其高昂的投资成本却离用户的实际承受能力越来越远。而如果采用基于Linux平台的Pc Cluster,不仅能大大降低成本,而且性价比远远优于昂贵的大型计算系统。
  3 许多新的处理算法需要消耗更多宝贵的CPU资源。如地震数据处理中的模拟退火静校正(ARSCSA)、倾角时差校正(DMO)、地表一致性反褶积(SCD)、地表一致性振幅补偿(SCAC)、叠前时间/深度偏移(PSTM/PSDM)等都需要大量的CPU资源。目前的Unix并行机主频太低、内存太小,很难实现新的处理流程,而Pc Cluster正好适合于这种密集型的科学计算。
  4 基于Linux平台的高性能价格比Pc专业图形工作站、配备高性能图形卡、安装配置本地化交互软件与Pc Cluster一起构成了地震数据交互处理的有效解决方案。既可实现交互软件与服务器节点独立使用又可在本地PC工作站上直接运行应用程序,从而有效解决了在远程主机上运行应用软件导致交互速度响应慢的问题。
  
  三、Linux集群在石油行业的应用现状
  
  目前,Linux集群在石油行业的应用主要集中在地震资料处理和油藏数值模拟两大领域。因数据量大、计算量大、通信量大等专业特点,地震资料处理成为Linux集群发挥自身优势最主要的平台。
  
  (一)地震资料处理平台
  早些时候,辽河油田、新疆油田、青海油田等企业采用了IBMLCl300集群系统。2002年10月,中国石油东方地球物理公司涿州物探研究院将曙光4000L Linux/PC Cluster作为应用平台。2004年涿州物探研究院和新疆油田公司把由IBM eServer BladeCenter刀片服务器组成的Linux集群用于石油勘探地震资料处理的高性能计算,分别共194个节点和200多个节点。同年7月,东方地球物理公司研究院大港分院采用HP ProLiantBL20P G2刀片式服务器搭建的Linux集群地震资料处理系统正式投产。整个系统共133个节点、266个处理器,浮点计算能力达到1.4x1012次/s,能够提供更精准的地下构造及地下成像。
  2006年10月,国内最大规模的集群地震资料处理系统在大庆油田勘探开发研究院正式投入使用。该系统采用了刀片服务器集群架构,集成了692台惠普公司的第三代服务器产品HPBL20PG3、HPDL380G3和HPDL580G3服务器,选用了1432个英特尔至强处理器,浮点计算能力峰值超过9.8x1012次/s,位居中国刀片服务器集群系统榜首,是国内处理规模最大、系统配置最优、技术性能最好的地震资料处理系统。
  中国海洋石油东方数据处理中心和南海西部计算中心在2004年分别采用两套曙光4000L Linux/PC Cluster超级计算机构建了位于天津塘沽和广西湛江的两大地震数据处理系统:一个面向渤海,一个面向南海。2005年,中海油引进的Linux集群系统共81个节点,主要用于地震资料叠前深度偏移及时间偏移资料处理工作。
  2004年,中石化的一个大型勘探开发集群项目采用了IBM Lc1350集群系统,规模是452个节点。在中石化北京勘探开发研究院、胜利物探研究院、江汉物探分院、西南物探分院4个不同地域搭建了一个大型的刀片集群系统。
  中石化胜利油田物探研究院早在2001年就开始使用Linux集群进行地震资料处理。目前,该院拥有Rebel、IBM LCl350、IBM eServer BladeCenter、RackSaver、Verari、IBM BladeCenter HS21、曙光天潮集群等多套Linux集群系统。2007~6月,物探研究院完成处理系统第三次升级,整个系统微机集群节点达到2000个,处理系统由过去的IBM sP并行机为主升级为具有国际先进水平的Pc Cluster计算机集群为主:系统浮点运算速度由1998年的340x108次/S、2002年的ixl012次/s、2004年的近5x1012次/s到目前50x1012次 /s的理论计算能力:配备有Omega、GeoCluster、Views、GeoDepth等世界先进的地震资料处理软件,能够进行三维常规连片、叠前偏移成像、多波多分量、迭前属性等处理工作,其技术水平同步于国际先进水平。
  
  (二)油藏数值模拟的主要解决方案
  油藏数值模拟在空间上可以描述油田全貌,在时间上可以重现油田开发历史、评价开发效果并预测油田未来的开发动态,实现对油田开发过程的仿真模拟。它对于研究剩余油分布、促进我国相当部分已进入高含水后期老油田的高产/稳产具有重要意义。随着油田开发的深入,油藏数值模拟对硬件系统的性能需求越来越高:开发后期的油藏剩余油分布和压力分布等越来越复杂,模拟这种复杂的油藏需要把以前的模型网格尺寸成倍缩小,网格数也呈数量级增加,这就要求计算机有足够大的内存和足够快的处理速度。而这些正是Linux集群的优势所在。
  2006年6月,大庆油田选用60片IBM BIadeCenter JS20:U片服务器搭建的高性能Linux集群应用于油藏数值模拟系统项目。JS20对运行于Linux并基于AltiVec技术优化的高性能计算工作负载来说是十分理想的。该油藏数值模拟系统能够在很小的物理空间内部署强大的计算力,可大大提高汕藏数值模拟结果的生成速度,改善油藏的勘测能力。
  2006年10月,国内最先进、全国石油系统性能第一的数值模拟微机集群系统在胜利油田地质科学研究院投产,标志着胜利油田油藏数值模拟中心初步建成,开发计算机手段达到国内领先水平。该集群系统共137个节点,274个英特尔安腾处理器,系统双精度浮点峰值达1.7536x1012次/s,实际峰值达1.33x1012次/s。它使常规水驱模拟模型规模扩大到百万级,实现了整体建模、整体模拟和大规模并行化数值模拟。它使热采及三采模型规模由井组、小区块扩大到全油藏。它提高了动态模型的可靠性和描述精度-实现了整装大油藏多指标拟合的单井化,实现了整装大油藏老区调整历史拟合的精细化。
  
  (三)拓展的Linux集群应用领域
  伴随基于Linux集群技术的应用软件的推陈出新,Linux集群在石油勘探开发过程中的盆地模拟、三维可视化解释等领域的应用得到了进一步开拓和丰富。盆地模拟是从盆地沉积、动力、物理化学机理出发,将油气的生成、运移、聚集合为一体,在建立地质模型的基础上建立数学模型,并形成一维至三维的计算机软件,从而在时空概念下计算机定量地模拟沉积盆地的形成和演化过程,主要用于勘探开发初期、油气资源评价和发现新油田等阶段。而Linux集群完全符合盆地模拟所需庞大数据量和计算量的要求。
  2005年9月,大庆油田勘探研究院与法国斯伦贝谢公司共同承建的亚太地区首个微机集群三维可视化勘探平台正式在大庆建成投入使用。该平台首次采用8个CPU的Linux微机集群做后台,运行斯伦贝谢公司的GigaViz三维可视化综合解释集群软件,能够快捷地使用多学科资料、提取多种信息、实时交互解释,能够快速发现复杂地质目标和隐蔽的油气藏。主要用于地震处理解释、成果验收评审、井位部署和技术培训。
  
  四、Linux集群的应用结论及发展趋势
  
  根据Linux集群在石油行业的应用情况,综合对比分析实际应用效果,总结出以下应用结论: (1)Pc Cluster在地震数据常规处理和深度域处理中已得到成功应用; (2)高性能Pc Cluster并行机很适合密集型运算,可以为解决复杂区地震成像问题提供有效的计算环境; (3)相同运算能力下,Cluster的投资仅需Unix并行机的1/10左右,而速度却能提高3倍以上: (4)Pc Cluster与应用软件的有效集成是实现地震数据并行处理成功应用的关键: (5)主频的提高、CPU数的增加与驻机时间减少的关系不是线性的。
  纵观Linux集群技术的现状及其在各领域的应用情况,Linux集群呈现出5大发展趋势。
  1 基于刀片式服务器的集群架构成为主流。刀片式服务器产品在多核、低功耗技术的推动下已完成从最初一味追求高计算密度发展到强调整体综合性能和高生产力。由此预期刀片式服务器将以其高服务密度、敏捷式部署维护、全方位监控管理融合、高可扩展性、高可用性全面取代传统的基于机架式服务器的Linux集群体系架构。
  2 集群标准化进程日趋深入完善。标准化是行业应用成熟化的标志。曙光公司把泛高性能计算时代下的集群技术总结出10大标准:(1)远程/异地操作控制技术; (2)一体化监控技术; (3)智能机柜技术:(4)异构平台整合技术: (5)复杂集群简易管理技术; (6)集群安全管理技术; (7)集群负载均衡技术; (8)集群快速部署技术; (9)集群并行吞吐技术: (i0)行业定制优化技术。这些标准为Linux集群技术及应用推广普及打下了非常好的基础。
  3 虚拟计算技术在集群应用中向更深层次发展。伴随Microsoft Virtual Server、 VMware Workstation、Xensource Xen、 Intel Vanderpool、AMD Pacifica等部件级及系统级虚拟技术的兴起,预期基于应用级集群虚拟计算技术不仅将带来更高的集群部件利用率,同时也会带来支持应用动态迁移、故障自动隔离、系统自动重构的高可靠集群应用环境,以及更为简洁、统一的Linux集群管理模式。
  4 集群可信计算环境构造技术浮出水面。随着基于商业计算及信息化应用对集群架构的普及推动,预期基于内外网隔离、统一身份认汪、访问控制、分布式入侵检测、流量分析、应用层及传输层加密传输协议、主动防护等技术将催生全新的集群应用可信计算环境构造技术框架,从而打造从物理层到应用层全方位的、多层次的、立体的集群应用安全环境。
  5 细分专用导向。近年来,曙光公司相继推出了面向不同行业的专用Linux集群产品。预期今后Linux集群的发展将继续以满足行业细分应用为导向、以高生产力为驱动、以行业应用软件整合为契机,将出现更多行业专用的Linux集群。
  
  五、结束语
  
  综上所述,Linux集群已经在石油行业得到了广泛应用,分布于盆地模拟、地震资料处理、全三维可视化解释、油藏数值模拟等石油勘探开发各个阶段。采用Linux构建的高性能集群系统可以在短时间内帮助石油公司完成海量的复杂地震数据处理、解释和油藏模拟应用;提高生产效率和开采成功率,降低发现成本,实现深度计算可视化;适时对设备/油藏数据进行收集、整理及分析以提高操作决策的智能化。此外,对于医药、生命科学、基因解析、天气分析等有密集运算需求的企业和研究机构来说,Linux集群系统也是最佳选择。可以相信,无论是现在还是将来,Linux集群都会在石油及其他行业中发挥更大的作用。
其他文献
摘要 通过对捕食搜索策略限制的调节,来实现粒子群算法搜索空间的增大或减小,从而达到探索能力和开发能力的平衡,使粒子群算法求得更好的最优解。并用c++语言编程实现并将其应用于实例,证明该算法的有效性和可行性。  关键词 配送 车辆路径问题 粒子群算法 捕食搜索策略
期刊
摘要 介绍RFlD技术特点,分析RFID技术在重要场所安全管理应用上的可行性和必要性,结合重要场所安全管理的工作需要给出系统功能结构圈,并对系统的工作流程进行阐述。  关键词 RFID技术 安全管理 阅读器 电子标签
期刊
摘要 通过对北疆河流洪水类型的介绍和目前北疆地区中小河流域治理现状及存在的主要问题,说明治理的必要性并提出相应的治理措施。  关键词 北疆地区 中小河流 治理措施  中图分类号:X3 文献标识码:A 文章编号:T671—7597(2009)0410072—01
期刊
摘要 云南雨汪第二发电厂汽轮发电机静子由于受吊装条件的限制,钢丝绳不能用传统方法缠绕吊攀,通过钢丝绳的两种缠绕方法的计算分析,介绍法兰式吊攀受力计算方法,为法兰式吊攀设备在吊装方面的受力分析提供参考。  关键词 发电机 钢丝绳 吊攀 螺钉 接合面 受力 分析
期刊
摘要 高速公路修建中的隐性质量缺陷,如路基交验后迂雨产生的强度衰变,基层摊铺中的离析条带,中面层偏低的热稳性能,层间结合的局部污染等,工程交验时不会显露,缺陷责任期内可能也不会显露,但在有限使用年限后,车辙坑槽等病害影响仍会提前呈现。  关键词 施工质量控制
期刊
摘要 简要分析当前国内GIS应用软件的开发方式,以组件式GIS平台ArcGIS Arcobjects二次开发的延河流域水土保持效益评价系统为例,详述该系统中地理数据加载的实现过程、方法。  关键词 ArcObjects 地理数据 集成二次开发  中图分类号:TP3 文献标识码:A 文章编号:1671—7597(2009)0410067—01
期刊
摘要 ASP.NET语言的特性、在动态页面中服务器、客户端与数据库的相关连接方法及其实现过程。适合应用于Access、sqL server,以及其他相关数据库的SQL访问,是建立动态网站的有力工具。  关键词 ASP.NET 数据库 动态 SQL
期刊
摘要 采用从简单到复杂的方法,深入浅出地进行基于RBAc(角色的访问控制方法)的权限管理的设计,同时对角色的访问控制方法上进一步扩展和延伸,对实际应用系统中不能很好解决数据权限的管理的问题提出很好地解决方法,可以同时解决功能权限和数据权限管理问题,以满足多层次组织、大型复杂的业务系统中权限管理方面的集中控制和授权。  关键词 操作权限 数据权限 权限访问控制 E—R图
期刊
摘要 在原有网络测控技术上引入CAN现场总线和OPC技术,对柴油机进行网络测控,对CAN现场总线技术和OPC技术进行了简单介绍,并与柴油机系统连接成一个网测系统。  关键词 网络测控 CAN OPC 柴油机
期刊
x  摘要 电子商务投资具有投资不可逆性和较高的不确定性等特点,电子商务投资的不确定性因素形成了投资的机会价值。传统的电子商务投资挟策方法存在对折现率的选取困难、现金流量预测不准以及不能反映管理的灵活性等缺陷,因而它忽视了电子商务投资的期权价值,常常低估电子商务投资项目的真实价值,从而导致错误的决策。将实物期权理论在电子商务投资决策中的模型分析作为研究的课题,运用实物期权理论与方法,研究电子商务投
期刊