论文部分内容阅读
摘要：本文首先介绍了国内CG和VEGA两种网格平台的基本情况，然后根据安装和测试的情况对两个平台从作业执行的流程、数据管理、安全等方面做了分析和比较。我们发现，CG适合搭建校园网格，方便各种大型仪器、设备的共享。VEGA以P2P的方式实时更新资源信息，保证了全局资源视图的一致性。
关键词：网格；网格平台；作业流程；数据管理；安全
中图分类号：TP391文献标识码：A文章编号：1009-3044(2008)05-10ppp-0c
1引言
随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任一些超大规模应用问题的解决。这就需要将地理上分布、系统异构的多种计算资源通过高速网络连接起来，共同解决大型应用问题，即广域高性能的元计算技术(Metacomputing)[1]，也称为网格(Grid)[2]技术。
网格计算环境要求不影响各结点本地的管理和自主性，不改变原有的操作系统、网络协议和服务，保证用户和远程结点的安全性，允许远程结点选择加入或退出系统，尽量使用已存在的标准的技术，以便与已有的应用兼容，并能提供可靠的容错机制。一个理想的网格系统通过使用网格中间件平台，屏蔽底层硬件和软件信息，给用户提供完全透明的计算环境。
2 网格体系结构以及网格平台在其中的位置
网格的体系结构目前主要有两种形式：五层沙漏结构和开放网格服务结构。前者以协议为中心，强调服务与API和SDK的重要性；后者以服务为中心，方便灵活，因而应用更加广泛。构造开放网格服务结构的两个重要技术是：网格技术和Web Service。它对Web Service不支持临时服务的问题进行了扩展，定义了“网格服务”(Grid Service)的概念。在这种体系结构中，一切都被看成是网格服务，因此，网格就是可扩展的网格服务的集合[3]。
整个网格体系结构可以抽象成如下三层体系结构：
图2 Campus Grid校园网格平台结构图
（2）VEGA GOS 1.0
织女星网格研究工作是由中科院计算所设计并完成的。2004年3月，中科院发布了VEGA GOS 1.0版本。该软件包自下而上逻辑上分成三层，即底层的VEGA Device 层，提供对网格资源的支持；中间的VEGA Bus 层，提供对资源信息的管理功能；上层的VEGA VOE层，提供对用户使用环境的支持，包括基本的GOS API（类库）和网格批作业处理客户端（如图3）。
图3 VEGA GOS软件层次结构图
软件包中包括了这三层所有的软件，以便于用户安装使用。用户也可以按照自己的需求，单独安装和部署这三层软件。
4 分析和比较
如上所述，网格平台的主要作用就是屏蔽底层异构的软件和硬件信息，为用户提供一个统一的、方便应用部署和使用的平台。一个网格平台的基本功能是保证用户提交的作业可以正确的执行完毕。因此，作业管理是网格平台设计的重要组成部分。除此以外，网格平台还应该包括信息服务、数据管理、安全管理等方面内容。本文主要从这几个方面展开分析和比较。
（1）信息服务
在这两种网格平台中，信息服务的功能以CG较弱，VEGA GOS 1.0较强。
CG中的用户请求通过Web服务器提供的接口转后台模块进行解析、分配和调度。资源以主动注册/注销的方式加入整个系统，配套使用MySQL数据库记录各种资源信息，采用Ganglia监控节点CPU、内存等硬件信息。
VEGA GOS 1.0的信息服务采用了P2P的方式，使用了专门负责信息服务的功能模块——资源路由器。资源的组织以及信息的检索等功能都是由资源路由器完成的，包括：资源注册/注销、资源路由信息收集/更新等[6]。
（2）数据管理
目前，CG的数据管理功能非常简单，仅提供对数据进行处理的基本功能。数据管理主要是在客户端上为用户提供了一个存放用户提交作业信息的数据空间；采用Java语言提供的输入输出机制实现了文件的上传、下载。
VEGA GOS 1.0利用网格目录文件系统来实现对数据的逻辑组织。通过数据复制、文件层次结构命名的方法，网格目录文件系统把分散、异构、不可靠的数据进行集中管理，屏蔽数据的异构特性，并保证数据的可靠使用[6]。在这个1.0版本中，数据服务只包括数据上传和下载。
（3）作业管理
CG和VEGA GOS 1.0的作业管理是完成作业调度的功能。。
CG中的作业管理主要解决：如何将用户提交的新任务分配到后端的集群节点上，实现资源优化利用。CG通过两个步骤来实现这个目的：第一步，集群间的调度；第二步，集群内部的调度。CG目前只为应用提供MPI并行运算环境。
在VEGA GOS 1.0中，资源路由器将完成计算请求的路由和转发，并将计算请求传递给能够满足此请求的计算资源。用户的作业请求首先通过客户端提交给资源路由器。资源路由器将计算资源在本路由器的注册情况与用户请求进行匹配。
5 平台各自的特色
这两种网格平台，由于设计初衷不同，面向的应用不同，因而具有不同特色。
（1）CG的软件共享
整个CG系统由纯Java语言设计。它目前所能够提供的功能主要有两个：第一，运行MPI并行任务，用户可以通过编译好的可执行码或者未编译的MPI源程序两种形式提交MPI程序；第二，软件共享。
CG提供软件共享服务的目的是为了实现不同集群（单位，团体）之间软件的共享。通过软件主动向软件注册服务中心注册软件，CG可以统计可以使用的共享软件的清单。当其他用户想使用共享软件时，他们可以查询Web Portal，获取当前可用软件资源的列表，从而实现软件共享。在这一部分，CG利用了GT3的思想，将软件的发布功能封装为一个服务的形式而实现的。
（2）VEGA GOS 1.0的资源路由器
在整个VEGA平台中，信息服务主要是由资源路由器承担和完成的。这部分是VEGA GOS 1.0最有特色的部分，主要功能是：第一，对资源信息进行组织与管理；第二，对路由器进行管理（添加/删除/更新）。
路由信息更新策略如下所述：
资源路由器结点在加入网格时都需向其所有邻居路由器发送注册报文；
注册被批准后，结点间建立起一条逻辑上的双向链接，彼此成为邻居；
任何资源路由器结点在运行期间，会定时向其邻居路由器发送更新报文，报告所持有的资源信息；若某资源路由器在规定时间内，未发出任何更新报文，则由其邻居向该结点发送超时探测报文；若不能获得该结点的响应，则邻居路由器认为该结点故障；
任何资源路由器结点在正常退出网格时，应向其邻居路由器发送注销报文；在收到注销报文后，路由器将与消息源相关的信息从本地路由表中删除。
通过以上四点策略，VEGA GOS 1.0提供了一种较好的信息服务功能，使得所有路由器和节点的加入和退出都可以动态进行，路由器和节点之间互通信息并能及时更新，在每个路由器上保持全局资源的视图一致性。但也正是因为这个“优点”，它付出了明显的性能代价。为了保持全局的资源视图一致，每个路由器的资源信息需要定期向和它之间有直接连接的路由器进行更新和同步。当网格节点增加、网络环境复杂时，信息交换会更加频繁，从而导致CPU的使用率大幅度升高，网络带宽更加拥挤。
6 结束语
不同的网格平台有不同的应用背景。综合分析国内两种种网格平台，我们可以得出以下结论：
CG（2004年4月30日版）非常适合搭建校园网格，使得各种仪器、设备都能够得到合理使用。但其主要工作集中在Web Portal端，为用户提供了一个使用硬件资源和软件共享的界面；对集群节点的管理依赖OpenPBS；数据管理和安全机制非常弱；仅支持MPI作业。
VEGA GOS 1.0安装方便，使用手册简单。其资源路由器以P2P的方式实时更新，保证了全局资源视图的一致性，但为此付出了一定的性能代价。数据管理和安全机制在1.0版本功能中较弱。
网格平台的研究是网格性能分析中的一个重要组成部分。平台本身的实现过程和方法是多种多样的，本文中列举的两
个平台是我们安装、评测和分析过的两个知名的网格平台。相信随着网格研究的发展，在网格应用需求的推动下，会有越来越多的网格平台出现，它们的功能也会越来越强大，设计也会越来越合理。
参考文献：
[1]Smarr L and Catlett C. Communication of the ACM,1992(35):44.
[2]Foster I, Kesselman C. The Grid: Blueprint for a New Computing Infrastructure, Morgan Kaufmann Publishers,1998(5).
[3]都志辉, 陈愉, 刘鹏.网格计算[M].北京：清华大学出版社,2002(17).
[4]清华大学校园网格(Campus Grid).http://166.111.68.164:6000/CGrid/index.htm
[5]刘洁,郑丽萍,郭韦钰,等.中国织女星知识网格研究进展[J].计算机研究与发展,2003(l40):1672.
[6]徐志伟,李伟.织女星网格的体系结构研究[J].计算机研究与发展,2002(08):923.
收稿日期：2008-01-12
作者简介：潘芳（1979-），女，大学本科，助理工程师，华中师范大学毕业,在部队从事计算机管理、文件管理等工作。
关键词：网格；网格平台；作业流程；数据管理；安全
中图分类号：TP391文献标识码：A文章编号：1009-3044(2008)05-10ppp-0c
1引言
随着高性能应用需求的迅猛发展，单台高性能计算机已经不能胜任一些超大规模应用问题的解决。这就需要将地理上分布、系统异构的多种计算资源通过高速网络连接起来，共同解决大型应用问题，即广域高性能的元计算技术(Metacomputing)[1]，也称为网格(Grid)[2]技术。
网格计算环境要求不影响各结点本地的管理和自主性，不改变原有的操作系统、网络协议和服务，保证用户和远程结点的安全性，允许远程结点选择加入或退出系统，尽量使用已存在的标准的技术，以便与已有的应用兼容，并能提供可靠的容错机制。一个理想的网格系统通过使用网格中间件平台，屏蔽底层硬件和软件信息，给用户提供完全透明的计算环境。
2 网格体系结构以及网格平台在其中的位置
网格的体系结构目前主要有两种形式：五层沙漏结构和开放网格服务结构。前者以协议为中心，强调服务与API和SDK的重要性；后者以服务为中心，方便灵活，因而应用更加广泛。构造开放网格服务结构的两个重要技术是：网格技术和Web Service。它对Web Service不支持临时服务的问题进行了扩展，定义了“网格服务”(Grid Service)的概念。在这种体系结构中，一切都被看成是网格服务，因此，网格就是可扩展的网格服务的集合[3]。
整个网格体系结构可以抽象成如下三层体系结构：
图2 Campus Grid校园网格平台结构图
（2）VEGA GOS 1.0
织女星网格研究工作是由中科院计算所设计并完成的。2004年3月，中科院发布了VEGA GOS 1.0版本。该软件包自下而上逻辑上分成三层，即底层的VEGA Device 层，提供对网格资源的支持；中间的VEGA Bus 层，提供对资源信息的管理功能；上层的VEGA VOE层，提供对用户使用环境的支持，包括基本的GOS API（类库）和网格批作业处理客户端（如图3）。
图3 VEGA GOS软件层次结构图
软件包中包括了这三层所有的软件，以便于用户安装使用。用户也可以按照自己的需求，单独安装和部署这三层软件。
4 分析和比较
如上所述，网格平台的主要作用就是屏蔽底层异构的软件和硬件信息，为用户提供一个统一的、方便应用部署和使用的平台。一个网格平台的基本功能是保证用户提交的作业可以正确的执行完毕。因此，作业管理是网格平台设计的重要组成部分。除此以外，网格平台还应该包括信息服务、数据管理、安全管理等方面内容。本文主要从这几个方面展开分析和比较。
（1）信息服务
在这两种网格平台中，信息服务的功能以CG较弱，VEGA GOS 1.0较强。
CG中的用户请求通过Web服务器提供的接口转后台模块进行解析、分配和调度。资源以主动注册/注销的方式加入整个系统，配套使用MySQL数据库记录各种资源信息，采用Ganglia监控节点CPU、内存等硬件信息。
VEGA GOS 1.0的信息服务采用了P2P的方式，使用了专门负责信息服务的功能模块——资源路由器。资源的组织以及信息的检索等功能都是由资源路由器完成的，包括：资源注册/注销、资源路由信息收集/更新等[6]。
（2）数据管理
目前，CG的数据管理功能非常简单，仅提供对数据进行处理的基本功能。数据管理主要是在客户端上为用户提供了一个存放用户提交作业信息的数据空间；采用Java语言提供的输入输出机制实现了文件的上传、下载。
VEGA GOS 1.0利用网格目录文件系统来实现对数据的逻辑组织。通过数据复制、文件层次结构命名的方法，网格目录文件系统把分散、异构、不可靠的数据进行集中管理，屏蔽数据的异构特性，并保证数据的可靠使用[6]。在这个1.0版本中，数据服务只包括数据上传和下载。
（3）作业管理
CG和VEGA GOS 1.0的作业管理是完成作业调度的功能。。
CG中的作业管理主要解决：如何将用户提交的新任务分配到后端的集群节点上，实现资源优化利用。CG通过两个步骤来实现这个目的：第一步，集群间的调度；第二步，集群内部的调度。CG目前只为应用提供MPI并行运算环境。
在VEGA GOS 1.0中，资源路由器将完成计算请求的路由和转发，并将计算请求传递给能够满足此请求的计算资源。用户的作业请求首先通过客户端提交给资源路由器。资源路由器将计算资源在本路由器的注册情况与用户请求进行匹配。
5 平台各自的特色
这两种网格平台，由于设计初衷不同，面向的应用不同，因而具有不同特色。
（1）CG的软件共享
整个CG系统由纯Java语言设计。它目前所能够提供的功能主要有两个：第一，运行MPI并行任务，用户可以通过编译好的可执行码或者未编译的MPI源程序两种形式提交MPI程序；第二，软件共享。
CG提供软件共享服务的目的是为了实现不同集群（单位，团体）之间软件的共享。通过软件主动向软件注册服务中心注册软件，CG可以统计可以使用的共享软件的清单。当其他用户想使用共享软件时，他们可以查询Web Portal，获取当前可用软件资源的列表，从而实现软件共享。在这一部分，CG利用了GT3的思想，将软件的发布功能封装为一个服务的形式而实现的。
（2）VEGA GOS 1.0的资源路由器
在整个VEGA平台中，信息服务主要是由资源路由器承担和完成的。这部分是VEGA GOS 1.0最有特色的部分，主要功能是：第一，对资源信息进行组织与管理；第二，对路由器进行管理（添加/删除/更新）。
路由信息更新策略如下所述：
资源路由器结点在加入网格时都需向其所有邻居路由器发送注册报文；
注册被批准后，结点间建立起一条逻辑上的双向链接，彼此成为邻居；
任何资源路由器结点在运行期间，会定时向其邻居路由器发送更新报文，报告所持有的资源信息；若某资源路由器在规定时间内，未发出任何更新报文，则由其邻居向该结点发送超时探测报文；若不能获得该结点的响应，则邻居路由器认为该结点故障；
任何资源路由器结点在正常退出网格时，应向其邻居路由器发送注销报文；在收到注销报文后，路由器将与消息源相关的信息从本地路由表中删除。
通过以上四点策略，VEGA GOS 1.0提供了一种较好的信息服务功能，使得所有路由器和节点的加入和退出都可以动态进行，路由器和节点之间互通信息并能及时更新，在每个路由器上保持全局资源的视图一致性。但也正是因为这个“优点”，它付出了明显的性能代价。为了保持全局的资源视图一致，每个路由器的资源信息需要定期向和它之间有直接连接的路由器进行更新和同步。当网格节点增加、网络环境复杂时，信息交换会更加频繁，从而导致CPU的使用率大幅度升高，网络带宽更加拥挤。
6 结束语
不同的网格平台有不同的应用背景。综合分析国内两种种网格平台，我们可以得出以下结论：
CG（2004年4月30日版）非常适合搭建校园网格，使得各种仪器、设备都能够得到合理使用。但其主要工作集中在Web Portal端，为用户提供了一个使用硬件资源和软件共享的界面；对集群节点的管理依赖OpenPBS；数据管理和安全机制非常弱；仅支持MPI作业。
VEGA GOS 1.0安装方便，使用手册简单。其资源路由器以P2P的方式实时更新，保证了全局资源视图的一致性，但为此付出了一定的性能代价。数据管理和安全机制在1.0版本功能中较弱。
网格平台的研究是网格性能分析中的一个重要组成部分。平台本身的实现过程和方法是多种多样的，本文中列举的两
个平台是我们安装、评测和分析过的两个知名的网格平台。相信随着网格研究的发展，在网格应用需求的推动下，会有越来越多的网格平台出现，它们的功能也会越来越强大，设计也会越来越合理。
参考文献：
[1]Smarr L and Catlett C. Communication of the ACM,1992(35):44.
[2]Foster I, Kesselman C. The Grid: Blueprint for a New Computing Infrastructure, Morgan Kaufmann Publishers,1998(5).
[3]都志辉, 陈愉, 刘鹏.网格计算[M].北京：清华大学出版社,2002(17).
[4]清华大学校园网格(Campus Grid).http://166.111.68.164:6000/CGrid/index.htm
[5]刘洁,郑丽萍,郭韦钰,等.中国织女星知识网格研究进展[J].计算机研究与发展,2003(l40):1672.
[6]徐志伟,李伟.织女星网格的体系结构研究[J].计算机研究与发展,2002(08):923.
收稿日期：2008-01-12
作者简介：潘芳（1979-），女，大学本科，助理工程师，华中师范大学毕业,在部队从事计算机管理、文件管理等工作。