论文部分内容阅读
网格技术是推动互联网资源有效使用的重要环节，而基于网格技术的校园网格是学校用来实现校园整体IT资源共享、挖掘潜能，从而提高其研究能力的一个强有力的手段。本文论述了网格计算这种新型的分布式计算技术，并分析了网格技术与校园网相结合的重要意义，进而根据校园网格框架结构和建立原则，提出了一种新的校园网格集群系统结构模型，实现了资源共享，提高了资源利用率，从而促进学校信息化的发展。
校园网格可以使共享的资源合理分配，同时兼顾到各个部门对于资源的不同需求，并根据不同需求设立不同的优先级以利于管理、维护。同时，校园网格还可以为资源拥有者提供一种交易方法，即将目前闲置的资源贡献出去，以此换回将来自己在资源需求峰值时能够利用其他限制资源的权力。与此同时，校园网格的建立可以改变学校传统意义上对IT资源构建和管理上的分散模式，取而代之的是将主要投入集中在学校共享资源上，如可以共享的网络设备、计算中心、数据中心等等，这样将使学校对于各种资源的投资最大化，并使IT资源的管理更趋合理化。
一、校园网格概述
1.网格计算
网格计算是伴随着互联网而迅速发展起来的，是专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算机是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势：一是数据处理能力超强。二是能充分利用网上的闲置处理能力[1]。
实际上，网格计算是分布式计算（Distributed Computing）的一种，如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力[2]。
2.网格的基本要素
一个良好的网格系统需要一些最基本的功能部件来保证其正常运行。功能部件可以被用来满足特定的需求，根据网格应用的不同，功能部件也会不尽相同，但是作为网格的公共基础部分，有些功能部件是必不可少的。
（1）用户界面（Portal）
用户界面（Portal）是为那些专业用户使用网格资源，提交其需要执行的作业而设计的简单易用的工具。
（2）数据移动
数据移动的目的是解决作业在异地运行时的数据上传和结果数据下载的问题。数据的移动有如下几种情况。
独立方式：独立的数据传递方式，独立于作业的提交。例如随机文件的传递或一个预定的数据传递可通过特定的传输工具或数据网格。
分段传输：用手工上传方式将数据传递到集群。
传递计算的结果：将最终的运算结果传递给用户以及底层作业日志存储系统。
传递计算的中间结果：将作业处理过程的中间信息传递给用户，供用户根据这些信息调整作业处理进程。
（3）资源管理
资源管理的主要任务就是充当资源的供应方，并为那些需要资源的作业或任务分配资源。
（4）作业提交
最终用户需要一种方法来提交、定义它的作业以及作业的工作参数，比如数据的位置路径，计算资源组、触发机制、认证信息等等。
（5）作业监控
最终用户可以通过界面来监控、管理其作业。
（6）网格系统的管理
网格系统管理在于控制身份认证、授权，网格系统管理的真正目标是允许系统管理员异地控制和操作[3]。
3.校园网格的定义
校园网格是网格技术在校园中的一种应用，与其他的计算网格、信息网格不同，它的资源提供者是各部门的各类资源，包括集群、数据库、高性能计算机、个人PC机、存储设备等，而用户一般是学校的教职员工和学生，他们通过校园网格共享计算、信息、存储、教学等资源。
作为一个优良的校园网格需要满足以下条件：
（1）集中管理用户的身份认证和授权。
（2）支持异构计算机资源，对于不同的硬件、操作系统的支持。
（3）允许不同的最终用户对资源的不同需求。
（4）允许计算资源共享。
（5）校园网格能提供资源的整合能力，同时能够调配网格上的资源解决单个问题的需求。
（6）校园网格必须能为学校的IT建设、资源使用、系统资源瓶颈分析提供有力的数据。
（7）校园网格不应该是一个封闭的系统，它有能力和兄弟学校的网格系统互联、互通。
二、校园网格的设计原则
（1）与网格框架兼容。网格作为广域异构分布资源互联的基础设施，为上层提供了许多基础服务，校园网格的设计应基于网格框架，并与底层网格机制相兼容。
（2）一致的信息结构。用户以一致的方式访问资源的结构信息和状态信息。
（3）与底层实现机制无关性，包括资源的存储、访问方式等。系统可以定义一些界面或接口，以封装不同系统在资源存储、管理等方面的异构性。
（4）与应用策略无关性。应将与性能无关的一些重要功能的实现方式留给用户或是应用程序来选择，而不是由系统封装执行[4]。
三、校园网格集群系统结构模型
1.网格集群系统结构模型
根据前文提到的校园网格设计的一般原则，校园网格集群系统应包括三个部分：用户访问部分、作业调度和高性能计算部分、报表统计分析部分。如图1所示。
（1）用户访问部分应包括多种方式，用户可通过浏览器、命令行、集成后的应用程序访问高性能计算开放式平台和计算服务器的资源。根据用户不同的需要在多种访问方式中进行切换。
（2）作业调度和高性能计算部分应支持异构的分布式Unix/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率。
（3）报表统计分析部分，针对高性能计算部分的作业信息，报表统计部分应支持大型的数据分析和数据挖掘。网格使用过程中的资源使用信息、作业信息、记账信息存储到数据库中，数据分析系统根据这些信息提供出校园网格IT系统全面的负载和运行状况分析报表。利用这些报表，网格管理人员可以有效地针对系统性能，优化系统使用，优化项目或人员的管理，从而减少运营和IT基础建设的成本，并为下一步的投资提供决策依据，以实现投资回报的最大化。
2．校园网格集群系统解决的问题
（1）统一规划的提交与管理界面
通过提供Web门户的方式及应用软件的集成，为用户提供了统一的作业提交和管理界面。用户只需提交自己的作业任务即可，无需关心其任务去哪些计算机运行，这种方式大大降低了最终用户的使用软件的门槛。
（2）资源在集群层面的共享
整合整个校园的异构资源，包括异构的硬件资源（如CPU、内存等）和异构的软件资源（Windows，Linux，Solaris），屏蔽资源差异。汇集本地集群的计算资源，为大规模计算任务提供更多的资源。
（3）优先级控制
作业调度部分应提供多种调度方式，以保证用户使用上的优先级，使计算资源（CPU，内存等）根据用户的需要，进行合理的优化，使用户在项目管理中总能迅速地获得所需要的计算资源。
网格技术的目标是实现互联网上资源的全面共享与协同合作，为用户提供便捷、高效的计算服务，网格将会成为未来的计算模式。而校园网格的构建是网格普及化的关键一步。本文对网格技术在校园信息化建设中的应用进行了探讨和研究，提出了一种校园网格的框架结构。网格技术必将会大大促进校园信息化的发展。
参考文献
[1]都志辉,陈渝,刘鹏.网格计算[M].北京:清华大学出版社,2002.3.
[2]虎嵩林,熊锦华,李刚,韩燕波.服务网格中的业务端即时应用集成技术研究[J],计算机研究与发展,2003,40（12）:1700-1707.
[3]孙凝辉,刘淘英.支持网格的机群操作系统设计 [J],计算机研究与发展,2002，27(11):25-31.
校园网格可以使共享的资源合理分配，同时兼顾到各个部门对于资源的不同需求，并根据不同需求设立不同的优先级以利于管理、维护。同时，校园网格还可以为资源拥有者提供一种交易方法，即将目前闲置的资源贡献出去，以此换回将来自己在资源需求峰值时能够利用其他限制资源的权力。与此同时，校园网格的建立可以改变学校传统意义上对IT资源构建和管理上的分散模式，取而代之的是将主要投入集中在学校共享资源上，如可以共享的网络设备、计算中心、数据中心等等，这样将使学校对于各种资源的投资最大化，并使IT资源的管理更趋合理化。
一、校园网格概述
1.网格计算
网格计算是伴随着互联网而迅速发展起来的，是专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算机是由成千上万个“节点”组成的“一张网格”，所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势：一是数据处理能力超强。二是能充分利用网上的闲置处理能力[1]。
实际上，网格计算是分布式计算（Distributed Computing）的一种，如果我们说某项工作是分布式的，那么，参与这项工作的一定不只是一台计算机，而是一个计算机网络，显然这种“蚂蚁搬山”的方式将具有很强的数据处理能力[2]。
2.网格的基本要素
一个良好的网格系统需要一些最基本的功能部件来保证其正常运行。功能部件可以被用来满足特定的需求，根据网格应用的不同，功能部件也会不尽相同，但是作为网格的公共基础部分，有些功能部件是必不可少的。
（1）用户界面（Portal）
用户界面（Portal）是为那些专业用户使用网格资源，提交其需要执行的作业而设计的简单易用的工具。
（2）数据移动
数据移动的目的是解决作业在异地运行时的数据上传和结果数据下载的问题。数据的移动有如下几种情况。
独立方式：独立的数据传递方式，独立于作业的提交。例如随机文件的传递或一个预定的数据传递可通过特定的传输工具或数据网格。
分段传输：用手工上传方式将数据传递到集群。
传递计算的结果：将最终的运算结果传递给用户以及底层作业日志存储系统。
传递计算的中间结果：将作业处理过程的中间信息传递给用户，供用户根据这些信息调整作业处理进程。
（3）资源管理
资源管理的主要任务就是充当资源的供应方，并为那些需要资源的作业或任务分配资源。
（4）作业提交
最终用户需要一种方法来提交、定义它的作业以及作业的工作参数，比如数据的位置路径，计算资源组、触发机制、认证信息等等。
（5）作业监控
最终用户可以通过界面来监控、管理其作业。
（6）网格系统的管理
网格系统管理在于控制身份认证、授权，网格系统管理的真正目标是允许系统管理员异地控制和操作[3]。
3.校园网格的定义
校园网格是网格技术在校园中的一种应用，与其他的计算网格、信息网格不同，它的资源提供者是各部门的各类资源，包括集群、数据库、高性能计算机、个人PC机、存储设备等，而用户一般是学校的教职员工和学生，他们通过校园网格共享计算、信息、存储、教学等资源。
作为一个优良的校园网格需要满足以下条件：
（1）集中管理用户的身份认证和授权。
（2）支持异构计算机资源，对于不同的硬件、操作系统的支持。
（3）允许不同的最终用户对资源的不同需求。
（4）允许计算资源共享。
（5）校园网格能提供资源的整合能力，同时能够调配网格上的资源解决单个问题的需求。
（6）校园网格必须能为学校的IT建设、资源使用、系统资源瓶颈分析提供有力的数据。
（7）校园网格不应该是一个封闭的系统，它有能力和兄弟学校的网格系统互联、互通。
二、校园网格的设计原则
（1）与网格框架兼容。网格作为广域异构分布资源互联的基础设施，为上层提供了许多基础服务，校园网格的设计应基于网格框架，并与底层网格机制相兼容。
（2）一致的信息结构。用户以一致的方式访问资源的结构信息和状态信息。
（3）与底层实现机制无关性，包括资源的存储、访问方式等。系统可以定义一些界面或接口，以封装不同系统在资源存储、管理等方面的异构性。
（4）与应用策略无关性。应将与性能无关的一些重要功能的实现方式留给用户或是应用程序来选择，而不是由系统封装执行[4]。
三、校园网格集群系统结构模型
1.网格集群系统结构模型
根据前文提到的校园网格设计的一般原则，校园网格集群系统应包括三个部分：用户访问部分、作业调度和高性能计算部分、报表统计分析部分。如图1所示。
（1）用户访问部分应包括多种方式，用户可通过浏览器、命令行、集成后的应用程序访问高性能计算开放式平台和计算服务器的资源。根据用户不同的需要在多种访问方式中进行切换。
（2）作业调度和高性能计算部分应支持异构的分布式Unix/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率。
（3）报表统计分析部分，针对高性能计算部分的作业信息，报表统计部分应支持大型的数据分析和数据挖掘。网格使用过程中的资源使用信息、作业信息、记账信息存储到数据库中，数据分析系统根据这些信息提供出校园网格IT系统全面的负载和运行状况分析报表。利用这些报表，网格管理人员可以有效地针对系统性能，优化系统使用，优化项目或人员的管理，从而减少运营和IT基础建设的成本，并为下一步的投资提供决策依据，以实现投资回报的最大化。
2．校园网格集群系统解决的问题
（1）统一规划的提交与管理界面
通过提供Web门户的方式及应用软件的集成，为用户提供了统一的作业提交和管理界面。用户只需提交自己的作业任务即可，无需关心其任务去哪些计算机运行，这种方式大大降低了最终用户的使用软件的门槛。
（2）资源在集群层面的共享
整合整个校园的异构资源，包括异构的硬件资源（如CPU、内存等）和异构的软件资源（Windows，Linux，Solaris），屏蔽资源差异。汇集本地集群的计算资源，为大规模计算任务提供更多的资源。
（3）优先级控制
作业调度部分应提供多种调度方式，以保证用户使用上的优先级，使计算资源（CPU，内存等）根据用户的需要，进行合理的优化，使用户在项目管理中总能迅速地获得所需要的计算资源。
网格技术的目标是实现互联网上资源的全面共享与协同合作，为用户提供便捷、高效的计算服务，网格将会成为未来的计算模式。而校园网格的构建是网格普及化的关键一步。本文对网格技术在校园信息化建设中的应用进行了探讨和研究，提出了一种校园网格的框架结构。网格技术必将会大大促进校园信息化的发展。
参考文献
[1]都志辉,陈渝,刘鹏.网格计算[M].北京:清华大学出版社,2002.3.
[2]虎嵩林,熊锦华,李刚,韩燕波.服务网格中的业务端即时应用集成技术研究[J],计算机研究与发展,2003,40（12）:1700-1707.
[3]孙凝辉,刘淘英.支持网格的机群操作系统设计 [J],计算机研究与发展,2002，27(11):25-31.