论文部分内容阅读
摘 要： 针对飞行试验数据处理的需求，在不间断网络服务的实现、试飞数据的安全存储以及自动化备份等三个方面讨论该数据处理系统的设计与应用，应用结果表明建立的系统有效地提高型号试飞数据处理的质量和效率。
关键词： 海量数据；自动化备份；SAN网络
中图分类号：V217+.21 文献标识码：A 文章编号：1671－7597（2011）0810094－02
0 引言
飞行试验是在真实飞行条件下进行科学研究和产品试验的过程。试飞工程师通过飞行试验获取被试航空产品的相关信息，并通过对信息的分析开展相关技术研究。地面数据系统是被试对象试验数据实现在线处理，从而达到试飞数据处理的系统化、标准化和自动化而建设的网络平台。随着飞行试验技术的发展，现代数据处理系统要求具备如下功能：
1）试飞数据在线处理，需要数据处理系统永不停机，以保证在线用户在任何时候都可以访问到系统中的数据；
2）海量数据在线存储，为海量试飞数据提供一个高安全的存储系统；
3）高效率的数据传输，能够同时允许多名数据工程师在线访问数据和进行数据处理，数据传输不会影响到网络的畅通。
该数据处理系统是一个具有高可用性、高扩展性、高安全性和易管理性的数据管理平台。
1 不间断网络服务的实现
在现代企业中，随着企业信息化的发展，企业的日常工作和决策对信息化技术的依赖将越来越强。网络宕机，特别是核心服务器的宕机越来越变的不可接受，网络宕机，特别是核心服务器宕机时间给企业带来的损失在规模越大的企业中越严重。而基于服务器群集服务的集群技术，可以为我们带来不停顿的高可用性网络服务，当主服务器因为故障而宕机时，备份服务器会立即顶替主服务器的工作，并接管其服务和所支持的用户，用户则几乎感觉不到网络的变化，其工作也几乎不会受到任何不好的影响。
为了实现在线数据处理的需求，为数据处理系统提供一个高稳定、可靠的高可用性安全系统，对两台应用服务器和两台数据库服务器采用群集技术。
服务器群集功能最早是为Microsoft Windows NT Server 4.0操作系统设计的，这一功能在Microsoft Windows Server 2003 Enterprise Edition和Windows Server 2003 Datacenter Edition操作系统中又得到重大改进。采用的操作系统为Microsoft Windows Server 2003企业版，并借助服务器群集功能将多台服务器连接在一起，从而为在该群集中运行的数据和程序提供高可用性和易管理性。服务器群集提供了以下三种主要的群集技术优点：
1）更高的可用性
允许服务器群集中的服务和应用在硬件或软件组件故障下或在计划维护期间仍能不间断地提供服务。如果一台服务器中的应用中断，群集节点会自动链接到群集中的另一台服务器，用户基本感受不到应用的中断。
2）更高的可扩展性
支持通过增加多个处理器（在Windows Server 2003 Enterprise Edition中最多可达8个，在Windows Server 2003 Datacenter Edition中最多可达32个）和额外内存（在企业版中，随机存取内存[RAM]最多可达8GB，在Windows Server 2003 Datacenter Edition中最多可达64GB）来扩展服务器。
3）更高的可管理性
允许管理员如同管理单台计算机那样管理整个群集内的设备和资源。
在该数据处理系统平台中，应用服务器和数据库服务器均采用群集技术中的双机热备模式，即两台服务器为一主一备，当主机发生故障时，备份机通过所建立的心跳路径检测到主机的故障，自动接替所有主机的资源（如IP地址、机器名及其他应用），并在本机上将继续读取数据，所有的接替工作都在备份机上自动完成而不再占用主机的任何资源。
采用双机热备技术后，能保证客户机不间断的对数据的访问，不需要人工进行干预，可以实现无人职守的自动切换.整个的切换时间只有几秒钟的时间，用户基本感受不到网络的中断，这样就可以保证数据的不间断访问，为用户提供一个高稳定的数据处理环境。如图1所示。
2 试飞数据安全存储与应用
海量试飞数据的存储、管理和面向多用户的及时共享、应用问题一直是困扰试飞数据处理的一大难题，随着数据量的剧增，这一问题尤为突出。无论是通过介质拷贝分发、网络分发或者网络共享，都难以解决试飞数据的严格管理、快速应用等问题。传统的数据存储通常是将磁盘阵列或磁带库等设备连接到局域网，因此大量的数据传输必须依赖于LAN的网络带宽，这将导致客户端用户的慢速响应。
为了提高数据处理的效率，降低网络拥堵的问题，在该平台建设中我们采用先进的SAN（Storage Area Network）网络作为数据存储网络，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数可以通过存储区域网络在服务器和后台存储设备之间告诉传输。目前常用的SAN结构根据协议和连接器的不同，主要分为FC SAN和IP SAN两种。
SAN架构有诸多有点：
1）利用SAN架构进行数据整合，多台服务器可以通过存储网络同时访问存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；
2）SAN能够实现数据集中，不同应用对应的服务器数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率；
3）SAN具有高扩展性，存储网络架构使得服务器可以方便地接入现有SAN环境，能够较好地适应应用变化的需求。
在该数据处理系统平台中，SAN存储系统由SAN交换机和存储阵列柜构成。为了满足数据库存储备份功能的可靠性和安全性要求，采用两台光纤交换机，将每台服务器分别和两个光纤交换机相连，两个交换机再分别和阵列柜相连。这样可以构成一个高性能、高安全、稳定的SAN架构系统。如图2所示。
采用磁盘阵列作为存储磁盘（28块146G的硬盘），在磁盘存储系统中用2块硬盘创建一个HOTSPARE（热备）盘，另外建2个逻辑RAID组，2个RAID组中各配置13个物理磁盘，分别配置RAID级别为RAID5， 为指定的服务器组提供磁盘共享。
采用冗余的磁盘阵列技术（redundant array of inexpensive disks，RAID），可以提供很好的数据安全保证。RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。RAID5采用一个硬盘作为校验盘，其余磁盘作为数据盘，数据按位或字节的方式交叉存取到各个数据盘中。数据校验的信息被均匀的分散到阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。如图3所示。RAID5的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可一个根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。
RAID5是目前兼顾存储性能、数据安全和存储成本等方面因素最佳的存储数据保护解决方案。
3 试飞数据的自动化备份
数据就是生命，数据丢失的损失是不可估量的，因此在对数据进行安全存储的同时，也要考虑到数据的灾难恢复。
目前主流的备份网络架构分为三种：基于直连的备份（direct-attached based backup），基于IP网络的备份（LAN based backups），基于SAN的备份（SAN based backup，通常被成为LAN free backup）。
飞行试验数据处理平台采用的是SAN架构的网络结构，因此采用基于SAN的备份，即LAN Free备份。在这种网络架构中，备份软件的客户端同时也是存储节点。备份数据集由客户端通过SAN网络写入到备份设备中，而控制信息和元数据从IP网络传输写入到备份服务器的日志中。在这种方案中，备份设备与客户端通过SAN网络进行连接，由客户端完成大量数据的备份。在恢复时，客户端先从备份服务器日中获得相关元数据，然后再从备份设备中读取已备份的数据，完成备份。
在飞行试验数据处理系统平台中，我们采用IBM 3584磁带库作为备份介质，磁带库和磁盘阵列都连接在SAN网络上各自作为独立的光纤节点。数据备份时，数据流直接从磁盘阵列传输到磁带库内，而无需占用LAN网络带宽。还能够充分发挥SAN高速数据流网络的技术特点，体现出高速磁带设备的性能。如图4所示。
4 结束语
飞行试验数据处理系统是为飞行试验数据处理系统软件搭建的数据处理平台。随着网络技术的发展，未来的飞行试验数据处理必然会走向在线处理模式，实现数据处理的系统化、标准化和自动化。该平台为飞行试验未来新型的数据处理模式提供了良好的硬件和网络环境，目前这套系统平台已经在多架飞机的在线数据处理应用中取得了良好的效果。
参考文献：
[1]王纪奎，成就存储专家之路-存储从入门到精通，北京：清华大学出版社，2009.
[2]孙功星、蒋文保、范勇，SAN存储区域网络，北京：机械工业出版社，2001.
[3]刘书香，建立基于SAN技术的存储网络，北京工业职业技术学院学报，2005.1：49-52.
作者简介：
刁学敏（1979-），女，汉族，河北衡水人，工程师，研究方向：飞行试验软件开发及数据处理。
关键词： 海量数据；自动化备份；SAN网络
中图分类号：V217+.21 文献标识码：A 文章编号：1671－7597（2011）0810094－02
0 引言
飞行试验是在真实飞行条件下进行科学研究和产品试验的过程。试飞工程师通过飞行试验获取被试航空产品的相关信息，并通过对信息的分析开展相关技术研究。地面数据系统是被试对象试验数据实现在线处理，从而达到试飞数据处理的系统化、标准化和自动化而建设的网络平台。随着飞行试验技术的发展，现代数据处理系统要求具备如下功能：
1）试飞数据在线处理，需要数据处理系统永不停机，以保证在线用户在任何时候都可以访问到系统中的数据；
2）海量数据在线存储，为海量试飞数据提供一个高安全的存储系统；
3）高效率的数据传输，能够同时允许多名数据工程师在线访问数据和进行数据处理，数据传输不会影响到网络的畅通。
该数据处理系统是一个具有高可用性、高扩展性、高安全性和易管理性的数据管理平台。
1 不间断网络服务的实现
在现代企业中，随着企业信息化的发展，企业的日常工作和决策对信息化技术的依赖将越来越强。网络宕机，特别是核心服务器的宕机越来越变的不可接受，网络宕机，特别是核心服务器宕机时间给企业带来的损失在规模越大的企业中越严重。而基于服务器群集服务的集群技术，可以为我们带来不停顿的高可用性网络服务，当主服务器因为故障而宕机时，备份服务器会立即顶替主服务器的工作，并接管其服务和所支持的用户，用户则几乎感觉不到网络的变化，其工作也几乎不会受到任何不好的影响。
为了实现在线数据处理的需求，为数据处理系统提供一个高稳定、可靠的高可用性安全系统，对两台应用服务器和两台数据库服务器采用群集技术。
服务器群集功能最早是为Microsoft Windows NT Server 4.0操作系统设计的，这一功能在Microsoft Windows Server 2003 Enterprise Edition和Windows Server 2003 Datacenter Edition操作系统中又得到重大改进。采用的操作系统为Microsoft Windows Server 2003企业版，并借助服务器群集功能将多台服务器连接在一起，从而为在该群集中运行的数据和程序提供高可用性和易管理性。服务器群集提供了以下三种主要的群集技术优点：
1）更高的可用性
允许服务器群集中的服务和应用在硬件或软件组件故障下或在计划维护期间仍能不间断地提供服务。如果一台服务器中的应用中断，群集节点会自动链接到群集中的另一台服务器，用户基本感受不到应用的中断。
2）更高的可扩展性
支持通过增加多个处理器（在Windows Server 2003 Enterprise Edition中最多可达8个，在Windows Server 2003 Datacenter Edition中最多可达32个）和额外内存（在企业版中，随机存取内存[RAM]最多可达8GB，在Windows Server 2003 Datacenter Edition中最多可达64GB）来扩展服务器。
3）更高的可管理性
允许管理员如同管理单台计算机那样管理整个群集内的设备和资源。
在该数据处理系统平台中，应用服务器和数据库服务器均采用群集技术中的双机热备模式，即两台服务器为一主一备，当主机发生故障时，备份机通过所建立的心跳路径检测到主机的故障，自动接替所有主机的资源（如IP地址、机器名及其他应用），并在本机上将继续读取数据，所有的接替工作都在备份机上自动完成而不再占用主机的任何资源。
采用双机热备技术后，能保证客户机不间断的对数据的访问，不需要人工进行干预，可以实现无人职守的自动切换.整个的切换时间只有几秒钟的时间，用户基本感受不到网络的中断，这样就可以保证数据的不间断访问，为用户提供一个高稳定的数据处理环境。如图1所示。
2 试飞数据安全存储与应用
海量试飞数据的存储、管理和面向多用户的及时共享、应用问题一直是困扰试飞数据处理的一大难题，随着数据量的剧增，这一问题尤为突出。无论是通过介质拷贝分发、网络分发或者网络共享，都难以解决试飞数据的严格管理、快速应用等问题。传统的数据存储通常是将磁盘阵列或磁带库等设备连接到局域网，因此大量的数据传输必须依赖于LAN的网络带宽，这将导致客户端用户的慢速响应。
为了提高数据处理的效率，降低网络拥堵的问题，在该平台建设中我们采用先进的SAN（Storage Area Network）网络作为数据存储网络，这个网络专用于主机和存储设备之间的访问。当有数据的存取需求时，数可以通过存储区域网络在服务器和后台存储设备之间告诉传输。目前常用的SAN结构根据协议和连接器的不同，主要分为FC SAN和IP SAN两种。
SAN架构有诸多有点：
1）利用SAN架构进行数据整合，多台服务器可以通过存储网络同时访问存储系统，不必为每台服务器单独购买存储设备，降低存储设备异构化程度，减轻维护工作量，降低维护费用；
2）SAN能够实现数据集中，不同应用对应的服务器数据实现了物理上的集中，空间调整和数据复制等工作可以在一台设备上完成，大大提高了存储资源利用率；
3）SAN具有高扩展性，存储网络架构使得服务器可以方便地接入现有SAN环境，能够较好地适应应用变化的需求。
在该数据处理系统平台中，SAN存储系统由SAN交换机和存储阵列柜构成。为了满足数据库存储备份功能的可靠性和安全性要求，采用两台光纤交换机，将每台服务器分别和两个光纤交换机相连，两个交换机再分别和阵列柜相连。这样可以构成一个高性能、高安全、稳定的SAN架构系统。如图2所示。
采用磁盘阵列作为存储磁盘（28块146G的硬盘），在磁盘存储系统中用2块硬盘创建一个HOTSPARE（热备）盘，另外建2个逻辑RAID组，2个RAID组中各配置13个物理磁盘，分别配置RAID级别为RAID5， 为指定的服务器组提供磁盘共享。
采用冗余的磁盘阵列技术（redundant array of inexpensive disks，RAID），可以提供很好的数据安全保证。RAID技术将一个个单独的磁盘以不同的组合方式形成一个逻辑硬盘，从而提高了磁盘读取的性能和数据的安全性。RAID5采用一个硬盘作为校验盘，其余磁盘作为数据盘，数据按位或字节的方式交叉存取到各个数据盘中。数据校验的信息被均匀的分散到阵列的各个磁盘上，这样就不存在并发写操作时的校验盘性能瓶颈。如图3所示。RAID5的磁盘上既有数据，也有数据校验信息，数据块和对应的校验信息会存储于不同的磁盘上，当一个数据盘损坏时，系统可一个根据同一带区的其他数据块和对应的校验信息来重构损坏的数据。
RAID5是目前兼顾存储性能、数据安全和存储成本等方面因素最佳的存储数据保护解决方案。
3 试飞数据的自动化备份
数据就是生命，数据丢失的损失是不可估量的，因此在对数据进行安全存储的同时，也要考虑到数据的灾难恢复。
目前主流的备份网络架构分为三种：基于直连的备份（direct-attached based backup），基于IP网络的备份（LAN based backups），基于SAN的备份（SAN based backup，通常被成为LAN free backup）。
飞行试验数据处理平台采用的是SAN架构的网络结构，因此采用基于SAN的备份，即LAN Free备份。在这种网络架构中，备份软件的客户端同时也是存储节点。备份数据集由客户端通过SAN网络写入到备份设备中，而控制信息和元数据从IP网络传输写入到备份服务器的日志中。在这种方案中，备份设备与客户端通过SAN网络进行连接，由客户端完成大量数据的备份。在恢复时，客户端先从备份服务器日中获得相关元数据，然后再从备份设备中读取已备份的数据，完成备份。
在飞行试验数据处理系统平台中，我们采用IBM 3584磁带库作为备份介质，磁带库和磁盘阵列都连接在SAN网络上各自作为独立的光纤节点。数据备份时，数据流直接从磁盘阵列传输到磁带库内，而无需占用LAN网络带宽。还能够充分发挥SAN高速数据流网络的技术特点，体现出高速磁带设备的性能。如图4所示。
4 结束语
飞行试验数据处理系统是为飞行试验数据处理系统软件搭建的数据处理平台。随着网络技术的发展，未来的飞行试验数据处理必然会走向在线处理模式，实现数据处理的系统化、标准化和自动化。该平台为飞行试验未来新型的数据处理模式提供了良好的硬件和网络环境，目前这套系统平台已经在多架飞机的在线数据处理应用中取得了良好的效果。
参考文献：
[1]王纪奎，成就存储专家之路-存储从入门到精通，北京：清华大学出版社，2009.
[2]孙功星、蒋文保、范勇，SAN存储区域网络，北京：机械工业出版社，2001.
[3]刘书香，建立基于SAN技术的存储网络，北京工业职业技术学院学报，2005.1：49-52.
作者简介：
刁学敏（1979-），女，汉族，河北衡水人，工程师，研究方向：飞行试验软件开发及数据处理。