论文部分内容阅读
摘要：针对甘肃省前兆台网部分仪器不能并入“十五”前兆数据库的问题，提出一种兼备灵活性和扩展性的软件解决策略。基于此策略实现的数据转换软件，采用了动态编译机制，理论上可以实现对任意格式前兆数据并入“十五”数据库前的处理工作，具备较高的推广价值。实施中该软件将非“十五”标准数据转换为“十五”标准格式，顺利完成了非“十五”标准仪器的自动并网工作。
关键词：前兆台网；数据转换；非“十五”前兆数据；动态编译
中图分类号：P3156文献标识码：A文章编号：1000-0666（2013）03-0390-05
0引言
中国地震前兆台网作为我国目前规模最大的地震前兆监测台网，涉及多项学科，是国内地震前兆数据共享服务的主要数据来源（周克昌等，2009；杨满栋等，2000）。中国地震前兆数据管理系统实现了地震前兆数据的逐级自动采集、交换、汇集以及野外观测仪器的网络化控制，为前兆台网统一规范的运行、观测数据的整合与数据共享服务提供了可靠的技术支撑平台。
“十五”前兆数字地震观测网络工程项目和“九五”并网改造工程的建设及运行，使各省前兆台网的大多数数字地震监测仪器接入地震局行业网，大大简化了区域台网维护的复杂度，为观测数据的管理和科学共享提供了极大便利。然而，部分观测仪器不能并网接入“十五”前兆台网的现象依然普遍存在，并且随着地震前兆理论研究和探测方法的不断进步，多种结构各异、类型繁多的前兆数据将源源不断地产生，这都对“十五”前兆数据管理系统的适用性和稳定性提出了新的挑战。
本文介绍了一种新的数据转换的实施方案，旨在解决目前存在的部分前兆仪器不能并入“十五”前兆数据管理系统，以及该类仪器产出的数据无法自动入库的问题，并对该实施方案的运行情况及存在的问题进行了分析和展望。
1运行现状
“十五”前兆台网充分利用计算机通信技术，将前兆数据系统部署在网络上，通过基于web的采集管理软件和数据处理软件，实现了前兆数据的统一管理及数据资源的共享和开放。“十五”前兆台网信息系统的数据传控流程如图1所示（马文娟等，2010；黄晖，2008）。相对于早期的前兆系统，“十五”前兆数据网络通过以太网、采用基于TCP/IP协议的SOCKET连接的前兆台网专用设备与客户端进行数据信息交换（中国地震局，2005a，b），其传输模式有着明显的优势，它使观测数据的传输和管理更加高效、安全、便捷，这种模式是信息网络化的必然要求。图1“十五”数据传控流程图
Fig1The flow chart of data transmission and
control for“Tenth FiveYears”data甘肃省地震局前兆台网目前仍存在部分非“十五”标准（以下简称“非标”）仪器，其数据格式与数据传输等技术指标无法与“十五”前兆数据管理系统兼容，只能由人工完成数据转换及传输等工作，效率低且成本高，安全性和可靠性差。因此将非标数据自动纳入“十五”前兆数据管理系统已成当务之急。
1地震研究136卷第3期田野等：非“十五”前兆数据转换方案的研究与应用在不更改“十五”模式的运行流程且不影响前兆数据传输稳定性的前提下，较为合理的解决方案主要有两种：① 硬件策略。使用前兆仪器协议转换器等硬件设备完成，其功能在于将“十五”系统所发送的通信规程指令信息和其他通信信息进行双向解析，实现对非标数据的訪问、采集和仪器控制等功能。该方案需要在应用程序服务器端或前兆仪器端增加新的协议转换设备（王秀英等，2004；何案华等，2008）；② 软件策略。开发“十五”数据转换专用软件，在数据采集后和入库前，根据相关通信协议完成数据格式的标准化转换。该方案只需在应用程序服务器端部署数据转换软件即可（王军等，2008；崔慧敏等，2004）。
硬件策略存在实现和部署成本过高等缺点；而软件策略具有低成本、方便部署、灵活且易修改等优点。因此本工作采用软件策略完成非标数据并入“十五”前兆数据管理系统的任务。
2实施方案
非标数据在采集后，以文本文件的形式存储于原始数据服务器中，作为输入数据参与数据转换软件的处理；部署于应用程序服务器上的数据转换软件负责输出“十五”标准格式的数据文件，并将输出文件上传至“十五”前兆数据管理系统服务器中以备入库。整体处理过程如图2所示。图2非标准数据到标准数据的转换处理过程
Fig2Transform process from the nonstandard
data to the“Tenth FiveYears”standard one21数据同步
如图2所示，数据文件的传输涉及到3台服务器间的文件同步问题，分别是应用程序服务器与原始数据服务器间、“十五”管理系统服务器与应用程序服务器间的数据通讯。文件同步是数据转换软件获得即时输入文件、生成输出文件并及时入库的前提。
鉴于服务器的操作系统各异（原始数据服务器和应用程序服务器均为Windows，前兆数据管理系统服务器是Suse Linux），因此考虑使用Rsync作为服务器间文件同步的工具。Linux操作系统中自动集成了Rsync，而在Windows平台上则部署cwRsync软件来实现服务器之间的数据文件同步。
22转换流程设计
研究工作的主要环节为将非标数据格式转换为“十五”前兆数据管理系统兼容的标准数据格式，考虑到软件的灵活性和扩展性，数据转换软件应具备以下几个特征：
（1）数据转换软件的运行只与逻辑流程有关，和需要转换的数据及其格式无关；
（2）软件可以适应需要转换的数据类型的增加、删除、修改等变更操作；
（3）数据格式转换算法与软件的编译运行相互独立，算法不会影响软件运行的稳定性。 图3显示了转换软件在应用程序服务器中的工作流程，该工作流程以上述特征为设计前提，其中数据转换算法由用户根据原始数据和标准数据的格式设计，以函数的形式组织编写。数据转换软件具有编译数据转换算法和执行数据转换两个图3数据转换方案工作流程图
Fig3The working flow chart of data transformation scheme主要作用。前者将算法编译为程序可识别的入口文件备用；后者通过数据监听模块获知原始数据的接收状况，并通知数据分拣模块实时获得原始数据。程序根据原始数据的类型选择对应的算法程序入口文件，之后运行转换功能将其保存为标准格式的数据，最后通过数据上传模块将转换后的标准数据上传到“十五”前兆数据管理系统服务器以备其他程序使用。
考虑到文件传输的安全性，上述流程中的数据监听、数据分拣和数据上传模块均由数据文件同步完成。
23动态编译与执行
在具体实施中引入动态编译技术以实现转换流程所要求的3个特征。动态编译技术允许在程序运行时加入额外的编译信息以完成特定功能（崔慧敏等，2004），其优点在于减少了程序主体的体积，并且增强了程序的可扩展性；但另一方面，该技术也增加了程序框架的逻辑复杂度，使系统运行效能有所降低，并且对程序的內存管理提出较高要求。
程序框架采用Microsoft Visual Studio的Net Framework开发平台完成，Net在SystemCodeDomCompiler命名空间中封装了各种支持指定编程语言源代码的生成和编译管理的类与接口，这些类与接口提供了实现动态编译功能的方法。数据转换软件的动态编译与执行的运行框架如图4所示。程序在运行时，首先检测转换算法是否存在变更，如果存在变更，则利用编译模块将以文件形式存在的数据转换算法动态编译为动态链接库（dll）文件；之后程序的执行模块将dll文件加载到新开辟的应用程序域中，利用反射机制，远程调用dll图4动态编译与执行的运行框架
Fig4The operating framework of dynamic
compilation and execution文件提供的数据转换算法，输入原始数据完成数据转换工作，最后销毁新的应用程序域及其内存占用。这种设计有效改进了动态编译在运行效率和内存管理等方面的不足。
24技术实现
动态编译与执行的运行框架提供了程序中算法编译和数据转换模块的运行逻辑，其具体步骤如下：
（1）构建数据转换代码。获取所有数据转换算法的代码，生成包含完整命名空间以及转换算法类的代码文件。
（2）编译代码文件。Net的CSharpCodeProvider类提供动态编译功能，利用该类的CompileAssemblyFromSource方法编译第1步得到的代码文件，生成唯一的转换算法类的动态链接库，保存到程序指定目录。
（3）创建远程访问类和跨程序应用域调用的接口。新建继承于远程访问类MarshalByRefObject的子类RemoteInvoker，实现其创建远程访问程序应用域的功能；新建接口IRemoteInf，实现其跨应用程序域调用方法，用于执行指定的算法函数。
（4）开辟新的应用程序域。利用AppDomain类的CreateDomain方法生成一个新的可管理的应用程序域appDom，以下的步骤皆在此空间中运行。
（5）加载数据转换代码。利用应用程序域类AppDomain的方法CreateInstance的创建RemoteInvoker的一个实例，并加载转换算法的动态链接库。
（6）调用数据转换功能。利用第5步的实例，实现接口IRemoteInf调用函数的功能，完成数据转换。该步骤使用反射机制，从当前应用程序域远程调用appDom域中的相关功能。
在上述步骤中，第1、2步只在新建或者更新数据转换算法时执行；第3、4步的作用为在主程序应用域之外创建新的应用域空间，用于管理内存中动态执行的数据转换功能，并为主程序提供了跨程序域调用的方法；第5、6步在执行转换时将生成的动态链接库加载到内存中的指定应用程序域中，利用反射调用需要的转换方法。结合图3可以看出，转换算法是以类似于插件的形式参与到程序的运行中的，更新、增加算法只需要对动态链接库文件进行相关操作即可，无需改动程序，保证了算法和转换程序之间的独立性。
具体编码实现如下：
//创建编译参数实例，加载引用、设置动态链接库输出路径，arithmeticName代表算法名称
CSharpCodeProvider objCompPara=new CSharpCodeProvider（）；
objCompParaReferencedAssembliesAdd
（"Systemdll"）；
objCompParaOutputAssembly= "arithmetic
Namedll"；
//创建CSharpCodePrivoder对象cp，sourceCode为代码文件（实现步骤2）
CSharpCodeProvider cp=new CSharpCodeProvider（）；
cpCompileAssemblyFromSource（objCompPara，sourceCode）；
//创建应用程序域（实现步骤4），名称为DataTransformation
AppDomain appDom=AppDomainCreateDomain（"DataTransformation"，null，objSetup）；
关键词：前兆台网；数据转换；非“十五”前兆数据；动态编译
中图分类号：P3156文献标识码：A文章编号：1000-0666（2013）03-0390-05
0引言
中国地震前兆台网作为我国目前规模最大的地震前兆监测台网，涉及多项学科，是国内地震前兆数据共享服务的主要数据来源（周克昌等，2009；杨满栋等，2000）。中国地震前兆数据管理系统实现了地震前兆数据的逐级自动采集、交换、汇集以及野外观测仪器的网络化控制，为前兆台网统一规范的运行、观测数据的整合与数据共享服务提供了可靠的技术支撑平台。
“十五”前兆数字地震观测网络工程项目和“九五”并网改造工程的建设及运行，使各省前兆台网的大多数数字地震监测仪器接入地震局行业网，大大简化了区域台网维护的复杂度，为观测数据的管理和科学共享提供了极大便利。然而，部分观测仪器不能并网接入“十五”前兆台网的现象依然普遍存在，并且随着地震前兆理论研究和探测方法的不断进步，多种结构各异、类型繁多的前兆数据将源源不断地产生，这都对“十五”前兆数据管理系统的适用性和稳定性提出了新的挑战。
本文介绍了一种新的数据转换的实施方案，旨在解决目前存在的部分前兆仪器不能并入“十五”前兆数据管理系统，以及该类仪器产出的数据无法自动入库的问题，并对该实施方案的运行情况及存在的问题进行了分析和展望。
1运行现状
“十五”前兆台网充分利用计算机通信技术，将前兆数据系统部署在网络上，通过基于web的采集管理软件和数据处理软件，实现了前兆数据的统一管理及数据资源的共享和开放。“十五”前兆台网信息系统的数据传控流程如图1所示（马文娟等，2010；黄晖，2008）。相对于早期的前兆系统，“十五”前兆数据网络通过以太网、采用基于TCP/IP协议的SOCKET连接的前兆台网专用设备与客户端进行数据信息交换（中国地震局，2005a，b），其传输模式有着明显的优势，它使观测数据的传输和管理更加高效、安全、便捷，这种模式是信息网络化的必然要求。图1“十五”数据传控流程图
Fig1The flow chart of data transmission and
control for“Tenth FiveYears”data甘肃省地震局前兆台网目前仍存在部分非“十五”标准（以下简称“非标”）仪器，其数据格式与数据传输等技术指标无法与“十五”前兆数据管理系统兼容，只能由人工完成数据转换及传输等工作，效率低且成本高，安全性和可靠性差。因此将非标数据自动纳入“十五”前兆数据管理系统已成当务之急。
1地震研究136卷第3期田野等：非“十五”前兆数据转换方案的研究与应用在不更改“十五”模式的运行流程且不影响前兆数据传输稳定性的前提下，较为合理的解决方案主要有两种：① 硬件策略。使用前兆仪器协议转换器等硬件设备完成，其功能在于将“十五”系统所发送的通信规程指令信息和其他通信信息进行双向解析，实现对非标数据的訪问、采集和仪器控制等功能。该方案需要在应用程序服务器端或前兆仪器端增加新的协议转换设备（王秀英等，2004；何案华等，2008）；② 软件策略。开发“十五”数据转换专用软件，在数据采集后和入库前，根据相关通信协议完成数据格式的标准化转换。该方案只需在应用程序服务器端部署数据转换软件即可（王军等，2008；崔慧敏等，2004）。
硬件策略存在实现和部署成本过高等缺点；而软件策略具有低成本、方便部署、灵活且易修改等优点。因此本工作采用软件策略完成非标数据并入“十五”前兆数据管理系统的任务。
2实施方案
非标数据在采集后，以文本文件的形式存储于原始数据服务器中，作为输入数据参与数据转换软件的处理；部署于应用程序服务器上的数据转换软件负责输出“十五”标准格式的数据文件，并将输出文件上传至“十五”前兆数据管理系统服务器中以备入库。整体处理过程如图2所示。图2非标准数据到标准数据的转换处理过程
Fig2Transform process from the nonstandard
data to the“Tenth FiveYears”standard one21数据同步
如图2所示，数据文件的传输涉及到3台服务器间的文件同步问题，分别是应用程序服务器与原始数据服务器间、“十五”管理系统服务器与应用程序服务器间的数据通讯。文件同步是数据转换软件获得即时输入文件、生成输出文件并及时入库的前提。
鉴于服务器的操作系统各异（原始数据服务器和应用程序服务器均为Windows，前兆数据管理系统服务器是Suse Linux），因此考虑使用Rsync作为服务器间文件同步的工具。Linux操作系统中自动集成了Rsync，而在Windows平台上则部署cwRsync软件来实现服务器之间的数据文件同步。
22转换流程设计
研究工作的主要环节为将非标数据格式转换为“十五”前兆数据管理系统兼容的标准数据格式，考虑到软件的灵活性和扩展性，数据转换软件应具备以下几个特征：
（1）数据转换软件的运行只与逻辑流程有关，和需要转换的数据及其格式无关；
（2）软件可以适应需要转换的数据类型的增加、删除、修改等变更操作；
（3）数据格式转换算法与软件的编译运行相互独立，算法不会影响软件运行的稳定性。 图3显示了转换软件在应用程序服务器中的工作流程，该工作流程以上述特征为设计前提，其中数据转换算法由用户根据原始数据和标准数据的格式设计，以函数的形式组织编写。数据转换软件具有编译数据转换算法和执行数据转换两个图3数据转换方案工作流程图
Fig3The working flow chart of data transformation scheme主要作用。前者将算法编译为程序可识别的入口文件备用；后者通过数据监听模块获知原始数据的接收状况，并通知数据分拣模块实时获得原始数据。程序根据原始数据的类型选择对应的算法程序入口文件，之后运行转换功能将其保存为标准格式的数据，最后通过数据上传模块将转换后的标准数据上传到“十五”前兆数据管理系统服务器以备其他程序使用。
考虑到文件传输的安全性，上述流程中的数据监听、数据分拣和数据上传模块均由数据文件同步完成。
23动态编译与执行
在具体实施中引入动态编译技术以实现转换流程所要求的3个特征。动态编译技术允许在程序运行时加入额外的编译信息以完成特定功能（崔慧敏等，2004），其优点在于减少了程序主体的体积，并且增强了程序的可扩展性；但另一方面，该技术也增加了程序框架的逻辑复杂度，使系统运行效能有所降低，并且对程序的內存管理提出较高要求。
程序框架采用Microsoft Visual Studio的Net Framework开发平台完成，Net在SystemCodeDomCompiler命名空间中封装了各种支持指定编程语言源代码的生成和编译管理的类与接口，这些类与接口提供了实现动态编译功能的方法。数据转换软件的动态编译与执行的运行框架如图4所示。程序在运行时，首先检测转换算法是否存在变更，如果存在变更，则利用编译模块将以文件形式存在的数据转换算法动态编译为动态链接库（dll）文件；之后程序的执行模块将dll文件加载到新开辟的应用程序域中，利用反射机制，远程调用dll图4动态编译与执行的运行框架
Fig4The operating framework of dynamic
compilation and execution文件提供的数据转换算法，输入原始数据完成数据转换工作，最后销毁新的应用程序域及其内存占用。这种设计有效改进了动态编译在运行效率和内存管理等方面的不足。
24技术实现
动态编译与执行的运行框架提供了程序中算法编译和数据转换模块的运行逻辑，其具体步骤如下：
（1）构建数据转换代码。获取所有数据转换算法的代码，生成包含完整命名空间以及转换算法类的代码文件。
（2）编译代码文件。Net的CSharpCodeProvider类提供动态编译功能，利用该类的CompileAssemblyFromSource方法编译第1步得到的代码文件，生成唯一的转换算法类的动态链接库，保存到程序指定目录。
（3）创建远程访问类和跨程序应用域调用的接口。新建继承于远程访问类MarshalByRefObject的子类RemoteInvoker，实现其创建远程访问程序应用域的功能；新建接口IRemoteInf，实现其跨应用程序域调用方法，用于执行指定的算法函数。
（4）开辟新的应用程序域。利用AppDomain类的CreateDomain方法生成一个新的可管理的应用程序域appDom，以下的步骤皆在此空间中运行。
（5）加载数据转换代码。利用应用程序域类AppDomain的方法CreateInstance的创建RemoteInvoker的一个实例，并加载转换算法的动态链接库。
（6）调用数据转换功能。利用第5步的实例，实现接口IRemoteInf调用函数的功能，完成数据转换。该步骤使用反射机制，从当前应用程序域远程调用appDom域中的相关功能。
在上述步骤中，第1、2步只在新建或者更新数据转换算法时执行；第3、4步的作用为在主程序应用域之外创建新的应用域空间，用于管理内存中动态执行的数据转换功能，并为主程序提供了跨程序域调用的方法；第5、6步在执行转换时将生成的动态链接库加载到内存中的指定应用程序域中，利用反射调用需要的转换方法。结合图3可以看出，转换算法是以类似于插件的形式参与到程序的运行中的，更新、增加算法只需要对动态链接库文件进行相关操作即可，无需改动程序，保证了算法和转换程序之间的独立性。
具体编码实现如下：
//创建编译参数实例，加载引用、设置动态链接库输出路径，arithmeticName代表算法名称
CSharpCodeProvider objCompPara=new CSharpCodeProvider（）；
objCompParaReferencedAssembliesAdd
（"Systemdll"）；
objCompParaOutputAssembly= "arithmetic
Namedll"；
//创建CSharpCodePrivoder对象cp，sourceCode为代码文件（实现步骤2）
CSharpCodeProvider cp=new CSharpCodeProvider（）；
cpCompileAssemblyFromSource（objCompPara，sourceCode）；
//创建应用程序域（实现步骤4），名称为DataTransformation
AppDomain appDom=AppDomainCreateDomain（"DataTransformation"，null，objSetup）；