基于敏捷搭建技术的水利业务应用系统架构研究

来源 :人民长江 | 被引量 : 0次 | 上传用户:kmj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:针对当前水利专业应用系统的一体化耦合程度高、功能模块复用性低、业务范围扩展困难、开发耗时较长的问题,提出了基于敏捷搭建技术的业务应用系统架构。从配置化搭建、系统平台服务、模型微服务框架3个方面重点阐述了如何解耦系统,并用组态化、流程化的设计思路实现业务应用系统灵活搭建的关键技术。研究成果为不同专业方向、不同区域范围的水利业务应用提供了快速建设系统的思路。该成果在多个区域水利业务应用系统的建设中得到了实践,验证了其高效性、灵活性和扩展性,具有良好的实用推广价值。
  关 键 词:
  水利业务应用; 敏捷搭建技术; 系统架构; 配置化; 流程化; 微服务
  中图法分类号: TP391
  文献标志码: A
  DOI:10.16232/j.cnki.1001-4179.2021.06.037
  中国是一个水旱灾害频繁发生的国家。水工程防灾联合调度是水旱灾害防御工作的一个重要环节。在过去的几十年里,中国水工程防灾联合调度业务发展迅速,积累了丰富的宝贵经验。特别是随着国家级、流域级、区域级综合规划、防洪规划等规划批复实施,一批防洪重点工程、水资源配置重点工程开工建设,使得国家防洪工程体系、水资源配置体系逐步完善,在抵御洪水和保障水资源安全过程中开始发挥作用。近年来随着国家防汛抗旱指挥系统、中小河流水文监测系统等重大工程建设,水文监测预报预警服务迈上新台阶,同时也为水工程防灾联合调度提供了准确可靠的暴雨洪水监测和预警预报信息。在此基础上的防洪调度不再只是一个简单的独立问题,而是包含了一整套水利工程、理论体系、计算方法的系统工程,必须通过专业信息系统来计算和管理。
  长期以来,水文预报系统[1]、水库调度系统[2]受专业分工限制,各专业擅长领域不同,业务协同程度不足,导致在进行预报调度业务的过程中,系统功能融合程度不深,制约了决策分析会商的时效性和准确性。经过近些年的发展,预报系统和调度系统已形成了合力,演变为全流程业务统一管理的一体化系统[3-4]。在此基础上结合大数据[5]、空间关系[6]的水利业务应用系统逐渐成为主流。
  但一体化系统也不是一劳永逸的解决办法。最主要的问题就是一体化系统耦合度过强,不具有普适性,在不同的区域面向不同的对象需要重新构建开发系统,复用性很低。在此基础上,也有针对自动构建的基于树型结构的决策支持系统[7],探索了系统的可扩展性和可维护性,多模型集成技术也有了新的思路[8]。但是对于系统的架构,业务流程的搭建等方面还没有完善的解决方案。本文拟通过多组合复杂水利调控计算的敏捷搭建技术,解耦水利业务应用系统,实现可配置、可扩展的系统架构。
  1 系统现状
  1.1 系统设计
  当前水利行业信息化系统及平台大多采用MVC架构[9]或者面向服务的SOA架构[10]开发,这类体系架构能够对系统进行清晰明确的分层,各层级之间相对独立,具有较好的维护性,各上层业务应用也可以共用公共资源,具有体系结构清晰、开发分工明确、公共模块统一等优點。以国家防汛抗旱指挥系统(二期)[11-12]为例,其系统架构如图1所示。
  系统将水情应用、防洪调度应用、抗旱管理应用三大业务涉及的各类资源整合为4个层次,从上到下分别为:采集层、网络层、平台层、应用层。采集层负责从各种不同渠道收集水情、工情、旱情和灾情等数据;网络层负责从采集层到平台层的数据传输链路以及整个系统运转的网络体系;平台层包含“两台一库”,即应用支撑平台、数据汇集平台和数据库,负责支撑上层应用;最后应用层实现三大业务应用。整个系统架构较为严谨,但是实施过程耗时耗力,而且系统整体耦合度很高,复用性较低。
  1.2 存在的问题
  水利行业的业务应用系统因为其复杂性和特殊性,不同专业方向、不同区域范围的业务目标差异化显著,具有典型的多样化和个性化特征[13];且涉及的专业模型众多,参数类型与规模庞大,到目前为止尚没有有效的管理手段。针对具体目标对象设计的系统针对性太强,设计者主要通过按需编制和手动编码的方式完成系统架构设计,这种方式一方面效率相对较低,必须按照目标对象编制对应的模型和系统应用;另一方面开发过程不够直观形象,非专业开发人员难以理解和复用。
  虽然经过技术研究和发展,模型的标准化和开发框架从理论方法到组件构建,再到集成技术都已经具备一定成果,但也面临着没有完整的业务搭建模块来组装业务实现应用的状况。导致现阶段的水利信息化工作方式无法满足越来越复杂的应用场景。
  总体而言,面向防汛调度的多方位、高效率、流程化、组件化技术支撑手段严重匮乏,支持水利应用推广的困难较大,因此本次研究设计一种敏捷搭建技术,以改进系统建设的工作方式,满足水利专业应用的快速建设要求。
  2 系统敏捷搭建技术研究
  2.1 系统总体架构
  “敏捷开发”是以用户的需求进化为核心,采用迭代、循序渐进的方法进行软件开发的原则。而本文所述的“敏捷搭建系统”,是一种系统建设方式,该方式以流程化技术为核心、以组件化技术为基础、以模型组装衔接为手段,规范输入输出表达,通过配置工具,实现系统建设。系统一方面标准化各专业模型的访问调用,实现各模型在系统中的输入输出管理和自动衔接;另一方面支持流程化配置、组件化管理和快速搭建应用,解决防洪调度业务中的专业计算成果孤岛,有效提高系统的管理水平和执行效率。系统架构如图2所示。
  系统分为模型微服务框架、配置工具、系统平台服务、业务应用4个部分。
  模型微服务框架部分主要开发水利专业相关的各种模型服务[14],包括水文预报模型、水库调度模型、河道演算模型、蓄滞洪区运用模型、二维淹没计算模型等。并采用微服务技术进行管理和实现,充分利用微服务的高内聚、低耦合、负载均衡、统一管理、自动注册等特点,提高了模型服务的性能和可维护性。模型服务仅包含计算方法,不内置任何数据,所有数据通过参数库和输入接口获取。   配置工具部分主要实现可视化的流程配置界面,非开发人员也可以使用配置工具,将不同类型的模型进行流程组合,实现水利业务的灵活配置,产生更加复杂的水利业务应用。配置工具主要包括对象配置、模型配置、参数配置、方案配置、拓扑配置、时段配置。配置成果通过配置数据库保存。
  系统平台服务部分主要维护整个系统的正常运行,并在配置的基础上生成业务应用,加载基础数据库、专业数据库、配置数据库,将已配置好的业务流程按计划进行执行运转,调用模型微服务,得到业务最终输出结果。
  业务应用部分主要面向终端用户。所有业务均通过配置工具实现和生成,不再和传统系统一样需要逐个单独开发,而是由系统平台服务自动生成和承载。
  2.2 配置化搭建
  该系统架构核心部分通过组件化和流程化技术使模型的调用和衔接问题得以解决,并配合可视化界面便捷实现快速搭建应用的效果。在可视化配置界面中,所有规范化的模型及其输入输出信息都以候选节点的形式存在,配置人员可以通过这些节点在配置工具中绘制出业务流程,并且设置各模型的连接关系和所需的参数,最终实现水利专业应用的流程化配置。
  配置主要内容包括以下方面:
  (1) 对象配置。将水工程联合调度业务中所有业务节点进行抽象,例如水文站、雨量站、水库、河段、蓄滞洪区等。并按照不同类型,对各类节点进行基础属性配置和动态参数配置,描述各类对象。对象配置是一切业务的基础,其他配置都在此基础上进行。
  (2) 方案配置。方案主要描述了业务类型,例如预报业务、调度业务、河道演算业务、回水计算业务等。不同的业务决定了要配置哪些类型的对象,对象之间的衔接关系,以及对象关联的模型是什么种类。方案的配置确定了业务的主要目标。
  (3) 时段配置。主要用来控制业务的计算时间范围,对于预报等业务来说,时段配置还应包括预热期范围等特殊时段。
  (4) 模型配置。模型配置主要控制系统中所有模型的定义描述和加载。作为可扩展的系统,模型必须能作为插件进行加载集成,这也要求规范化开发模型,并在模型配置时注册到系统中。
  (5) 参数配置。主要针对模型,可以设置模型的一些必要参数,例如API产流模型,可以配置WM,K,B等参数。
  (6) 拓扑配置。拓扑是业务流程中对象组织的描述方式。通过组态化的方式,将业务解耦,再通过内在逻辑关系,以拓扑结构图的形式进行重组耦合。拓扑结构采用的是“单点双向”描述方法:“单点”指任意拓扑节点,包括编码、名称、类型等属性;“双向”包括指向和流向,其中指向反映父子层级关系,流向反映同层级上下游关系。
  2.3 系统平台服务
  系统平台服务是整个业务流程的执行机构,承载了系统的运行,是系统的核心部分。整个平台服务功能分为如下几部分。
  (1) 流程引擎。工作流是一项分离业务操作和业务流转的技术,其将业务流转交给计算机处理,实现业务流程的自动化。工作流技术从萌芽到成熟经历了几十年的发展,但更多的是应用在审批流程等更通用的领域。在水利专业信息化领域,还没有针对水利专业分析的通用框架。该系统以工作流技术为基础,依托配置化敏捷思想,实现面向水利专业的流程引擎。该引擎主要解决以下关键技术要点:
  ① 拓扑结构中上下节点之间传递数据。在配置工具中,业务人员配置了业务拓扑,但在实际执行过程中,计算机并不能直接理解业务人员的想法,因此,流程引擎通过解析配置信息,分析数据流向,形成了上下游、干支流节点的衔接关系。
  ② 模型和节点的关联。每个节点都会配置业务所需的模型,水利业务的宗旨就是调节水,当水在整个业务流程中流转时,模型负责在各个节点对水进行调节计算。例如在水库节点进行水库调度计算,在河段节点进行演进计算,在蓄滞洪区节点进行分洪计算。当流程运转到对应的节点时,引擎自动按照配置好的模型计算并继续数据流转。
  (2) 数据管理。业务执行过程中的所有数据都在系统平台服务中管理。执行时从数据库取出所有基础数据、监测数据、配置数据、参数数据等,交由流程引擎进行计算,计算的结果再存储到数据库中。所有数据的维护由此处统一控制,保证数据的一致性和高效性。
  (3) 服务接口。服务接口分两部分:一部分接口负责业务的执行控制,例如初始化数据、参数设置、计算执行、结果查看等,这部分接口主要用于执行流程,充分发挥平台的基础支撑作用;另一部分接口负责承载界面,向界面提供所要展示的数据。因为该系统是一个可配置的敏捷搭建系统,不会固化在某一个具体业务上,所以界面除了主体框架确定以外,要展示的内容和方式都可以通过界面接口实现多样化。
  2.4 模型微服务框架
  模型的组件化使模型可以更加独立和内聚,但是在水利业务应用执行的过程中,性能也是不可忽视的问题。部分模型计算速度慢、消耗计算资源多,虽然用来做研究可以忽略性能低带来的时间消耗,但是业务应用系统是用来支撑决策分析的,时间效率是重要考察因素之一。
  微服务架构是一种新的架构模式,它的主旨是将一个原本独立的系统拆分成多个彼此独立的小型服务,分别独立运行、维护、升级、扩展。主要设计方式如图3所示。
  各模型服务注册到模型服务注册中心上,业务应用通过模型服务注册中心查询到模型服务信息,然后在实际调用时通过該信息去直连服务。该模式既解决了传统模式混乱的调用链,又解决了ESB模式中心压力过大的问题。并且对于同一个模型服务1,由模型服务注册中心动态分配,通过1A和1B进行负载均衡,充分提高了平台扩展性和可维护性。
  在模型标准化的基础上,通过模型微服务框架建设,实现了如下优势:
  (1) 各水利专业模型作为微服务,不再耦合进一个应用系统中,而是可以独立运行。一方面可以类似MIKE、Deltares、Wallingford一样,开发模型包,打造成专业计算软件,随时可以增加新的模型微服务;另一方面,模型的拆分使敏捷搭建配置业务成为可能,当需要快速搭建系统或者遇到堰塞湖等突发情况时,可以迅速根据实际情况组合各微服务模块,搭建业务系统。   (2) 专业系统运行时,部分功能非常复杂,例如二维水动力模拟耗时严重,系统的执行效率受其影响,用户体验很差。通过微服务可以扩展运算节点、增加耗时节点计算性能等,提高系统整体性能。
  (3) 提高系统可维护性。传统模型集成到系统之后,当系统出现异常时,只能通过日志去查看问题,很难定位到问题具体位置,也不易恢复。同时因为耦合度较高,可能下级某些系统功能运转异常会导致上级管理系统运转失败。微服务架构可以减少系统内的强耦合,使系统与模型之间独立管理和监控,便于恢复和升级维护,当某个模型服务出问题时,其他模型服务依然能保持正常运转,并通过负载均衡自动切换。
  (4) 为云计算提供条件。将模型微服务与云计算结合,利用云来为公众和科研院所等更广泛的机构提供计算服务,推进互联网+水利的发展。
  3 应用实践
  本文所提出的系统架构设计方案在水利专业应用领域具备了良好的应用实践可能性。并且在该架构设计的敏捷搭建思路下,可以继续扩展专业应用范围,运用到水文预报、防洪调度、水量调度、水质分析等多种场景。
  从系统建设角度来看,当前以该技术为基础,以敏捷搭建的方式实现了重庆防汛管理信息化系统,配置了包括水文预报、水库调度、水库回水计算、河道水文演算、河道一维水动力演算、决策综合模拟、二维淹没分析等多个业务模块。以小于规定的开发时间要求实现了所有系统功能,并且功能可调整,在后期业务范围出现变更时,也能灵活增删节点和模型,极大提高了业务建设效率。另外,针对伊洛瓦底江流域水文预报系统,根据需求和设计目标,采用常规开发方式,从零到系统开发完成约需4月;而采用此技术建设,实际花费约40 d,节省了66.7%的时间,充分体现了本架构在建设过程中的高效性。
  从性能角度来看,采用了模型微服务框架,充分利用了并行和负载均衡的优势。对于节点少、流程简单的业务,该方式和常规一体化串行系统的计算性能差距不大,但当计算节点量和业务流程复杂度增加后,该框架逐渐开始发挥优势。原来多个模型需要排队计算,现在可以直接分发到不同机器独立计算再汇总结果,随业务流程的不同,提高性能在50%以上。
  从未来趋势来看,水利大数据平台已从概念逐渐往实践发展,未来水利行业将重点发展“大数据+专业平台”的总体布局。本技术从设计上就充分考虑了云计算的发展趋势,并结合对专业的梳理,能够支撑专业平台的建设。
  4 结 语
  水利业务应用是一个综合性命题,是充分利用水资源、发挥水工程效益的重要依据。基于敏捷搭建技术的水利业务应用系统既能充分解决专业领域问题,又能充分利用先进的计算机技术,走出了以往系统“一次开发、一处使用”的困局,同时提高了系统执行的性能,得到了多个项目验证,具有良好的应用前景。
  但同时,本文当前主要关注核心业务流程,在展示方式上还不够细致,并且针对在计算流程中如何结合大数据和云计算,仅从设计角度做了提前规划,有待进一步探索。未来在水利行业信息化发展中,可以继续深化研究本架构,在不同专业应用的扩展、云计算整合、大数据分析等方面进行完善。
  参考文献:
  [1] 安全,范瑞琪,朱祯,等.构建式流域实时水文预报系统关键技术研究[J].水文,2011,31(4):6-11.
  [2] 高原,徐利杰,蔡建平,等.水库群防洪调度控制系统关键技术[J].中国科技信息,2015(22):28-29.
  [3] 陈瑜彬,邹冰玉,牛文静,等.流域防洪预报调度一体化系统若干关键技术研究[J].人民长江,2019,50(7):223-227.
  [4] 李志扬.流域防洪预报调度一体化系统的关键技术分析[J].建筑工程技术与设计,2019(35):11-13.
  [5] 王毅,邹涛,周义兵,等.汉江流域自然灾害监测预报预警大数据平台研究[J].成都信息工程大学学报,2018,33(5):540-543.
  [6] 刘永志,张文婷,崔信民.水库防洪调度应急管理信息系统研究[J].计算机科学与应用,2018,8(4):532-538.
  [7] 王洪,周惠成,彭勇.防洪决策支持系统调度体系自动构建技术研究[J].水电能源科学,2017,35(1):57-60,64.
  [8] 唐海华,罗斌,周超,等.水库群联合调度多模型集成总体技术架构[J].人民长江,2018,49(13):95-98.
  [9] 赵乔,望建成,范正行,等.基于MVC模式的水库施工期防洪度汛决策支持系统设计与开发[J].水力发电,2019,45(9):39-42,74.
  [10] 马增辉,解建仓,张永进,等.基于SOA的水利构件研究[J].西安理工大学学报,2008,24(4):415-420.
  [11] 刘汉宇.国家防汛抗旱指挥系统二期工程主要建设任务和技术要求[J].中国防汛抗旱,2016,26(3):4-7,20.
  [12] 安新代.关于国家防汛抗旱指挥系统建设的若干思考[J].中国防汛抗旱,2018,28(9):2-4.
  [13] 孫亮.浅议水利业务应用系统的开发及应用[J].河南科技,2014(17):145.
  [14] 刘晓东,赵晓芳,陈雅静,等.基于服务能力模型的微服务弹性资源供给机制[J].高技术通讯,2019,29(1):1-11.
  (编辑:郑 毅)
  Research on architecture of water conservancy application system based
  on agile configuration technology
  LI Qi,TANG Haihua,HUANG Liyao,ZHOU Chao   (Changjiang Survey,Planning,Design and Research Co.,Ltd,Wuhan 430010,China)
  Abstract:
  In order to solve the problem of water conservancy application system such as high coupling of integration,low reusability of modules,difficult extending for application and time consuming in developing process,an application system architecture based on agile configuration technology is proposed.From three aspects of configuration,system platform service,and model micro-service framework,this paper focuses on the key technologies of how to decouple the system and build the application system by the design ideas of configuration and workflow.It provides an idea to construct application system rapidly for different professions and different regions.The result of the study has high practical value while its efficiency,flexibility and expansibility have been verified by several application system constructions.
  Key words:
  water conservancy application;agile configuration technology;system architecture;configuration;workflow;micro-service
其他文献
摘要:为准确计算水电站的弃水电量和调峰弃水电量,保证在弃水期间编制的水电站发电计划合理、公平,分析了弃水电量产生的原因和弃水电量的构成。提出了因出力受阻而产生的虚拟电量不属于弃水电量;同时,按照弃水的类别给出了计算不同类型弃水电量的新方法,并采用“总-分”模式计算了调峰弃水电量;最后,选取了日调节和年调节水电站进行实例验证。结果表明:由于避免了受阻弃水电量的统计和不同类别弃水电量的嵌套,弃水电量和
当下层出不穷的自媒体已经成为大学生获取各种信息和沟通交流的主要平台,以便捷交互为特点的自媒体既为高校思政教育工作提供了有利条件,也带来了更多的冲击;作为一把双刃剑
期刊
摘要:“背靠背”起动是抽水蓄能机组泵水方向的重要起动方式。基于白莲河抽水蓄能电站实际参数和MATLAB/Simulink平台,以拖动机转速变化作为输入参数建立了仿真数学模型,该模型考虑了发电机的起动转速、励磁电流的影响,用以探究“背靠背”起动过程中阻尼绕组的影响。仿真计算结果表明:① 发电机起动转速增幅不宜超过正常起动发电机起动转速的13%,发电机外加励磁电流不应低于0.6倍空载励磁电流;② 适当
摘要:为了探究喇叭管悬空高度对井筒式泵站运行性能以及泥沙沉积的影响,采用CFX对井筒式泵站内流动特性进行了CFD数值模拟。模拟过程中,将井筒式泵站内计算流体视为固液两相流,设计了0.3D,0.7D,1.1D和1.5D 4个不同的喇叭管悬空高度方案。计算结果表明:方案1~4中泵装置运行最高效率分别为76.4%、79.3%、78.5%和78.8%,方案2中泵装置的运行效率以及最高高效区范围最大;方案1
摘要:控制阀门是水力式升船机所特有的核心设备,深入全面地掌握其内部及附近的水力特性,关乎水力式升船机的运行效率及安全。针对世界上第一座水力式升船机的控制阀门——活塞式调流阀,通过物理模型试验进行了不同开度、背压、压差条件下的水力特性试验研究,重点关注阀门的流量特性、空化特性以及阀后管壁压力特性。研究结果表明:活塞阀控流精确,可将空化限制在阀口及以外,对阀门自身保护较好;但在小开度时过流能力偏低、流
摘要:针对强降雨条件下土石坝安全评价的问题,通过改进传统的指标体系,建立了基于FAHP-CEEMDAN和云模型的土石坝安全评价模型。研究选取了8个准则和18个指标构建评价指标体系。在此基础上,采用基于三角模糊数的模糊层次分析法(FAHP)确定指标初始权重,利用改进集合经验模态分解法(CEEMDAN)计算指标最终权重;根据安全等级划分和评价数据建立标准云模型和评价云模型,再结合指标最终权重确立综合云
摘要:抽水蓄能电站过渡过程的准确预测是电站设计及运行的重要问题。通过建立洪屏抽水蓄能电站引水发电系统过渡过程数值模型,模拟了电站现场甩负荷试验工况,并与实测数据进行了对比验证,得到了数值仿真与实测数据的误差。基于该模型,计算了电站可能出现的危险过渡过程工况,并根据试验以及多个机组厂家的误差经验公式,对计算结果进行了修正。结果表明:实测数据与数值仿真数据基本一致,但实际压力包含了压力脉动使得数值模拟
水库移民安置模式的选择对移民在搬迁安置后的生产生活和发展前景具有深远影响。基于水库移民家庭的视角,探究影响搬迁安置模式选择的具体因素,依据行为经济学和农户行为理论,将移民假设为“行为人”,从移民家庭决策时的能力与动机入手,构建了移民家庭安置模式选择行为的解释框架。以河南省出山店水库移民样本户为例,研究了移民家庭对农业安置(以就近后靠安置为例)与非农业安置(以异地城镇化安置)两类安置模式的选择行为,并运用logistic回归分析模型对理论假设进行检验。结果表明:移民家庭的恢复与适应能力、学习与认知能力,以及
摘要:采砂坑是航道整治中经常会遇到的一个问题,它的存在不利于航道运输,同时也对鱼类生存有着一定影响。利用MIKE 3软件的水动力模块对夏季及冬季工况下的长江上游航道洛碛采砂坑区域三维水温结构进行模拟,取采砂坑两监测点模拟数值与实测数据验证了模型的可靠性。取邻近区域非采砂坑两环境数据点分析其水温结构,同时将采砂坑环境与非采砂坑环境的模拟结果进行对比分析,以探究它们水温结构的异同。结果表明:垂向上采砂
本文采用大气等离子喷涂技术制备了不同Y3Al5O12含量的YSZ@Y3Al5O12/NiCrAlY热障涂层,研究了Y3Al5O12对YSZ@Y3Al5O12热障涂层的微观组织结构和高温相稳定性的影响。结果表明:等离子喷涂YSZ@Y3