【摘 要】
：
随着信息技术的飞速发展,企业的应用数据正经历着爆发式增长。由于团队逐渐庞大,随之而来会遇到诸如数据不一致、读脏数据等数据质量问题。面对多源的数据,传统的数据管理与服务方案如今已难以满足大规模高复杂度的企业应用需求。规则引擎作为通用的策略规则管理框架为解决问题提供了新的思路。已有的技术受限于单体应用架构或特定规则引擎框架,导致其系统耦合度高、规则处理不可定制,难以承受多任务、大吞吐量的应用需求。对此
论文部分内容阅读
随着信息技术的飞速发展,企业的应用数据正经历着爆发式增长。由于团队逐渐庞大,随之而来会遇到诸如数据不一致、读脏数据等数据质量问题。面对多源的数据,传统的数据管理与服务方案如今已难以满足大规模高复杂度的企业应用需求。规则引擎作为通用的策略规则管理框架为解决问题提供了新的思路。已有的技术受限于单体应用架构或特定规则引擎框架,导致其系统耦合度高、规则处理不可定制,难以承受多任务、大吞吐量的应用需求。对此,采用微服务体系架构,设计并实现了一个基于Drools规则引擎的数据校验系统,主要包括规则定制、数据适配、基于服务网关的负载均衡等功能。基于Json To Drl算法实现规则定制服务,解决了目前需要手动编写规则文件的问题。通过动态反射和接口抽象完成了适配服务,基于此进一步设计并实现了定时调度策略。采用微服务网关的设计思路,完成了服务的发现和注册功能,并实现了一种动态负载均衡策略来完成多机的数据校验任务。系统支持多任务同时进行千万级数据校验,并具备灵活的组件解耦和快速部署的能力。在单机环境和分布式环境下进行了系统测试与分析。结果表明,系统在操作交互方面体验良好,能够兼容异构关系型数据库,支持定时调度功能。对比单机和微服务部署下的任务运行结果,验证了系统在微服务部署下,执行效率方面有明显提升。
其他文献
新闻是自然语言处理领域中重要的研究对象之一,从海量新闻中挖掘出内容相关的新闻进行推荐有助于提高用户的阅读体验或用于相关新闻内容分析。对新闻进行特征建模时,传统的文本编码器难以保留长文档中丰富的语义信息和句法结构,因此,文档的图表示法被提出用于发现长格式文档的潜在语义结构。然而新闻文档通常含有复杂的语义交互信息,如何将多样的语义信息建模成网络的表示形式,并从中学习有效地表征用于相关新闻推荐系统是具有
车道线检测作为各类智能安全驾驶辅助系统的核心技术,经过大量研究人员在该领域的研究,已经取得比较显著的成效。但是现有的各类车道线检测算法在各类车道干扰因素如光照不足,阴影遮蔽,车道路面结构的突变等影响下会出现检测车道线不完整以及将车道裂缝当作车道线的误检问题。因此,设计一个在复杂环境下也可以良好检测车道线的算法有着确切的应用意义。对复杂环境下车道线特征进行研究并结合目标检测的方法,提出一种可以自适应
计算机技术在软件方面的发展离不开大量的编码,这些源码许多都能够通过互联网方便获取到。虽然这方便了大家对编程的学习,却也导致在编码上存在大量抄袭行为。因此,方便、有效、快捷的代码抄袭检测方法在当前的时代背景下就显得尤为重要。传统的代码相似性检测方法大多利用程序的属性或结构信息,随着时间的推移,对属性的选择和统计越来越纷杂,对结构的分析也越来越复杂。对相似度检测方法的设计者来说,选择哪种属性和结构信息
在如今的大数据时代,面临与日俱增的计算需求,分布式计算已经成为了各大领域中的研究热点。大量的计算需求往往包含着庞大的计算逻辑,将这种计算需求进行分解得到的众多小的计算任务时,可以利用分布式任务调度框架将这些计算任务分配到各计算节点中,实现任务的并发处理。将这个庞大的计算逻辑模型化为一个工作流,计算逻辑中众多的计算任务视为工作流中环环相扣的阶段。因此,设计出一个处理这种工作流的分布式任务调度框架则显
互联网应用在近些年取得了飞速的发展,随之而来的是海量的数据,这些数据的治理给企业带来了许多的挑战。数据质量管理作为数据治理的重要组成部分,主要用于保证相关数据满足预期的使用目标,有效的数据质量校验能够为企业避免巨大的损失,数据质量的相关研究正在引起越来越多的人们的重视。数据质量校验系统是数据高质量的重要保证。一方面,传统数据质量校验系统对校验规则采用硬编码的方式,这有很大的局限性,修改校验规则需要
人脸识别系统将从摄像头读取到的人脸图像与事先存好的标准人脸进行比对,我们把存储标准人脸图像的库称为原型图像库。作为人脸识别系统的基础,原型图像库设计的好坏与否,对整个系统的识别性能影响很大。目前原型图像库构建大多停留在人工采集标准人脸的方法。为降低构建时所耗费的经济、人力成本,论文设计了一种原型图像库的构建技术,由基础支撑和扩展支撑两方面组成,将用户自行上传的图像作为标准人脸,省去了专门的人脸图像
随着电子商务产业的迅猛发展,越来越多的消费者选择在电商平台购买产品和服务,而对于该商品的评价是消费者选择购买与否的一个重要参考。虚假评论隐藏在电商平台的海量评论数据中,对消费者有效选择商品会产生严重干扰。为进一步实现对虚假评论的有效识别,以电商平台的评论数据为切入点,构建了有标注的中文虚假评论数据集,基于一个双层图卷积网络建立了一个虚假评论识别模型,且在模型的基础上设计和实现了一个电商平台虚假评论
随着计算机技术的进步,人们越来越依赖于方便快捷的网络购物,从而带动了我国物流业的发展。随着快递使用人数的增多,快递面单泄漏用户隐私信息的事件层出不穷,对快递用户的财产乃至人身安全造成危害。因此近几年来,保护快递隐私信息成为物流业研究的重点。为了解决快递面单隐私泄漏问题,在分析了现有隐私保护方案的基础上,根据系统的实际需求,设计了一种基于身份加密（Identity Based Encryption,
近年来随着人工智能技术的发展,越来越多的领域开展了自动评分方面的研究。中文论述题评分是考试自动评分中较为重要的一个领域,人工评分过程往往要耗费较多的人力资源,并且不能完全保证公正性,而设计实现一个完备的中文论述题自动评分系统将有效解决这几个问题。目前自动评分在中文论述题领域方面的技术仍然不够成熟,存在着准确度低、适用性窄等较为普遍的问题,中文论述题因为判分过程较为复杂,无法用简单的自动评分系统进行
防范影子银行风险是防范系统性金融风险的关键。作为影子银行的重要组成部分，资管行业的高速发展，在实现居民财富保值增值、拓展银行新利润渠道的同时，也给金融系统带来了潜在的风险。本文选取双重差分法，使用2016—2019年15家上市银行的季度数据，实证检验了2018年严监管政策——资管新规对银行盈利能力的影响。结果表明：资管新规显著降低了银行的盈利能力；当银行业务更多元，面临更高风险时，资管新规的负面影