基于松耦合架构的分布式定时任务调度系统的设计与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:hnlh007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的快速发展和大数据时代的全面到来,企业级应用中越来越多的应用场景需要在预定的时间点按照指定的时间规则去执行特定的任务,这样的任务就是“定时任务”。业务规模的发展和逻辑复杂度的上升使得定时任务在企业级应用中扮演着越来越重要的角色,但是现有的定时任务调度方案存在着可管理性差、并行处理能力差、任务编排能力差和可用性差等问题。针对以上问题,本文设计并实现了一个基于松耦合架构的分布式定时任务调度系统Timing-Go。本文的主要研究内容和工作如下:(1)提出了基于Java注解技术的任务自动注册机制,并在此基础上设计了任务可视化管理平台实现对不同业务系统中定时任务的统一动态管理,解决了定时任务可管理性差的问题。(2)提出了基于Quartz核心要素的定时任务调度触发方案,确保定时任务能够在预定的时间点准确触发执行,并在此基础上将任务的“调度过程”与“执行过程”进行解耦,解决了定时任务调度性能严重受限于任务逻辑的问题。(3)对Quartz调度框架进行了两大功能扩展,首先提出了基于DAG模型的工作流分级处理机制,解决了复杂业务场景下的任务依赖问题;然后重点提出了基于一致性Hash算法的大任务并行处理机制,充分利用分布式集群的并行处理能力,解决了大任务定时执行时的单机处理极限问题。(4)提出了基于Zookeeper的分布式同步控制机制,重点解决了分布式集群架构下定时任务重复执行带来的数据不一致问题;提出了一系列良好的补偿机制,包括故障转移机制、失败重试机制和任务告警机制等,保障了系统运行高可用和任务执行高可用,解决了现有定时任务调度方案存在的可用性差的问题。基于以上工作,本文设计并实现了一个基于松耦合架构的分布式定时任务调度系统Timing-Go,包括任务统一管理模块、任务调度模块、任务处理模块、任务执行模块和任务告警模块等主要功能模块的设计和实现。并且测试结果表明,Timing-Go系统较好地满足了需求,达到了设计目标。
其他文献
钛及其合金综合性能良好,在航空航天和生物医用领域都有着广泛的应用。值得注意的是β型钛合金由于兼具低弹高强的特性,近年来受到了诸多的关注。这类钛合金一般是通过向钛合金中添加Nb、Mo、Zr、Ta等β相稳定元素得到的。但是,结构物理量和杨氏模量之间的相互作用仍然难以捉摸。其中最难解决的问题在于找到影响钛合金性质的关键参数,以及了解这些参数如何对合金的弹性性能起决定性作用。本文采用第一性原理计算和机器学
图像拼接技术的发展已经日趋成熟了,并且也广泛应用到了智能手机拍摄、虚拟现实、航天航空和视频监控等诸多领域当中,其目的都是为了获取到宽视野、高分辨率和观感相对自然的图像。然而目前的图像拼接技术在应用到不同场景时,图像的特征数目相对较少、特征种类单一,且特征分布存在局限性,同时图像对重叠区域中深度不一致。这些问题导致目前的图像拼接算法对于各类场景下的图像配准效果较差,在重叠区域易出现伪影现象。本文提出
磁共振成像(Magnetic Resonance Image,MRI)是一种应用广泛的检查人体内部脏器的现代成像技术。磁共振成像已经被广泛用于临床常规检查诊断,尤其是脑疾病的检测和诊断。脑组织的体积变化往往预示着各种疾病,如脑肿瘤,白质脑病,橄榄脑桥小脑萎缩(Olive pontine cerebellar atrophy,OPCA)等。因此,对脑MRI图像进行精准的自动分割对于临床应用和科学研究
将触觉传感器获取的机器人、可穿戴设备、医疗器械等和外界交互产生的压力、温度等触觉信息以图像的形式表现出来可以形成触觉图像。而目前触觉传感阵列是获得这些触觉信息的主要途径。不同于视觉传感单元(如CCD/CMOS),触觉传感阵列的传感单元具有工作原理多样、尺寸大、读取电路复杂而难于集成等特点。为了提高触觉图像的分辨率,本文进行了基于传感阵列的触觉图像超分辨率算法研究。首先,研究了触觉图像特点;其次,分
城镇化发展过程中,违法用地、违章建筑等问题严重影响社会和谐与可持续发展,土地违法的“早发现、早查处”至关重要。针对以往人工巡查效率低、摄像头监控智能化程度低的现实问题,本文致力于研究违章建筑物自动识别中的监控点图像快速获取、违章建筑变化检测、车辆虚警过滤等关键技术。主要研究内容如下:(1)提出了一种基于金字塔L-K光流法的定点监控虚拟预置位设置方法。针对相机所带预置位不足的问题,首先对视频前后两帧
社会人口老龄化、全民运动化时代的到来,使得中老年骨质疏松性骨折创伤、感染、肿瘤、骨髓炎手术清创、以及中青年各种意外伤害和先天性疾病导致的骨缺损成为临床常见疾病,严重影响了国民身心健康。然而,自体损伤愈合范围有限,传统的针对骨缺损自体、异体骨移植的治疗手段,易产生致命的并发症,因此亟需研发设计成分、构型匹配特定骨缺损的功能型三维骨修复支架,为骨缺损部位提供桥接作用、引导骨的愈合修复。聚己内酯(PCL
在各类室内定位技术中,视觉SLAM具有自主性强、成本低、感知信息丰富等优势。目前,基于单类特征的视觉定位已有众多研究,但在室内弱纹理环境下,受限于对单类特征的高度依赖性,不同类特征间的互补信息未能有效利用、特征融合后的适应性与抗干扰能力不足。因此,融合特征间信息实现弱纹理环境下的高精度可靠定位,是室内视觉定位中亟待解决的问题。针对上述问题,本文提出了一种融合点面特征的视觉定位方法,该方法有效利用室
互联网应用的不断发展和完善正在推动企业项目从传统的单体架构向微服务架构转型,将集中式的系统按照业务特点垂直拆分成多个规模相对较小的独立服务,可有效降低系统的运维成本,提高版本迭代的开发效率,每个服务单独部署的方式也带来了灵活的集群规模调整方式,使得系统弹性扩容变的更加轻量级。伴随系统垂直拆分而来的还有各服务之间的网络通信需求,消息中间件就是一种为不同系统或同一系统内不同模块提供可靠的异步网络通信的
随着互联网技术不断发展,网络数据资源日益丰富,在给人们生活带来种种便利的同时也衍生了亟待解决的信息安全问题。身份认证是保护网络中用户数据资源的第一道关卡,现有身份管理系统存在着一些不足:(1)身份管理机制标准不统一,组织之间缺少强信任关系,不同应用服务之间不易融合;(2)身份管理依赖于第三方权威中心机构,身份信息易被泄漏、滥用;(3)用户数据访问控制机制不完善,用户对自身数据缺乏自主权,用户数据易
焊接是一项重要的加工技术,被广泛应用于各类生产制造领域。传统生产企业依赖手工焊接,焊接质量取决于工人的技术水平与工作状态,因此焊接效率与质量无法得到保障。相比于手工焊接,自动化焊接具有焊接效率高、焊接质量一致等特点。普及自动化焊接能够提高企业生产效率,保障产品质量并节省用工成本。焊缝跟踪技术是实现焊接控制的重要环节,也是焊接自动化与智能化的必要条件。本文通过对焊缝跟踪技术展开研究,设计并实现了一套