面向电信订单的分布式任务调度系统设计与实现

来源 :东南大学 | 被引量 : 1次 | 上传用户:erapple
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网、通讯和数字技术的发展,加速推动了运营商从传统电信业务提供商向数字业务提供商转型。在这个过程中电信领域的增值业务得到了蓬勃发展,电信业务越来越多元化,用户办理手机上网流量包、亲情号、来电名片等增值业务产生的订单任务量急剧增长。订单任务粒度大小不同,长短差异巨大,不同类型的业务办理订单任务对执行机的资源需求不同,导致调度复杂,容易产生任务分配不均衡,系统资源利用率低,吞吐量波动性大以及系统运行不稳定的问题。公司现有订单任务管理系统面临的主要问题如下:首先,其在控制任务流、任务分配方面不够理想,容易发生较严重的任务吞吐量上下震荡,使系统容易发生瞬时过载,甚至宕机现象;其次,系统设计时为了提高资源利用率,使用了任务迁移的策略,但迁移任务的管理开销过高,占用了过多额外的系统资源,有时反而进一步降低系统利用率;另外,系统使用单台协调服务器,不仅容易出现单点问题,降低了系统的可靠性;而且当访问量过大时,服务器会成为系统访问量受限的瓶颈。针对原有的订单管理系统在任务调度时的不足,本文对任务反馈控制进行了优化,并提出一种能够实现资源自我检测的主动式调度方法,然后结合ZooKeeper设计并实现了一种新的订单任务管理系统中的任务调度子系统,具体工作包括:(1)为了有效控制订单任务流平稳的进入系统,将PID控制技术引入任务流的反馈控制中,并对PID控制采用积分分离与增加积分饱和阀值的优化策略,提高反馈控制的效果,有效抑制进入系统任务量的起伏,提高系统的稳定性。(2)为解决现有系统节点资源利用率低的问题,设计并实现一种调度主动权迁移的任务调度方式,能够进行资源自我检测,降低了自身的管理开销,并充分使用节点的资源,同时促使节点量力而行,保证节点健康的工作。(3)基于本文提出的反馈控制策略和任务调度方式,设计并实现一个高可用的面向电信订单分布式任务调度系统,同时在实现中引入ZooKeeper,利用其在分布式协调服务方面的特性,来解决原系统存在的服务单点故障及性能瓶颈问题,并对该系统进行部署和测试,来验证本论文的研究成果。本文提出的面向电信订单的分布式任务调度系统很好的解决了现有的订单管理系统在任务调度时,处理节点资源浪费的问题和进入系统任务量震荡的问题,并在很大程度上避免了单点故障对系统可靠性的影响。实验结果表明CPU和内存利用率比原系统平均分别提高了 11.23%和10.67%,任务完成时间平均减少了 9.52%,抑制了进入系统的任务流出现震荡现象,系统运行稳定,减少经济成本,为运营商获得较大的收益,并为分任务调度的调度主动权迁移问题提供新思路。
其他文献
目的探讨超声乳化与小切口非超声乳化手术治疗白内障的临床效果与安全性。方法选取2013年1月~2018年6月我院收治的84例白内障患者作为研究对象,按照随机数字表法将其分为病例
玉米种子直接影响玉米的发育情况和成活率,科学、合理的种子储藏技术有利于保持玉米种子的活性,农业生产者通常在冬季进行玉米种子储藏。玉米种子储藏分为粒藏法与穗藏法。要
论述了专题文献研究中常用的几种研究方法——调查法、文摘法、载文率法、引文分析法及综合研究方法等,并对其进行了讨论和评价。
现代通信行业与信息技术深度融合,有力推动了社会经济与人们生活的发展。作为互联网、物联网、大数据等新兴产业发展基础,通信行业不仅改变人们的通信方式,更为重要的是带动了相关产业的发展。对于中国通信制造产业而言,1G处于空白,2G跟随,3G实现突破,4G同步,5G谋求引领全球。随着5G试验局的开通及商用时间提上日程,5G慢慢地走入人们的生活,更为重要的是,5G与物联物、大数据、云计算、人工智能等新技术相
21世纪是地下工程的世纪。随着地下工程的建设,人们发现,在围压的作用下裂隙岩体破坏后的承载力并未完全丧失,这对地下工程的的设计与开挖具有十分重要的意义,因此开展裂隙岩
近年来,随着科学技术的迅猛发展,稀土元素在各行各业中得到了广泛的应用,随之而来的环境问题日益突出。地下水作为可以直接饮用的水源,深入理解其中的稀土分布规律对其生态风险评价具有重要意义。因此,本研究以我国典型的北方稀土尾矿库区周边地下水为研究对象,通过现场监测与室内模拟相结合的方法,研究稀土元素的环境行为变化,测定典型井点地下水中理化指标,稀土元素的总量,微生物等,采用多元的统计分析方法分析外源物质
为了弄清楚旋流器和高频细筛串联进行分级工艺中,旋流器和细筛各自起到的作用和分级效率如何分配才能达到整体分级效率最优的效果,通过建立数质量模型、计算和公式推导,得出
位于高烈度地区的山岭隧道在地震过程往往会发生较为严重的破坏,特别是穿越断层破碎带的山岭隧道。穿越断层破碎带的隧道,其衬砌会在地震时发生开裂、剪切破坏甚至垮塌。一直以来对于穿越断层破碎带隧道的抗震设防与减震研究是隧道工程建设中的重点与难点,研究穿越断层破碎带山岭隧道的地震响应规律,有助于为穿越断层破碎带隧道的抗震、减震设计与研究提供依据,以达到能提高穿越断层破碎带隧道抗震能力的目的。论文以棋盘石隧道
目的研究黄连中盐酸小檗碱的酶法辅助超声提取工艺,并优化酶解工艺参数。方法采用果胶酶酶解后超声促提方法提取黄连中的盐酸小檗碱,在单因素试验的基础上,选取酶用量、酶解