【摘 要】
：
Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡.研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数.基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配.实验结果表
【机 构】
：
南京工业大学 计算机科学与技术学院,南京 211816;盐城师范学院 数学与统计学院,江苏 盐城 224002
论文部分内容阅读
Flink流处理系统默认的任务调度策略在一定程度上忽略了集群异构和节点可用资源,导致集群整体负载不均衡.研究分布式节点的实时性能和集群作业环境,根据实际作业环境的异构分布情况,设计结合异构Flink集群的节点优先级调整方法,以基于Ganglia可扩展分布式集群资源监控系统的集群信息为依据,动态调整适应当前作业环境的节点优先级指数.基于此提出Flink节点动态自适应调度策略,通过实时监测节点的异构状况,并在任务执行过程中根据实时作业环境更新节点优先级指数,为系统任务找到最佳的执行节点完成任务分配.实验结果表明,相比于Flink默认的任务调度策略,基于节点优先级调整方法的自适应调度策略在WorldCount基准测试中的运行时间约平均减少6％,可使异构Flink集群在保持集群低延迟的同时,节点资源利用率和任务执行效率更高.
其他文献
传统区块链技术处理交易能力弱、吞吐量低,不仅难以处理工业环境下的海量数据,而且其访问控制策略权限管理效率低,安全性不足.针对上述问题,提出一种基于主侧链合作的工业物联网访问控制策略.通过Plasma Cash框架构建高性能DPOS侧链,并根据合约将侧链与主链双向锚定,实现区块链的主侧链扩容.根据工业物联网的节点特点和主侧链区块链的运行环境,设计适用于主侧链环境的访问控制模型,访问控制模型内的主客体信息收集点阻隔外部实体直接访问,信息处理点实现访问控制策略执行与存储分离.将模型编写成图灵完备智能合约后放至侧
对于多标签特征选择算法,通常假设数据与标签间呈现某种关系,以该关系为基础并通过正则项的约束可解决多标签特征选择问题,但该关系也可能是两种或多种关系的结合.为准确描述数据与标签间的关系并去除不相关的特征和冗余特征,基于logistic回归模型与标签流形结构提出多标签特征选择算法FSML.使用logistic回归模型的损失函数学习回归系数矩阵,利用标签流形结构学习数据特征的权重矩阵,通过L2,1-范数将系数矩阵和权重矩阵进行柔性结合,约束系数矩阵与权重矩阵的稀疏性并实现多标签特征选择.在经典多标签数据集上的实
导频长度受限会导致相同的导频复用给不同的小区用户,由此引起导频污染问题.导频污染将使得信道状态信息估计不准,从而降低系统性能.针对小区内不同区域用户遭受导频污染程度不同的问题,分析图着色和部分导频交替复用(AFPR)2种导频分配方案,在这2种方案的基础上进行折中,提出一种基于大尺度衰落系数的联合用户分组以及导频分配方案.对用户与本基站之间的大尺度衰落系数大小进行升序排序,将所有小区用户根据所受导频污染严重程度的不同,依次分类为安全边缘用户、危险边缘用户和中心用户,对于安全边缘用户和非安全边缘用户,分别采用
无线传感器网络(WSN)由许多传感器节点组成,这些传感器节点为了降低能量消耗会周期性地在醒与睡2种模式下进行切换.在异步WSN中,发送节点往往要等接收节点醒来才能进行数据转发,为了缩短该等待时延,发送节点选择多个节点作为候选转发节点,由于任何候选转发节点都有可能进行数据路由,使得邻居节点评估和候选转发节点选择对网络性能产生较大影响.为了更好地进行节点评估与选择,提出一种基于层次分析法(AHP)和模糊推理系统(FIS)的WSN路由算法DAF.将剩余能量、距离和角度作为评估准则,利用AHP确定评估准则的权重,
低轨(LEO)卫星系统具有通信距离远、覆盖范围广等诸多优势,在应急通信、灾害预警等领域发挥着重要作用,尤其能有效弥补地面基站无法服务偏远山区、海洋等盲区的缺陷.然而,LEO卫星高速移动会导致用户终端频繁切换,同时在用户聚集场景下,用户群组并发切换将导致LEO卫星系统发生网络拥塞问题.为此,提出一种基于用户分群的多波束LEO卫星系统切换管理策略.建立多波束覆盖模型,基于该模型设计群组切换管理机制,在成员选择的过程中考虑切换触发时刻和最佳波束小区2个因素,将具有相似切换行为的用户分为一组,以此降低系统的信令开
As a result of the popularity of mobile devices,Mobile Crowd Sensing(MCS) has attracted a lot of attention. Task allocation is a significant problem in MCS. Most previous studies mainly focused on stationary spatial tasks while neglecting the changes of t
网络运营商为用户提供的光纤接入主干网大多以环型网络的方式提供服务,然而目前对于大规模、环数众多、连接方式多样化的复杂多环网络缺乏性能优良的路由算法.为解决传统环网结构网络延迟高和传输效率低的问题,提出一种针对复杂多环网络拓扑的路由改进算法,将多环网络中的复杂路由问题转化为单环网中的简单路由问题.在此基础上,通过设计源溯节点还原以及路径还原算法,将单一环网改进为增强环网网络结构,使同一环内通信节点间的路径还原为完整最短路径,并从理论上证明该算法得到的最优路径是无差错的.实验结果表明,相比于现有的优化Dijk
针对越南语事件标注语料稀缺且标注语料中未登陆词过多导致实体识别精度降低的问题,提出一种融合词典与对抗迁移的实体识别模型.将越南语作为目标语言,英语和汉语作为源语言,通过源语言的实体标注信息和双语词典提升目标语言的实体识别效果.采用词级别对抗迁移实现源语言与目标语言的语义空间共享,融合双语词典进行多粒度特征嵌入以丰富目标语言词的语义表征,再使用句子级别对抗迁移提取与语言无关的序列特征,最终通过条件随机场推理模块标注实体识别结果.在越南语新闻数据集上的实验结果表明,在源语言为英语和汉语的情况下,该模型相比主流
边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题.提出一种语义信息指导的精细化边缘检测方法.通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合.在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量.在BSDS50
为求解实际复杂工程应用中的高维计算费时优化问题,提出一种全局与局部代理模型交替辅助的差分进化算法.利用历史样本训练全局和局部代理模型,通过交替搜索全局和局部代理模型得到模型最优解并对其进行真实目标函数评价,实现探索和开采的平衡以减少真实目标函数的计算次数,同时通过针对性地选择个体进行真实目标函数计算,辅助算法快速找到目标函数的较优解.在15个低维测试问题和14个高维测试问题上的实验结果表明,在有限的计算资源情况下,该算法在12个低维测试问题上相较于最优重启策略代理辅助的社会学习粒子群优化算法、基于主动学习