【摘 要】
：
在数据中心中,类MapReduce的分布式计算系统在数据的混洗阶段产生巨大流量,令数据中心的东西向网络资源成为瓶颈.将这些高度相关的数据流在接收端进行聚合是分布式计算的通用
【机 构】
：
数学工程与先进计算国家重点实验室,解放军信息工程大学国家数字交换系统工程技术研究中心,信息系统工程国防科技重点实验室（国防科学技术大学）
论文部分内容阅读
在数据中心中,类MapReduce的分布式计算系统在数据的混洗阶段产生巨大流量,令数据中心的东西向网络资源成为瓶颈.将这些高度相关的数据流在接收端进行聚合是分布式计算的通用处理方式,为了降低网络通信量并有效利用带宽,文中采用网内关联性流量的汇聚传输策略,将混洗和汇聚并行化,达到进一步降低东西向网络资源消耗、缩短混洗阶段延迟的目的.目前提出的IRS-based算法在适用场景上有一定局限性,为了解决这一问题,文中首先在以服务器为中心的代表结构BCube上建立incast最小树模型,分别提出MIB-based算法和MC-based算法,仅根据已知拓扑结构和发送节点编号即可快速生成一棵近似的最小代价incast树.MIB-based算法针对发送节点强关联的情况,使高层发送节点尽可能汇聚到已有的低层发送节点构建incast树;MC-based算法针对发送节点松散关联的情况,将节点进行最大程度上的聚合,通过增加最少的汇聚点完成incast树的构建.随后将上述两种算法结合起来进一步提出适用于各种场景的M2-based算法,通过推算时间复杂度证明该算法能够满足在线构建incast树的需求.最后,详细分析了M2-based算法对其他数据中心网络结构的适应性以及网内汇聚传输能够减少作业完成时间的原理.小规模实验结果表明,在不同网络规模下,M2-based比IRS-based节省了网络中约3%的数据量,整个作业在混洗和Reduce阶段的等待时间比不采用网内汇聚缩短约2/3;在不同传输节点规模下,M2-based比IRS-based节省了网络中约19%的数据量,整个作业在混洗和Reduce阶段的等待时间比不采用网内汇聚缩短约3/4.
其他文献
8月19日，从河南省地矿局获悉，河南省小秦岭等6个全国危机矿山探明黄金储量112．5吨，为老矿山提供了后备资源。这些资源相当于发现了5个特大型金矿。
《信息网络传播权保护条例》第23条中“应知”标准在司法实践中的运用,使得网络搜索服务商过错责任的界定有了新的局面。2008年2月3日在浦东法院一审结案的优度诉迅雷一案,即
短时间内我国不会改变大量原料进口的状态,而国内钴盐企业的扩产也将促使进口量不断增加,但由于我国市场存在着巨大的库存,钴市场面临新一轮的洗牌,这就为未来市场的供应情况
近年来,随着通信网络规模迅速扩大,网络新业务的不断出现、网络拓扑结构的日益复杂化,系统环境的不确定性的增加,网络通信系统的信息脆性问题越来越引起相关专家学者的关注。
汶上凹陷位于鲁西隆起区,地表第四系覆盖,区域上古近纪官庄群为含盐岩系,该区研究程度较低。通过收集以往钻孔资料,对汶上凹陷古近纪官庄群进行系统划分对比,将区内官庄群自
目的：探讨125I放射性粒子联合组织间化疗对小鼠移植性H22肝癌生长的影响及其机制的研究。方法：在40只昆明小鼠右腋窝皮下注射H22肝癌细胞悬液8×106个/0.2m1构建荷肝癌小鼠动物
目的：比较帕瑞昔布钠、布托啡诺、杜冷丁三种镇痛药的超前镇痛对斜视矫正术中、术后的药物疗效,探讨一种高效、低副作用的斜视手术镇痛剂。方法：本研究经我院医学伦理委员会批
金秋九月,丹桂飘香的季节,古城西安迎来了"第六届丝绸之路国际艺术节",同步启幕的还有"2019文旅融合发展论坛暨'中国演艺之都'发布仪式"。11家演艺团体结盟并发布了
CSCW是一个新的科学领域 ,本文介绍了CSCW的发展历史 ,CSCW的概念、分类及其特点。重点分析了CSCW的主要研究内容。并进一步讨论了CSCW系统和传统的分布式系统之间的联系与差
5月，巴西出口锰矿石及精矿243233吨，比4月份增长73．82％。其中：中高品位的锰矿石及精矿（≥39％Mn）出口量为682吨，比4月份增长92．66％：其他低品位锰矿石及精矿的出口量为242，551吨，比4月份增长7