图连接的分布式处理及负载均衡方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:sunman511
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机与人工智能的发展,在互联网和工业上,图数据的数据量越来越大,于是管理如此大量的图数据便成为了当今必需要解决的问题。在数据管理领域,数据库是当前采用最多的数据管理方式。在分布式图数据库中,当前主要采取的方案为集中式连接和Map Reduce连接。在集中式连接方案中,所有的数据被拉取到同一个计算节点进行连接操作,此时会带来短时间的网络拥堵和长期的节点负载的不均衡。在Map Reduce连接方案中,由于Map Reduce连接依赖于底层的分布式计算框架,因此会受到分布式计算框架的限制,会带来冗余计算,例如shuffle和冗余排序。分布式图连接方案通过多节点合作的方式,完成中间数据的连接。为了适应分布式计算环境,使用了非相邻边这一概念,结合每个节点的数据统计信息,生成合适的分布式连接计划。分布式连接计划经过分解,并依据统计信息,下发给合适的节点进行执行。每个节点都执行连接计划的一部分,从而达到最终数据的连接目的。经过实验证明,分布式图连接方案的整个连接任务的执行时间以及连接任务执行过程中各节点的负载均衡程度上,相对于同架构图数据库集中式连接方案中都有较好的提升。此外,负载迁移策略通过预估一个连接任务的执行难度,通过采样找到合适的数据定位点,并且筛选合适的代理计算节点,将该任务进行分解和迁移计算。做到高负载分布式环境下的负载均衡,降低“热点”出现的概率,提升高负载环境下分布式图连接任务的整体完成效率,避免重型查询任务因为系统资源不够而被杀死。
其他文献
我国已经形成了较为完整的建筑标准体系,该体系能对建设项目的设计、施工、验收等各个阶段进行规范。目前,建筑从业者使用建筑标准的方法主要是通过阅读查找,或者从搜索引擎中搜索,但是传统的搜索引擎并不能快速、准确的让用户获得自己想要的答案,因此,需要为建筑从业者提供一个专业的系统,该系统可以快速、方便、准确的回答用户提出的问题。本文以建筑工程质量验收规范为数据源,提出了一个面向建筑工程质量验收规范的问答系
对于岩性软弱地区,隧道不可避免地在软岩中建设。工程实践表明,软岩具有与时间相关的流变特性,不利于隧道的长期稳定。本文采用数值模拟和理论分析的研究方法,在考虑掌子面空间效应和支护作用的基础上对深埋软岩隧道围岩的变形进行了研究。主要研究内容和研究结果如下。(1)基于Cvisc模型,利用数值软件FLAC3D建立了隧道开挖计算模型,数值模拟中考虑了隧道开挖时间的影响,得到了考虑围岩流变特性的隧道纵向变形曲
作为城市轨道交通建设工程项目的重要组成部分,隧道施工的安全及质量问题受到广泛关注。盾构法具有施工机械化程度高、环境扰动小和工期较短等优点,已经成为隧道施工中的主要方式之一。长期暴露在盾构施工噪声下的施工人员的噪声烦恼和认知能力下降问题,是施工中潜在的安全问题和质量隐患问题。作为职前筛查的一项测试项目,评估盾构施工人员的噪声烦恼和认知表现,分析其在嘈杂的工作环境中的自我调节能力,有利于筛除不合格的施
基于神经网络的深度学习在许多不同领域的应用中取得了显著的成果,其中一个重要的原因就是神经网络是一种范逼近器。范逼近定理为神经网络的函数表达能力奠定了理论基础,但是如何选择适当的激活函数以及如何决策神经网络的深度与宽度是众多学者正在研究的课题。本文全面的介绍了神经网络的概念以及基于神经网络求解微分方程的算法,主要研究BP神经网络的激活函数、网络深度和宽度以及优化算法对函数逼近与微分方程数值解的影响。
空间微操作机器人可代替人类在空间站进行生物工程实验、精密机械和微电子维修等精密操作,这些操作都要求机器人具有非常高的精度。制造误差、装配误差等因素造成机器人末端执行器的位姿存在误差,机器人可以具有很高的重复定位精度,但绝对定位精度一般都比较低。宏微结合的微操作机器人既具有充足的工作空间,又具有高的定位精度,一般要求宏动平台的误差空间要小于微动平台的工作空间。为了提高自主研制的空间微操作机器人中的绝
社会发展离不开能源,但是化石能源作为主要的自然能源供给,不仅储量有限,而且会造成环境污染,开发新型可再生的清洁能源是全世界面临的难题。而氢能清洁无污染、可再生的优点引起了广大研究人员的关注。电解水是目前最成熟的氢能源制备技术之一,而析氧反应作为一个关键的半反应因为其反应步骤复杂、机理尚不明确等因素,是高效电解水的一个“卡脖子”因素。开发高效的电催化析氧催化剂、明确其反应机理已经迫在眉睫。目前性能最
随着科学技术的高速发展,导致的环境污染问题越来越严重,为了减少对煤、石油等不可再生能源的依赖,缓解能源危机和环境污染问题,新能源行业顺应时代要求正快速发展。新能源汽车是新能源行业的重要组成部分,而锂电池作为储能设备是纯电动汽车的核心部件。锂电池的剩余容量(State of Charge,SOC)估计对电池管理系统(Batter Management System,BMS)提高电池使用寿命和整车续航
证据是认定案件事实的根据,案件事实的认定是建立在证据的调查、审查和认定之上的,证据在诉讼活动中具有基础性的作用,是诉讼活动的开始,并且从最初的侦查到法庭审判以及最终得出判决,证据贯彻诉讼活动的全过程。在法定证据之中,鉴定意见具有“科学证据”之称,在社会的科技化信息化进程不断加快的背景下,诉讼活动中涉及的问题越来越复杂,鉴定意见作为具备科学证据属性的证据越来越受到重视,对认定案件事实有着重要的作用。
人为倾倒、雨水裹挟物体进入水体后,如果不能被及时清理,将会遮蔽水面面阻挡光照和透氧,严重破坏生态环境,威胁水生动植物的生命。经过光照、氧化和水流冲刷后将会逐步分解为难以清理的微粒,随着水流汇入更远的水域,造成范围更广、难以清理的水体污染。人力打捞成本高昂、工作效率低下。人机交互式或自主航行式的无人艇单独覆盖水面并清理的方案存在大量无用操作,浪费能源。随着无人机技术的不断发展,无人机被尝试应用于水面