基于RDMA和持久内存的多副本复制协议设计与实现

来源 :王国腾 | 被引量 : 0次 | 上传用户:dmf625
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着低传输延迟的远端直接内存访问(Remote Direct Memory Access,RDMA)技术和低持久化存储开销的新型持久性内存(Persistent Memory,PM)技术逐渐成熟,其被广泛用于加速分布式副本的数据复制过程。然而,现有复制协议为了保证强一致性的本地读取往往要求在更新提交之前完成所有副本的数据拷贝,这增加了关键路径上的复制开销同时限制了扩展性。此外,随着持久化硬件技术的成熟,少量的关键数据副本即可提供足够的故障恢复冗余。如何利用新硬件实现性能,可靠性和强一致性保证之间的平衡成为当下复制协议设计的一个核心挑战。为了解决现有复制协议上述的不足,提出了一种基于RDMA和PM的元数据和数据解耦的异步数据复制协议,该复制协议包含两部分关键内容。首先,该协议将复制协议中的成员划分为主节点对和副本节点链,主节点对利用PM的低开销持久化特性进行快速同步复制并提供故障恢复保证;从节点链以链式拓扑组织,接收主节点对的元数据广播,同时通过上下游内存感知的数据放置策略使用单边RDMA通信进行低延迟且低CPU消耗的异步数据复制,以提供额外的数据冗余以及负载均衡的本地读取。其次,为了满足该复制协议高吞吐、低延迟的设计要求,提出了一种基于RDMA和PM的高性能多线程数据复制框架。该复制框架首先提供了高效的大页持久内存管理策略;其次实现了高性能的多线程RDMA复制框架,并应用了RDMA批处理消息确认优化;最后设计了共享数据访问和分区数据访问的并发控制机制,引入了缓存友好的多线程消息队列,保证了多线程复制的效率。实验结果表明,这种解耦的异步数据复制协议在高性能多线程复制框架的实现下,比现有的最先进的链拓扑和星形拓扑复制协议的在特定负载的写延迟最高可降低83%,平均写延迟降低71%;在16 KB大粒度复制负载下吞吐最高提升3.5倍,平均吞吐提高89%。同时具有良好的节点间和多线程可扩展性。源自实验结果的结论也可以为数据复制应用如何选择复制协议提供指导意义。
其他文献
长期以来,考试都是一种有效的学情评价手段,但在传统的手工阅卷和现代的网上阅卷过程中,存在教师阅卷工作量繁重,对学生的学情评价只能依赖教师手工进行等问题,为教师增添了额外的工作量。在“双减”的背景下,如何在切实减负的同时有效提升教学质量,对教师的教学工作提出了更高的要求,要求教师对学生的学习情况有更加精准的认知,从而展开针对性的教学,真正达到因材施教的目的。通过对考试及学情评价全过程的分析,结合人工
学位
海量数据的爆发式增长,对存储设备的容量、性能和可靠性提出了新的要求。机械硬盘作为现代存储系统的重要存储设备,易发生机械故障导致数据损坏与丢失的事故。因此,高效监测磁盘状态并及时预警故障,有利于建立高可用的存储系统。现有研究建立的磁盘故障预测系统通常有磁盘生命周期量化简单、应用场景特殊或上线成本高的局限性,不适用于通用场景。当前基于深度学习(Deep Learning,DL)技术能智能精简地预测磁盘
学位
目的:1.描述健康成人在中长跑运动前、运动中、运动后三个阶段的心率变异性(Heart rate variability,HRV)的变化特征。2.分析影响健康成人在中长跑运动中心率变异性(Heart rate variability,HRV)的因素。方法:1.2021年7月至10月招募同济医学院社区内的健康成人作为研究对象。对研究对象进行问卷调查、体格检查和8圈(3.2公里)中长跑测试,问卷调查包括
学位
数据去重技术和差量压缩技术作为冗余数据消除的重要手段,已经受到越来越多的关注。数据去重可以消除存储系统中相同的数据块,而差量压缩则可以对存储系统中不相同但相似的数据块进行进一步冗余数据消除。然而,在数据去重系统上引入差量压缩技术虽然能够消除更多的冗余数据,但也导致了系统恢复性能的下降。在联合差量压缩的数据去重系统上,数据去重引入的重复块碎片和差量压缩引入的基本块碎片导致了对磁盘的额外访问,从而降低
学位
机器人工程专业建设研究对满足相关产业未来人才需求、推动产业发展和经济进步、提升国家科技实力、解决科技“卡脖子”问题有着重要意义。基于专家研讨的专业建设方式虽在传统工科建设上取得了一定的成绩,但机器人工程专业作为一门新工科专业相较传统工科专业知识体系更为复杂、学科边界模糊,且机器人工程专业学科发展速度快、变化大。依靠传统的专家研讨的方式来进行专业建设难度大、耗时长,因此,本文以机器人工程专业为例提出
学位
近年来,互联网迈入产业互联网阶段,远程医疗、远程驾驶和网络制造等远程控制类时延敏感业务得到广泛关注,这类业务对底层网络的共性需求包括有界带宽、时延、抖动和丢包率等确定性指标,现有基于业务服务质量(Quality of Service,Qo S)类别的资源预留机制受限于网际互连协议(Internet Protocol,IP)数据报网络“尽力而为”的传输特性,仅能部分保障业务带宽,难以满足时延抖动等上
学位
近年来,随着计算机技术和深度学习理论的发展,深度学习算法在心律失常分类中已初步崭露头角,但是大多集中于二分类或多分类。针对本文标签均为异常的心电数据来说,由于一个人可能会携带一种或多种标签,且部分标签出现频率极低,目前的算法会存在诊断类别不全、预测准确率较低等问题,因此本文基于多头自注意力机制,提出了一种心律失常分类深度学习模型,主要研究内容如下:(1)心电数据在采集过程中极易受到噪声的影响,进而
学位
随着计算机技术以及柔性电子技术的飞速发展,智能可穿戴电子呈现出爆炸式的增长趋势,这些智能品具有可穿戴、尺寸小、质量轻、时尚感强等特性,被广泛应用于医疗健康等领域。智能可穿戴设备均需要能源供应来维持其工作状态。微型设备多用锂电池供电,然而锂电池的续航能力有限,一旦电池耗尽,设备将处于无法工作状态。除此之外,锂电池对所处的工作环境有严格的要求,温度条件将影响电池的安全、性能以及寿命,这些问题限制了智能
学位
近年来,非易失性内存(Non-Volatile Memory,NVM)和远程直接内存访问技术(Remote Direct Memory Access,RDMA)受到越来越多的关注,由此也涌现出一系列基于NVM和RDMA构建的分布式系统。RDMA网卡片上缓存的易失性使得如何保证远端数据的持久化成为了重大挑战,而数据直接I/O技术(Data Direct I/O,DDIO)的存在更是加剧了这一挑战。现
学位
工商管理硕士(MBA)项目涵盖管理、经济、数学、统计等方面课程,能帮助提高管理人员的管理能力与技巧,因此一直是广大管理人员提高学历、就业竞争力的热门选择。近年来,攻读这一专业的人员数量稳步上升,其中不少求学人员选择申请海外院校。海外院校的MBA项目大多以英文授课,而申请学生英语水平参差不齐。为减少沟通障碍、提高教学质量,学校在课堂中配备了课堂助理及翻译。2020年以来,新冠肺炎疫情席卷全球,给人们
学位