【摘 要】
:
图神经网络作为一种基于深度学习处理图数据的方法,端到端的学习方式使其具有了良好的推理能力和可解释性,并在多个领域得到了广泛的应用。随着大数据时代的到来,图数据规模急剧增长,图神经网络结构也变得更加复杂,但现实应用对图神经网络训练推理速度的要求却与日俱增。为了提升图神经网络计算速度,学术界与工业界提出了一系列的图神经网络计算系统,并利用GPU加速计算。但GPU的内存容量有限,为实现基于GPU的大规模
论文部分内容阅读
图神经网络作为一种基于深度学习处理图数据的方法,端到端的学习方式使其具有了良好的推理能力和可解释性,并在多个领域得到了广泛的应用。随着大数据时代的到来,图数据规模急剧增长,图神经网络结构也变得更加复杂,但现实应用对图神经网络训练推理速度的要求却与日俱增。为了提升图神经网络计算速度,学术界与工业界提出了一系列的图神经网络计算系统,并利用GPU加速计算。但GPU的内存容量有限,为实现基于GPU的大规模图神经网络训练和推理,邻居采样、聚类采样等多种采样方法和基于采样的图神经网络训练推理流程被提出。虽然图神经网络计算系统众多,但图神经网络训练与推理一直存在突出的计算效率问题。现有图神经网络计算性能瓶颈分析的相关工作多只关注于推理阶段,缺乏对训练阶段的分析,也没有考虑采样方法对性能瓶颈的影响。同时,现有图神经网络计算性能的优化工作多关注于提升计算速度,缺乏对基于GPU的图神经网络计算存在的内存溢出风险的重视。针对上述问题,通过一系列的对比分析,对基于GPU的图神经网络计算过程中存在的计算性能瓶颈进行了系统性的分析研究。根据分析中发现的计算效率方面的性能瓶颈,进一步研究提出了基于流水线并行的图神经网络训练与推理流程优化方法和面向内存受限环境的图神经训练推理流程优化方法。本文的研究内容和主要贡献点包括以下几个方面:(1)研究设计了一系列实验,对基于GPU的图神经网络计算性能瓶颈进行了系统性的分析。依据计算复杂度选择了四个代表性的图神经网络算法GCN、GGNN、GAT、Ga AN进行评估,从算法超参数对性能的影响、时间分解分析、内存使用分析以及采样方法对性能的影响等四个方面,开展了相关实验分析研究。(2)实验分析发现边计算是大多数图神经网络计算的性能瓶颈,边计算的较高内存开销制约了图神经网络的数据可扩展性。实验结果表明采样方法可显著降低训练推理过程中的内存使用,但现有基于采样的图神经网络训练推理流程存在额外计算开销高、GPU利用率低的问题,采样过程内在的随机性导致不同批次采样子图规模差异较大,个别批次易出现内存溢出的风险。(3)针对图神经网络训练推理过程中GPU利用率低和训练中评估步骤耗时长的问题,研究提出了基于流水线并行的图神经网络训练推理流程优化方法,利用流水线机制实现采样过程、采样子图的传输过程与采样子图的训练推理过程的并发执行,充分利用了CPU和GPU的计算资源,同时实现了训练与评估步骤的流水线并行优化来加速训练过程。实验结果表明,该优化方法可以有效降低计算耗时,实现训练与推理过程的加速。(4)针对图神经网络训练推理过程中不同批次的内存开销波动较大、个别批次可能出现内存溢出的风险的问题,研究提出了面向内存受限环境的图神经网络训练与推理流程优化方法,基于内存开销预测模型,识别可能带来内存溢出风险的采样子图,并针对这些子图提出了基于度数和Page Rank的超限子图剪枝策略。剪枝策略通过缩减子图规模确保该批次的内存开销小于GPU内存容量上限。实验结果表明,本文提出的基于线性模型的内存开销预测模型的准确率在99%以上,基于随机森林的内存开销预测模型准确率高达95%。基于度数和Page Rank的超限子图剪枝策略能有效限制采样子图的内存开销,避免了训练与推理过程中存在的内存溢出风险,其对图神经网络模型精度的影响低于随机剪枝策略。
其他文献
随着我国地下空间开发利用程度提高,各种形式的地下建筑结构越来越多。抗拔桩广泛应用于有抗拔需求的工程中,嵌岩深度是影响桩基抗拔极限承载力的重要因素。隧道开挖必然会使围岩应力发生重分布从而形成松动圈,准确确定松动圈厚度对于工程的稳定性和安全运行具有重要意义。由于嵌岩桩和隧道围岩的隐蔽性和复杂性,施工完成后其质量无法通过直接观察这种直观的手段判断,声波法是一种有效的物理探测方法,其中声波测井方法是通过对
建筑业的蓬勃发展和人类生活水平的大幅度提高,使得居民对室内热环境舒适性提出了更高的要求,同时寒冷季节下建筑供暖能耗的需求量也将大大增长。建筑能源的大量消耗加速了温室气体排放和全球气候变暖,而提高可再生能源在建筑能耗中的应用比例是一种有效的对策,不仅可以减少化石能源等传统燃料的消耗,还能缓解全球的气候问题。作为一种具有清洁、储量丰富、成本低等众多优点的可再生能源,太阳能目前已在生活中被广泛应用,在建
乏氧微环境作为实体肿瘤的特征之一,已被证实参与肿瘤的转移和生长,促进肿瘤血管生成。因此,改善肿瘤微环境,对于治疗肿瘤疾病具有重要作用。目前,利用常见的供氧策略,如高压氧注射、载氧微泡、H2O2与金属或过氧化氢酶反应原位产氧,以及全氟碳化合物或血红蛋白中溶解氧的输送等方式来调节肿瘤乏氧微环境,以加强放疗。通过金属络合物催化水氧化分解产生分子氧,也将为改善肿瘤乏氧微环境提供新的解决方案;另一方面金属络
湖南境内存在较大范围的全风化花岗岩残积土地区,且近年来随着轨道交通事业的快速发展,花岗岩残积土常被用于高速铁路路基填料。然而筑路沿线的残积土往往不能满足工程要求,一方面是由于某种强度的地面轨道交通振动会导致残积土地基液化、基础下沉或均匀下沉;另一方面湖南地区雨季降水丰富、旱季地下水下降明显的季节性交替变化引起的干湿循环效使残积土土体呈现软化特性,同时这种干湿循环效应导致土体强度和抵抗变形能力下降。
超分子化学是当今化学学科中一个重要的组成部分,它的核心是通过分子间弱相互作用进行组装,其中包括氢键、配位作用、π-π相互作用等。随着超分子化学的蓬勃发展,科研人员已合成各种超分子大环主体,并且基于大环主体与特定客体分子间的主-客体作用构筑了一系列超分子功能体系,在手性识别与传感等领域具有广泛的应用价值。本论文主要围绕超分子大环展开研究,首先利用新型超分子大环主体柱[5]芳烃动态外消旋平面手性特征和
随着时代的进步,视觉目标检测与跟踪技术在生产生活中发挥着越来越重要的作用。人车是现代社会最为重要的组成对象,实现人车目标的精确快速检测与跟踪对构建智慧城市和平安社会具有重要意义。本文基于人车检测与跟踪的应用背景,主要做了以下研究:针对一阶段人车检测模型精度较低的问题,本文在YOLOv3检测框架基础上提出了一种UYOLOv3人车检测模型。首先,针对YOLOv3边框损失函数与评价指标IOU差异大且不具
目的:探讨滤泡性淋巴瘤(Follicular lymphoma,FL)转化为弥漫大B细胞淋巴瘤(Diffuse large B cell lymphoma,DLBCL)的患者临床特征、转化相关因素、诊治及预后。以期提高对该类淋巴瘤的认识,为其治疗提供临床经验。方法:分析1例伴TP53突变FL患者在病程中转化为DLBCL的临床资料及文献复习。结果:该例伴TP53突变FL患者常规R-CHOP化疗二个疗
由于电子产业对电子元器件小型化、集成化的要求不断提高,电子器件的热管理已经成为了不可忽视的问题。环氧树脂具有价格低廉,加工性能好,与基板的粘黏性好等特点,使得其相比于其它的封装材料有较大的优势,所以制备高热导率的环氧树脂基复合材料具有科学与实际的意义。本课题以环氧树脂为基体,通过添加不同的填料制备出高导热的环氧树脂基复合材料,并通过XRD、扫描电子显微镜、导热分析仪、振动样品磁强计等,研究影响复合
绳网捕获技术作为柔性捕获技术的典型代表,具有便携性好,容错率高,适应性强,对载体影响小等特点,在小行星以及空间碎片的捕获任务中具有良好的应用前景。本文通过集中质量法对柔性绳网进行近似,并利用弹簧阻尼模型和Hertz接触理论建立了绳网捕获目标过程的动力学模型。此外,还依据空间线段之间的位置关系推导了绳网上绳段之间是否发生自接触过程的检测方法,并以此完善了现有的绳网动力学模型。通过对绳网捕获目标过程中
化工行业已日渐成为许多国家经济发展的支柱产业,化工生产已成为人类日常生产活动中的重要成分。然而由于化工行业的特性,该行业与其它行业相比存在较大的生产安全隐患,安全事故一旦发生将会产生严重的后果。化工行业事故的发生往往不是单一的,而是复杂且具有较强随机性的,并且事故发生的同时还容易引发二次事故或更高级的事故,从而产生多米诺效应。因此,针对化工企业的安全隐患分析研究尤为重要。本文以某牛磺酸化工厂为研究