一种高效的面向高并发图分析任务的存储系统

来源 :中国科学(信息科学) | 被引量 : 0次 | 上传用户:cbir
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现实世界中图计算需求的快速增长,同一平台上往往并发运行着大量迭代图分析任务.然而,现有的图计算系统主要是为了高效执行单个图分析任务而设计的.因此,当多个并发图分析任务同时在同一个底层图上并行执行时,现有图计算系统会面临巨大的数据访问开销.为了提高并发图分析任务的吞吐量,现有的核外并发图处理方案通过共享图数据减少并发任务的数据存储与访问开销.但是,由于现实世界中图的图顶点度数幂律分布特性以及图分析任务之间的差异性,现有方案在访问数据时依旧存在着大量的不必要的冗余I/O开销.这是因为即使静态图分区中绝大部分顶点处于非活跃状态或者只被少数图分析任务共享,现有方法也依旧会将整个分区加载入内存供并发图分析任务处理.为解决上述问题,本文提出了一个面向并发图分析任务的高效存储系统GraphDP.它能够插入到现有核外图计算系统中来透明有效地减少现有图计算系统执行并发图分析任务时的存储消耗与数据访问开销,从而提高并发图分析任务的吞吐量.具体来说,GraphDP使用一种新颖的动态I/O调度策略,能够使系统以最优的I/O访问方式完成图数据的加载,并有效地减少加载到内存和cache的数据.同时,GraphDP通过高效的缓存机制在内存中优先缓存被频繁访问的图数据,从而进一步减少数据访问开销.为证明GraphDP的有效性,我们将GraphDP插入到目前流行的核外图计算系统中,包括GridGraph,GraphChi和X-Stream.实验结果表明,GraphDP分别将GridGraph,GraphChi和X-Stream的吞吐量提高了1.57~2.19倍,1.86~2.37倍和1.62~2.21倍.
其他文献
监测断面是基坑施工中构建沉降系数的主要依据,但无法识别基坑部分沉降速度与整体沉降速度明显不同的监测点.为有效提高沉降预测精度,对多个监测断面进行沉降区域划分,将沉降速度近似的监测点划分为一类来计算沉降系数,并通过实例进行验证.结果表明,通过划分沉降区域,采用多元回归模型进行沉降预测,可以有效提高监测断面以外监测点的沉降预测精度,其中,处在基坑中间区域的点相对误差显著降低,仅为原相对误差的15.88%.
Transcription factors(TFs)modulate gene expression by regulating the accessibility of promoter DNA to RNA polymerases(RNAPs)in bacteria.The MerR family TFs are a large class of bacterial proteins unique in their physiological functions and molecular actio
“让自然保护产生动力”rn当越来越多人意识到自然保护的必要性,如何真正为未来生态注入可持续的保护动力?正在我国西部多个地区开展生态保护、生态服务型经济发展和国家公园体制研究实践的彭奎博士分享了从业多年的心得.
期刊
本文在分析多个版本教材对运动图象内容呈现方式基础上,选择香港版物理教材“直线运动的图象”一课,基于PASCO系统和情境化虚拟实验进行教学,促进学生对运动图象的科学理解.
为提高大比例尺地形图制图数据建库效率,以1∶500全要素地形图制图数据为例,分析制图数据与建库数据之间的逻辑关系,并建立空间数据和属性数据间的转换关系,最后通过Gcad+Ggis程序集批量将制图数据的点线数据转换成建库数据的点线面数据,同时提取制图数据的属性信息到建库数据的点线面要素中,从而实现制图数据高效建库.大比例尺地形图制图数据建库方法对其他类型制图数据建库有参考意义,所开发的制图数据建库的程序集可应用于其他比例尺地形图数据建库.
本文对国际青年物理学家锦标赛(International Young Physicists\' Tournament,简称IYPT)进行了简单介绍,根据该赛事的价值提炼了“PT思维”.并通过具体教学案例介绍了如何将“PT思维”引入高中物理课堂教学,以及分析了引入教学的优势和问题,对“新课程新教材”的实施有一定的借鉴意义.
Myocyte enhancer factor 2C(MEF2C)is highly expressed in the nervous system,and regulates neuro-development,synaptic plasticity,and inflammation.However,its mechanism in Alzheimer\'s disease(AD)is underestimated.In this study,the role and mechanism of ME
Helicobacter pylori(H.pylori)is known to be a major risk factor for the development of gastric cancer.In recent years,increasing attention is being paid to the role of non-H.pylori Helicobacters(NHPHs)in this disease and the role of microorganisms in loca
群体智能是自然界普遍存在的现象,受到了国内外研究者的广泛关注.网络和人工智能技术的高速发展,使得大规模群体在网络上通过个体智慧激发和群体智慧汇聚形成超越个体能力的群体智能成为可能.随之而来,如何认知和形成这样的群体智能系统成为了研究的热点.本文将在广义群体智能的概念体系之下,探索群体智能系统的度量理论和方法,以此来促进对群体智能形成机理的更深层认知.本文提出了群体智能系统的基本特性以及其形成的激发汇聚建模,指出群体智能系统实质上是一类复杂非线性动力学系统,包含微观个体激发、宏观群体协作、全局群智汇聚3个核
Previous studies have reported that the N6-methyladenosine demethylase ALKBH5 can regulate adipogenesis in humans.However,its function in birds remains unclear.In this study we aimed to explore the expression and function of the ALKBH5 gene in chicken adi