【摘 要】
:
图处理系统正被广泛的应用于各个领域的数据分析中,随着图处理任务的增加,它们需要有效的应对多任务环境。现有的图处理系统一般针对单一任务设计,在执行并行任务时存在图数
论文部分内容阅读
图处理系统正被广泛的应用于各个领域的数据分析中,随着图处理任务的增加,它们需要有效的应对多任务环境。现有的图处理系统一般针对单一任务设计,在执行并行任务时存在图数据的重复和数据访问带宽的竞争。内存模式图处理系统节点间的交换数据为图处理任务私有,执行并行任务时对网络带宽的竞争是系统的瓶颈。现有的外存模式图处理系统可以避免网络通信开销,但是并行任务对图数据访问的不一致易造成I/O争用,影响性能。通过对现有外存模式图处理系统I/O优化方法的分析,提出了基于I/O去重、图数据共享的数据访问模型,从理论上论证了在面对并行任务时相对于传统模型的优势与局限性。基于该模型,设计并实现了面向多任务环境的外存模式图处理系统GraphDeSh。GraphDeSh通过对外存数据的统一访问消除了I/O重复,通过共享缓存的设计平衡了并行任务执行速度的差异,优化了并行任务的数据等待时间。使用不同的数据集和不同的算法组合测试了GraphDeSh的性能,验证了基于I/O去重、图数据共享的模型的有效性。测试结果显示,两任务GraphDeSh相对于传统的并行方式,最大达到了理想的2倍加速比。GraphDeSh的优化效果随着图算法的计算比例下降而下降,平均加速比为1.45倍。在不同数据集上,GraphDeSh的加速比相对于并行GraphChi的加速比提高了32.5%-60.7%,相对于并行X-Stream的加速比提高了84.5%-107.1%。
其他文献
伴随着信息时代的来临,为了加强对信息资源的综合管理,需要对信息资源进行整合,形成一个更综合的信息资源库,用来提高对局部信息资源的共享与利用,这是未来发展的趋势。当前
Web服务具有开放性、跨平台性、松散耦合性、互操作性及高度动态性的特点,这些特点使得Web服务非常容易受到安全性方面的攻击,因而Web服务的发展空间和应用深度在很大程度上
随着基于Hadoop平台的大数据技术不断发展和实践的深入,Hadoop YARN(Yet Anouther Resource Negotiator)资源调度策略在异构集群中的不适用性越发明显。一方面,YARN资源调度
随着信息技术的迅速发展和计算机应用项目的大量推广,网络数据服务中心的数量大量增加。计算机系统的规模也越来越大,其系统性能也不断的提升,计算资源的种类越来越庞杂。在
分类是模式识别及人工智能的重要研究领域,由于分类器的优劣缺乏统一的评价标准,因此寻求提高分类器的准确度和泛化能力成为一个主要的研究方向,为了充分利用不同分类器之间
随着数据挖掘技术的成熟,信息产业的不断涌现,以及互联网的迅速发展,人们日常生活需要的信息量以指数级速度增长。传统的数据分析和查询方法在实际应用中不能满足人们对隐藏
据世界卫生组织的发表《全球疾病负担》[1]评估报告显示心血管疾病已成为全球头号健康杀手,而这其中患者的主要死亡于心脏病和中风。随着近年来心血管疾病治疗技术的进步,外
多径传输使用多条连接流分割节点和流汇聚节点的路径进行传输。相对于传统的单径传输,多径传输具有充分利用网络资源、减少拥塞、提高传输可靠性和提高网络的安全性等优点,是
移动增强现实即在移动设备上将虚拟物体与真实场景进行叠加,实现两者的有机结合。目前大多数移动增强现实技术着重于对摄像头视角内对象进行可视化,但受制于其屏幕限制,无法
日新月异的计算机科学技术的迅猛发展给社会各个领域尤其医学领域带来了巨大的革新,医疗卫生行业逐步实现了信息化。电子病历作为医疗机构最重要的文件,其本身的信息化程度直