基于CPU-GPU的条件随机场并行化研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:baby3911
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
条件随机场作为一种机器学习算法,广泛应用于词性标注、信息抽取、图像分割等领域。实际应用中,条件随机场能灵活地生成大量描述性特征来增强学习效果,但特征维度会轻易突破百万级别,使训练过程中需要消耗大量的时间来计算梯度和似然函数,从而在一定程度上限制了条件随机场解决实际问题的能力。现有的解决方案分别利用多核CPU或GPU对条件随机场并行化,然而受限于CPU或GPU本身架构特性,加速效果并不让人满意。针对上述问题,提出了一种利用CPU-GPU协同加速条件随机场模型的新方法。在CPU-GPU协作并行架构中,利用CPU处理内存复杂度高和分支判断较多的模型训练优化过程,解决了传统GPU并行中因处理器内存有限和弱分支判断处理能力而导致的整体并行效果低的问题。在GPU并行化方面,针对密集型计算过程的不同特性,提出两级并行方法以获得最大化并行效果:状态矩阵中所有元素在独立计算层Node Level并行;而状态矩阵中所有可能路径的计算则基于序列依赖计算层Sentence Level并行。此外,针对GPU的内存访问特性,优化了数据的内存布局,减少不必要的内存数据通信,提高了并行效率。实验结果表明,基于CPU-GPU协同并行条件随机场的方法,相比于CPU的单线程处理方式,在模型准确率持平的情况下,训练过程加速可达到10倍以上,预测过程可达到15倍以上的加速;另一方面,相比于只使用GPU并行的方法,协作并行加速性能有效提升50%。
其他文献
兴化市推出三大网上科技人才特色服务。一是人事代理科技人员档案信息网上查询服务。借助兴化人才网技术平台,自主研发建立人事代理科技人员档案信息网上查询系统,实现了信息
《实话实说》停播的根本原因在于没有建构好"真实、理性话语空间"之节目核心价值。一档谈话节目的良性发展,除了从业者需要坚守和发展节目的核心价值,还需要有良好的外部条件
汽车发电机机械故障的修理主要是更换安装滚动轴承。发电机常用的型号有201、202、203、204、303、304等,分全密封、半密封和非密封型,目前以使用全密封轴承为主。传统的教材上
<正> 1976年以来,我们广东省对生产队拥有的拖拉机等主要农业机械,实行组织起来的方针,在自愿互利、等价交换的原则下,由生产大队统一指挥、统一使用、统一检修、统一供应、统一结算,简称大队统管。到1977年12月,全省实行统管的大队数占大队
通信光缆是由若干根(芯)光纤(一般从几芯到几千芯)构成的缆心和外护层所组成,具有传输容量大、衰耗少、传输距离长、体积小、重量轻、无电磁干扰以及成本低等诸多优点,被广泛
随着我国信息化技术的不断发展,促使我国进入到了大数据时代当中。而我国教育的不断改革,也促使了人才培养的增加,对于计算机科学与技术专业就是如此,在大数据时代当中,对其
11月10日下午4时,又一份订单从中国航天发射研究所传真到江苏泰隆集团。这次,是加急订购两台远洋测控船用减速机。此前,该集团已为嫦娥奔月工程专供了
<正> 一讲到提高产品质量,人们往往首先注意到严格按工艺规程制造产品,搞好文明生产,认真进行质量的控制和检查,降低废次品率等项工作。这些工作,对于提高产品质量无疑是非常重要的。但是,提高产品质量,并不只是在制造过程。拿机械产品来说,从产品的研
认知心理学的教育思想为当代教育改革发展提供了重要的科学理论依据。对语文学科而言,认知心理学对语文教育教学的发展也有着深远的影响,文章通过认知心理学的理论与语文教材